arXiv cs.AI 发布于 10/08 12:00

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

(翻译)并非每次调用都需要前沿模型:已部署智能体家居自动化系统中小语言模型的逐调用点评估

查看原文

资讯摘要

Abstract page for arXiv paper 2610.09021: Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

AI 摘要

arXiv论文评估9个0.8B至前沿托管模型在开源家居自动化框架Wactorz五类LLM调用中的表现。研究发现不同调用点能力排序不一致,较大模型并非总更优,本地小模型在多数站点可接近托管模型,但代码生成仍有差距,并揭示执行控制场景的安全拒答问题。

AI 问答

这篇论文主要研究什么问题?

论文研究在已部署的开源家居自动化智能体系统Wactorz中,不同类型LLM调用是否都需要使用前沿模型,并逐调用点比较小语言模型与托管模型的表现。

研究发现小模型在哪些方面接近托管模型?

配对测试显示,最佳本地模型在五个调用点中的四个与两个托管模型统计上无显著差异;只有代码生成任务明显拉开差距。

论文指出了什么安全问题?

论文发现执行控制调用存在特定安全失败:部分小模型会对系统不拥有的设备请求进行执行,另一些模型则拒绝所有请求,表现出退化的准确率与拒答权衡。

打开原文

更多资讯

金色Web3.0日报 | 美国政府转出6.7亿美元加密资产金色财经 · 10/08 22:01Socio-Foundation: A Model for Generalizable Individual Behavior Simulation via Hierarchical Capability DistillationarXiv cs.AI · 10/08 12:00AdaGuard: Enhancing Safety and Policy Compliance with Reasoning-Enabled LLM-As-A-Judge GuardrailsarXiv cs.AI · 10/08 12:00iPhone Duo:苹果,终究还是对强迫症下手了少数派 · 10/08 17:28让AI走进真实产线,汇川技术2026工博会看点前瞻36氪 · 10/08 18:51DeepSeek三年融资史:前两年自己养,今年资本抢着送钱人人都是产品经理 · 10/08 11:29灵巧操作头号玩家:Sharpa把指尖「触觉」进化到全面「体感」量子位 · 10/09 12:15从火山灰到“火山之子”,喀拉喀托的诞生与重生果壳网 · 10/09 13:15Wayfair与雨果跨境达成战略合作,助推供应商高质量出海雷峰网 · 10/09 11:47企业已经有银企直联了,为什么还要再建司库?人人都是产品经理 · 10/08 10:58TypeScript 终于能编译成原生程序了?启动快 12 倍,运行却慢 7.5 倍InfoQ 中文 · 10/08 21:22定义了软件工程的计算机科学家 Margaret Hamilton 去世,享年 90 岁Solidot · 10/09 14:41世界模型赛道:谁在收编,谁在突围?人人都是产品经理 · 10/08 15:54金色早报丨山寨币回落 美CFTC:加密行业正回流美国金色财经 · 10/09 08:42ARTEX 从 GitHub 下架Solidot · 10/09 16:23从「工具」到「智能体」:CARES 4.0在港发布,刘宏斌谈医疗AI如何走进临床雷峰网 · 10/08 11:18作为 PM,我为什么一边用Gitee一边盼它赶紧迭代人人都是产品经理 · 10/08 11:07正行创新亮相APRCE 2026,发布全球首个零售物理智能24/7服务解决方案量子位 · 10/08 20:43腾讯WorkBuddy悄悄上新功能,我再也不用把文件搬来搬去了人人都是产品经理 · 10/09 13:56设计系统负责人的语义生长:在1个组件的2个场景上练习核对人人都是产品经理 · 10/08 12:29中国人民银行关于人民币汇率的政策立场金色财经 · 10/08 21:39美股能抵押了:链上借贷的闭环还差几环金色财经 · 10/08 21:32Grayscale解读智能体趋势:更便宜的AI 更多算力需求金色财经 · 10/09 12:02上线两个多月,良配的千元会员生意走到哪一步了?人人都是产品经理 · 10/08 09:32Accelerating Floating-Point Satisfiability Solving via Gradient NormalizationarXiv cs.AI · 10/08 12:00浪子回头!Manus重启北京办公室大举招聘量子位 · 10/08 17:30跨平台执行交易:智能体要攻克的下一个关口金色财经 · 10/08 15:54法典终局锁档层|体系自洽与范式边界的闭环校验雷峰网 · 10/09 12:30美债收益率飙升 AI股为何还能继续上涨?金色财经 · 10/09 13:43融到56亿后,干啥?人人都是产品经理 · 10/09 14:32