arXiv cs.AI 发布于 10/05 12:00

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

(翻译)快速模型,缓慢证据:面向 LLM Agent Harnesses 的 System-1 决策模型配对与自审计评估

查看原文

资讯摘要

Abstract page for arXiv paper 2610.02267: Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

AI 摘要

这篇 arXiv 论文评估开源 Laya 与托管 Jev 两种 System-1 决策模型在 11 类 LLM Agent 决策点上的表现,涵盖 7283 个基础案例和 6640 个鲁棒性变体。结果显示 Jev 在多数任务更准确,论文还披露了评估流程中的成本、阈值和通道效应等分析偏差。

AI 问答

论文评估了哪些模型?

论文对开源权重模型 Laya 和托管模型 Jev 两种 System-1 决策模型进行了配对评估。

评估覆盖了多少数据?

评估包含来自 18 个公开来源的 7283 个基础案例,以及 6640 个鲁棒性变体。

主要结论是什么?

Jev 在 11 个决策点中的 9 个显著更准确;两种模型在零样本模型路由上都未超过随机水平,并在 RAG 相关性门控上打平。

打开原文

更多资讯

近期海外进出口传闻的政策限制对公司是否有影响? 天孚通信回应36氪 · 10/09 20:45一篇把锅从模型甩回公司手里的短文 —— 「计算机无法做出决定」开源中国 · 10/10 15:58世界的下一个版本,由我们定义 |2026苏客松招募启动36氪 · 10/10 10:35中金黄金等在河南成立黄金投资公司,注册资本2000万元36氪 · 10/10 13:15奈飞据悉正进行组织重组,预计将影响约5%的员工36氪 · 10/09 19:43“物外智趣”完成数千万元人民币天使轮融资36氪 · 10/10 13:55七部门:推动电商平台规则向优转型36氪 · 10/10 10:17「10.11大暴跌」一周年:加密市场发生了哪些变化?金色财经 · 10/10 21:05用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发36氪 · 10/10 10:26做重大决策前,先让AI唱反调人人都是产品经理 · 10/10 10:50富特科技:股东拟减持不超2.894%公司股份36氪 · 10/09 20:27功能是答案,问题是题目:AI 时代,产品经理唯一稀缺的产出人人都是产品经理 · 10/10 10:48Sui 难民:华语开发者为什么选择离开?金色财经 · 10/09 21:29Claude 动态多 Agent 工作流开始公测,支持庞大的工作负载开源中国 · 10/10 18:21深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施36氪 · 10/09 19:57我让豆包工作看了30个爆款AI封面,它总结出了八个规律人人都是产品经理 · 10/10 13:03三晖电气:股东于文彪及其一致行动人拟减持不超3%公司股份36氪 · 10/09 20:028600万美元被盗 官方授权也不能保证硬件钱包安全?金色财经 · 10/10 19:44对话赵长江:智界RX要成为华为的「Pura X」雷峰网 · 10/10 15:52Codex 和 Claude Code 都跑偏了,前 OpenAI 研究员称 Jev 出现前 AI 世界是个悲剧InfoQ 中文 · 10/10 01:39得中女得天下?这个年销3亿的女装品牌AAAD给出了新答案!人人都是产品经理 · 10/10 11:12A股市场下探回升,机构称市场具备修复性反弹基础36氪 · 10/10 09:21Telegram钱包全面开放 CFTC将事件合约纳入互换定义金色财经 · 10/10 07:54商务部电子商务司负责人解读《关于实施品质电商“五优”行动的通知》36氪 · 10/10 10:25特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingSolidot · 10/10 16:52谷歌正在内测新 AI 模型,员工称其编码能力和 Claude Opus 5.5 打平开源中国 · 10/10 17:08@ 一下就能派活?谷歌推出办公 Agent,拥有独立账号、能够创建子 Agent,还能调用 ClaudeInfoQ 中文 · 10/10 01:15内蒙古:全区所有水泥熟料生产线11月起实施共5个月实行错峰生产36氪 · 10/10 17:52Nano Banana 2.1 九种实战用法:从多图一致性到"养图",附完整提示词开源中国 · 10/10 14:20泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:57