arXiv cs.AI 发布于 10/09 12:00

AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks

(翻译)AgentHorizon:评估长周期计算机使用任务的智能体评判器

查看原文

资讯摘要

Abstract page for arXiv paper 2610.11050: AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks

AI 摘要

arXiv 论文提出 AgentHorizon 基准,用于评估计算机使用任务中自动化智能体评判器的可靠性。该基准包含1373个任务,基于166小时人类轨迹,覆盖三个操作系统,并比较了11种评判器在长交互历史中识别成功与失败轨迹的能力。

AI 问答

AgentHorizon 主要用于评估什么?

它用于评估长周期计算机使用任务中自动化智能体评判器判断任务是否成功完成的可靠性。

该基准包含多少任务?

论文称 AgentHorizon 包含1373个计算机使用任务,即指令与轨迹配对,来自166小时的人类记录轨迹。

论文评估了哪些类型的评判方式?

研究评估了11种评判器,包括直接输入完整轨迹,以及将模型作为编码智能体在五种 agent harnesses 中使用。

打开原文

更多资讯

迁移权责确权层|跨域行为的权属与越界判定雷峰网 · 10/08 16:00和过往的捷豹说再见吧:Type 01 发布,用千匹动力迎接一批新买家爱范儿 / APPSO · 10/08 18:41七年第一,三项蝉联!赛迪报告:奇安信持续领跑中国网安市场雷峰网 · 10/08 14:45“AI央行”英伟达的“千亿资本局”金色财经 · 10/08 10:22《柳叶刀》研究表明:AI 有望改善医患关系量子位 · 10/09 14:28美银研报:阿斯麦赌定价权落地 5% 涨价增厚 8%盈利金色财经 · 10/08 14:0636氪首发|「闹翻天PLAYFULLY」获青山资本投资,为世界造一张“中国球星卡”36氪 · 10/09 10:00代码造世界,扩散绘现实:AgentGarten让智能体在实时试炼场中边玩边进化量子位 · 10/09 10:03Ethena无银行背书 如何5%稳定币收益还让渣打站台?金色财经 · 10/09 14:55Cloudflare 详解从 WordPress 迁移至 EmDash 的过程InfoQ 中文 · 10/08 23:00如何看待当前的AI泡沫?大佬们吵翻了金色财经 · 10/08 14:12这家结算网络让美元 24 小时运转金色财经 · 10/09 14:06Verification and Self-Improvement in Agentic AI: Foundations and LimitsarXiv cs.AI · 10/09 12:00Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving AgentsarXiv cs.AI · 10/08 12:00美央构建物理AI路径闭环:把人体变成可计算的真实世界36氪 · 10/09 10:22Cloudflare 通过测量源站 TLS 偏好将握手重试率从 52% 降至 3.7%InfoQ 中文 · 10/09 21:11An Explainable Header-Centric Framework for Large-Scale Semantic Table Interpretation and Data Quality AssessmentarXiv cs.AI · 10/09 12:00OpenAI 针对欧洲用户在 ChatGPT 和 Codex 嵌入水印Solidot · 10/08 14:54ARTEX 从 GitHub 下架Solidot · 10/09 16:23假期结了个婚,Codex 确实帮了大忙人人都是产品经理 · 10/08 09:34法典终局锁档层|体系自洽与范式边界的闭环校验雷峰网 · 10/09 12:30为何 DeFi 需要一套全新基础设施?金色财经 · 10/08 12:05吉利智充技术正式发布,重塑全球补能新标杆量子位 · 10/08 17:10搭载NVIDIA RTX Spark™ N1X超级芯片:联想YOGA Pro 15开启盲约,重塑个人生产力边界量子位 · 10/08 18:23大模型原生智能体手机STEPX Neo将于10月13日正式发布量子位 · 10/08 10:15金色早报丨山寨币回落 美CFTC:加密行业正回流美国金色财经 · 10/09 08:42载人eVTOL获TC受理,「齐飞航空」完成近亿元战略轮融资|36氪首发36氪 · 10/09 15:35对话如祺出行COO韩锋:世界模型越强,真实数据才是真壁垒雷峰网 · 10/08 10:27How Fragile Is On-Device Language Model Safety? Localizing Safety-Critical Parameters for Sparse Fault AnalysisarXiv cs.AI · 10/08 12:00HTX Ventures解读 CeFi、DeFi 与 TradFi 融合金色财经 · 10/08 11:38