arXiv cs.AI 发布于 09/10 12:00

OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows

(翻译)OpenDiscoveryTrace:评估AI科学家工作流的过程轨迹

查看原文

资讯摘要

Abstract page for arXiv paper 2609.09203: OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows

AI 摘要

arXiv论文提出OpenDiscoveryTrace,一个包含558条AI科学智能体完整轨迹的公开数据集,覆盖药物发现、材料科学、基因组学等124个科学任务和7个模型。每条轨迹按步骤记录思想、工具调用、观察、错误等9个字段。初步分析发现,过程轨迹能揭示仅看输出无法发现的模型行为差异。论文还定义五项基准任务,数据集与代码以CC BY 4.0公开。

AI 问答

OpenDiscoveryTrace数据集包含什么?

包含558条完整的AI科学智能体轨迹,每条轨迹按步骤记录9个字段,包括思想、工具调用、观察、错误、修正触发和自报置信度等。覆盖124个科学任务,涉及药物发现、材料科学、基因组学和科学文献分析,涵盖7个模型。

该研究的初步分析发现了什么?

对363条经LLM评判的轨迹分析发现,过程轨迹能揭示仅看输出无法发现的行为差异:三个前沿模型成功率相近(84–89%),但Claude Opus 4.6的错误数比GPT-5.4多30倍,且错误类型不同。

数据集和基准如何获取?

数据集、轨迹模式、智能体框架和基准定义以CC BY 4.0公开,代码在GitHub,数据集在Hugging Face。该工作在ICML 2026 AI for Science Workshop获最佳数据集奖。

打开原文

更多资讯

电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下量子位 · 09/16 10:27牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04美国加密新规又黄了金色财经 · 09/16 20:21OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38清晰法案投票失败 后续还有机会吗?金色财经 · 09/16 14:34CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27让 AI 补货,但不让它算库存——LangGraph 在生鲜补货的落地实践人人都是产品经理 · 09/15 10:55手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品雷峰网 · 09/15 23:07Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了人人都是产品经理 · 09/16 17:22Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:53量子位2026人工智能年度榜单,正式启动!量子位 · 09/16 12:16从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43一款在浏览器里运行、部署在自己服务器上的 SQL 客户端Solidot · 09/15 16:43OpenAI万亿IPO推迟背后 四本账与三条投资路径金色财经 · 09/16 11:27被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大雷峰网 · 09/16 18:33实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人雷峰网 · 09/15 15:52iOS 27 正式版体验:Siri AI 终于开窍了,老 iPhone 升级也有新东西爱范儿 / APPSO · 09/15 13:00从”边卖边补”到”准备好再卖”:产品商品化的四步闭环人人都是产品经理 · 09/15 14:11高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会36氪 · 09/15 18:08