OpenDiscoveryTrace数据集包含什么?
包含558条完整的AI科学智能体轨迹,每条轨迹按步骤记录9个字段,包括思想、工具调用、观察、错误、修正触发和自报置信度等。覆盖124个科学任务,涉及药物发现、材料科学、基因组学和科学文献分析,涵盖7个模型。
(翻译)OpenDiscoveryTrace:评估AI科学家工作流的过程轨迹
Abstract page for arXiv paper 2609.09203: OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows
arXiv论文提出OpenDiscoveryTrace,一个包含558条AI科学智能体完整轨迹的公开数据集,覆盖药物发现、材料科学、基因组学等124个科学任务和7个模型。每条轨迹按步骤记录思想、工具调用、观察、错误等9个字段。初步分析发现,过程轨迹能揭示仅看输出无法发现的模型行为差异。论文还定义五项基准任务,数据集与代码以CC BY 4.0公开。
包含558条完整的AI科学智能体轨迹,每条轨迹按步骤记录9个字段,包括思想、工具调用、观察、错误、修正触发和自报置信度等。覆盖124个科学任务,涉及药物发现、材料科学、基因组学和科学文献分析,涵盖7个模型。
对363条经LLM评判的轨迹分析发现,过程轨迹能揭示仅看输出无法发现的行为差异:三个前沿模型成功率相近(84–89%),但Claude Opus 4.6的错误数比GPT-5.4多30倍,且错误类型不同。
数据集、轨迹模式、智能体框架和基准定义以CC BY 4.0公开,代码在GitHub,数据集在Hugging Face。该工作在ICML 2026 AI for Science Workshop获最佳数据集奖。
电商对账的设计逻辑:四层核对,逐层下钻华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下
牛市的钱:是熊市里守出来的
美国加密新规又黄了
OpenAI 总裁:AGI 已经发生产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人
Building AI to accelerate science and improve lives
豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?西门子不造机器人,为什么机器人进厂的故事里总有它?
清晰法案投票失败 后续还有机会吗?
CoinEx宣布体面关停:值得肯定但不该神化产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎
让 AI 补货,但不让它算库存——LangGraph 在生鲜补货的落地实践手机替我跑了一整套流程!我就说了一句话,AI执行了100步
美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品Optimizing cost and latency with Amazon Bedrock prompt caching
想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了Mistral 与 Mozilla 合作推出 Firefox Smart Window量子位2026人工智能年度榜单,正式启动!
从担心AI失控 到AI造福人类:比尔盖茨怎么想一款在浏览器里运行、部署在自己服务器上的 SQL 客户端
OpenAI万亿IPO推迟背后 四本账与三条投资路径
被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人
iOS 27 正式版体验:Siri AI 终于开窍了,老 iPhone 升级也有新东西
从”边卖边补”到”准备好再卖”:产品商品化的四步闭环高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会