量子位 发布于 10/08 17:28

ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?

查看原文

资讯摘要

PaperBenchX为代表的基准或许能更好地衡量AI的科研实力

AI 摘要

文章介绍UniPat AI发布的PaperBenchX基准,用93个真实论文复现任务评测前沿模型与Agent。结果显示GPT-6 Astra完整复现率仅13.98%,说明当前AI虽在数学问题上表现突出,但在跨学科、端到端、可验证的科学复现方面仍存在明显差距。

AI 问答

PaperBenchX主要评测AI的什么能力?

它评测AI Agent能否在真实科学软件和容器化环境中,端到端复现已发表论文的部分结果,并生成可重跑、可验证的科学证据。

文章提到GPT-6 Astra在PaperBenchX中的表现如何?

在93个论文复现任务中,表现最强的GPT-6 Astra完整复现率为13.98%,说明完整可靠复现仍然较少。

PaperBenchX与普通代码评测有什么不同?

它不只看代码是否运行或数字是否接近,而是删除输出、断网重跑,并要求结果能追溯到完整计算过程和科学证据链。

打开原文

更多资讯

美光台工厂工会获得罢工权,支持率 99%Solidot · 10/09 15:13Can AI Agents Make Open-Ended Scientific Discovery? Evidence from StationarXiv cs.AI · 10/08 12:007个月融4亿美刀背后,站着代季峰8人团雷峰网 · 10/08 13:49ARTEX 从 GitHub 下架Solidot · 10/09 16:23美国男子因利用 AI 生成音乐和机器人账号欺诈播放被判 18 个月Solidot · 10/08 21:19Share GPU clusters across teams with isolation and fairness using Amazon SageMaker HyperPodAWS Machine Learning Blog · 10/09 00:20美股上涨的“好日子”还能撑多久?金色财经 · 10/08 10:41硬氪首发丨AI眼镜企业天使轮融资数亿,已与线下数百家门店合作月发售数千台36氪 · 10/08 11:03openJiuwen发布并开源企业级AgentOS,加速智能体规模落地企业量子位 · 10/09 10:37Google 多个国家顶级域名被劫持Solidot · 10/08 18:31等 AI 干活太无聊?我给 DeepSeek Harness 写了个「合成大鲸鱼」,已开源人人都是产品经理 · 10/08 14:39梁文锋的500亿:投向一座北方小城金色财经 · 10/08 19:24产品经理职业选择:在一个岗位待两年,你是在成长还是在消耗?人人都是产品经理 · 10/08 10:56Sigma-Hunter: A Domain-Specific Language Model for Threat Hunting and Detection EngineeringarXiv cs.AI · 10/08 12:00App+1|所得即所见,更适合中文的字体预览工具:Anyway.Fonts少数派 · 10/09 10:08字节找到了DeepSeek时强时弱的原因量子位 · 10/09 15:11The Information调研:三分之一称AI回报是投入数倍金色财经 · 10/09 13:09AICon 北京 2026 议题征集启动:寻找把 AI 做进真实生产的人InfoQ 中文 · 10/08 19:08跨境汇款没有全球赢家:区域玩家捕获绝大部分价值金色财经 · 10/09 17:03实体生意精准获客四步方法论(底层逻辑+落地流程)人人都是产品经理 · 10/09 08:57谷歌为何押注RSI?人人都是产品经理 · 10/09 15:36Socio-Foundation: A Model for Generalizable Individual Behavior Simulation via Hierarchical Capability DistillationarXiv cs.AI · 10/08 12:00Pay-per-inference for AI agents: How BlockRun and Incarna use Amazon Bedrock AgentCore paymentsAWS Machine Learning Blog · 10/09 02:33定义了软件工程的计算机科学家 Margaret Hamilton 去世,享年 90 岁Solidot · 10/09 14:41我所知道的张磊:一场MSRA赛马与半个中国AI江湖雷峰网 · 10/08 13:53美股能抵押了:链上借贷的闭环还差几环金色财经 · 10/08 21:32How Fragile Is On-Device Language Model Safety? Localizing Safety-Critical Parameters for Sparse Fault AnalysisarXiv cs.AI · 10/08 12:00灰度:加密ETF 正告别“只有比特币和以太坊”的阶段金色财经 · 10/08 09:44OpenAI刚把多Agent做成产品,o1奠基人却说:1万个Agent解出世界级难题,多Agent贡献不到10%InfoQ 中文 · 10/08 22:11谷歌借助 AI 与差分模糊测试将 C 语言依赖库改写为 RustInfoQ 中文 · 10/09 01:12