Hugging Face Blog 发布于 08/13 08:00

What We Learned by Reproducing 2,200 papers from ICML

(翻译)我们通过复现 2,200 篇 ICML 论文学到了什么

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

Hugging Face 组织社区黑客松复现 ICML 2026 论文。1200多名参与者用AI编程代理发布6816份复现日志,覆盖2226篇论文。51%被检论文至少一项主张获验证,23%出现证伪或争议,并发现多项证明缺陷与评估偏差。文章讨论了AI代理科研中人类的角色。

AI 问答

这次 ICML 论文复现黑客松的规模如何?

超过1200名社区成员参加,19天内发布6816份复现日志,尝试复现2226篇论文,占大会论文总数的34%。

复现结果中,有多少论文被完全验证?

266篇论文的所有主张都被验证,另有632篇部分复现但没有被证伪;整体上51%的被检论文至少有一项主张获得验证。

根据文章,为什么人类仍然在论文审查中有作用?

因为纯代理执行存在局限,比如会陷入局部循环、误解规模相关行为,甚至基于单位错误构建证伪结论;关键审查仍需要人类进行对抗性验证。

打开原文

更多资讯

特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingSolidot · 10/10 16:52停产一年,宝马带着 iX4 重回溜背市场,海外售价 53 万元起爱范儿 / APPSO · 10/09 18:44OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的InfoQ 中文 · 10/10 01:24纯炒作?那为什么只有 Muse 爆了人人都是产品经理 · 10/10 10:13Deno 团队整体加入 Cloudflare:Deno runtime 一年后停止开发,Deno Deploy 六个月后关停开源中国 · 10/10 11:02当代码不再稀缺:大型工程 AI 狂欢下的确定性底座|QCon上海InfoQ 中文 · 10/10 18:00这三个摄影 App, 配得上你全新的 iPhone 18 Pro爱范儿 / APPSO · 10/10 12:12唐山港:1—9月预计累计完成货物吞吐量1.89亿吨,同比增长5.06%36氪 · 10/09 19:02深港“全天候通道”升级 新皇岗口岸5分钟便捷通关36氪 · 10/10 15:06中节能太阳能西藏首个“光伏+构网型储能”一体化项目落地那曲36氪 · 10/10 16:37以太坊主网和L2实现跨链原子交易金色财经 · 10/09 21:26人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体Solidot · 10/09 22:52江淮汽车增资至约22.54亿36氪 · 10/10 11:03Zentrola 1.1.0 发布:应用接入、成本核算与月度 Token 配额开源中国 · 10/09 19:50未经批准含有“金融控股”等字样 三家企业被要求整改36氪 · 10/10 16:44商务部:中方愿通过“绿色通道”机制,为稀土及永磁体对欧出口许可审批继续提供便利36氪 · 10/09 19:20尊界踏板断裂背后:百万豪车,每一个零件都得较真36氪 · 10/10 08:00OpenAI少赚200亿 倒霉却是英伟达金色财经 · 10/10 16:20商务部发布关于《对外承包工程管理条例(修订草案)》公开征求意见的通知36氪 · 10/10 15:32Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00我国成功发射卫星互联网低轨27组卫星36氪 · 10/10 09:14WorkBuddy国际版实测,双持打开新世界人人都是产品经理 · 10/10 15:27村田制作所子公司拟投90亿日元扩产MLCC陶瓷原料36氪 · 10/10 14:37@ 一下就能派活?谷歌推出办公 Agent,拥有独立账号、能够创建子 Agent,还能调用 ClaudeInfoQ 中文 · 10/10 01:15中国广核、宁德时代等在陆丰成立新核电公司,注册资本1亿36氪 · 10/10 15:24硬件钱包接连出事 审计得交给AI干了金色财经 · 10/10 10:13北京:增加人工智能手机和电脑、智能机器人等新一代智能终端产品有效供给36氪 · 10/10 14:13澳门大学预计未来5年学生规模逾2.2万人36氪 · 10/10 15:52招商蛇口:9月实现签约销售金额143.22亿元36氪 · 10/09 19:36为何大型犬衰老速度更快Solidot · 10/09 17:44