arXiv cs.AI 发布于 10/09 12:00

OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences

(翻译)OpenProblemBench:在基础理论科学开放问题上对 AI 进行基准测试

查看原文

资讯摘要

Abstract page for arXiv paper 2610.11118: OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences

AI 摘要

arXiv 论文介绍 OpenProblemBench,一个包含82个数学和理论物理未解决问题的基准,用于评估 AI 在既有知识之外解决科学问题的能力。论文称 GPT-6-Astra 在七种配置中平均判定解决率最高,为14.0%。

AI 问答

OpenProblemBench 是什么?

它是一个包含82个来自数学和理论物理文献的未解决问题的基准,用于评估 AI 在基础理论科学问题上的能力。

该基准如何评估提交结果?

每个问题提供研究背景、假设和既有进展,四个评估模型独立判断提交内容的正确性、完整性和进展程度。

论文中表现最好的模型配置是什么?

摘要称,在七种被评估配置中,GPT-6-Astra 的平均判定解决率最高,为14.0%。

打开原文

更多资讯

定义了软件工程的计算机科学家 Margaret Hamilton 去世,享年 90 岁Solidot · 10/09 14:41和过往的捷豹说再见吧:Type 01 发布,用千匹动力迎接一批新买家爱范儿 / APPSO · 10/08 18:4136氪首发丨航天老兵创业做高分辨率遥感相机,连续完成多轮次近亿元融资36氪 · 10/09 10:41Whose Memory Is It? Scope-Aware Commit Rules for Long-Term LLM MemoryarXiv cs.AI · 10/08 12:00ARTEX 从 GitHub 下架Solidot · 10/09 16:23把带权益的美股放上Solana:这条合规路径能走多远?金色财经 · 10/09 14:47Can AI Agents Make Open-Ended Scientific Discovery? Evidence from StationarXiv cs.AI · 10/08 12:00已知最早的游泳哺乳动物Solidot · 10/08 21:40微软携英伟达发布Surface新机 推出“龙虾”个人助手金色财经 · 10/08 09:51Distillation for Incrimination and Distillation for CapabilitiesarXiv cs.AI · 10/09 12:00Building Reliable Data Analytics Agents: Lessons from the KDD CupNVIDIA Technical Blog · 10/09 02:30L2关停潮来袭:Blast、Abstract等明星项目为何退场金色财经 · 10/08 16:45文明级迁移风控层|长周期不可逆的文明扰动识别雷峰网 · 10/09 12:28加密货币如何从根本上重塑金融体系金色财经 · 10/08 14:58Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMsarXiv cs.AI · 10/09 12:00Accelerating Floating-Point Satisfiability Solving via Gradient NormalizationarXiv cs.AI · 10/08 12:00关于 AI Agent、信任与决策权的 100 条人人都是产品经理 · 10/08 14:14花旗:美联储“鸽派意外”正酝酿 核心通胀2%是关键金色财经 · 10/09 13:38阿里开源了个神器,给WorkBuddy、豆包挑毛病人人都是产品经理 · 10/08 16:19巨资拿下低频频段 SpaceX进军手机运营商金色财经 · 10/09 10:22开源大模型推理卷上新高度,GLM-5.3 在英伟达 GB200 上飙出 100 tok/s人人都是产品经理 · 10/08 09:30投资人:AI 下一轮机会在能源 Crypto正在寻找新价值金色财经 · 10/08 14:10以太坊大区块时代将至:Glamsterdam 通过测试网首考金色财经 · 10/09 17:38医疗大模型在院内场景的落地路径与产品化难点人人都是产品经理 · 10/09 12:05企业已经有银企直联了,为什么还要再建司库?人人都是产品经理 · 10/08 10:58“AI央行”英伟达的“千亿资本局”金色财经 · 10/08 10:22Abstract 关停警示:拥有资产不等于能转出金色财经 · 10/09 12:15至简动力冯宗宝:在间隙仅 0.5 毫米的真实场景下,实现机器人造机器人 | IROS 2026雷峰网 · 10/08 14:37我所知道的张磊:一场MSRA赛马与半个中国AI江湖雷峰网 · 10/08 13:53OpenAI 针对欧洲用户在 ChatGPT 和 Codex 嵌入水印Solidot · 10/08 14:54