arXiv cs.AI 发布于 08/31 12:00

Thinking Costs Tokens: When More Structure is Worth the Price

(翻译)思考消耗令牌:更多结构何时物有所值

查看原文

资讯摘要

Abstract page for arXiv paper 2608.27506: Thinking Costs Tokens: When More Structure is Worth the Price

AI 摘要

本文研究在token预算受限时,为语言模型添加规划、验证和修复等推理结构的影响。作者在FinQA和TAT-QA金融推理任务上,用GPT-5.4 mini对比了单次调用与带验证搜索的架构,覆盖250至42000个输出等效token的14个预算档位。结果显示,在1000至1500 token之间存在交叉点:低于该阈值时,计划开销反而损害性能;高于该阈值后,验证搜索架构持续优于单次调用,最高准确率约44%对40%。

AI 问答

在什么情况下,给语言模型增加验证和搜索结构反而会降低性能?

当可用token预算低于约1000至1500个输出等效token时,计划和验证的额外开销会占用答案空间,导致性能不如单次模型调用,甚至接近0%。

该研究在什么数据集和模型上进行了实验?

研究使用GPT-5.4 mini在FinQA和TAT-QA两个金融推理数据集上进行了实验,共测试14个预算档位和28000个完成单元。

打开原文

更多资讯

现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25AI攻克世纪数学难题,顶尖数学家抱团抵制,而他们担心的并不是丢了工作果壳网 · 09/15 19:15比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21算力、机器人、仿真与资本,谁在定义物理AI下一个十年?|第十届全球ICT峰会回顾36氪 · 09/15 17:47让 AI 补货,但不让它算库存——LangGraph 在生鲜补货的落地实践人人都是产品经理 · 09/15 10:55月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44日本百岁老人人数首次超过 10 万人Solidot · 09/16 13:35旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20理想落幕:加密行业为何集体走向同质化?金色财经 · 09/15 18:31从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:42XCancel 服务再次下线Solidot · 09/15 14:20碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35大促GMV猛涨500%:激光雕刻设备靠"创意落地"出海东南亚雷峰网 · 09/16 15:57展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14圆桌:CVC的全面崛起 | 36氪 2026产业未来大会36氪 · 09/15 16:59亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24协同办公进入Agent时代,飞书+豆包工作跑在了最前面量子位 · 09/16 15:46抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影量子位 · 09/15 17:58阶跃发布 StepAudio 3 ,多款语音模型登顶 Artificial Analysis 全球榜单雷峰网 · 09/15 17:50圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39