arXiv cs.AI 发布于 10/08 12:00

Enabling Dynamic Computation in Looped LMs

(翻译)在循环式语言模型中启用动态计算

查看原文

资讯摘要

Abstract page for arXiv paper 2610.09013: Enabling Dynamic Computation in Looped LMs

AI 摘要

这篇 arXiv 论文提出一种“best-available”KV 缓存策略,用于循环式语言模型,在保持全深度性能的同时最多减少约30%的 FLOPs 和 KV 内存,并改进早退先验目标,使不同难度 token 能以异构深度退出。

AI 问答

论文主要解决循环式语言模型的什么问题?

论文指出现有 Ouro 等循环式语言模型虽具备动态计算设想,但因每层循环都需要独立 KV-cache,实际仍需执行全部循环计算。

作者提出的核心方法是什么?

作者提出“best-available”KV 缓存策略,并让模型训练时感知该缓存策略,以改善性能与计算效率。

该方法带来了哪些效果?

论文称该方法在保持全深度性能的同时,最多可减少约30%的 FLOPs 和 KV 内存,并使 token 根据难度在不同深度退出。

打开原文

更多资讯

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation SystemarXiv cs.AI · 10/08 12:00关于 AI Agent、信任与决策权的 100 条人人都是产品经理 · 10/08 14:14华尔街不打烊:即将开启24小时工作制金色财经 · 10/08 15:31Learning to Report Unsafe Tasks in a Multi-Agent GamearXiv cs.AI · 10/08 12:00美国男子因利用 AI 生成音乐和机器人账号欺诈播放被判 18 个月Solidot · 10/08 21:19用Grok Bot搭建5个跨境电商数字员工,实现自动化经营(附部署教程)人人都是产品经理 · 10/08 09:09跨域顶层监管层|监管者自身的跨域审计规则雷峰网 · 10/09 12:27美债收益率飙升 AI股为何还能继续上涨?金色财经 · 10/09 13:43链上永续合约:设计取舍与增长催化剂的演变金色财经 · 10/09 16:22Bitwise:读懂“为AI而生的区块链”NEAR金色财经 · 10/08 09:21On the Clock: Towards Punctual and Productive Time-Budgeted AI AgentsarXiv cs.AI · 10/09 12:00The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission GatearXiv cs.AI · 10/09 12:00灰度:加密ETF 正告别“只有比特币和以太坊”的阶段金色财经 · 10/08 09:44高盛:戴尔交付比同业快4到6周 内存是 2027 年瓶颈金色财经 · 10/09 12:26融到56亿后,干啥?人人都是产品经理 · 10/09 14:32OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical SciencesarXiv cs.AI · 10/09 12:00新款理想 i6 六项升级公布,旗舰配置下放,要做「全球爆款」!爱范儿 / APPSO · 10/09 18:06Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal ModelsarXiv cs.AI · 10/08 12:00An Empirical Study of Agent Skills' Downstream UtilityarXiv cs.AI · 10/08 12:00Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System InteractionarXiv cs.AI · 10/09 12:00载人eVTOL获TC受理,「齐飞航空」完成近亿元战略轮融资|36氪首发36氪 · 10/09 15:35对话框不是Personal Agent的终局:Eazo让图形界面属于每个人人人都是产品经理 · 10/09 09:14打不过就投降,保时捷裁员9000人,回归燃油车主线量子位 · 10/08 15:10微软和 a16z 投了一家 AI 催收公司人人都是产品经理 · 10/08 14:40早报|苹果定档10月13日发布新品/三星手机业务或减产30%/保时捷计划削减9000个岗位爱范儿 / APPSO · 10/09 08:51代码造世界,扩散绘现实:AgentGarten让智能体在实时试炼场中边玩边进化量子位 · 10/09 10:03近万天猫品牌进入东南亚,Lazada把细分需求变成增长机会雷峰网 · 10/09 12:09AI要钱、欧美政府也要钱:全球债券风暴才刚刚开始金色财经 · 10/09 13:05梁文锋的500亿:投向一座北方小城金色财经 · 10/08 19:24让AI走进真实产线,汇川技术2026工博会看点前瞻36氪 · 10/08 18:51