arXiv cs.AI 发布于 09/07 12:00

When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference

(翻译)当量化破坏记忆:低精度时间推理中的循环状态写回

查看原文

资讯摘要

Abstract page for arXiv paper 2609.04490: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference

AI 摘要

该论文研究低精度循环推理中量化状态存储的影响,提出“循环状态写回”概念。针对荧光寿命成像的GRU模型,固定权重下用4比特状态存储替代连续传播,使τ1和τ2误差增加约70倍和300倍;误差反馈、残差记忆和方向记忆可在不重训时恢复精度。LSTM实验重现该现象,且细胞状态比隐藏状态对量化更敏感,说明状态存储接口是量化循环推理设计的关键。

AI 问答

什么是循环状态写回(recurrent-state write-back)?

指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。

论文中4比特状态存储导致GRU模型参数估计误差增加多少?

在固定模型中,确定性4比特状态存储使短寿命分量τ1和长寿命分量τ2的估计误差分别增加约70倍和300倍。

不重新训练的情况下,哪些机制能恢复精度?

误差反馈、残差记忆和方向记忆可以携带被抑制更新的信息跨时间传递,从而恢复精度。

打开原文

更多资讯

Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:53美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品雷峰网 · 09/15 23:07AI没有泡沫 只有割裂金色财经 · 09/15 21:38美国军方首次证实在太空部署了武器Solidot · 09/15 16:07在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训InfoQ 中文 · 09/15 17:04圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会36氪 · 09/15 17:56西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01CLARITY的失败 跟加密行业好坏没啥关系金色财经 · 09/16 14:11不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会36氪 · 09/15 18:00Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性少数派 · 09/16 15:00大促GMV猛涨500%:激光雕刻设备靠"创意落地"出海东南亚雷峰网 · 09/16 15:57奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:1819.98 万元起,吉利银河战舰 700 开启预售,最高 1129 匹马力,还有三电机四驱爱范儿 / APPSO · 09/15 21:04开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10量子位2026人工智能年度榜单,正式启动!量子位 · 09/16 12:16首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编量子位 · 09/15 15:48New insights from Google’s AI & Economy ATLASGoogle AI Blog · 09/15 21:00OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31