什么是循环状态写回(recurrent-state write-back)?
指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。
(翻译)当量化破坏记忆:低精度时间推理中的循环状态写回
Abstract page for arXiv paper 2609.04490: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
该论文研究低精度循环推理中量化状态存储的影响,提出“循环状态写回”概念。针对荧光寿命成像的GRU模型,固定权重下用4比特状态存储替代连续传播,使τ1和τ2误差增加约70倍和300倍;误差反馈、残差记忆和方向记忆可在不重训时恢复精度。LSTM实验重现该现象,且细胞状态比隐藏状态对量化更敏感,说明状态存储接口是量化循环推理设计的关键。
指循环网络低精度推理中存储量化状态并在下一步返回时采用的规则;该规则会影响后续计算。
在固定模型中,确定性4比特状态存储使短寿命分量τ1和长寿命分量τ2的估计误差分别增加约70倍和300倍。
误差反馈、残差记忆和方向记忆可以携带被抑制更新的信息跨时间传递,从而恢复精度。
Meta 打造“组织第二大脑”智能体的设计思路Mistral 与 Mozilla 合作推出 Firefox Smart Window
美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品
AI没有泡沫 只有割裂美国军方首次证实在太空部署了武器
在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会西门子不造机器人,为什么机器人进厂的故事里总有它?
亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别
豆包 2.1 Pro模型更新,已接入豆包工作
CLARITY的失败 跟加密行业好坏没啥关系
不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会Windows 11 的 9 月例行安全更新再次引发了大量故障
豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招
具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性
大促GMV猛涨500%:激光雕刻设备靠"创意落地"出海东南亚
奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉
字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入
Opus 5.2深夜上线 RSI真来了?
比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代
19.98 万元起,吉利银河战舰 700 开启预售,最高 1129 匹马力,还有三电机四驱
开学季 | 学生理财的三条建议,学生党也可以一样理财量子位2026人工智能年度榜单,正式启动!首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编
New insights from Google’s AI & Economy ATLAS
OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成Rust
百度做了一堆AI产品,却没有一个能代表百度?