QAH 与常见的 QAT 有何不同?
QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。
(翻译)量化感知修复:性能超越全精度原版的压缩 4 比特模型

A Blog post by Multiverse Computing on Hugging Face
Multiverse Computing提出量化感知修复(QAH)方法,用于恢复经结构压缩和4比特量化的大模型。它直接以原始未压缩模型为教师,通过KL散度蒸馏学生模型,而非从已恢复的检查点蒸馏。在将GPT-OSS 120B压缩至60B并量化为MXFP4后,模型在9项基准中7项超过自身bfloat16版本,且训练更快、更稳定,显著降低部署成本。
QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。
在将 GPT-OSS 120B 压缩到 60B 并量化为 MXFP4 后,QAH 模型在 9 项基准的 7 项上超过自身 bfloat16 版本,还在 LiveCodeBench 上超过了 120B 教师模型。
4 比特 QAH 模型的权重内存约为 bfloat16 版本的 1/4,参数为教师的 1/2,可在更小硬件上运行;同时无需像 QAT 那样严格早停,训练充分后也能安全部署。
金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE
Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱海航控股旗下北京新华顺航商贸公司增资至22亿
新款理想 i6 六项升级公布,旗舰配置下放,要做「全球爆款」!.NET地理空间数据格式解析库升级V26.8.15.2
近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重我国成功发射卫星互联网低轨27组卫星前8个月我国软件业务收入超10万亿元
私钥没泄露 近3.9亿美元怎么被转走的?多部门:汽车生产企业不得作虚假、夸大或引人误解的宣传
AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启这届 IROS 2026 上,具身学术与产业边界正在消融纯炒作?那为什么只有 Muse 爆了独家丨华为云销售组织大调整,将实行大区制QuotaPanel v0.2.0 点开菜单栏就看到额度,MiMo 额度来源上线人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制
OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的人社部:将研究出台服务业发展促就业文件,扩大服务业就业总量8点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能三峡水运新通道葛洲坝航运扩能主体工程开工
AI灾难或将发生?Anthropic、OpenAI推演最坏情景2026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕
Citrini:区块链终于迎来它的时刻 怎么选择投资组合Claude、GPT“跨界”做视频,Seedance们的护城河还牢吗?北京:增加人工智能手机和电脑、智能机器人等新一代智能终端产品有效供给纳芯微推出小型化封装的数字隔离器和隔离接口:fire::fire:开源接口平台v6.1发布,支持数据插件诺贝尔和平奖授予了南非女法官 Navi Pillay