Hugging Face Blog 发布于 08/25 19:39

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

(翻译)量化感知修复:性能超越全精度原版的压缩 4 比特模型

查看原文

资讯摘要

A Blog post by Multiverse Computing on Hugging Face

AI 摘要

Multiverse Computing提出量化感知修复(QAH)方法,用于恢复经结构压缩和4比特量化的大模型。它直接以原始未压缩模型为教师,通过KL散度蒸馏学生模型,而非从已恢复的检查点蒸馏。在将GPT-OSS 120B压缩至60B并量化为MXFP4后,模型在9项基准中7项超过自身bfloat16版本,且训练更快、更稳定,显著降低部署成本。

AI 问答

QAH 与常见的 QAT 有何不同?

QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。

QAH 模型在哪些基准上超过了原版?

在将 GPT-OSS 120B 压缩到 60B 并量化为 MXFP4 后,QAH 模型在 9 项基准的 7 项上超过自身 bfloat16 版本,还在 LiveCodeBench 上超过了 120B 教师模型。

QAH 的实际部署优势是什么?

4 比特 QAH 模型的权重内存约为 bfloat16 版本的 1/4,参数为教师的 1/2,可在更小硬件上运行;同时无需像 QAT 那样严格早停,训练充分后也能安全部署。

打开原文

更多资讯

实测一个月,我把手机里 20 多个常用 App 全删了,只留了一个豆包工作人人都是产品经理 · 10/10 17:33Nano Banana 2.1 九种实战用法:从多图一致性到"养图",附完整提示词开源中国 · 10/10 14:20金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE金色财经 · 10/10 21:56Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱InfoQ 中文 · 10/10 01:10海航控股旗下北京新华顺航商贸公司增资至22亿36氪 · 10/10 16:30新款理想 i6 六项升级公布,旗舰配置下放,要做「全球爆款」!爱范儿 / APPSO · 10/09 18:06.NET地理空间数据格式解析库升级V26.8.15.2开源中国 · 10/10 10:10近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重金色财经 · 10/10 15:25我国成功发射卫星互联网低轨27组卫星36氪 · 10/10 09:14前8个月我国软件业务收入超10万亿元36氪 · 10/10 11:20私钥没泄露 近3.9亿美元怎么被转走的?金色财经 · 10/10 19:45多部门:汽车生产企业不得作虚假、夸大或引人误解的宣传36氪 · 10/10 17:25AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启InfoQ 中文 · 10/10 00:59这届 IROS 2026 上,具身学术与产业边界正在消融雷峰网 · 10/10 11:40纯炒作?那为什么只有 Muse 爆了人人都是产品经理 · 10/10 10:13独家丨华为云销售组织大调整,将实行大区制雷峰网 · 10/10 15:25QuotaPanel v0.2.0 点开菜单栏就看到额度,MiMo 额度来源上线开源中国 · 10/10 18:34人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制36氪 · 10/10 11:51OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的InfoQ 中文 · 10/10 01:24人社部:将研究出台服务业发展促就业文件,扩大服务业就业总量36氪 · 10/10 10:228点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能36氪 · 10/10 08:04三峡水运新通道葛洲坝航运扩能主体工程开工36氪 · 10/10 10:58AI灾难或将发生?Anthropic、OpenAI推演最坏情景金色财经 · 10/10 13:382026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕雷峰网 · 10/10 11:08Citrini:区块链终于迎来它的时刻 怎么选择投资组合金色财经 · 10/09 18:34Claude、GPT“跨界”做视频,Seedance们的护城河还牢吗?人人都是产品经理 · 10/10 16:42北京:增加人工智能手机和电脑、智能机器人等新一代智能终端产品有效供给36氪 · 10/10 14:13纳芯微推出小型化封装的数字隔离器和隔离接口36氪 · 10/10 10:29:fire::fire:开源接口平台v6.1发布,支持数据插件开源中国 · 10/10 09:51诺贝尔和平奖授予了南非女法官 Navi PillaySolidot · 10/09 18:58