Hugging Face Blog 发布于 07/23 08:00

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

(翻译)将 Nunchaku 4-bit 扩散推理引入 Diffusers

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

Hugging Face 宣布 Diffusers 现支持 Nunchaku Lite 4-bit 扩散推理,可直接加载 SVDQuant 量化检查点,无需自定义流水线或本地 CUDA 编译。基于 W4A4 量化与融合内核,可在 Blackwell GPU 上实现约 30% 加速,结合 torch.compile 可达 1.8 倍,并最高节省约 50% 显存。

AI 问答

Nunchaku Lite 与原始 Nunchaku 引擎有什么不同?

Nunchaku Lite 是 Diffusers 中的新集成路径,无需自定义 pipeline 或单独推理引擎,可直接加载 Nunchaku 风格检查点;相比原始 Nunchaku 引擎,没有架构专属融合内核,速度提升约 30%,但显存节省水平相同。

NVFP4 精度检查点支持哪些 GPU?

NVFP4 检查点需要 NVIDIA Blackwell GPU(RTX 50 系列、RTX PRO 6000、B200)。更早的 GPU 应使用 INT4 变体。

使用 Nunchaku Lite 后还能配合哪些优化?

可配合 torch.compile、bitsandbytes NF4 量化文本编码器、CPU offload 等优化,进一步提升推理速度并降低显存占用。

打开原文

更多资讯

Codex 和 Claude Code 都跑偏了,前 OpenAI 研究员称 Jev 出现前 AI 世界是个悲剧InfoQ 中文 · 10/10 01:39Sui 难民:华语开发者为什么选择离开?金色财经 · 10/09 21:29Grayscale:低成本智能体AI将推高算力需求金色财经 · 10/10 08:48一次模型测评后,我开始重新理解WorkBuddy人人都是产品经理 · 10/10 11:14广东加速推进广韶高速改扩建工作,未来将缓解京港澳高速交通压力36氪 · 10/10 14:07名创优品:中国内地第三季度总GMV同比增长25-30%36氪 · 10/09 20:14本周看什么 | 最近值得一看的 11 部作品少数派 · 10/09 18:04App工厂,才是AI时代最被低估的生意人人都是产品经理 · 10/10 14:59阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!雷峰网 · 10/10 11:37泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:57北京:打造开放多元的国际化餐饮消费生态,吸引全球优质品牌集聚36氪 · 10/10 14:11澳门大学预计未来5年学生规模逾2.2万人36氪 · 10/10 15:52.NET多类型数据库通用库更新升级到V26.10.9开源中国 · 10/10 10:01超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12重新思考 Neobank 新兴银行金色财经 · 10/10 17:04OpenAI少赚200亿 倒霉却是英伟达金色财经 · 10/10 16:20土耳其禁止15岁以下儿童使用社交媒体���号36氪 · 10/10 17:13深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施36氪 · 10/09 19:57巴西起诉壳牌子公司,索赔上亿美元洪灾损失36氪 · 10/10 16:49我国成功发射卫星互联网低轨27组卫星36氪 · 10/10 09:14GMIF 2026:日均140万亿Token调用,正在改变SSD的能力与分工雷峰网 · 10/10 09:38AI时代,注意力经济终局,意图经济登场人人都是产品经理 · 10/10 15:01纳芯微推出小型化封装的数字隔离器和隔离接口36氪 · 10/10 10:29WorkBuddy国际版实测,双持打开新世界人人都是产品经理 · 10/10 15:27OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的InfoQ 中文 · 10/10 01:24大模型通用答案没有考虑每个人需求金色财经 · 10/10 09:02人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体Solidot · 10/09 22:52旅行成为个人 Agent 的高频场景,「豆包工作」把几十小时攻略浓缩成 PPT人人都是产品经理 · 10/10 17:29Agent 落地核心:真正决定上限的是 Harness 闭环,不是模型人人都是产品经理 · 10/10 10:34腾讯入股墨奇智能36氪 · 10/10 17:05