Nunchaku Lite 与原始 Nunchaku 引擎有什么不同?
Nunchaku Lite 是 Diffusers 中的新集成路径,无需自定义 pipeline 或单独推理引擎,可直接加载 Nunchaku 风格检查点;相比原始 Nunchaku 引擎,没有架构专属融合内核,速度提升约 30%,但显存节省水平相同。
(翻译)将 Nunchaku 4-bit 扩散推理引入 Diffusers
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Hugging Face 宣布 Diffusers 现支持 Nunchaku Lite 4-bit 扩散推理,可直接加载 SVDQuant 量化检查点,无需自定义流水线或本地 CUDA 编译。基于 W4A4 量化与融合内核,可在 Blackwell GPU 上实现约 30% 加速,结合 torch.compile 可达 1.8 倍,并最高节省约 50% 显存。
Nunchaku Lite 是 Diffusers 中的新集成路径,无需自定义 pipeline 或单独推理引擎,可直接加载 Nunchaku 风格检查点;相比原始 Nunchaku 引擎,没有架构专属融合内核,速度提升约 30%,但显存节省水平相同。
NVFP4 检查点需要 NVIDIA Blackwell GPU(RTX 50 系列、RTX PRO 6000、B200)。更早的 GPU 应使用 INT4 变体。
可配合 torch.compile、bitsandbytes NF4 量化文本编码器、CPU offload 等优化,进一步提升推理速度并降低显存占用。
Codex 和 Claude Code 都跑偏了,前 OpenAI 研究员称 Jev 出现前 AI 世界是个悲剧
Sui 难民:华语开发者为什么选择离开?
Grayscale:低成本智能体AI将推高算力需求一次模型测评后,我开始重新理解WorkBuddy广东加速推进广韶高速改扩建工作,未来将缓解京港澳高速交通压力名创优品:中国内地第三季度总GMV同比增长25-30%本周看什么 | 最近值得一看的 11 部作品App工厂,才是AI时代最被低估的生意阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!泰国证交所修订卖空和高频交易规则北京:打造开放多元的国际化餐饮消费生态,吸引全球优质品牌集聚澳门大学预计未来5年学生规模逾2.2万人.NET多类型数据库通用库更新升级到V26.10.9超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务
重新思考 Neobank 新兴银行
OpenAI少赚200亿 倒霉却是英伟达土耳其禁止15岁以下儿童使用社交媒体���号深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施巴西起诉壳牌子公司,索赔上亿美元洪灾损失我国成功发射卫星互联网低轨27组卫星GMIF 2026:日均140万亿Token调用,正在改变SSD的能力与分工AI时代,注意力经济终局,意图经济登场纳芯微推出小型化封装的数字隔离器和隔离接口WorkBuddy国际版实测,双持打开新世界
OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的
大模型通用答案没有考虑每个人需求人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体旅行成为个人 Agent 的高频场景,「豆包工作」把几十小时攻略浓缩成 PPTAgent 落地核心:真正决定上限的是 Harness 闭环,不是模型腾讯入股墨奇智能