NVIDIA Technical Blog 发布于 08/13 02:23

Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72

(翻译)在 NVIDIA GB300 NVL72 上提供 Qwen3.8-2.4T-A95B(2.4T 参数模型)的可配置推理服务

查看原文

资讯摘要

Alibaba released the open weights for Qwen3.8-2.4T-A95B (Qwen3.8-Max), its largest open-weight model, bringing near-frontier capabilities to the open ecosystem.

AI 摘要

阿里巴巴开源了 Qwen3.8-2.4T-A95B(Qwen3.8-Max)权重,这是其最大的开源模型,总参数 2.4T,每个 token 激活 95B,采用细粒度 MoE 与全注意力/线性注意力混合架构,支持最长 100 万 token 上下文和 128K 输出。NVIDIA 与开源生态合作,在 GB300 NVL72 上实现每 GPU 每秒超 4K tokens、每用户每秒超 350 tokens 的 FP8 推理吞吐,并支持 SGLang、vLLM、NIM 等部署。

AI 问答

Qwen3.8-2.4T-A95B 的总参数量和每个 token 激活的参数量分别是多少?

该模型总参数量为 2.4T,每个 token 激活 95B 参数。

该模型在 NVIDIA GB300 NVL72 上实现了怎样的推理性能?

无需额外调优即可实现每 GPU 每秒超过 4K tokens、每用户每秒超过 350 tokens 的吞吐量(FP8 精度)。

开发者可以通过哪些推理栈或工具部署或微调该模型?

支持 SGLang、vLLM、NVIDIA Dynamo 和 NVIDIA NIM 等推理栈,也可使用 NVIDIA NeMo AutoModel 进行后训练微调。

打开原文

更多资讯

七部门:推动电商平台规则向优转型36氪 · 10/10 10:17对话赵长江:智界RX要成为华为的「Pura X」雷峰网 · 10/10 15:52大模型通用答案没有考虑每个人需求金色财经 · 10/10 09:02中国广核、宁德时代等在陆丰成立新核电公司,注册资本1亿36氪 · 10/10 15:24Cloudflare 收购 Deno,Deno 停止开发Solidot · 10/10 14:01纳芯微推出小型化封装的数字隔离器和隔离接口36氪 · 10/10 10:29黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”InfoQ 中文 · 10/10 01:53前8个月我国软件业务收入超10万亿元36氪 · 10/10 11:20C盘爆红救星!开源神器 MuRig v1.2.0 发布,支持自定义环境安装路径!开源中国 · 10/10 18:19日本美滨核电站3号机组反应堆重启36氪 · 10/10 09:28:fire::fire:开源接口平台v6.1发布,支持数据插件开源中国 · 10/10 09:51人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体Solidot · 10/09 22:52七部门:构建电商出海良好生态36氪 · 10/10 10:18阿里开始给AI算账了:用AI的钱,以后各业务线自己出人人都是产品经理 · 10/10 11:09这三个摄影 App, 配得上你全新的 iPhone 18 Pro爱范儿 / APPSO · 10/10 12:12以太坊主网和L2实现跨链原子交易金色财经 · 10/09 21:26广合科技:前三季度净利润同比预增100.33%至107.23%36氪 · 10/09 19:27公司是否有提价计划?五粮液:不存在固定的价格比值关系36氪 · 10/10 11:31Agent 落地核心:真正决定上限的是 Harness 闭环,不是模型人人都是产品经理 · 10/10 10:34机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗36氪 · 10/10 12:52OPC企业容易陷入的三个增长误区人人都是产品经理 · 10/10 15:27兰博基尼、保密协议 Ledger被盗事件疑点重重金色财经 · 10/10 15:34Galaxy:写在10/10崩盘一周年后 加密基本面持续向好金色财经 · 10/10 09:35森海 Momentum 5 真无线降噪耳机体验:升级无线传输与空间音频,它依然是那个正统 「森海味」爱范儿 / APPSO · 10/10 15:26隐私赛道最新进展:从隐私货币到私人金融账户金色财经 · 10/10 12:29Tiger Research:2026年三季度加密资产行业投资报告金色财经 · 10/09 18:01奇瑞汽车旗下合肥智能科技公司增资至1.68亿,增幅1580%36氪 · 10/10 14:25海航控股旗下北京新华顺航商贸公司增资至22亿36氪 · 10/10 16:30ModStartBlog v11.3.0 安全加固、体验优化,自动化测试更强大开源中国 · 10/10 18:23近期海外进出口传闻的政策限制对公司是否有影响? 天孚通信回应36氪 · 10/09 20:45