NVIDIA Technical Blog 发布于 09/28 09:00

How NVIDIA DSX MaxLPS Maximizes AI Factory Throughput and Efficiency

(翻译)NVIDIA DSX MaxLPS 如何最大化 AI 工厂吞吐量与效率

查看原文

资讯摘要

Every unused watt is capacity left on the table. AI factories are typically provisioned for the unlikely moment when every GPU reaches peak power…

AI 摘要

NVIDIA 技术博客介绍 DSX MaxLPS 动态功耗分配方案,通过策略化电力共享,在同一电力预算下可多部署最多 40% 的 GPU。文章基于与 Nscale 在冰岛凯夫拉维克数据中心的联合评估,使用 Kimi K2.5 与 GB300 NVL72,静态基线 140 GPU 对比 MaxLPS 192 GPU,聚合吞吐量提升 49.2%,每瓦吞吐量提升 49.2%,但 P99 首 token 延迟增加 17%,并给出分阶段验证方法。

AI 问答

DSX MaxLPS 在评估中实现了多少吞吐量提升?

归一化聚合吞吐量从 1.085M tokens/s 提升到 1.618M tokens/s,增幅 49.2%;由于提供的电力预算固定为 264.4 kW,每瓦吞吐量也提升 49.2%。

评估使用了什么工作负载和硬件配置?

使用 NVIDIA Blackwell Ultra GPU、Kimi K2.5 模型(FP4 精度)、NVIDIA Dynamo 和 TensorRT LLM,输入序列 8K、输出序列 1K,运行在 Nscale 冰岛数据中心的 GB300 NVL72 系统上。静态基线为 140 GPU,DSX MaxLPS 配置为 192 GPU。

使用 DSX MaxLPS 有哪些需要关注的权衡?

中位数和 P75 延迟保持在基线 5% 以内,但 P99 首 token 延迟从 15.7 秒增加 17%。此外,可用余量取决于工作负载组合,且动态分配依赖可靠的遥测数据。部署前需要分阶段验证。

打开原文

更多资讯

字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节人人都是产品经理 · 10/10 14:41商务部:中欧双方将继续探讨在世贸组织规则框架下,降低部分商品关税的可能性36氪 · 10/09 19:20硬件钱包接连出事 审计得交给AI干了金色财经 · 10/10 10:13ModStartCMS v10.3.0 安全加固、体验优化,自动化测试更强大。开源中国 · 10/10 18:23国内金饰价格集体上涨36氪 · 10/10 10:49Starknet考虑从L2转向L1 量子计算与AI成关键推手金色财经 · 10/09 17:23人社部:截至9月底三项社会保险基金累计结余11.2万亿元36氪 · 10/10 10:21内蒙古:全区所有水泥熟料生产线11月起实施共5个月实行错峰生产36氪 · 10/10 17:52苹果iPhone Duo加单30%,iPhone 18 Pro系列总订单量未变36氪 · 10/10 14:13Cloudflare 公共 DNS 服务不需屏蔽盗版网站域名Solidot · 10/10 15:30什么样的代币化美股才是你需要的?金色财经 · 10/10 22:27梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25村田制作所子公司拟投90亿日元扩产MLCC陶瓷原料36氪 · 10/10 14:37AI数据中心用电狂飙,美国密西西比州发出电力预警36氪 · 10/10 12:11黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”InfoQ 中文 · 10/10 01:53Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱InfoQ 中文 · 10/10 01:10招商蛇口:9月实现签约销售金额143.22亿元36氪 · 10/09 19:36阿斯麦将对韩国零部件涨价10%36氪 · 10/10 12:23反对密码学末日论金色财经 · 10/10 20:303.76亿人集体抛弃,保健品跌出银发消费前三,精准营养成“香饽饽”果壳网 · 10/10 16:15美债抛售红灯:期限溢价破十年高位 脱离美联储路径金色财经 · 10/10 08:17日本美滨核电站3号机组反应堆重启36氪 · 10/10 09:28华为 Mate 90 Pro Max 深度体验:Mate 系列新高峰爱范儿 / APPSO · 10/10 18:30商务部欧洲司负责人解读中欧贸易投资磋商机制第二次例会成果36氪 · 10/10 13:35奇瑞汽车旗下合肥智能科技公司增资至1.68亿,增幅1580%36氪 · 10/10 14:25加强汽车产品创新设计等方面管理,四部门征求意见36氪 · 10/10 17:09谷歌Gemini 4新模型泄露 内测评价:这不Opus 5.5吗金色财经 · 10/10 13:18深港“全天候通道”升级 新皇岗口岸5分钟便捷通关36氪 · 10/10 15:06新思科技与亚马逊达成多年期定制芯片战略IP协议36氪 · 10/10 13:41紧急调研刹车踏板总成材质!曝中汽中心向各大车企发问卷;山姆拟限制亲友卡绑定,打击倒卖副卡;又涨1000元!华为和小米同日上调手机售价雷峰网 · 10/10 08:29