与 FIFO 相比,约束感知分配器在测试中最高将 GPU 利用率提升了多少?
在训练密集型场景中,利用率从 53.6% 提升到 87.0%,提升 33 个百分点。
(翻译)同一集群,利用率提升33个百分点:改变的是顺序

A Blog post by Dharma-AI on Hugging Face
本文介绍了一个约束感知的 GPU 分配器,并在相同硬件与工作负载下与 FIFO 调度器进行七场景基准测试。结果显示,GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。作者认为关键不是硬件,而是分配决策顺序:将实时推理需求视为动态曲线,并按优先级在全局时间范围内安排批处理作业。
在训练密集型场景中,利用率从 53.6% 提升到 87.0%,提升 33 个百分点。
它将实时推理需求视为随时间变化的曲线而非固定预留上限,在低谷期让批处理作业使用 GPU,并通过较高的实时需求未满足惩罚来保障可用性。
因为在 64 个 GPU、30 个任务的规模测试中,FIFO 与分配器的利用率和吞吐量相同,但分配器的优先级加权产出仍高出 15.9%。
大模型通用答案没有考虑每个人需求OPC企业容易陷入的三个增长误区Nano Banana 2.1 九种实战用法:从多图一致性到"养图",附完整提示词分享一个AI做视频提效10倍的方式
硬件钱包接连出事 审计得交给AI干了5 万 star 的 REA:把逆向工程变成 agent 的一项本地能力苹果iPhone Duo加单30%,iPhone 18 Pro系列总订单量未变不输出文本、只输出概率的 Jev —— 上线几周估值飙到 75 亿美元唐山港:1—9月预计累计完成货物吞吐量1.89亿吨,同比增长5.06%TRAE负责人石扬离职创业,联手前字节数据安全负责人傅越做 AI 办公,首轮估值 2 亿美元澳门大学预计未来5年学生规模逾2.2万人用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发AI产品经理到底要学哪些技术?传统PM不要把时间浪费在这3件事上小鹏集团当选联合国欧洲经济委员会自动驾驶新设工作组秘书长
什么样的代币化美股才是你需要的?
OpenAI少赚200亿 倒霉却是英伟达App+1|专注星空:让「少刷手机」这件事更愉悦一点
Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱大厂卷 Jarvis,Samantha却在恋爱影游里冒了头?.NET多类型数据库通用库更新升级到V26.10.9新模型密集发布,该怎么选?分享我的实测感受
Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起外交部副部长马朝旭同澳大利亚外交贸易部秘书长安思捷举行中澳外交部政治磋商商务部:中欧双方以符合世贸组织规则的方式就混动汽车贸易达成谅解旅行成为个人 Agent 的高频场景,「豆包工作」把几十小时攻略浓缩成 PPT人社部:“十五五”时期,每年将培养培训100万名高层次、急需紧缺技术人才
全球最大独立 AI 原生影视公司,开始打破工具与制片厂的边界功能是答案,问题是题目:AI 时代,产品经理唯一稀缺的产出Let's Encrypt 从 2027 年起切换到有效期为 64 天的证书超强厄尔尼诺已经形成