AWS Machine Learning Blog 发布于 08/29 00:20

Spreading the load: How Salesforce met Multi-AZ HA with SageMaker Inference Components

(翻译)分摊负载:Salesforce 如何借助 SageMaker Inference Components 满足多可用区高可用

查看原文

资讯摘要

Learn how Salesforce used Amazon SageMaker AI Inference Component placement (the SchedulingConfig parameter) to distribute model copies across multiple Availability Zones, meeting their Multi-AZ high availability compliance requirements without sacrificing the cost efficiency of multi-model co-hosti

AI 摘要

本文介绍 Salesforce 如何利用 Amazon SageMaker AI 推理组件新增的 SchedulingConfig 参数,在多个可用区间均匀分布模型副本,以满足 Multi-AZ 高可用合规要求,同时保留多模型共享 GPU 带来的成本优势。内容包括 SPREAD 与 BINPACK 策略、可用区平衡配置、扩缩容时的平衡保持、容量预留及监控建议。

AI 问答

SchedulingConfig 中的 AvailabilityZoneBalance 有什么作用?

它控制推理组件副本跨可用区的均衡分布,通过 MaxImbalance 设置任意两个可用区之间允许的最大副本数差异。

为什么高可用关键模型不能将 CopyCount 设为 1?

因为单个副本只能位于一个可用区,无法满足两个可用区的高可用合规要求。

SPREAD 和 BINPACK 有什么区别?

SPREAD 将副本尽可能分散到多台实例上以增强故障隔离;BINPACK 将副本集中到较少实例上以提高 GPU 利用率。

打开原文

更多资讯

当AI能解千禧难题,再次证明答案不再是门槛人人都是产品经理 · 09/15 09:44英伟达开始限制Claude使用了金色财经 · 09/15 12:37HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20New insights from Google’s AI & Economy ATLASGoogle AI Blog · 09/15 21:00产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:082nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26飞书与豆包工作合体后首亮相:Agent 能进群,还能帮你写周报、做PPTInfoQ 中文 · 09/16 02:37黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX ThorNVIDIA Technical Blog · 09/17 04:37语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!雷峰网 · 09/15 11:02CLARITY法案未通过程序性表决 OpenAI拟IPO前融资金色财经 · 09/16 07:53贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34无效的管理者和疲惫的基层:浅论考核指标的漂移人人都是产品经理 · 09/16 15:06具透 | 精心优化, 体验感愉悦升华:iOS 27 中值得关注的新特性少数派 · 09/15 15:00Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性少数派 · 09/16 15:00Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00英国殖民之前的澳大利亚原居民人口约 222 万Solidot · 09/15 23:17自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:23Fedora 45 Beta 释出Solidot · 09/16 15:26