模型缓存如何减少推理冷启动时间？
它在 Pod 调度前将模型权重和容器镜像预加载到节点本地 NVMe 存储，Pod 启动时直接从本地读取（约 7 GB/s），无需从 Amazon ECR 或模型源下载。
Reduce inference cold starts on Amazon SageMaker HyperPod with model caching
（翻译）通过模型缓存减少 Amazon SageMaker HyperPod 上的推理冷启动
资讯摘要
Amazon SageMaker HyperPod now supports model caching for inference, which pre-loads model weights and container images onto cluster nodes so pods read from local NVMe storage instead of downloading over the network. Learn how model caching cuts cold starts from tens of minutes to seconds, how it wor
AI 摘要
AWS 为 Amazon SageMaker HyperPod 推理推出模型缓存功能，可在 Pod 调度前将模型权重和容器镜像预加载到节点本地 NVMe 存储，避免每次冷启动时从 Amazon ECR 和模型源下载。权重缓存读取速度约 7 GB/s，可将原本数十分钟的冷启动缩短到数秒；镜像缓存可节省 5-7 分钟拉取时间。支持 Amazon S3、Amazon FSx for Lustre、HuggingFace Hub 等来源，并提供回退机制。
AI 问答
权重缓存和镜像缓存有什么区别？
权重缓存会下载模型权重到本地 NVMe，并等待所有目标节点就绪后才创建推理部署；镜像缓存则预拉取容器镜像，不阻塞部署创建，未命中缓存的节点会正常从 Amazon ECR 拉取。
模型缓存支持哪些模型来源？
支持 Amazon S3、Amazon FSx for Lustre、HuggingFace Hub 以及 Amazon SageMaker JumpStart（包括非门控和门控模型）。
更多资讯
微信桌面端变“三折叠”，可能是在给小微腾位置
CLARITY法案未通过程序性表决 OpenAI拟IPO前融资
现在参与以太坊原生质押为什么要先排队一个月？
AI 负责创造，人来干脏活，这事儿能否停一下？
早报｜雷军同日到访宇树与B站/罗永浩差评带来流量，野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整，赛力斯主导
穿透查询怎样升级为穿透管控？高性能电动船艇动力系统公司获近亿A轮融资，海外收入增长450%丨36氪首发前OpenAI后训练VP回应陶哲轩：说AI毁了数学，可能还是太小瞧AI了
我和我的 AI 手机吃了 3 顿饭
Java新闻汇总：Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4j
担心代码被拿去训练！英伟达：限制员工使用 Claude；一汽将成广汽第二大股东！南北丰田拟合并；苹果回应「iPhone 18 Pro破发」
渣打给ARB十美元目标价靠什么？电商对账的设计逻辑：四层核对，逐层下钻
牛市的钱：是熊市里守出来的
金色Web3.0日报 | 黄仁勋批驳「AI末日论」
以太坊 2026 年第二季度报告
How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI Factories
理想落幕：加密行业为何集体走向同质化？超级智能体“迪迪虾”上车，比亚迪携手阿里云推进智能座舱升级圆桌：CVC的全面崛起 | 36氪 2026产业未来大会廉价太阳能改变世界能源格局
具透 | 精心优化， 体验感愉悦升华：iOS 27 中值得关注的新特性
上市前交易市场：永续合约化的Pre-IPO资产
别闹，几粒盐就能立起高脚杯？你是不是用胶水了？
拼多多链接裂变玩法9月21日，深圳前海！聊聊工业AI与生态共创的下一步
探秘柬埔寨，千年吴哥窟
美股太贵 该加仓新兴市场吗？
早报｜iOS27正式推送/比亚迪高管：燃油车在中国没有未来/iPhone 18 Pro渠道降价900元，苹果称不干预被AI放大的光学「戏份」，让「配角」舜宇的生意越做越大