AWS Machine Learning Blog 发布于 10/13 23:17

Mixture-of-Experts kernel engineering on Amazon SageMaker AI

(翻译)Amazon SageMaker AI 上的混合专家内核工程

查看原文

资讯摘要

AWS 工程师分享了在 Amazon SageMaker AI 上针对融合混合专家(MoE)模型的内核优化:通过 Swap-AB 提升 WGMMA 利用率、为 FP8 量化引入 Triton 后端路由,以及消除 Triton JIT 重编译。这些优化共同带来最高 10% 的吞吐量提升和最高 9% 的耗时缩短。

打开原文

更多资讯

美国准备将叠层太阳能电池板投入商用Solidot · 10/13 16:30苏常柴A:预计2026年前三季度净利润同比增长158.49%-192.21%36氪 · 10/13 17:12年内资本投入或超500亿元,券商国际化抢滩中东中亚36氪 · 10/13 07:40高端,不只是材质而已:Apple Watch Edition 的前世今生少数派 · 10/13 11:09攻守兼备特性凸显,红利基金总规模快速增长36氪 · 10/13 08:30我国矿产资源重划“家底” 《矿产资源目录》发布36氪 · 10/13 14:11DummyScheme现在支持协程开源中国 · 10/13 09:35创业板指涨幅扩大至1%36氪 · 10/13 13:32长债利率高企,美财政部或调整发债久期缓解市场压力36氪 · 10/13 08:28SvelteKit 3 进入 RC:svelte.config.js 没了,$lib 也要退休InfoQ 中文 · 10/12 22:36上海:推进氢能、绿色甲醇、可持续航空燃料等产品交易平台建设36氪 · 10/13 19:33曾将OpenSea逼入绝境:Blur却先走到退场时刻金色财经 · 10/13 17:29中国电建:签约塞尔维亚贝尔格莱德地铁1号线合同,金额约125.26亿元36氪 · 10/13 17:25年内9925亿元资金离场,韩股遭遇外资大撤退,三星、SK海力士遭抛售36氪 · 10/13 15:15DataGear 6.1.0 发布,数据可视化分析平台开源中国 · 10/13 09:44通威、协鑫等光伏企业在杭州举行反内卷闭门会议36氪 · 10/13 10:17这 6 本 GitHub 上的开源 AI 宝典,那是相当有真东西。人人都是产品经理 · 10/13 17:01Cursor:从“AI代码补全”到“程序员的默认编辑器”,它如何用“信任”赢得2000万开发者人人都是产品经理 · 10/13 16:44聚焦当期景气兑现,机构积极挖掘三季报投资线索36氪 · 10/13 07:43英特尔、博通CEO警告:资金获取能力可能成为制约人工智能(AI)热潮的一大因素36氪 · 10/13 08:40苹果推出HomeView智能家居管理设备,售价299美元36氪 · 10/13 20:59A股三大指数收盘涨跌不一,粤芯半导体上市首日大涨223.06%36氪 · 10/13 15:01TRAE 升级了。一行代码没写,做出TikTok选题插件和视频工作台人人都是产品经理 · 10/13 16:17AI落地难的真相:缺的不是模型,是FDE这类产品桥梁人人都是产品经理 · 10/13 16:275天4板龙版传媒:股价短期波动较大,提示交易风险36氪 · 10/13 17:07道恩股份:预计2026年前三季度净利润同比增长117.38%-194.10%36氪 · 10/13 18:24刚刚,苹果 HomeView 发布!10+ 款「果家」新品,你能买到的只有一个爱范儿 / APPSO · 10/13 23:01蜜蜂的螫针如何泵送毒液Solidot · 10/13 23:25恒指收涨0.3%,恒生科技指数跌0.79%36氪 · 10/13 16:11华为哈勃投了个98年博士!让机器人皮肤变色,团队平均23岁量子位 · 10/13 15:19