雷峰网 发布于 08/28 15:05

103μs 降到 18μs 背后,Cursor 为何剑指英伟达,重写 GPU?

查看原文

资讯摘要

    作者丨 郑佳美     编辑丨 岑   峰                                                                       &nbs

AI 摘要

Cursor 开源 MoE 内核 MoK,将 token 调度、跨 GPU 通信与专家计算融合进单一 GPU 内核,采用 Pull 方式替代传统 Push,将 signaling 延迟从 103 微秒降至 18 微秒。在 GB300 NVL72 上,MXFP8 前向性能最高提升 2.37 倍,端到端训练吞吐提升约 41%。这标志着 AI 应用层公司开始重写底层 GPU 内核,争夺算力主权。

AI 问答

MoK 的 Pull 方式相比传统 Push 有什么优势?

Pull 方式让目标 GPU 主动读取所需 token,省去了多个发送方之间的目标地址协调,并能同时利用 NVLink 双向通道,在负载不均衡时最高可提升 29% 的 NVLink 利用率,signaling 延迟从约 103 微秒降到 18 微秒。

MoK 如何平衡通信和计算?

MoK 将 GPU SM 分为通信和计算两部分,通过 minibatch 控制一次交给专家计算的 token 数,以形成至少两个完整 wave 为边界,同时使用 Ring Token Buffer 避免显存浪费,使通信和计算高效重叠。

MoK 的性能提升有多大?

在 GB300 NVL72 上,相比公开基线,MoK 的 MXFP8 前向最高提升 2.37 倍,反向提升 1.78 倍;端到端训练中,512 张 GPU 上单卡吞吐从每秒 760.9 个 token 提升到 1070.2 个,约提升 41%。

打开原文

更多资讯

CLARITY法案未通过程序性表决 OpenAI拟IPO前融资金色财经 · 09/16 07:53AI攻克世纪数学难题,顶尖数学家抱团抵制,而他们担心的并不是丢了工作果壳网 · 09/15 19:15耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!人人都是产品经理 · 09/15 09:42具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性少数派 · 09/16 15:00探秘柬埔寨,千年吴哥窟少数派 · 09/16 17:3336氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09产品定义意义上的一级场景:四维模型人人都是产品经理 · 09/16 14:07从200亿收购失败到650亿IPO:Figma如何用“协作”颠覆设计帝国人人都是产品经理 · 09/16 11:30不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22当我怀念旧版 Edge 浏览器时,我在怀念什么?少数派 · 09/16 10:387名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17差 11 票:币圈和华盛顿的蜜月期结束了金色财经 · 09/16 17:20贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下量子位 · 09/16 10:27圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会36氪 · 09/15 18:00穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43