雷峰网 发布于 08/28 15:27

Jalapeño 跑分炸场,GPU 推理路线开始分裂?

查看原文

资讯摘要

    作者丨 郑佳美     编辑丨岑   峰                                                                       &nbsp

AI 摘要

OpenAI 公布自研推理芯片 Jalapeño 首批跑分,在多个大模型上单位功耗 Token 吞吐提升约1.5-1.9倍、延迟降低。文章对比 OpenAI、NVIDIA 和 Google 的推理硬件路线:OpenAI 采用同构灵活调度,NVIDIA 引入 Groq LPU 拆分 Prefill/Decode,Google 将 TPU 8 分为训练和推理版本,指出 AI 芯片竞争焦点正从 FLOPS 转向 Token 成本。

AI 问答

Jalapeño 芯片在哪些模型上进行了跑分?

公开数据在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 上进行了测试。

为什么大模型推理中 Decode 阶段容易卡在内存带宽?

因为 Decode 阶段每次只生成一个 Token,并行度下降,但模型权重仍要读取,算术强度低,导致内存带宽成为瓶颈。

NVIDIA 如何将 Groq 3 LPU 集成到推理系统中?

GPU 负责 Prefill,大部分 Decode 放到 LPU,Decode 中的 Attention 回到 GPU,通过 micro-batch 重叠计算和通信,用 FPGA 作为异步桥接。

打开原文

更多资讯

Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06豆包手机明日开卖,AI能帮你操作App了吗?36氪 · 09/15 22:32月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20个贷不良四年涨 23 倍:这门从“救大行”长出来的生意,底层逻辑是什么?人人都是产品经理 · 09/16 17:12企业该买模型还是养上下文?人人都是产品经理 · 09/16 10:39产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25AMC 炮轰 Robinhood:股票归谁做主?金色财经 · 09/15 21:18WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44二次元“赛博分身”撬动日本市场:玩家“沉默”的AI陪伴产品,凭什么次留60%?人人都是产品经理 · 09/15 08:53对话蚂蚁灵波 CEO 朱兴:机器人还吃不了「粗粮」爱范儿 / APPSO · 09/16 12:04谁在给我们制造 AI 焦虑金色财经 · 09/15 20:38当罗永浩站在群众的对立面人人都是产品经理 · 09/15 11:352nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:4258秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯36氪 · 09/15 10:21场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39