DiffusionGemma 的生成速度有多快?
在 NVIDIA H100 上每秒可生成超过 1000 个 token,在 GeForce RTX 5090 上超过 700 个 token,相比传统自回归模型最高可提升 4 倍。
(翻译)DiffusionGemma:文本生成速度最高提升4倍

An overview of DiffusionGemma, an exceptionally fast text generation model with up to 4x faster speeds.
Google DeepMind 发布开源实验模型 DiffusionGemma,基于 26B 总参数 MoE 架构(激活 3.8B),采用文本扩散方式并行生成文本块,在 NVIDIA H100 上每秒可生成超 1000 个 token,较传统自回归模型最高提速 4 倍。模型以 Apache 2.0 协议开源,面向低并发、交互式本地推理场景,支持开发者微调。
在 NVIDIA H100 上每秒可生成超过 1000 个 token,在 GeForce RTX 5090 上超过 700 个 token,相比传统自回归模型最高可提升 4 倍。
它是一个 26B 总参数的 MoE 模型,推理时仅激活 3.8B 参数,采用文本扩散机制,每次前向传播可并行生成 256 个 token,并支持双向注意力。
适合速度敏感的交互式本地推理,如行内编辑、代码填充、数学图或氨基酸序列等非线性文本结构。高并发云服务场景下自回归模型可能更高效。
黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”90 天证书开始倒计时:Let's Encrypt 官宣 2027 年 2 月全面转向 64 天独家丨华为云销售组织大调整,将实行大区制美图披露AI创新产品进展:Picchi ARR达111万美元Let's Encrypt 从 2027 年起切换到有效期为 64 天的证书奇瑞汽车旗下合肥智能科技公司增资至1.68亿,增幅1580%富特科技:股东拟减持不超2.894%公司股份泰国证交所修订卖空和高频交易规则2026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕8点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能前8个月我国软件业务收入超10万亿元用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发商务部电子商务司负责人解读《关于实施品质电商“五优”行动的通知》商务部:中欧双方将继续探讨在世贸组织规则框架下,降低部分商品关税的可能性
森海 Momentum 5 真无线降噪耳机体验:升级无线传输与空间音频,它依然是那个正统 「森海味」
早报|供应链回应iPhone 18 Pro砍单传闻/小米、华为手机同日调价/山姆拟限制亲友卡换绑
这届 AI PC,太烧心了MooTool Next 1.3.0 发布!全新重写,带来更现代的界面与多窗口体验“物外智趣”完成数千万元人民币天使轮融资
Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗
近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重节后机票价格“跳水”,多条航线低于高铁票价
不要看衰以太坊:ETH依然重要的10个理由
Bitget要求封禁黑客地址:THORChain有义务配合吗?Claude 动态多 Agent 工作流开始公测,支持庞大的工作负载
AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启报道称OpenAI和Anthropic正在聘用前特朗普政府官员