Google DeepMind Blog 发布于 06/11 00:24

DiffusionGemma: 4x faster text generation

(翻译)DiffusionGemma:文本生成速度最高提升4倍

查看原文

资讯摘要

An overview of DiffusionGemma, an exceptionally fast text generation model with up to 4x faster speeds.

AI 摘要

Google DeepMind 发布开源实验模型 DiffusionGemma,基于 26B 总参数 MoE 架构(激活 3.8B),采用文本扩散方式并行生成文本块,在 NVIDIA H100 上每秒可生成超 1000 个 token,较传统自回归模型最高提速 4 倍。模型以 Apache 2.0 协议开源,面向低并发、交互式本地推理场景,支持开发者微调。

AI 问答

DiffusionGemma 的生成速度有多快?

在 NVIDIA H100 上每秒可生成超过 1000 个 token,在 GeForce RTX 5090 上超过 700 个 token,相比传统自回归模型最高可提升 4 倍。

DiffusionGemma 的模型架构有什么特点?

它是一个 26B 总参数的 MoE 模型,推理时仅激活 3.8B 参数,采用文本扩散机制,每次前向传播可并行生成 256 个 token,并支持双向注意力。

该项目适合哪些应用场景?

适合速度敏感的交互式本地推理,如行内编辑、代码填充、数学图或氨基酸序列等非线性文本结构。高并发云服务场景下自回归模型可能更高效。

打开原文

更多资讯

人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体Solidot · 10/09 22:52赛力斯9月产销快报 全新一代问界M9系列16周累计交付破4万雷峰网 · 10/10 11:04黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”InfoQ 中文 · 10/10 01:5390 天证书开始倒计时:Let's Encrypt 官宣 2027 年 2 月全面转向 64 天开源中国 · 10/10 10:47独家丨华为云销售组织大调整,将实行大区制雷峰网 · 10/10 15:25美图披露AI创新产品进展:Picchi ARR达111万美元36氪 · 10/10 12:34Let's Encrypt 从 2027 年起切换到有效期为 64 天的证书Solidot · 10/09 23:12奇瑞汽车旗下合肥智能科技公司增资至1.68亿,增幅1580%36氪 · 10/10 14:25富特科技:股东拟减持不超2.894%公司股份36氪 · 10/09 20:27泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:572026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕雷峰网 · 10/10 11:088点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能36氪 · 10/10 08:04前8个月我国软件业务收入超10万亿元36氪 · 10/10 11:20用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发36氪 · 10/10 10:26商务部电子商务司负责人解读《关于实施品质电商“五优”行动的通知》36氪 · 10/10 10:25商务部:中欧双方将继续探讨在世贸组织规则框架下,降低部分商品关税的可能性36氪 · 10/09 19:20森海 Momentum 5 真无线降噪耳机体验:升级无线传输与空间音频,它依然是那个正统 「森海味」爱范儿 / APPSO · 10/10 15:26早报|供应链回应iPhone 18 Pro砍单传闻/小米、华为手机同日调价/山姆拟限制亲友卡换绑爱范儿 / APPSO · 10/10 08:14这届 AI PC,太烧心了爱范儿 / APPSO · 10/10 16:28MooTool Next 1.3.0 发布!全新重写,带来更现代的界面与多窗口体验开源中国 · 10/10 15:07“物外智趣”完成数千万元人民币天使轮融资36氪 · 10/10 13:55Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起金色财经 · 10/09 17:22机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗36氪 · 10/10 12:52近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重金色财经 · 10/10 15:25节后机票价格“跳水”,多条航线低于高铁票价36氪 · 10/10 12:57不要看衰以太坊:ETH依然重要的10个理由金色财经 · 10/10 15:41Bitget要求封禁黑客地址:THORChain有义务配合吗?金色财经 · 10/09 18:26Claude 动态多 Agent 工作流开始公测,支持庞大的工作负载开源中国 · 10/10 18:21AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启InfoQ 中文 · 10/10 00:59报道称OpenAI和Anthropic正在聘用前特朗普政府官员36氪 · 10/09 19:08