DSpark 如何保证加速推理时输出质量不变?
草稿模型生成候选 token,目标模型逐 token 验证;贪心解码下只有与目标模型分布一致的 token 才会被接受,因此最终输出与不使用投机解码时完全相同。
(翻译)LFM2.5-DSpark 最高可将推理速度提升 3.2 倍

A Blog post by Liquid AI on Hugging Face
Liquid AI 发布 LFM2.5 系列三款模型的 DSpark 草稿模型,通过投机解码在仅增加少量显存的情况下实现最高 3.18 倍 GPU 推理加速和 2.87 倍端侧加速,并显著降低函数调用延迟。模型支持 llama.cpp 与 SGLang,已开放 Safetensors 和 GGUF 权重。
草稿模型生成候选 token,目标模型逐 token 验证;贪心解码下只有与目标模型分布一致的 token 才会被接受,因此最终输出与不使用投机解码时完全相同。
发布时已支持 llama.cpp 和 SGLang,相关实现基于官方 DSpark 代码并在上游开源;同时提供 Safetensors 与 GGUF 权重。
在 M4 Max MacBook 上平均吞吐提升约 2.27 倍,多工具场景函数调用延迟平均降低 57%,更适合端侧代理式推理。
为什么 ChatGPT 总爱在标题里塞色情赌博小广告?XXL-JOB v3.5.0 发布|OpenAPI 增强、动态 AccessToken、海量日志索引优化
最大买家离场在即:ETH每天超 700 万美元抛压谁来接QuotaPanel v0.2.0 点开菜单栏就看到额度,MiMo 额度来源上线原 TRAE 负责人石扬离职创业,联手前字节数据安全负责人傅越做 AI 办公,首轮估值 2 亿美元上海国际航运研究中心:预计四季度航运市场发展趋势将保持稳定里程碑时刻!比亚迪第15万台新能源商用车下线成年人要的「安心」,有时是一支笔给的富特科技:股东拟减持不超2.894%公司股份
华为 Mate 90 Pro Max 深度体验:Mate 系列新高峰AI需求推动日本工业机床未交订单额超1万亿日元
AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启大厂夹缝中的ManusNano Banana 2.1 深度实测:4K 直出、中文排版大进步,连续改图的坑也要看清
早报|供应链回应iPhone 18 Pro砍单传闻/小米、华为手机同日调价/山姆拟限制亲友卡换绑Deno 团队整体加入 Cloudflare:Deno runtime 一年后停止开发,Deno Deploy 六个月后关停How Postman runs Agent Mode for 40 million developers on Amazon Bedrock巴西起诉壳牌子公司,索赔上亿美元洪灾损失8点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节
AI灾难或将发生?Anthropic、OpenAI推演最坏情景美财长:美国国债已攀升至约41万亿美元规模
反对密码学末日论JEPA、空间智能路线正面交锋:WorldArena 2.0 挑战赛开考「能不能被机器人真正用起来」| IROS 2026全国性涉外法律服务平台“法通”网正式上线外交部副部长马朝旭同澳大利亚外交贸易部秘书长安思捷举行中澳外交部政治磋商