DSpark 是什么?
DSpark 是 Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布的实验性草稿模型,通过推测解码在不改变输出质量的前提下提升推理速度,代价是少量内存开销。
(翻译)用 LFM2.5-VL-DSpark 加速视觉语言模型

A Blog post by Liquid AI on Hugging Face
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性推测解码草稿模型 LFM2.5-VL-DSpark,仅新增约 2.795 亿参数(占目标模型 8.9%),在 M5 Max 上解码最高加速 3.13 倍、H100 上最高 2.66 倍,并首日支持 llama.cpp、MLX-VLM 与 SGLang。
DSpark 是 Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布的实验性草稿模型,通过推测解码在不改变输出质量的前提下提升推理速度,代价是少量内存开销。
设备端解码最高加速 3.13 倍,H100 上最高 2.66 倍,端到端最高分别提升 2.62 倍和 2.27 倍;草稿模型约 2.795 亿参数,使部署参数量增加 8.9%。
推测解码只加速解码阶段,不加速视觉编码和预填充;当这两部分已占用较多总时延时,整体加速受阿姆达尔定律约束。
早报|供应链回应iPhone 18 Pro砍单传闻/小米、华为手机同日调价/山姆拟限制亲友卡换绑分享一个AI做视频提效10倍的方式我国牵头制定的船舶压载水管理系统调试测试国际标准发布用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发功能是答案,问题是题目:AI 时代,产品经理唯一稀缺的产出大厂卷 Jarvis,Samantha却在恋爱影游里冒了头?受内存、存储芯片短缺推高价格,游戏硬件销量跌至13年新低
8600万美元被盗 官方授权也不能保证硬件钱包安全?为什么 AI 产品需要体验评测
Grayscale:低成本智能体AI将推高算力需求
Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱XXL-JOB v3.5.0 发布|OpenAPI 增强、动态 AccessToken、海量日志索引优化
Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起Impactful scheduling for GPU clusters梅赛德斯-奔驰美国公司召回30064辆汽车阿斯麦将对韩国零部件涨价10%人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节AI需求推动日本工业机床未交订单额超1万亿日元
COIN、HOOD、CRCL:链上金融三种模式
Kimi 现代高速开源治理的 AI Native 实践|QCon上海腾讯入股墨奇智能WorkBuddy国际版实测,双持打开新世界对话赵长江:智界RX要成为华为的「Pura X」
美债抛售红灯:期限溢价破十年高位 脱离美联储路径财政部副部长廖岷会见高盛集团总裁温泽恩
24 天估值暴涨 37 倍,这就是 AI 圈年度爽文