Hugging Face Blog 发布于 09/24 22:08

Accelerating vision-language models with LFM2.5-VL-DSpark

(翻译)用 LFM2.5-VL-DSpark 加速视觉语言模型

查看原文

资讯摘要

A Blog post by Liquid AI on Hugging Face

AI 摘要

Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性推测解码草稿模型 LFM2.5-VL-DSpark,仅新增约 2.795 亿参数(占目标模型 8.9%),在 M5 Max 上解码最高加速 3.13 倍、H100 上最高 2.66 倍,并首日支持 llama.cpp、MLX-VLM 与 SGLang。

AI 问答

DSpark 是什么?

DSpark 是 Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布的实验性草稿模型,通过推测解码在不改变输出质量的前提下提升推理速度,代价是少量内存开销。

加速效果和参数开销有多大?

设备端解码最高加速 3.13 倍,H100 上最高 2.66 倍,端到端最高分别提升 2.62 倍和 2.27 倍;草稿模型约 2.795 亿参数,使部署参数量增加 8.9%。

推测解码为什么端到端收益有限?

推测解码只加速解码阶段,不加速视觉编码和预填充;当这两部分已占用较多总时延时,整体加速受阿姆达尔定律约束。

打开原文

更多资讯

国内航线燃油附加费今起上调36氪 · 10/10 09:26特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingSolidot · 10/10 16:52多部门:拟规范汽车采用虚拟操纵件替代传统物理按键的产品36氪 · 10/10 17:25早报|供应链回应iPhone 18 Pro砍单传闻/小米、华为手机同日调价/山姆拟限制亲友卡换绑爱范儿 / APPSO · 10/10 08:14分享一个AI做视频提效10倍的方式人人都是产品经理 · 10/10 10:53我国牵头制定的船舶压载水管理系统调试测试国际标准发布36氪 · 10/09 20:21用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发36氪 · 10/10 10:26功能是答案,问题是题目:AI 时代,产品经理唯一稀缺的产出人人都是产品经理 · 10/10 10:48大厂卷 Jarvis,Samantha却在恋爱影游里冒了头?人人都是产品经理 · 10/10 12:42受内存、存储芯片短缺推高价格,游戏硬件销量跌至13年新低36氪 · 10/10 10:208600万美元被盗 官方授权也不能保证硬件钱包安全?金色财经 · 10/10 19:44为什么 AI 产品需要体验评测人人都是产品经理 · 10/10 15:31Grayscale:低成本智能体AI将推高算力需求金色财经 · 10/10 08:48Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱InfoQ 中文 · 10/10 01:10XXL-JOB v3.5.0 发布|OpenAPI 增强、动态 AccessToken、海量日志索引优化开源中国 · 10/09 23:11Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起金色财经 · 10/09 17:22Impactful scheduling for GPU clustersHugging Face Blog · 10/09 23:20梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25阿斯麦将对韩国零部件涨价10%36氪 · 10/10 12:23人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制36氪 · 10/10 11:51字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节人人都是产品经理 · 10/10 14:41AI需求推动日本工业机床未交订单额超1万亿日元36氪 · 10/10 13:08COIN、HOOD、CRCL:链上金融三种模式金色财经 · 10/10 15:10Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00腾讯入股墨奇智能36氪 · 10/10 17:05WorkBuddy国际版实测,双持打开新世界人人都是产品经理 · 10/10 15:27对话赵长江:智界RX要成为华为的「Pura X」雷峰网 · 10/10 15:52美债抛售红灯:期限溢价破十年高位 脱离美联储路径金色财经 · 10/10 08:17财政部副部长廖岷会见高盛集团总裁温泽恩36氪 · 10/10 16:4424 天估值暴涨 37 倍,这就是 AI 圈年度爽文爱范儿 / APPSO · 10/10 17:11