雷峰网 发布于 09/01 18:38

DeepSeek V4 多模态开源,我们把它的视觉链路拆了一遍

查看原文

资讯摘要

    作者丨 郑 佳 美     编辑丨 岑   峰                                                                       &n

AI 摘要

DeepSeek V4多模态模型开放权重,文章拆解其视觉链路:图片经32层ViT和二维RoPE编码后,由3×3 Aligner压缩,视觉Token进入V4主干并继续参与Attention、MoE与Agent推理;同时分析视觉Token特殊处理、bias_vl专家路由,以及视觉Agent重复计算和长上下文开销问题。

AI 问答

DeepSeek V4 如何把图片转换成语言模型能处理的 Token?

图片先经32层ViT切成14×14 patch并编码成1024维向量,再由3×3 Aligner把相邻9个特征合并后经两层映射进入4096维隐藏空间,使视觉网格规模约降至九分之一。

视觉 Token 为什么不能完全按普通文字处理?

视觉位置 ID 超出词表,Attention 会扩展图片内部可见范围,避免整张截图被128 Token滑窗切断;MoE 路由也为视觉 Token 单独设置 bias_vl,Hash-MoE 则跳过基于 Token ID 的专家映射。

文章指出视觉 Agent 的主要效率瓶颈是什么?

每轮环境观察都要对整张截图重新缩放、patch化、过 ViT 和 Aligner 并 prefill,相邻截图大部分未变化但会被反复计算;作者建议可通过 ViT 缓存、视觉差分或混合环境表示来降低开销。

打开原文

更多资讯

产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用量子位 · 09/16 16:09数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单量子位 · 09/16 14:32AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08牛市的钱:是熊市里守出来的金色财经 · 09/15 19:047名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52Firefox 156 释出Solidot · 09/16 14:25AI for everyone in every languageGoogle AI Blog · 09/16 00:00不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:582nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训InfoQ 中文 · 09/15 17:04夜晚睡眠光照太亮可能会损伤心脏Solidot · 09/16 00:45Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人雷峰网 · 09/15 15:52项目汇报怎么讲,才能让领导看见你的价值?人人都是产品经理 · 09/16 11:32圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会36氪 · 09/15 17:56破局产品同质化:长期主义的产品突围之路人人都是产品经理 · 09/16 14:12企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20GPT-6 Sol要来了?OpenAI本周或迎“发布狂潮”金色财经 · 09/16 13:17金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27