量子位 发布于 10/09 15:11

字节找到了DeepSeek时强时弱的原因

查看原文

资讯摘要

答不答得对,得看Token站位

AI 摘要

量子位报道,字节Seed团队研究发现,DeepSeek-V4在长上下文检索和代码补全中会因输入信息相对KV Cache压缩窗口的位置不同而表现波动,准确率差距最高达40.2个百分点。研究认为分块KV Cache压缩会引入相位敏感性,后训练和架构迭代可缓解但未完全消除。

AI 问答

字节Seed团队发现DeepSeek-V4表现波动的主要原因是什么?

研究认为波动与DeepSeek-V4采用的分块KV Cache压缩有关,同一信息处在压缩窗口内不同相位时,模型检索能力会出现系统性差异。

这种位置差异对模型表现有多大影响?

在128K长上下文检索测试中,DeepSeek-V4-Flash-Base不同位置的最大准确率差距达到40.2个百分点,Pro-Base达到34.8个百分点。

后训练是否能解决相位敏感性问题?

文章称后训练和架构迭代能明显缩小差距,例如DeepSeek-V4.1-Flash-0910差距降至6.1个百分点,但周期性差异仍然存在。

打开原文

更多资讯

微软被暂停参与允许外籍员工申请绿卡的项目Solidot · 10/09 13:47GPT-6今起免费用!拒答变少,话变多了量子位 · 10/08 09:07Enabling Dynamic Computation in Looped LMsarXiv cs.AI · 10/08 12:00等 AI 干活太无聊?我给 DeepSeek Harness 写了个「合成大鲸鱼」,已开源人人都是产品经理 · 10/08 14:39迁移事故解剖层|事故熵增的归因边界雷峰网 · 10/08 15:56豆包新增“生活缴费”,会是下一个超级App吗?人人都是产品经理 · 10/09 14:34「无驾驶舱」重卡上路,卡尔动力押注无人货运规模化雷峰网 · 10/08 10:14世界各地的民调认为社交媒体伤害民主Solidot · 10/08 16:31技术终将平权,做产品真正稀缺的是灵感与品味人人都是产品经理 · 10/08 09:23尊界深夜回应“刹车踏板断裂”,懂车帝再发声量子位 · 10/09 10:51一句话上线产品 AI自主支付还有多远?金色财经 · 10/08 18:063 个最近爆火的 Personal Agent ,在 GitHub 上有开源平替了。人人都是产品经理 · 10/09 10:36Pay-per-inference for AI agents: How BlockRun and Incarna use Amazon Bedrock AgentCore paymentsAWS Machine Learning Blog · 10/09 02:33Wayfair与雨果跨境达成战略合作,助推供应商高质量出海雷峰网 · 10/09 11:47奥格威导师罗必凯:22条“拒绝平凡”的创意哲学人人都是产品经理 · 10/09 11:05Bitwise:读懂“为AI而生的区块链”NEAR金色财经 · 10/08 09:21我所了解的机器视觉检测产品应用(11):换一次型到底花多少钱?五样东西先看哪些重来人人都是产品经理 · 10/08 11:20OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical SciencesarXiv cs.AI · 10/09 12:00实体生意精准获客四步方法论(底层逻辑+落地流程)人人都是产品经理 · 10/09 08:57关于Personal Agent 和muse领域我的实操经验分享人人都是产品经理 · 10/09 09:27辱骂将遭封号:Anthropic首次让AI有权主动挂断对话金色财经 · 10/09 14:08StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator AgentsarXiv cs.AI · 10/09 12:00海外开源模型重新提速:“美版 DeepSeek”第一次交卷,Mistral同时亮牌InfoQ 中文 · 10/08 18:35硬氪首发丨AI眼镜企业天使轮融资数亿,已与线下数百家门店合作月发售数千台36氪 · 10/08 11:03企业已经有银企直联了,为什么还要再建司库?人人都是产品经理 · 10/08 10:58Share GPU clusters across teams with isolation and fairness using Amazon SageMaker HyperPodAWS Machine Learning Blog · 10/09 00:20OpenAI数学大爆炸 加密行业需是否需要资产大迁移?金色财经 · 10/08 11:30游戏公司最想要的社区,被小红书做成了“一座岛”36氪 · 10/08 14:54Building Reliable Data Analytics Agents: Lessons from the KDD CupNVIDIA Technical Blog · 10/09 02:30加密市场小幅回调 原因是美国政府卖币吗?金色财经 · 10/08 15:32