字节Seed团队发现DeepSeek-V4表现波动的主要原因是什么?
研究认为波动与DeepSeek-V4采用的分块KV Cache压缩有关,同一信息处在压缩窗口内不同相位时,模型检索能力会出现系统性差异。
答不答得对,得看Token站位
量子位报道,字节Seed团队研究发现,DeepSeek-V4在长上下文检索和代码补全中会因输入信息相对KV Cache压缩窗口的位置不同而表现波动,准确率差距最高达40.2个百分点。研究认为分块KV Cache压缩会引入相位敏感性,后训练和架构迭代可缓解但未完全消除。
研究认为波动与DeepSeek-V4采用的分块KV Cache压缩有关,同一信息处在压缩窗口内不同相位时,模型检索能力会出现系统性差异。
在128K长上下文检索测试中,DeepSeek-V4-Flash-Base不同位置的最大准确率差距达到40.2个百分点,Pro-Base达到34.8个百分点。
文章称后训练和架构迭代能明显缩小差距,例如DeepSeek-V4.1-Flash-0910差距降至6.1个百分点,但周期性差异仍然存在。
等 AI 干活太无聊?我给 DeepSeek Harness 写了个「合成大鲸鱼」,已开源
迁移事故解剖层|事故熵增的归因边界
豆包新增“生活缴费”,会是下一个超级App吗?
「无驾驶舱」重卡上路,卡尔动力押注无人货运规模化世界各地的民调认为社交媒体伤害民主
技术终将平权,做产品真正稀缺的是灵感与品味尊界深夜回应“刹车踏板断裂”,懂车帝再发声
一句话上线产品 AI自主支付还有多远?
3 个最近爆火的 Personal Agent ,在 GitHub 上有开源平替了。Pay-per-inference for AI agents: How BlockRun and Incarna use Amazon Bedrock AgentCore payments
Wayfair与雨果跨境达成战略合作,助推供应商高质量出海
奥格威导师罗必凯:22条“拒绝平凡”的创意哲学
Bitwise:读懂“为AI而生的区块链”NEAR
我所了解的机器视觉检测产品应用(11):换一次型到底花多少钱?五样东西先看哪些重来OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences
实体生意精准获客四步方法论(底层逻辑+落地流程)
关于Personal Agent 和muse领域我的实操经验分享
辱骂将遭封号:Anthropic首次让AI有权主动挂断对话StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
海外开源模型重新提速:“美版 DeepSeek”第一次交卷,Mistral同时亮牌硬氪首发丨AI眼镜企业天使轮融资数亿,已与线下数百家门店合作月发售数千台
企业已经有银企直联了,为什么还要再建司库?Share GPU clusters across teams with isolation and fairness using Amazon SageMaker HyperPod
OpenAI数学大爆炸 加密行业需是否需要资产大迁移?游戏公司最想要的社区,被小红书做成了“一座岛”
Building Reliable Data Analytics Agents: Lessons from the KDD Cup
加密市场小幅回调 原因是美国政府卖币吗?