雷峰网 发布于 10/08 11:55

华为已为KV Cache单独做存储,专用SSD规格却还没定下来

查看原文

资讯摘要

独家解读丨国产GPU四份半年报出炉,赚钱后才发现二级市场「难哄」 2026-09-08 新云厂商发现,最赚钱的可能不是卖GPU 2026-08-25

AI 摘要

文章讨论AI推理中KV Cache外置存储的趋势,介绍华为OceanStor M900、英伟达CMX等方案,分析DRAM与SSD的成本权衡、面向KV负载的SSD规格尚未标准化,以及存算一体对数据搬运和首Token延迟的潜在影响。

AI 问答

为什么KV Cache开始需要单独存储?

随着推理过程中产生的KV Cache规模变大,保存并复用历史KV可以减少重复计算,在命中率提升时节省部分算力开销。

为什么SSD被用于承接部分KV Cache?

DRAM成本高且供应紧张,企业可用更便宜的企业级SSD替代部分内存容量,但需要综合考虑容量、性能、耐久度和采购成本。

面向KV Cache的专用SSD为何还未成熟?

不同业务的KV Cache保存时长、写入频率和容量需求差异较大,行业尚未形成统一负载认知和标准化产品规格。

打开原文

更多资讯

OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical SciencesarXiv cs.AI · 10/09 12:00苹果 CEO 最爱的汽车品牌,要推出新超跑了爱范儿 / APPSO · 10/08 20:24新加坡 TOKEN2049 参会实录:行业正在发生哪些变化金色财经 · 10/09 15:47和过往的捷豹说再见吧:Type 01 发布,用千匹动力迎接一批新买家爱范儿 / APPSO · 10/08 18:41Ethena无银行背书 如何5%稳定币收益还让渣打站台?金色财经 · 10/09 14:55Enabling Dynamic Computation in Looped LMsarXiv cs.AI · 10/08 12:00实体生意精准获客四步方法论(底层逻辑+落地流程)人人都是产品经理 · 10/09 08:57OpenAI营收“注水”200亿美金?一篇报道炸崩美股金色财经 · 10/09 10:01AI 陪伴的下一步,会从恋爱游戏里走出来吗?人人都是产品经理 · 10/09 09:28ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?量子位 · 10/08 17:28Agent Plasticity: Measuring Self-Improvement Through ExperiencearXiv cs.AI · 10/08 12:00尊界深夜回应“刹车踏板断裂”,懂车帝再发声量子位 · 10/09 10:51Google 多个国家顶级域名被劫持Solidot · 10/08 18:31如何看待当前的AI泡沫?大佬们吵翻了金色财经 · 10/08 14:12辱骂将遭封号:Anthropic首次让AI有权主动挂断对话金色财经 · 10/09 14:08Whose Ground Truth? Embracing Ambiguity in Human-Centered AIarXiv cs.AI · 10/09 12:00世界各地的民调认为社交媒体伤害民主Solidot · 10/08 16:31我用 Vidu Q4 Preview 把奥特曼和 Dario 凑成男团,跳起了 APT爱范儿 / APPSO · 10/08 17:045 Steps to Create SimReady Assets for Robotics with Frontier AI ModelsNVIDIA Technical Blog · 10/09 04:57How Could AI Eliminate Humanity? A Failure-Mode Analysis of Civilizational RiskarXiv cs.AI · 10/08 12:00全球算力分布:2026年Q4季度金色财经 · 10/08 20:00Claude Haiku 5.5 降本背后:操作能力暴涨,复杂编程为何仍差一截?雷峰网 · 10/08 23:37The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission GatearXiv cs.AI · 10/09 12:00F型视觉模型和信息层级的可视化应用人人都是产品经理 · 10/09 10:38AI要钱、欧美政府也要钱:全球债券风暴才刚刚开始金色财经 · 10/09 13:05作为 PM,我为什么一边用Gitee一边盼它赶紧迭代人人都是产品经理 · 10/08 11:07旅游发朋友圈,为什么一定要带定位人人都是产品经理 · 10/09 09:07灰度:加密ETF 正告别“只有比特币和以太坊”的阶段金色财经 · 10/08 09:44Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in PracticearXiv cs.AI · 10/09 12:00让AI走进真实产线,汇川技术2026工博会看点前瞻36氪 · 10/08 18:51