InfoQ 中文 发布于 09/16 07:00

缓存不该困在一台服务器里

查看原文

资讯摘要

从 MLPerf 新增 KV Cache 测试,看焱融 ContextBox 如何打通跨节点复用

AI 摘要

InfoQ 中文报道,MLPerf Storage v3.0 新增 KV Cache 测试项,将存储考察从训练数据供给延伸到推理运行时状态。文章以焱融科技 F9000X、YRCache 与 ContextBox 为例,分析 KV Cache 跨节点复用的三重挑战:状态严苛匹配、显存容量有限与节点孤立,并介绍了 G3.5 共享缓存层的工程思路与“以存换算”的成本权衡。

AI 问答

MLPerf Storage v3.0 新增了什么测试项?

新增 KVCache 测试项,模拟多轮会话中的 KV Cache 整体写入与回读,并报告模拟输出 Token 吞吐、读写带宽和 P95 读取时延。

KV Cache 跨节点复用面临哪些主要挑战?

一是内容相同不等于缓存可用,提示词、模型版本或精度格式稍有不一致缓存即失效;二是 GPU 显存有限,缓存容易被淘汰或换出;三是节点孤立,缺少跨节点共享机制与缓存感知调度。

焱融的 ContextBox 是怎样定位和配置的?

它是独立的共享缓存一体机,在体系中定义为 G3.5 层,搭载最多 26 块 U.2 NVMe SSD 与 4 块 NVIDIA BlueField-3 双口 200Gb DPU,通过 RDMA/RoCE 提供 120GB/s 实测带宽,单台可支撑 8 节点集群高并发吞吐。

打开原文

更多资讯

高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25CoinShares Q2 挖矿季报:矿企倒贴钱退出金色财经 · 09/16 19:31美联储今起议息 沃什或成关键一票金色财经 · 09/15 15:19支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27阶跃发布 StepAudio 3 ,多款语音模型登顶 Artificial Analysis 全球榜单雷峰网 · 09/15 17:50渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21加密行业今年最重要的一天 可能就是明天金色财经 · 09/15 14:16Grayscale:比特币能否优化私募市场投资组合?金色财经 · 09/15 09:10数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15英伟达开始限制Claude使用了金色财经 · 09/15 12:37QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影量子位 · 09/15 17:58Claude在英伟达内部被限用,黄仁勋告诉特朗普:我们不会让AI发展放缓发生InfoQ 中文 · 09/16 00:01把记忆交给CPU,大模型会变快量子位 · 09/16 11:0736氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块36氪 · 09/16 14:35Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00特朗普“一再让步”:美国加密法案仍未过关金色财经 · 09/16 17:18横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20社区速递 158 | 便宜耐造的副厂手柄与大学宿舍里那些相见恨晚的装备少数派 · 09/15 17:00