InfoQ 中文 发布于 09/23 19:22

数百亿向量怎么搜?Pinterest 抛弃“内存大户”HNSW,转向量化 SPANN

查看原文

资讯摘要

从内存大户 HNSW 到量化 SPANN:Pinterest Manas 平台的技术演进。

AI 摘要

Pinterest 工程团队为应对数百亿嵌入向量的扩展难题,在其 Manas 平台上评估了标量量化(SQ)与乘积量化(PQ),使 HNSW 索引缩小最多 74%、IVF 索引缩小最多 93%,在线实验让服务成本降低 20%~30%。在 SSD 服务上,采用 PQ 的 SPANN 吞吐量约为 DiskANN 的 3 倍、延迟为其三分之一,召回率仅下降 5%。

AI 问答

Pinterest 为什么考虑放弃 HNSW?

随着语料库扩展到数十亿条目,HNSW 等内存占用较高的向量搜索算法在成本、硬件资源分配和基础设施灵活性上压力越来越大,因此 Pinterest 转向量化与基于 SPANN 的 SSD 服务。

量化的效果如何?

在 1 亿向量的 GraphSage 数据集上,PQ 使 HNSW 索引缩小 74%、IVF 索引缩小 93%,召回率 70%~80%;SQ 使 HNSW 索引缩小 59%、IVF 索引缩小 75%,召回率保持在 90% 以上。

SPANN 相比 DiskANN 表现如何?

采用 PQ 的 SPANN 吞吐量是 DiskANN 的 3 倍、延迟仅为其三分之一,召回率只下降 5%;在 50 亿以上嵌入向量的 Pin 推荐评估中,SPANN 比全内存 HNSW 节省超过 40% 的 CPU 时间。

打开原文

更多资讯

8600万美元被盗 官方授权也不能保证硬件钱包安全?金色财经 · 10/10 19:44GMIF 2026:日均140万亿Token调用,正在改变SSD的能力与分工雷峰网 · 10/10 09:38人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制36氪 · 10/10 11:51美图披露AI创新产品进展:Picchi ARR达111万美元36氪 · 10/10 12:34日本美滨核电站3号机组反应堆重启36氪 · 10/10 09:28近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重金色财经 · 10/10 15:25里程碑时刻!比亚迪第15万台新能源商用车下线雷峰网 · 10/10 12:08超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12第三季度21家上市银行获511家机构调研36氪 · 10/10 10:17Tiger Research:2026年三季度加密资产行业投资报告金色财经 · 10/09 18:01国内航线燃油附加费今起上调36氪 · 10/10 09:26OpenAI倒了一座“屎山”,数学家正捏着鼻子在里面淘金果壳网 · 10/10 23:15当年「字节投毒实习生」田柯宇,估值 2 亿美元,要挑战李飞飞做世界模型雷峰网 · 10/09 18:342026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕雷峰网 · 10/10 11:08中国人民银行行长潘功胜会见法国总统外事顾问博纳36氪 · 10/10 11:38华尔街新高藏隐忧金色财经 · 10/09 22:27客户说要一个功能,产品经理怎么找到真正的需求在那?人人都是产品经理 · 10/10 18:17Nano Banana 2.1 深度实测:4K 直出、中文排版大进步,连续改图的坑也要看清开源中国 · 10/10 14:20北京市“十五五”时期深化国际消费中心城市建设规划发布36氪 · 10/10 14:09教育部:教师发展中心全新上线,教师AI素养全覆盖培训启动36氪 · 10/10 15:58独家丨舒酉星创立新公司「星能远行」,此前是比亚迪欧洲总裁雷峰网 · 10/10 15:45金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE金色财经 · 10/10 21:56谷歌Gemini 4新模型泄露 内测评价:这不Opus 5.5吗金色财经 · 10/10 13:18广合科技:前三季度净利润同比预增100.33%至107.23%36氪 · 10/09 19:27新模型密集发布,该怎么选?分享我的实测感受人人都是产品经理 · 10/10 14:16中金黄金等在河南成立黄金投资公司,注册资本2000万元36氪 · 10/10 13:15人人皆可为师:全球首个物理AI数据众包服务平台“觅蜂派”正式发布雷峰网 · 10/10 11:45最大买家离场在即:ETH每天超 700 万美元抛压谁来接金色财经 · 10/09 20:22全球扩散语言模型最大融资诞生:经纬、顺为、君联数亿元押注扩散智能DiffuSpaceInfoQ 中文 · 10/09 19:07隐私赛道最新进展:从隐私货币到私人金融账户金色财经 · 10/10 12:29