Papers with Code 搜索系统如何实现混合检索?
该系统结合 PostgreSQL 全文搜索和基于 pgvector 的向量检索,并通过 Reciprocal Rank Fusion (RRF) 算法融合结果,以提升检索质量。
(翻译)Hugging Face Inference Endpoints、Jobs 与 Buckets 如何为 Papers with Code 搜索提供支持
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Hugging Face 团队介绍 Papers with Code 搜索的混合检索架构,结合 PostgreSQL 全文搜索与 pgvector 向量检索,并选用 Qwen3-Embedding-0.6B 生成嵌入。系统利用 Storage Buckets 存储离线构建产物,Jobs 执行批量向量生成,Inference Endpoints 处理在线查询,并设计了版本化嵌入契约、校验和及回滚机制以获得高性价比的搜索体验。
该系统结合 PostgreSQL 全文搜索和基于 pgvector 的向量检索,并通过 Reciprocal Rank Fusion (RRF) 算法融合结果,以提升检索质量。
该模型支持动态嵌入大小(Matryoshka 表示)和查询/文档指令提示,可按需降低维度并区分不同输入,从而在质量和性能之间取得平衡。
系统会立即回退到全文检索,确保搜索仍能返回结果,保证服务的可用性。