Hugging Face Blog 发布于 08/18 08:00

Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers

(翻译)使用 Sentence Transformers 的多向量(后期交互)嵌入模型

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

Hugging Face 发布技术博客,介绍 Sentence Transformers v6.0 新增的 MultiVectorEncoder,支持 ColBERT 式后期交互检索。模型对每个 token 生成向量并用 MaxSim 评分,可加载 PyLate、Stanford-NLP ColBERT 与 colpali-engine 等检查点,并支持文本、视觉文档、音频与视频检索,同时讨论索引体积与压缩方法。

AI 问答

什么是多向量(后期交互)嵌入模型?

多向量模型不像普通嵌入模型将文本压缩为单个向量,而是为每个 token 保留一个向量,并在评分时通过 MaxSim 操作比较查询与文档的 token,保留更细粒度的匹配信息。

多向量模型的代价是什么?

主要代价是索引体积更大,因为每个 token 都需要存储向量;但可以通过压缩(如 PLAID 索引)、token pooling 或先检索再重排等方式控制成本。

打开原文