本章将深入探讨 RAG 系统的核心——检索增强技术。我们将从最基础的相似度搜索开始,逐步讲解如何通过各种高级检索策略和优化技巧,确保 RAG 系统能够从海量知识库中精准、高效地找到最相关的上下文信息,从而显著提升生成答案的准确性和质量。
4.1 基础检索:向量相似度搜索
向量相似度搜索是 RAG 检索模块的基石。在第二章和第三章中我们了解到,文本内容被转换为高维向量并存储在向量数据库中。当用户发起查询时,查询本身也被向量化,然后通过计算查询向量与知识库中存储向量的相似度,来找出语义上最接近的文档片段。
向量相似度概念
在向量空间中,两个向量的相似度通常通过它们之间的距离或夹角来衡量。常用的相似度度量包括:
-
余弦相似度 (Cosine Similarity):
-
概念: 衡量两个向量在 N 维空间中夹角的余弦值。余弦相似度越接近 1,表示两个向量方向越一致,语义越相似;接近 0 表示几乎不相关;接近 -1 表示方向相反,语义相反。它只关注方向,不关注向量的长度(模)。
-
公式: 对于两个向量 A 和 B,其余弦相似度 cos(thet
-