RAG系列｜大模型之RAG扫盲

最近，RAG（检索增强生成）在日常工作中间出现的频率越来越高，网上相关的资料也是铺天盖地。今天这篇文章，咱们就把RAG从头到尾捋一遍——它到底是什么、怎么工作的、有哪些优化手段、怎么评估它的效果，以及目前还面临哪些坑。不求讲得多深，但求把脉络理清楚。

认识RAG

大型语言模型（LLM）已经渗透到我们生活和工作的方方面面，它们用惊人的灵活性和智能改变了人和信息打交道的模式。不过，别看它们神通广大，毛病也不少：动不动就“幻觉”，给你编出一套看起来挺像那么回事的假东西；信息源可能早就过时了；遇到专业领域的问题，深度不够；推理能力也经常掉链子。

在实际落地的时候，数据得不断更新才能跟上最新动态，生成的内容还要透明、可追溯，同时还得控制成本、保护数据隐私。光靠一个“黑盒子”模型显然不够用——我们需要更精细的方案来搞定这些复杂需求。正是在这个节骨眼上，检索增强生成（RAG）作为AI领域的一个突破性方向，开始受到广泛关注。

图中是RAG在问答中的典型应用（向ChatGPT询问OpenAI首席执行官Sam Altman的解雇和重新聘用事宜）

RAG的思路很直接：在语言模型生成答案之前，先从外部文档数据库里检索相关信息，有了这些“外设”知识再作答。这样一来，内容的准确性和针对性就上了一个台阶。

RAG的演变

RAG这个概念最早是Lewis在2020年提出的，这些年发展得特别快。最开始的研究重点放在“预训练阶段”，想通过往语言模型里注入额外知识来增强它的能力。ChatGPT的火爆则点燃了大家对利用大模型做深层上下文理解的兴趣，也加速了RAG在推理阶段的发展。随着研究者们把大模型的能力越挖越深，焦点慢慢转向了增强可控性和推理技能。GPT-4的出现算是一个重要的里程碑——它用一种新思路重新定义了RAG，把检索增强和微调技术结合了起来，同时继续优化预训练策略。

RAG研究的时间轴树

从技术范式的角度来看，RAG的演变大致可以分为以下几个阶段：

原始RAG

经典的RAG过程，也叫Naive RAG（朴素RAG），主要包括三个基本步骤：

• 索引
  ——把文档语料库切成较短的块，通过编码器构建向量索引。

• 检索
  ——根据问题和块之间的相似度，把相关的文档片段捞出来。

• 生成
  ——拿着检索到的上下文，回答问题。

索引 → 检索 → 生成

步骤1 索引

1. 将文档切成大小均等的块，每块都是原文的一部分。
2. 用编码模型为每个块生成嵌入向量。
3. 把每个块的嵌入存到向量数据库里。

步骤2 检索

用向量相似度搜索，把最相关的k个文档片段找出来。

步骤3 生成

把原始查询和检索到的文本拼在一起，喂给LLM，得出最终答案。

高级RAG

Naive RAG在检索、生成和增强这几个环节都面临不少问题。于是高级RAG范式就出来了，它在检索前和检索后都加了额外的处理。检索之前，可以用查询重写、路由、扩展等方法，对齐问题和文档块之间的语义差异。检索之后，对拿到的文档做重排，可以避免“中间内容丢失”的现象；或者对上下文进行过滤和压缩，缩短窗口长度。

索引优化 → 检索前流程 → 检索 → 检索后流程 → 生成

• 优化数据索引
  ：滑动窗口、细粒度分割、添加元数据

• 预检索过程
  ：检索路线、摘要、重写和信心判断

• 后检索过程
  ：重新排序、过滤内容检索

模块化RAG

随着技术继续演进，出现了突破传统Naive RAG“检索-生成”框架的新思路，也就是模块化RAG（Modular RAG）。它的结构更加自由灵活，引入了更多专门的功能模块，比如查询搜索引擎、多种答案的融合等。技术上，它把检索和微调、强化学习等技术整合在一起。流程方面，RAG模块被设计和编排，催生了各种不同的RAG模式。

不过，模块化RAG并不是突然冒出来的。三种范式之间是继承和发展的关系：

。

RAG是如何进行增强的？

要搭一个靠谱的RAG系统，增强部分是关键，需要想清楚三个核心问题：

• 检索什么？

Token、分片、段落、实体、知识图谱等

• 何时检索？

1、在推理过程中做一次性检索：检索效率高，但文档相关性可能偏低；2、平衡效率和信息，但未必是最优解；自适应地去搜索；3、每生成N个令牌检索一次，信息量大，但效率低，信息容易冗余。

• 如何使用检索到的信息？

在推理过程中，把检索到的信息集成到生成模型的不同层。1、输入数据层：使用简单，但没法支持检索更多的知识块，优化空间有限；2、模型中间层：能支持更多知识块，但引入了额外的复杂性，必须经过训练；3、输出预测层：保证输出结果和检索内容高度相关，但效率低一些。

从这三个问题出发，可以把增强方式整理如下：

• 增强来源
  ：增强可以利用各种形式的数据，包括非结构化数据（比如文本段落、短语或单词），也可以用结构化数据（比如索引文档、三元组数据或子图）。还有另一种思路——不依赖外部信息源，直接利用LLM自身的内在能力，从模型自己生成的内容里检索。

• 强化阶段
  ：检索增强可以在预训练、微调和推理阶段进行。不同的阶段决定了外部知识被参数化的程度，也对应着不同的计算资源需求。

• 增强过程
  ：在推理过程中，把检索到的信息集成到生成模型的不同层。最初是一次性检索，但后来逐渐出现了迭代检索、递归检索，还有让LLM自己决定检索时机的自适应检索方法。

RAG优化的关键技术

1、优化数据索引

• 块优化

Small-2-Big：句子级别的嵌入，扩展了生成过程中的窗口。
Slidingwindow：覆盖整个文本，避免语义歧义。
摘要：先通过摘要检索文档，再从文档里检索文本块。

• 添加元数据
  
  伪元数据，比如：页面、时间、类型、文档、标题。

伪元数据生成：通过为输入的查询生成假设文档，以及创建文本块可以回答的问题，来增强检索效果。

• 元数据过滤/浓缩
  ：剖析并注释文件。查询时，除了语义查询，还推理元数据过滤。

2、结构化的语料库

检索语料库的层次组织

• 摘要→文档
  ：用摘要检索代替文档检索。不仅检索最直接相关的节点，还探索与这些节点相关联的其他节点。

• 文档→嵌入对象
  ：文档里有嵌入式对象（如表、图表），先检索实体引用对象，再查询底层对象，比如文档块、数据库、子节点。

3、优化检索数据来源

4、知识图谱作为检索来源

GraphRAG

• 从用户输入的查询中提取实体，然后构建子图形成上下文，最后输入给大模型进行生成。

实现思路

• 用LLM（或其他模型）从问题中提取关键实体；
• 基于实体的子图检索，挖掘到一定深度，比如2跳或更多跳；
• 利用获得的上下文，通过LLM生成答案。

5、优化查询语句

• 问题和答案之间并不总是有很高的语义相似度；
• 调整查询可以得到更好的检索结果。

6、优化 Embedding

• 选择更合适的 Embedding

• 微调 Embedding 模型

根据特定领域库和下游任务进行微调

微调适配器模块，让Embedding模型和检索数据库对齐

7、检索流程优化

从语料库里迭代检索，获得更详细、更深入的知识。
由LLM动态决定检索的时间和范围。

8、混合方案（RAG + 微调）

除了RAG，LLM的主要优化策略还有提示工程（Prompt Engineering）和微调（Fine-tuning）。它们各有各的用武之地。看具体场景——对外部知识的依赖程度、对模型调整的要求不同，适合的方案也不一样。

可以这么理解：RAG就像是给了模型一本定制信息检索的教科书，特别适合处理特定的查询；而微调则像学生通过时间内化知识，更适合模仿特定的结构、风格或格式。微调能增强基础模型的知识、调整输出、教授复杂指令，从而提升模型的性能和效率。但它不擅长整合新知识，也不适合快速迭代新场景。

——一起用可能效果更佳。

RAG整体框架

如何评估 RAG 的有效性？

评估方法

1 独立评估

1.1 检索

• 评估查询检索到的文本块质量：指标包括MRP、命中率、NDCG。

1.2 生成/合成

• 评估检索文档增强后的上下文质量：指标是上下文相关性。

2 端到端评估

2.1 评估模型最终生成的内容

• 有标签的生成内容：用EM（精确匹配）；无标签的准确性：考察保真度、相关性、无害性。
• 采用人工评价方法进行自动评估（LLM评估）。

关键指标和能力

RAG的评估方法挺多的，主要围绕三个质量分数：

、和。此外，评估还涉及四个关键能力：（对噪音的抗干扰能力）、（该说“不知道”时不说胡话）、和。这些评估维度既有传统的定量指标，也有针对RAG特性的专业评估标准——虽然目前这些标准还没有统一。

在评估框架方面，有RGB、RECALL这样的基准，还有RAGAS、ARES、TruLens等自动化评估工具，它们能帮助我们全面衡量RAG模型的性能。

RAG框架总结

RAG面临的挑战

目前RAG面临的主要挑战包括：

• 上下文长度
  ：检索内容太多超出窗口限制；内容过长导致中间部分丢失；如果LLM的上下文窗口不再受限，RAG又该怎么改进？

• 鲁棒性
  ：怎么处理检索到的错误内容？如何过滤和验证？如何提高模型抗毒性、抗噪声的能力？

• 协作微调
  ：怎么同时用好RAG和微调的效果？它们应该怎么协调、组织——串联、交替还是端到端？

• 缩放定律
  ：RAG模型是否满足缩放定律？什么情况下可能会出现逆缩放定律现象？

• LLMs角色
  ：LLM既可用于检索（用生成或搜索记忆替代搜索），也可用于生成和评估。怎么进一步挖掘LLM在RAG中的潜力？

• 生产准备
  ：如何减少超大规模语料库的检索延迟？如何确保LLM不会泄露检索到的内容？

RAG 生态系统

RAG的应用已经不局限于问答系统了，它的影响力正在向更多领域扩展。推荐系统、信息提取、报告生成等任务都开始受益于RAG技术。

与此同时，RAG还催生出了LangChain、LlamaIndex这类知名工具。