一份 RAG 技术的全面指南：15 种高级 RAG 技术 ——从预检索到生成

老读者的福利又来了。这次要聊的是一份来自 Willow Tree 团队的 RAG 技术全景指南，里面整理了 15 种高级技巧，覆盖了从预检索到文本生成的完整链路。说真的，这份指南的干货密度相当高，值得花时间细细翻看。不过别急，咱们先把其中的核心要点拎出来，给你一个清晰的地图。

什么是检索增强生成（RAG）？

检索增强生成，简单理解就是给大语言模型配了一本“权威参考书”——模型在生成回答之前，会先去一个预先设定好的知识库里翻资料，而不是全靠自己记忆里的训练数据瞎编。这样一来，LLM 的优势（海量参数、强大生成能力）被保留了下来，同时还能接入企业内部的私有知识库，而且还不用重新训练模型。成本低、效果好，让模型输出更靠谱、更接地气。

为什么检索增强生成这么重要？

LLM 本身的问题其实挺头疼的。训练数据是静态的，有时间截止期；模型又天生带着“自信胡扯”的毛病——你问它一个它不知道的事，它会编得跟真的一样。具体来说，常见的坑有这么几个：

• 在没有答案时硬给虚假信息
• 给出过时或过于通用的回答
• 从非权威来源拼凑响应
• 因为术语混淆（不同训练资料里同一个词指代不同东西）而产生错误

你可以把 LLM 想象成一个过度热情的新员工：消息不灵通，但每个问题都回答得斩钉截铁。这种态度如果被聊天机器人学了去，用户信任可就悬了。RAG 恰恰是扭转局面的关键一环——它引导模型从权威的、预设的知识库中寻找依据，企业也能更好地控制输出，甚至能看到模型是怎么生成回答的。

下面就是这份指南的核心内容：

，按照从预检索到生成的不同阶段来组织。

1. 预检索与数据索引技术

先用 LLM 对原始数据做清洗、整理和标注，把没用的信息去掉。这样做能降低 token 用量和成本，同时提升检索的精准度。指南里举了用 GPT-4 提取网页关键信息的例子，也提醒了信息丢失的风险和应对方法。

让 LLM 生成文档摘要，然后构建一个多层检索系统。搜索时先通过摘要筛选出可能相关的文档，再深入检索细节。效率明显更高。

用 LLM 为每个文档生成对应的“假设问题”和答案，然后把问题本身当作检索单元。这样一来，用户查询和文档之间的语义不对称问题就缓解了，检索准确率自然上升。

通过聚类和 LLM 的信息提取能力，把索引中的重复信息揪出来、删掉。上下文窗口就更干净、更紧凑了。

分块的大小、重叠率，没有万能参数。需要根据 embedding 模型、内容类型、查询复杂度、LLM 能力以及数据量等因素做 A/B 测试，找到最优方案。

2. 检索技术

LLM 不仅能理解用户问什么，还能根据搜索引擎的规则，把原始查询改写成更高效的关键词或句式。指南里分别给出了简单查询和对话式 AI 系统的优化示例。

让 LLM 根据用户查询，先“脑补”出一段假设的文档或片段，然后用这个假设文档去做语义搜索。查询和文档之间的鸿沟被巧妙地填平了。

用 LLM 判断当前查询到底该去哪查——是直接进内部的数据库，还是先做一遍 RAG 检索？或者干脆不需要检索？这样可以省成本、提效率。

3. 检索后技术

搜回来的文档列表，不能直接丢给 LLM。用一个重排序模型把最相关的文档排到最前面，LLM 生成回答的质量会明显提升。

检索到的信息有时太长、太杂。用 LLM 把它们过滤、重组甚至压缩一下，换成更适合生成阶段使用的格式。

训练一个专门的评估模型，对检索出来的每条结果打分。不相关或错误的文档直接过滤掉，减少 LLM 被误导的可能。

4. 生成技术

给 LLM 的提示词本身需要精心设计，上下文窗口的大小也要通过实验来确定。两者配合好了，输出质量才有保障。

当检索到的信息里混入无关内容时，思维链（Chain-of-Thought）提示能引导 LLM 一步步推理，减少干扰。

通过微调，让 LLM 在生成过程中输出特殊的反思标记（比如检索标记或批判标记），随时评估检索结果的相关性和自己生成的内容，并据此修正。

专门微调 LLM，让它学会自动跳过无关信息。在 RAG 场景下，这种能力特别管用。

用自然语言推理模型先过滤一次上下文，不相关的直接扔掉，再交给 LLM 生成。准确率进一步提升。

其他重要考虑因素

在金融、医疗这类高监管行业，必须给 RAG 系统加上防护栏，防止越狱攻击或恶意输入。

需要建立可扩展的自动化评估方法，持续监控系统性能，确保质量不滑坡。

AI 幻觉问题始终是悬在头顶的剑。必须有一套检测、测量和缓解的机制。

微调 embedding 模型、引入知识图谱、使用长上下文 LLM——这些都是值得继续探索的路径。

总而言之，高级 RAG 技术给生成式 AI 的落地提供了丰富的工具箱。从数据索引到检索、从结果优化到生成，每个环节都有多种手段可以提升信息密度、检索准确率和最终的回复质量。做 RAG 系统的时候，不妨对照这份清单，看看哪几项能帮你解决眼下面临的痛点。