一文彻底搞懂大模型 - RAG（检索、增强、生成）

RAG，全称Retrieval-Augmented Generation，也就是检索增强生成。简单说，就是把信息检索和语言生成两件事结合起来——大语言模型在回答问题之前，先去外部知识库里搜索相关材料，把这些材料作为参考（也就是Prompt），再结合自己的语言能力，生成更准确、更有依据的回答。像问答、摘要、内容生成这些知识密集型任务，RAG的表现相当不错。这个方向是2020年由Facebook AI Research团队提出的，如今已经成了大模型落地的主流方案之一。

一、检索增强生成（RAG）

什么是RAG？

具体来讲，RAG是一种AI框架，它把传统信息检索（比如数据库搜索）的优势，和生成式大语言模型的强大文本生成能力结合在了一起。LLM拿到检索到的额外知识后，能写出更准确、更新鲜、也更贴合需求的文字。

如何理解RAG？

知道了RAG是什么之后，再来拆解一下它的三个核心动作：检索、增强、生成。

1. 检索
   ：第一步，从建好的知识库里找出跟问题相关的内容。就好比去图书馆，先翻目录找书一样。

2. 增强
   ：找到资料后，不直接扔给模型，而是把这些资料“喂”到模型的上下文里。相当于给模型开个外设，让它参考这些外部知识来理解问题、构思答案。

3. 生成
   ：最后一步，模型拿着增强后的提示（Prompt），结合自己学到的语言能力，生成一段通顺、有依据的回答。

这里的关键点在于：是知识库中检索到的问答对增强了LLM的提示词，然后LLM拿着增强后的Prompt生成了答案。谁增强了谁，谁生成了答案，主语不能搞反。

如何使用RAG？

理解了RAG的定义和核心步骤，再具体看看怎么落地。下面以搭建一个知识问答系统为例，讲讲整个操作流程。

1. 数据准备与知识库构建
   • 收集数据：从文档、网页、数据库等各种来源收集相关数据。
   • 数据清洗：去掉噪声、重复项和无关信息，确保数据质量。
   • 知识库构建：把清洗后的文本分割成小片段（chunks），用文本嵌入模型（如GLM）转成向量，存入向量数据库（如FAISS、Milvus）。

2. 检索模块设计
   • 问题向量化：用户提问时，用同样的嵌入模型把问题转成向量。
   • 相似度检索：在向量数据库中检索与问题向量最相似的片段（chunks），通常用余弦相似度。
   • 结果排序：按相似度得分排序，选最相关的片段作为后续生成输入。

3. 生成模块设计
   • 上下文融合：把检索到的相关片段和原始问题合并，形成更丰富的上下文。
   • 大语言模型生成：用大语言模型（如GLM）基于这个上下文生成回答。

根据自己的业务领域知识，可以先从医疗、法律、产品知识问答的Demo开始，然后在工作中不断完善知识库的问答对。

二、RAG的原理、流程及架构

RAG工作原理是什么？

大语言模型有两个硬伤：一是知识有截止日期，训练时的数据老旧了，它就不知道新东西；二是会一本正经地胡说八道，也就是“幻觉”。具体来看：

1. 知识截止
   ：当模型返回的信息相比训练数据已经过时时，每个基础模型都有知识截止，意味着其知识仅限于训练时的数据。

2. 幻觉
   ：当模型自信地做出错误回答时，就发生了幻觉。

而RAG正是针对这两个问题的解药——它通过引入外部实时知识库，让模型在回答时能参考最新、最可靠的信息，从而摆脱知识限制，增强生成能力。

RAG工作流程是什么？

通过检索增强技术，把用户查询和索引知识融合，再利用大语言模型生成准确回答。具体分五步：

1. 知识准备
   ：收集知识文档，转成文本格式，进行预处理和索引。

2. 嵌入与索引
   ：用嵌入模型把文本转成向量，存入向量数据库。

3. 查询检索
   ：用户查询转成向量，从数据库中检索相关知识。

4. 提示增强
   ：把检索结果和原始问题拼到一起，构建增强提示模板。

5. 生成回答
   ：大语言模型根据增强模板生成准确回答。

RAG技术架构是什么？

RAG的架构主要分成两大块：检索模块（Retriever）和生成模块（Generator）。

1. 检索模块（Retriever）
   • 文本嵌入：用预训练嵌入模型（如GLM）把查询和文档转成向量，以便在向量空间里算相似度。
   • 向量搜索：利用FAISS、Milvus等向量数据库，高效搜索与查询向量最相似的文档片段。
   • 双塔模型：检索模块常用双塔模型（Dual-Encoder），查询和文档各有一个编码器，映射到同一向量空间后再计算相似度。

2. 生成模块（Generator）
   • 强大的生成模型：使用预训练的生成模型（如GLM），在生成自然语言方面表现突出。
   • 上下文融合：把检索到的相关文档和原始查询合并，形成更丰富的输入。
   • 生成过程：模型根据输入的上下文信息，生成连贯、准确、信息丰富的回答。

检索模块负责高效找信息，生成模块负责专业地输出内容，两者配合，实现了基于外部知识增强的自然语言生成能力。