高级RAG架构

# 高级RAG架构

## RAG是什么？ RAG这个概念，全称是“检索增强生成”（Retrieval Augmented Generation），最早出现在Meta 2020年的一项研究中。虽然这个概念的诞生时间不算长，但和大型语言模型技术结合起来之后，它的潜力相当惊人。现在它已经是生成式AI的核心技术之一，也是这个领域里商业价值最大的方向。 简单来说，RAG通过引入大量基础模型之外的私有数据，大幅提升大型语言模型的输出质量——让回答更真实、更个性化、也更可靠。所以我们可以把RAG看作一个为LLM提供增强能力的框架。凭借这种灵活的架构，RAG在企业级LLM应用中增长迅猛，短短三年就拿出了亮眼的成绩单。根据2023年《Retool报告》的数据，目前已经有36.2%的企业LLM用例在使用RAG框架。它把大型语言模型的能力和结构/非结构化数据结合起来，让企业的信息访问效率远超从前。更重要的是，用RAG构建AI服务时，不需要像传统虚拟助手那样做数据科学准备，人力成本也大幅降低。 ## RAG是如何工作的？ 下图展示了一个典型的RAG流程：以大型语言模型为核心，用企业文档集作为信息输入，再加上提示工程基础设施来优化响应生成。整个工作流依赖向量数据库检索与问题语义相似的文档，然后通过提示工程技术把相关数据转换成模型想要的格式。这种流程让RAG成为企业利用现有数据做高级决策和检索的强大工具。具体步骤来看：

1. **查询**：用户通过虚拟助手或界面以文本形式提出问题，送入RAG流程。 2. **检索（文档搜索）**：模型执行搜索，从外部来源收集相关信息。这些来源可以是数据库、文档集甚至搜索引擎结果。搜索的目标是找到与输入请求相关的文本片段。 3. **增强**：搜索获得的信息与原始输入结合，通过构建提示工程草稿来丰富内容，让模型能基于这个草稿生成输出。把外部信息塞进这个草稿，就相当于把数据格式转换成了LLM想要的样子。 4. **生成**：模型同时考虑收到的信息和原始输入，生成答案。这个环节会把原始问题、向量数据库返回的文档以及其他参数一起评估，确保输出文本最准确。 5. **回答**：LLM生成的新内容最终传给用户。 RAG在问答、对话生成、摘要等NLP任务中都非常实用。由于能整合外部信息，它比只依赖训练数据的传统模型更准确、更丰富。 金融、法律、医疗等行业尤其适合RAG——它能从庞大的数据库或文档库中引证信息，辅助决策。客户服务领域也是大显身手的地方，RAG驱动的虚拟助手可以给出精准且上下文相关的答案。此外，通过理解用户偏好和历史数据，RAG在个性化内容推荐方面也占据重要位置。 ## RAG与传统方法的区别 **基于分类的传统模型** 传统的NLP模型是在一组预定义的响应里选一个最合适的。输入文本（问题）和一组预定义的答案比较，系统用监督学习或语义匹配等方法，衡量输入与标注响应的相似度，然后挑出最匹配的那个。这类模型对问答等任务很有效——答案通常是静态类型，很容易在结构化数据中找到。 **基于RAG的下一代模型** 与传统方法不同，高效的AI模型是“从头创建”答案，而不是匹配现有内容。这些模型基于神经网络，用复杂算法生成类似人类的文本。不需要关联任何现有类别，因为它在创造新内容。这正是无监督学习的优势所在。模型通过学习预测查询内容的下一个词或一系列词，来生成答案。这种生成新且上下文相关响应的能力，让生成式AI模型非常灵活，适合创意写作、翻译、对话等任务——这些场景要求输出内容足够丰富。

开发RAG应用时，首要考虑的是准确定义工作流中要解决的问题类型，以及你为这个RAG框架准备的数据和流程。 ## 使用RAG的优势 在需要访问外部信息和最新数据的场景里，RAG的优势非常明显。几个关键点： 1. **上下文相关性**：RAG模型能生成更动态、更贴合上下文的响应。结合外部来源信息生成的文本扎根于现实世界，准确性和上下文感都更强。 2. **事实核查与验证**：因为从可靠的外部来源接收信息，RAG可以在生成过程中执行事实核查，减少虚假或误导性内容，确保准确性。 3. **知识整合能力提升**：RAG能有效使用外部知识库或文档来优化回答。在问答任务中，它可以访问多个来源的相关信息，给出基于充分信息的准确答案。 4. **灵活性与适应性**：从各种来源获取信息的能力让RAG非常灵活。只要能设计好搜索机制来检索相关信息，它就能处理各种主题和任务，不需要为每个场景单独微调。 5. **处理分布外输入**：传统文本生成模型面对训练数据中不常见的分布外输入时容易翻车，但RAG可以通过向量数据库找到相关信息——即便面对未见或不常见的输入也能应对。 6. **受控内容生成**：通过引导文档搜索过程、指定来源，开发者可以控制模型生成响应的信息类型和质量。 7. **减少偏见**：文档搜索机制有助于减少输出中的偏见。使用多种信息来源，模型能给出比传统模型更平衡、更中立的响应，避免受训练数据本身偏见的影响。 当然，RAG也面临一些挑战，比如处理来自不同来源的复杂信息、平衡文档搜索结果的准确性与效率等，这些都需要正视。 ## RAG与其他生成式人工智能标题的区别 这里的关键区别在于公司数据的存储位置和使用方式。当你微调模型时，是用公司数据重新训练一个预训练的LLM，改变模型配置来满足用例需求。而RAG是从外部存储的公司文档中检索数据，然后提供给LLM指导响应生成。微调是个漫长且昂贵的过程，尤其不适合需要频繁更新的公司文档。

## RAG实施挑战 虽然RAG非常强大，但在落地和管理上也有一些难点： - **多渠道/多源集成**：不同格式的多个外部数据源会增加复杂度。需要提前预处理或检查，避免数据集之间的重复。 - **数据质量**：数据必须一致且具备良好的代表性。如果应用访问的源内容质量很差，生成的答案就不可能准确。因此在整合数据源之前，必须提升数据质量。 - **可扩展性**：随着数据量增长，管理RAG系统的性能会变得困难。用向量数据库这类解决方案可以缓解这个问题。 - **搜索优化**：要让模型输出正确，向量数据库的相似性搜索第一步必须高性能。如果搜索选错了或不完整的内容，下一步构建提示工程草稿就会失败。草稿作为LLM查询的输入，低效的输入只会导致同样低效的输出。 ## 复杂和高级的RAG系统 ### 文档分块 在NLP中，“分块”就是把文本切分成小的、简洁的、有意义的片段。和在大文档里找相关上下文相比，RAG系统在较小的文本片段里找内容更快、更准。怎么确保选中正确的部分呢？分块策略的有效性高度依赖这些片段的质量和结构。确定最佳分块大小，要在捕获所有重要信息和不牺牲速度之间找平衡。大块能获取更多上下文，但会引入更多噪音，处理时间也更长。小块噪音少，但可能捕获不到完整上下文。重叠分块是平衡这两个约束的一个办法——通过重叠，一个查询可能在多个向量集上检索到足够的相关数据，从而生成恰当的答案。但有个限制：它假设你需要的信息都在单个文档里。如果所需上下文分散在多个文档中，那就要考虑文档层次结构和知识图这类方案了。从多个文档中逐个提取的含义，可以和关系数据库中不同领域的信息结合，产生更有价值的结果。 ### CRAG CRAG可以理解为一个验证或改进搜索结果的过程，属于RAG工作流的第一步。所有RAG流程都会面临一个共同问题：在搜索阶段无法从文档堆里拿到想要的结果。没能获取最准确的文档，会导致提示工程草稿不完整，最终传递给LLM的查询也出错。搜索阶段的问题会逐级放大，产生越来越偏离的结果。所以，检查搜索结果是否真正产生了正确的文档变得至关重要。 解决这个问题的CRAG方法相对较新。它为所有搜索结果定义了一个上限阈值和一个下限阈值，将结果分为“正确”“错误”“不清晰”三类。如果至少一个文档与查询的相似度高于上限阈值，就认为搜索正确；如果所有文档的分数都低于下限阈值，就认为搜索错误；介于两者之间的则是不确定状态。对于判定为正确的文档，再用另一个分割器处理，清除包含噪声的文本，丰富内容。对于错误的搜索结果，则用内容和查询执行网络搜索，从在线环境获取更详细的信息来修正。对于不确定的情况，同时执行正确和错误两类处理。 对于搜索结果产生的文档相似度比，需要用一个较小的语言模型来确定——文献中用的是谷歌提供的t5-large模型（770万参数），这个模型被称为“搜索评估器”。要让搜索评估器正确评估内容，需要在微调过程中包含相关数据，将其训练成高效的CRAG模型。另一方面，网络搜索对负面结果的影响也值得警惕。互联网来源的质量差异很大，不加考虑地引入数据可能在输出中引入噪音或误导信息。此外，CRAG如果优化不足，会增加工作量和麻烦。假设大量文档被选为搜索结果，每个文档都用这个小模型单独查询，在资源消耗和延迟上就可能带来额外风险。对于使用内部系统的机构来说，不得不联网去改进错误评估结果也是一个挑战。 尽管存在这些困难，CRAG的优点依然非常突出。通过评估所接收文档的质量，CRAG确保只使用相关且可靠的信息，将错误或误导性结果的风险降到最低，从而提供更准确的内容和答案。 ### 本地文档缓存 最新的研究关注让文档存储在本地以获得更快的访问速度。当有大量并发用户、短时间内需要检查大量文档时，这一点尤其有用。访问外部文档会带来大量I/O开销，而本地缓存的检查要快得多。但本地存储的内容可能会过时。当时间敏感性和准确性同时成为优先考虑的因素时，需要权衡哪种方法最适合特定用例。开发任何缓存系统时，都应该考虑定期刷新数据以保持最新。刷新频率取决于应用的特定需求，以及系统的计算和存储资源。同时还要考虑缓存存在哪里、如何更新。内存中的缓存更快，但受内存容量限制；磁盘上的缓存可以容纳更多数据，但访问时间更长。开发人员需要根据性能要求和资源限制来取舍。 ## 结论 RAG框架为生成式AI带来了全新的维度。通过整合外部信息，RAG模型能够生成更准确、更丰富、上下文更贴切的输出。当然，落地和优化RAG系统也伴随着数据质量、搜索效率、系统扩展性等挑战。但随着这些技术的不断演进，RAG将在各个领域发挥越来越重要的作用，为企业提供更精准、更智能的解决方案。