Speculative RAG：基于多专家模型的检索增强生成方法

加州大学圣地亚哥分校、谷歌等机构的研究人员提出了一种新框架——“推测性检索增强生成”(Speculative RAG)。简单来说，它通过让专业领域模型并行生成多个答案草案，再请通用模型来做评估和筛选，在知识密集型查询的处理中，同时提升了准确性和效率。

论文介绍

大型语言模型（LLMs）的崛起，比如那些在问答任务中表现出色的模型，无疑标志着自然语言处理领域的一次重要飞跃。这些模型在庞大的数据集上训练，能生成听起来相当合理且贴合上下文的回答。但话说回来，尽管成绩斐然，LLMs在处理知识密集型查询时依然面临挑战。这些查询往往需要最新的信息，或者涉及模型在训练期间压根没见过的冷门知识。这种局限性，尤其在模型被要求提供超出其存储知识的细节时，很容易导致事实性错误或凭空捏造的内容。在医学或科学查询这类对准确性和可靠性要求极高的领域，问题就更加突出了。

开发和运用LLMs的一个核心难题，是在准确性与处理效率之间找到最佳平衡点。当LLMs被要求回答那些需要整合多个来源信息的复杂查询时，它们常常在长上下文面前显得力不从心。随着相关文档数量的增加，推理的复杂度也在攀升，模型处理信息的能力很容易就达到极限。这种低效不仅拖慢了响应速度，也增加了出错的几率——特别是当模型需要从海量上下文中筛选出最关键细节时。因此，如何开发出能有效整合外部知识、同时降低延迟和风险的系统，成了自然语言处理领域一个关键的研究方向。

研究人员此前已经开发出检索增强生成（RAG）等方法，将外部知识源直接整合到LLMs的生成流程中。传统的RAG系统会检索与查询相关的多个文档，并将它们并入模型输入，以确保对主题有透彻的理解。虽然这种方法在减少事实性错误上已被证明有效，但它也带来了新问题。同时包含多个文档会显著拉长输入长度，进而拖慢推理过程，并增加生成准确答案所需的推理复杂度。一些进阶的RAG系统尝试改进检索文档的质量，以优化提供给LLM的上下文。然而，这些方法往往只关注在充分解决延迟问题之后才去提高准确性——而延迟问题，恰恰是这些模型在实际应用中一个不小的瓶颈。

来自加州大学圣地亚哥分校、Google Cloud AI Research、Google DeepMind和Google Cloud AI的研究人员，介绍了一种名为推测性检索增强生成（Speculative RAG）的新方法。这个框架创新地结合了专家模型和通才模型的优势，旨在提升响应生成的效率与准确性。Speculative RAG背后的核心理念是：利用一个更小的专家LM，并行生成多个潜在的答案草案。每个草案都基于查询从不同的文档子集中创建，以捕捉多样化视角并减少冗余。这些草案生成后，一个更大的通才LM会介入验证。它负责评估每个草案的连贯性和相关性，最终选择最准确的那个作为最终答案。这种方法有效减少了每个草案的输入标记数量，在不牺牲答案准确性的前提下，提升了响应生成效率。

Speculative RAG采用了一种分而治之的策略：根据内容相似性将检索到的文档划分为多个子集。它使用聚类技术对文档进行分组，并从每个聚类中抽取一份文档，形成不同的子集。然后，专家LM处理这些子集，生成答案草案以及相应的理由。接下来，通才LM通过根据草案及其推理的连贯性计算置信度分数来评估这些草案。这种方法最大限度地减少了检索文档中的冗余，并确保最终答案参考了多个视角，从而提升了响应的整体质量和可靠性。

Speculative RAG的性能已经在TriviaQA、PubHealth和ARC-Challenge等多个基准测试中，与传统RAG方法进行了严格对比。结果相当有说服力：在PubHealth基准测试中，Speculative RAG的准确性提升了12.97%，同时延迟降低了51%。在TriviaQA基准测试中，准确性提高了2.15%，延迟减少了23.41%。在ARC-Challenge基准测试中，准确性提升了2.14%，延迟减少了26.73%。这些数字清晰地展示了Speculative RAG框架在比传统RAG系统更高效地提供高质量响应方面的能力。

总的来说，Speculative RAG通过战略性结合更小、更专业的语言模型和更大、更通用的语言模型的优势，有效克服了传统RAG系统的局限。它能够并行生成多个草案、减少冗余，并利用不同视角，确保最终输出既准确又高效。在多个基准测试中，它对准确性和延迟的实质性改进，凸显了其在将LLMs应用于复杂知识密集型查询方面树立新标准的潜力。随着自然语言处理领域的持续演进，像Speculative RAG这样的方法，很可能在增强语言模型的能力及其在各领域的实际应用上，扮演至关重要的角色。