英伟达开源OP-RAG，打响RAG翻身仗，超越长上下文模型

最近英伟达的一项新研究，可以说是为RAG在长上下文时代“正名”了一把。随着长文本LLM的出现，模型能处理更长的文本序列，RAG似乎显得没那么重要了——但事实果真如此吗？

In Defense of RAG in the Era of Long-Context Language Models

检索增强生成（RAG）克服了早期LLM中有限的上下文限制，过去一直是基于上下文的答案生成的可靠解决方案。最近，长上下文LLM的出现使得模型能够包含更长的文本序列，这就让RAG的吸引力有所下降。

。与这些偏爱长上下文LLM而不是RAG的研究不同，。论文重新审视了长上下文答案生成中的RAG。。与将整个上下文作为输入的长上下文LLM相比，OP-RAG可以用更少的token获得更高的答案质量。在公共基准上的大量实验证明了OP-RAG的优越性。

那么，OP-RAG具体是怎么做的呢？

传统RAG的做法是：检索与查询最相关的前k个文本块，然后按相似度排序后，按一定顺序放入大模型的prompt中。而OP-RAG打破了这一惯例——它不按相关性降序排列，而是保持了这些文本块在原文中的顺序。简单说，如果一个文本块在原文中间出现在另一个文本块之前，那么在处理答案时，它也会被放在前面。

论文里做了一系列实验，结果表明，OP-RAG在长文本问答任务中的表现，比传统RAG和长上下文LLM都要好。最亮眼的数据是：使用Llama3.1-70B模型时，OP-RAG只用16K tokens，就达到了44.43的F1分数；而同样使用Llama3.1-70B但不加RAG，即便用上128K tokens，也只能得到34.32的F1分数。差距不是一星半点。