RAGFlow v0.15.0： 年最后一个发行版

2024年RAGFlow的最后一个版本v0.15.0终于来了，这次更新有不少值得关注的地方。下面逐一盘点一下。

Agent 改进

这个版本里，Agent模块做了不少升级——不光新增了更多API，还加入了单步调试和导入导出功能。其实从v0.13.0开始，RAGFlow就对Agent进行了重构，让它更贴近大家日常的使用习惯。而单步调试，可以说补上了最后一环。

单步调试的能力如上图所示——Agent链条上的算子可以单独执行，根据输出信息帮用户快速定位问题。再配合Agent的导入导出，复用的基础就有了。

目前LLM应用生态里，Agent/工作流框架已经有很多可选的。这类系统本质上就是给非程序员用的IDE，所以针对具体业务场景编排Agent/工作流并不轻松。可以把编排好的Agent类比成App，而发布和执行Agent的框架就像App Store。长远来看，不同框架的Agent大概率会走向接口兼容和互操作。另一方面，现在的Agent产品以工作流为主，但今年已经有不少工作开始把Reasoning能力融入Agent框架。到了明年，这方面的工作会更多，尤其是多Agent场景。LangGraph已经发布了LLM Agent互操作协议，RAGFlow后续版本也会兼容这个协议。

Agent作为和RAG紧密相关的生态组成，RAGFlow从用户使用方便的角度出发，需要提供这个功能。但RAGFlow本身更专注于RAG，所以既欢迎大家用自家的Agent，也欢迎大家用其他Agent或工作流框架来访问RAGFlow。

DeepDoc 升级

文档布局模型是DeepDoc的入口模型。自4月1日开源后，DeepDoc一直没有升级。社区里不少小伙伴建议提供统一接口，让DeepDoc一律输出Markdown格式，实现模型和后续处理的松耦合。这个呼声随着MinerU等优秀开源项目的出现更强烈了。项目组一直没有推进这方面工作，主要是因为Markdown格式无法完全表达多模态文档转换后的结果。比如复杂的嵌套表格，Markdown就处理不了；未来的流程图、饼图等数据，直接输出Json会更方便。但另一方面，DeepDoc自身的开源模型确实有必要升级。这次升级主要针对文档布局模型——它依然采用YOLO训练，效率没变化，但文档布局识别的精确度明显提升了。

检索增强

就算DeepDoc做得再完美，也没法完全解决召回的命中率问题。对于文本数据，除了混合搜索，命中率还受两个因素影响。

第一个是语义鸿沟。GraphRAG和RAPTOR能解决这个问题，但都是重量级方案，消耗大量Token。有一类相对轻量的做法——Claude今年9月推出的Contextual Retrieval。它借助LLM给每个文本块生成辅助信息，帮助解决召回不足。比如一段文本里只写了治疗方案，没提是什么病，检索时可能就命中不了。LLM可以很方便地给这段文字补充上下文信息，方便召回。这种Contextual Retrieval，RAGFlow v0.13.0就已经提供了类似能力——在知识库配置页面，如果选了“自动提取关键词”，就能打开这个开关。

第二个是数据规模。数据越多，命中率越容易下降。v0.15.0推出了分级知识库功能，如果用户能区分数据质量高低，通过分级知识库让高质量数据排在前面。使用时，打开下图的“Page rank”开关就可以启用。本质上就是允许用户自定义知识库的得分权重。

Task Executor 改进

Task Executor自RAGFlow开源以来一直是被吐槽的地方。从v0.14.0开始，它在健壮性上做了很多改进。v0.15.0这次，重点针对GraphRAG、RAPTOR这种重型任务做了优化——这些任务都消耗大量Token，如果文档解析过程中发生异常，任务中断，之前消耗Token解析的结果就全丢了，体验很差。现在，通过LLM进行的文档解析和预处理任务，即使中途异常中断，重新执行时，已经解析完成的结果依然可以复用，避免浪费。

Infinity 改进

Infinity数据库在v0.14.0被引入RAGFlow作为备选，v0.15.0修复了大量使用Infinity本身导致的错误——既有Infinity自己的bug，也有RAGFlow封装带来的问题。另外，Infinity针对RAGFlow生成的查询也做了性能优化。

RAGFlow拿到用户查询后，不会简单转发给后端搜索引擎，而是走一套操作：

1. 分词后删除无意义词
2. 为每个词生成不同权重，影响最终得分
3. 基于分词结果进一步生成短语查询，辅助召回。这些短语查询和第二步的分词结果一起送到搜索引擎。

举个例子，对话“在原文中，教师应该在什么时候提问？”产生的查询可能像这样：

((原文中 OR "原文" OR ("原文"~2)^0.5)^1.0) OR ((教师)^0.9991 (提问)^0.000541 (应该)^0.000368 ("教师 应该 提问"~4)^1.5)((企业)^0.550884 (格局)^0.252471 (文章)^0.195081 (新发)^0.000607 (提到)^0.000261 (展)^0.000262 (适应)^0.000230 (应该)^0.000203 ("文章 提到 企业 应该 适应 新发 展 格局"~4)^1.5)

所以RAGFlow针对任何提问都会生成大量短语查询。过去的Infinity全文搜索实现中，只对普通查询做了动态剪枝优化，对短语查询和包含短语的组合查询都没处理。Infinity最新0.5版本实现了对这些组合查询的优化，RAGFlow生成的整体查询性能提升了3到5倍。

写在最后

RAGFlow v0.15.0是2024年的最后一个release。从开源以来一直快速迭代，代码里难免积累了一些技术债。最近几个版本，项目团队花了大量时间做代码重构和bug修复——这是RAGFlow迈向企业级生产环境的重要一步。