Easy-RAG 一个适合学习、使用、自主扩展的检索增强生成系统

AI技术这股浪潮，确实已经渗透到各个角落。在自然语言处理这块，检索增强生成（RAG）系统，凭着实打实的性能和丰富的应用场景，成了眼下最热的研究和应用方向之一。今天聊的这个系统——Easy-RAG，一个完全开源的项目，主打的就是一个“好用”——无论是学习、上手，还是后续的二次扩展，都相当友好。希望能帮你把RAG这件事，看得更透彻一些。

一、Easy-RAG 系统概览

Easy-RAG 是一个开放源代码的检索增强生成系统。它的设计初衷很清晰：为想深入了解RAG技术的研究者和开发者，提供一个简单、直接的学习和使用途径。不管你是做学术研究，还是搞商业开发，这个系统都能提供挺扎实的支持。与其在复杂的架构里绕圈子，不如直接从它入手，理解RAG的核心逻辑。

二、功能特点

具体来说，它的功能亮点包括：

• 知识库支持：
  目前支持txt、csv、pdf等常见格式的文件作为知识库，而且知识库的创建、更新、删除这些基本操作，一个不落，都很顺手。

• 聊天功能：
  支持纯大模型的多轮对话，也能基于知识库进行问答。为了提升搜索效率，系统提供了复杂召回、简单召回，以及rerank（重新排序）三种检索方式，应付不同场景的精度要求。

• 语音转文本：
  支持从音频和视频中提取语音，再转换成文本并做向量化处理。这里用的是funasr模型，首次启动时会从魔塔下载，一次配置，后续只管用。

• 持续更新计划：
  开发团队并没有停下。后续计划支持Elasticsearch、Milvus、MongoDB等作为向量数据的存储后端，还会加入语音回答输出和问题路由知识库的功能。可以说，扩展性和前景都相当明确。

三、项目结构

得说一句，项目结构这块写得相当清晰，没什么弯弯绕绕。整个项目主要包含：

1. Chroma_db：
   存放Chroma向量数据的文件夹，是整个系统的记忆核心。

2. Ollama_api：
   通过API方式与Ollama交互的代码模块，负责调用模型。

3. embedding：
   处理文件向量化的代码，把非结构化的文档变成计算机能理解的数字。

4. rag：
   RAG操作的核心代码，检索与生成的逻辑都在这里。

四、安装与使用

安装和上手方面，Easy-RAG走的是简洁路线。主要通过Ollama来管理模型，几条命令就能把大模型和嵌入模型部署好。具体操作分几步：

先去官网（https://ollama.com/download）找到适合自己操作系统的安装包，下载安装。

在命令行中直接执行以下两行命令，安装对话模型和嵌入模型：

ollama run qwen2:7b
ollama run mofanke/acge_text_embedding:latest

确保Python环境是3.8或以上版本，然后克隆项目：

git clone https://github.com/yuntianhe2014/Easy-RAG.git

用pip把所需Python包装上，这里用了阿里云的镜像源，速度更快：

pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

执行下面的命令，即可启动Web界面：

python webui.py

如果想对知识图谱进行实时处理，再启动这个工具：

python graph_demo_ui.py

总结下来，Easy-RAG 的功能确实全面，学习曲线平缓，扩展性良好。对研究者和开发者来说，是个能深入理解RAG、并在此基础上做应用开发的靠谱选择。想进一步了解的话，直接去GitHub仓库看看源码就行，所有细节都在那里。