【ChatOllama开源笔记】03 略高级的RAG 与 多向量数据库支持

03 略高级的RAG 与 多向量数据库支持

在 ChatOllama 的使用过程中，用户反馈的焦点主要集中在两大块：问答质量和多平台支持。

问答质量

就目前而言，问答质量主要依赖于 RAG 的实现效果。

多平台的支持

关于多平台支持，核心诉求集中在两点：一是对多种模型 API 的兼容，二是对多种向量数据库产品的支持。

今天的分享就围绕 RAG 的改进和多种向量数据库支持展开——更具体来说，是向量数据库 Milvus 的支持。

01. 略高级的RAG

早期的 ChatOllama 基本采用的是 naive RAG，问答质量只能说一般。

RAG 的效果高度依赖于知识库数据的索引质量。在最近的一波更新中，知识库数据的索引方案做了改进，采用了略高级的父子文档策略。

相关性搜索基于子分块进行，但最终返回给下游的是命中子分块对应的父分块。

这个策略的思想是：在检索中尽可能返回更大的文本块，从而降低语义被分块边界截断的概率。

当然，这只能在一定程度上提升问答质量。不过，至少 ChatOllama 又进化了一步。

接下来的计划是给 RAG 加上 re-ranking 机制，进一步提升检索精度。

02. 向量数据库Milvus的支持

早期的 ChatOllama 只使用 Chroma 作为唯一的向量存储后端。

目前行业内流行的向量数据库种类繁多。开源方案包括 Chroma、Milvus、Wea viate 等；商业化方案有 AWS、Azure 等云平台提供的服务，以及 Pinecone 等云原生服务。

在 ChatOllama 的用户群体中，有不少人期望能够支持不同的向量数据库。这完全可以理解，萝卜青菜各有所爱。

在最近的更新中，项目增加了对 Milvus 的支持。现在用户只需安装部署好 Milvus 服务器，并在 ChatOllama 中设置两个环境变量，即可将向量数据存储切换到 Milvus。参考以下 .env 示例：

VECTOR_STORE=chroma
MILVUS_URL=http://localhost:19530

更多的配置细节和用法可以参考项目的 README 文档中关于支持向量数据库的章节。