Milvus

引言

最近，公司自研的RAG系统设计论证接近尾声，即将转入开发部署阶段。在技术选型中，向量数据库是绕不开的一环。说起向量数据库，它其实并非一个全新的概念。多年前，在从事推荐系统相关工作的时候，召回系统就已经在使用基于向量相似度的召回技术，背后驱动的是FAISS这类向量检索引擎，只不过那时它还远没有今天这般家喻户晓。随着LLM技术的迅猛发展，语义搜索和检索增强生成（RAG）的爆火，向量数据库才真正走入大众视野。作为支撑这些突破性技术的核心支柱，向量数据库正在重塑数据处理的方式，带来前所未有的可能性。这篇文章就来揭开向量数据库的神秘面纱，探讨它在RAG系统中扮演的核心驱动角色。

什么是向量数据库？

简单来说，向量数据库是一种专门用于存储“高维向量”的数据库。这些高维向量，可以理解为数据特征或属性的数学表达。每个向量都包含一定数量的维度，少则几十，多则几千，具体取决于数据的复杂程度和颗粒度。这些向量通常是通过对原始数据（比如文本、图像、音频、视频）施加某种转换或嵌入函数来生成的。嵌入函数的实现方法很多样，可以是机器学习模型、词嵌入算法，或是专门的特征提取算法。 向量数据库最大的价值在于，它允许我们基于向量之间的距离或相似度，进行快速且精准的相似性搜索和检索。这意味着，你不再需要依赖传统的精确匹配或预设规则来查询数据库，而是可以根据数据的语义或上下文含义，直接找出最相似或最相关的内容。

向量数据库的应用场景

向量数据库的应用场景相当广泛，几乎横跨了各个领域，包括但不限于： - **语义搜索**：将文本数据向量化后，搜索不再依赖关键字匹配，而是基于语义理解，搜索结果的相关性和精准度得到了质的提升。 - **图像和视频检索**：将图像和视频数据转化为向量，就能实现基于内容的快速检索，这在安防监控、媒体资产管理等场景中尤其关键。 - **自然语言处理（NLP）**：在文本分类、情感分析、机器翻译等任务中，通过向量化处理，模型性能可以显著提升。 - **推荐系统**：将用户行为数据和商品信息都向量化，就能实现个性化推荐，精准度高了，用户体验和转化率自然也就上去了。

RAG系统概述

RAG，全称是“Retrieval-Augmented Generation”，也就是检索增强生成，是由Meta AI研究团队开发的一个大规模自然语言处理模型。它的核心思路是将“检索”和“生成”结合起来：先从一个大型语料库中检索出与当前查询最相关的信息，然后利用这些信息来生成更准确、更丰富的答案或文本。 RAG系统的工作流程大致可以分为三步： - **数据检索**：从海量语料库中，找出与用户查询最相关的信息。 - **数据生成**：利用检索到的信息，生成上下文贴合的回答或文本。 - **答案整合**：将最终生成的内容整合成完整的输出，呈现给用户。 目前，RAG系统在企业中的应用非常普遍，比如智能客服、自动化文档生成、实时信息查询等场景。

向量数据库在RAG系统中的作用

可以说，向量数据库是RAG系统运转的关键齿轮，它的作用主要体现在以下几个核心环节： - **数据嵌入和向量化**：通过高效的嵌入模型，将原始数据转化成高维向量，为后续的检索和生成奠定基础。 - **高效向量存储与检索**：利用向量数据库强大的存储和检索能力，能够快速定位到与查询最相似的向量，极大提升检索效率。 - **提供语义搜索能力**：结合向量相似性计算，真正实现基于语义的搜索，搜索结果的相关性和准确性自然更有保障。

开源向量数据库比较

先厘清一个概念：目前开源领域的向量库产品，大致可以分为两类。一类是嵌入在应用层里的向量搜索引擎，专注于搜索功能，对事务性操作支持很少；另一类是完整的数据服务，应用层通过API去访问，形态上更接近传统数据库。 如下图所示，左边列出的是一些嵌入式向量库，右边则是数据库类型的向量库。大家会发现，不少数据库形式的向量库，其实是传统数据库厂商改造而来，在原有产品基础上增加了向量检索能力。

相似度度量指标

向量数据库的核心功能，就是从知识库中检索出与问题相关的内容。那么，怎么衡量相似度呢？通常有以下几种主流指标。具体来说，对于浮点嵌入向量，主流向量库提供的相似性度量如下表所示： - 具体指标及说明（表格内容） 而对于二进制类型的嵌入向量，主流向量库提供的度量指标如下表所示： - 具体指标及说明（表格内容） 到底选哪个指标？最终还是要结合具体业务场景去测试，通过实际召回的准确率来做决定。

索引类型

在向量库中，数据是以索引的形式来组织和存储的，不同类型的索引对应着不同的适用场景。对于浮点嵌入向量，常见的索引类型包括： - 具体索引类型及说明（列表内容） 对于二进制类型嵌入向量，其索引类型则包括： - 具体索引类型及说明（列表内容）

Milvus

经过这次调研，最终我们选择了Milvus作为向量数据库方案。原因很简单：我们需要的是一套独立的数据服务，而嵌入型搜索引擎缺少必要的配套系统，比如专业的持久化层、API层、主备容灾机制等等。而且，目前这些嵌入型引擎普遍在向云端SaaS化发展，与我们需要私有化部署的场景相悖。 Milvus的架构图如下所示： 可以看到，Milvus提供了专业的API接入层、独立的数据持久化层，并且支持集群部署，在生产环境的可靠性有充分保障。相比于传统数据库通过“打补丁”方式加入向量检索能力，Milvus在专业性上显然更胜一筹。而且，目前最新的版本甚至已经能够内置支持Rerank等更高阶的功能，这进一步增强了其作为核心组件的价值。