使用 MyScale 和 Dify 构建 RAG 聊天机器人

要说当下AI圈热度最高的几个方向，大型语言模型（LLM）的落地应用绝对排在前列。无论是客服、任务自动化，还是个性化体验，LLM的潜力是实打实的。但问题是，真正把一个LLM应用从概念推向落地，却常常是另一回事——对大部分缺乏深厚技术背景的人来说，传统方法意味着大量的编程工作，这本身就是一道高门槛。

Dify正是在这种背景下崭露头角。它是一个主打开发者友好的LLM应用开发平台，硬生生把复杂的模型集成、RAG检索、工作流编排这些事，变成了一套相对直观、可操作的流程。非技术用户也能借此摸到AI应用开发的门槛。这篇文章，我们就用Dify和MyScale，完整走一遍搭建一个RAG（检索增强生成）应用的过程，看看这套组合拳到底有多顺手。

什么是Dify

Dify是一个开源平台，核心定位就是LLM应用开发。这个平台的一大亮点就在于，它对多种LLM的开箱即用支持——你可以根据具体需求灵活选择最合适的模型，不用被一家模型厂商绑死。除此之外，Dify还覆盖了从Agent构建、AI工作流编排，到RAG检索和模型管理的全套能力，基本上把构建和运营生成式AI原生应用过程中那些最麻烦的环节都考虑到了。

下图是Dify与LangChain、Flowise、OpenAI Assistants API等主流方案的横向对比：

Dify目前提供两种选择：一是基于Web的云平台版本，开箱即用；二是本地部署版本，适合那些对数据隐私和安全性要求比较高的团队。本文就采用本地部署版本来构建RAG应用。

01 下载Dify

第一步很简单，从GitHub把Dify仓库克隆到本地：

git clone https://github.com/langgenius/dify.git

02 选择合适的向量数据库

RAG应用最终好不好用，很大程度上取决于它检索文档的速度和准确性。默认情况下，Dify搭配的是Wea viate作为向量数据库，不过我们这次要换成MyScaleDB。MyScale是一个基于SQL的向量数据库，在速度和精度上表现相当突出，不少基准测试中都有不错的名次。对RAG应用来说，用MyScale意味着数据能以更高的精度被检索回来，用户体验自然更上一层楼。

如何在Dify中使用MyScale

Dify同时支持开源版MyScaleDB和企业版MyScale Cloud。如果你打算直接用开源版，这一段可以直接跳过。如果是企业版，需要先访问MyScale注册页面创建账户，然后在“集群”页面点击右上角的“+ 新建集群”，填好集群名称，等它启动完毕。接着点击集群右侧的“操作”按钮，选择“连接详情”，把“Python”选项卡里的host/port/username/password信息记录下来。这些是后面配置Dify访问MyScale时需要的东西。

将MyScale与Dify集成

进入Dify的`docker`目录，先创建`.env`文件的副本：

cd docker
cp .env.example .env

然后把刚才从MyScale拿到的信息填进去。具体操作如下：

• 将`VECTOR_STORE`设置为`MyScale`：

VECTOR_STORE=MyScale

• 如果用的是MyScale Cloud，根据网页上获取的信息调整相关配置（`MYSCALE_DATABASE`保持默认即可）。如果是开源版MyScaleDB，以下配置无需改动：

MYSCALE_HOST=your-hostname-here
MYSCALE_PORT=8443
MYSCALE_USER=your-username-here
MYSCALE_PASSWORD=your-password-here
MYSCALE_DATABASE=default
MySCALE_FTS_PARAMS=

MyScaleDB内置了强大的全文搜索能力，可以处理大型文本数据。`MYSCALE_FTS_PARAMS`变量用于配置这些搜索参数，比如分词器和大小写敏感度。本文用默认分词器，直接在`.env`文件中加上这一行即可：

MySCALE_FTS_PARAMS='{"text":{"tokenizer":{"type":"default"}}}'

如果需要支持中文等多语言文档，记得参考MyScale官方文档来配置`MySCALE_FTS_PARAMS`参数。

改好之后，启动Dify：

docker compose up -d

运行这条命令之前，确保系统已经安装并运行了Docker。没装的话先去Docker官网下载安装。

等所有服务都显示为“started”后，在浏览器中打开`http://localhost`，会看到登录页面。创建一个管理员账户并登录，进入Dify主页。至此，Dify平台和MyScale已经顺利运转，可以开始构建聊天机器人了。

使用MyScale和Dify构建聊天机器人

步骤1：设置知识库

一切就绪，首先需要给聊天机器人准备一个知识库。点击“Knowledge”按钮，上传你希望用作知识库的文件。Dify支持从Notion、网站等多种来源同步数据，自由度很高。

这次演示使用的知识库整合了两篇文章的内容：MyScale vs. Zilliz和MyScale vs. Pinecone。

步骤2：自定义知识库选项

上传文件后，会看到几个自定义选项：调整chunk大小、选择embedding模型以及选择搜索类型。这里我们选择全文搜索来简化搜索查询，同时也能高效检索文本数据。

我们会使用OpenAI的embedding模型。要设置OpenAI密钥，点击右上角个人资料，进入“设置”，为相应平台配置密钥即可。

点击“保存并处理”，系统会花几秒钟生成embedding，数据最终存储到MyScale中。完成后，知识库就设置好了。

步骤3：创建和配置聊天机器人

在Studio中选择“Chatbot”，然后在“Create APP”菜单下点击“Create from Blank”。此时会弹出一个窗口，引导你完成后续步骤。

点击“创建”后，进入一个新窗口，在这里编写提示词，并把你刚创建的知识库作为上下文加入。

步骤4：将知识库添加到聊天机器人

在“Context”窗口中，点击“+添加”，你会看到所有已上传的文件。选择聊天机器人要使用的文件，点击“添加”。这样一来，聊天机器人就有了正确的上下文，可以为用户提供准确的回答。同时，你也可以在“Instructions”框中给聊天机器人写具体的指令。

步骤5：发布和部署聊天机器人

点击右上角的“Publish”按钮，再点“更新”保存所有改动。然后点击“运行应用”，一个新窗口就会打开。

聊天机器人就绪后，Dify还支持用iframe将其嵌入到任何地方——选择“Embed into website”选项，复制iframe代码就能无缝集成到自己的网站或应用中。点击“开始聊天”，即可与自己的聊天机器人对话。

总结

Dify这个开源平台，确实在让AI开发普惠化方面做了不少实在的事。它的工具集涵盖了提示编排、集成选项等关键功能，用户即使没有很深的技术功底，也能构建出可用的AI应用。它的核心价值在于，把传统AI开发中那些最磨人的障碍都拆掉了。

而MyScale作为一款基于SQL的向量数据库，与Dify配合起来相当顺畅。它对SQL的完全兼容和高性能的搜索能力，让需要同时处理海量向量数据和结构化数据的AI应用有了更可靠的底层支持。当可扩展性和高性能遇到Dify这种用户友好的开发平台，这套组合对想要快速落地AI应用的人来说，确实是一个值得认真考虑的起点。