基于ChatGLM+M3E+FastGPT打造本地化焊接知识库

最近在技术社区里，看到不少人在讨论FastGPT，确实挺火的。于是我也本地部署了一套，主要用来搭建焊接领域的知识库，跑下来感觉效果相当不错。今天就来聊聊这个项目，以及怎么把它和本地模型结合起来用。

FastGPT是什么

简单说，FastGPT是一个基于大语言模型的知识库问答系统，属于典型的RAG（检索增强生成）架构。它最大的特点就是开箱即用——数据处理、模型调用这些基础能力都帮你封装好了。更厉害的是，它支持通过Flow可视化工作流编排，可以设计出相当复杂的问答逻辑。

工作原理

它的核心逻辑其实很直观，说白了就这么几步：

• 先把准备好的文档切成若干小段
• 调用文本转向量的接口，把每段都转成一个向量，存入向量数据库
• 用户提问时，把问题也转成向量，去数据库里检索最相关的那一段
• 最后把问题和检索结果合并，发给大模型进行回答

主要功能

FastGPT的功能设计上，有几个点确实挺实用：

通过导入文档或已有问答对进行训练，让模型能够基于你的资料库，以对话形式回答问题。这就相当于给每个企业、每个团队定制了一个专属的“知识助手”。

整个操作界面很直观，创建和训练AI客服的流程都设计得比较清爽。不需要写代码，点击拖拽就能完成大部分配置，降低了不少上手门槛。

数据导入方式非常灵活，支持手动输入、直接分段、LLM自动处理、CSV等多种途径。直接分段功能对PDF、Word、Markdown、CSV这些常见格式都支持，系统会自动完成文本预处理、向量化和QA分割，省去了不少手动整理的功夫。

基于Flow模块，你可以搭建更复杂的问答流程。比如查询数据库、查库存、预约实验室这些场景，都可以通过拖拽组件来实现。这为实际业务场景的落地提供了很大想象空间。

对外接口对齐了OpenAI官方格式，这意味着现有基于GPT的应用可以直接接入。同时也能轻松集成到企业微信、公众号、飞书等平台，扩展性很强。

使用方法

如果你只是想快速体验，可以直接登录FastGPT的在线版本（fastgpt.in），注册后会赠送3元体验额度。在这3元以内，大部分功能都能跑一遍，足够感受一下它的能力了。

当然，如果要正儿八经地干实事，打造一个专属、安全的知识库，本地化部署才是稳妥的选择。主要需要部署三块：大语言模型（比如ChatGLM）、词向量模型（比如M3E），然后用Docker部署FastGPT。部署完成后，可以直接把大模型和FastGPT连起来，或者用OneAPI做统一的管理和转接。跑通之后，效果是这样的：

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3277733089968160770"></iframe>