用Llama3零成本构建私有AI知识库

今天聊点实在的：怎么一分钱不花，就在自己的电脑上搭一套私有AI知识库。

这事儿尤其适合那些每天被海量产品信息淹没的销售人员。

一个做医疗器械销售的朋友，人到中年刚转行，前段时间就一直在抱怨：产品型号几十种，每种的技术参数、适用病症、禁忌症、甚至医保编码，记都记不过来。领导盯着业绩，客户问得又细，总不能每次跑回去翻技术手册。压力大到晚上睡不着。

我就跟他说：为什么不把你们公司那堆产品说明、技术白皮书，一股脑扔给AI去学？以后客户问什么，AI张嘴就能答。不但自己能用，甚至可以直接把对话界面丢给客户，让人家自己来问“我这种情况适合哪个产品”。

这其实就是一套定向定制的AI客服系统，而且成本为零。

如果你也有类似的场景——不管你是卖仪器、做售后、还是企业内部搞规章培训，下面的方案应该都适用。整套系统完全跑在本地，既不用花云服务器钱，也不用担心机密数据外泄，还能轻松集成到公司网站、微信公众号或者小程序里。

先看效果。

下面这个截图，是知识库里一份产品说明的实际内容片段，里面包含了适应症和发病率的详细数据。

现在，向AI提一个关于这个产品的问题，看它怎么答。

看到了？AI不光给出了准确答案，还特意标明了答案是“从哪个知识库文件”里学来的。这一点在业务场景中非常重要——你得知道AI是不是在胡说八道。

接下来就手把手说怎么从零开始搭建。

用到的工具

这次选了两个关键组件：MaxKB做前端UI和对话管理，Ollama提供本地免费大模型的推理接口。

安装Ollama

下载地址：https://ollama.com/download

下载后双击安装，没什么门槛。

装好之后，打开CMD（命令提示符），直接敲一行命令：

ollama run llama3

系统就会自动开始下载Llama3模型。等着就行，剩下的交给它。

安装MaxKB

这一步需要一个docker服务。在命令行里输入：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

部署成功后，打开浏览器，访问：127.0.0.1:8000

就会看到登录页面。初始账号和密码是固定的：

用户名: admin
密码: MaxKB@123..

第一次登录会强制要求修改密码。改完后，进入系统设置，配置大模型参数。

这里有几个关键字段：

• 模型名称
  ——随便取个名，比如“本地助手”

• 模型类型
  ——默认选项，不用改

• 基础模型
  ——填Ollama里实际下载的模型名称，比如 llama3

• API域名
  ——安装Ollama那台机器的地址。本地跑的话，直接填 127.0.0.1:11434

• API Key
  ——随便填点什么，比如 123456，Ollama并不校验

填完保存，模型服务就配好了。

创建知识库

模型配好，接下来创建知识库。MaxKB支持两种模式：

• 通用型
  ——可以手工录入信息，也可以上传Word、PDF、TXT等文档

• Web站点型
  ——直接给一个网址，系统自动爬取页面上的文字内容

我们要上传产品文档，就选通用型。

填好基本名称和描述，点击”上传文档“，把产品说明文档导进去。

导入后，系统会自动对文档做智能分段。它分得很快，但精准度不一定比你手工分段高。演示场景下用智能分段就够了，实际生产环境里，如果文档内容特别关键，建议手动分。

确认分段没问题，点击右下角导入。

创建一个智能助手

知识库建好了，现在可以用它来创建一个AI问答应用。

填写应用名称、说明这些基本信息。

在”知识库设置“这一步，把刚才建好的知识库关联进来。

点击创建。

进入设置界面，找到一个调试页面。

你可以在这个调试页里直接试问问题，跟原文对照看看回答质量。

结果还是很ok的。

到这一步，这个应用已经可以分发给业务人员，当作一个7x24小时在线的产品知识助手。

如果想进一步开放给外部客户，还可以把它接入公司官网，或者直接嵌入到微信小程序里，当做客服机器人来用。