本地大模型+知识库的组合，听起来很硬核，但实际操作起来，并没有那么复杂。前面聊了如何用Ollama一键部署本地大模型，以及搭建本地聊天工具，今天就把剩下几个关键步骤补全。说实话，整个过程更像是在玩积木——把几个成熟的开源项目拼在一起，就能组装出一套属于自己的AI工作流。

先快速回顾一下，我们主要要完成这些事：如何用

一键部署本地大模型；通过搭建本地聊天工具，搞清楚ChatGPT的信息流转方式；理解的概念及其核心技术；最后，用构建一个完全本地化的知识库。

三、安装Docker Desktop

这一步是整个基础设施的基石，过程并不复杂，但有个地方容易踩坑。

官方下载地址：https://docs.docker.com/desktop/install/windows-install/

下载完成后，界面会出现“close and restart”按钮——这里要特别注意，。如果点了，电脑会直接重启，导致之前部署的llama3模型下载中断。正确的做法是：先放着，等终端那边的模型下载完毕，再来处理这个重启操作。

重启完成后，依次点击“Accept”和“Finish”。接着会要求注册Docker账号，如果注册页面打不开，就需要科学上网了。按正常流程注册并登录即可，登录后会自动进入Docker Desktop，这一步就算完成了。

四、下载Open WebUI

接下来，我们要给本地大模型装一个好看又好用的界面。

Windows用户：按，输入cmd，回车。
Mac用户：按打开Spotlight，搜索“终端”。

在终端中输入以下命令，等待下载完成：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令执行完成后，访问 http://localhost:3000/auth/，按提示输入昵称、邮箱、密码注册即可。登录后，在顶部的Model选项中选择你本地已部署的模型——我这边部署了两个，所以能看到两个选项。

到这一步，你已经拥有了一个完全属于自己的本地大语言模型，可以自由对话了。如果只是玩玩、要求不高，到这里已经够用。

但如果想要更灵活地控制知识库，就需要引入另一个工具：

。它覆盖了Open WebUI的所有能力，还额外支持选择文本嵌入模型和向量数据库，意味着你可以定制自己的知识检索流程。

AnythingLLM安装和配置

安装地址：https://useanything.com/download
安装完成后进入配置页面，主要分三步走：

1. 第一步：选择大模型
2. 第二步：选择文本嵌入模型
3. 第三步：选择向量数据库

构建本地知识库

AnythingLLM引入了“工作空间”（Workspace）概念，你可以为不同项目创建独立的隔离空间。操作流程如下：

1. 创建一个工作空间
2. 上传文档并进行文本嵌入（我测试时上传了一份“2023年最新450个搞钱玩法合集”）
3. 测试对话——配置完成后，就可以直接和大模型对话了

整个过程到这里就结束了。回看下来，从部署模型到搭建界面，再到接入知识库，每一步都有现成的工具和清晰的路径，只要按部就班操作，就能拥有一套完全本地化、且可定制的AI助手系统。