AnythingLLM：一键搭建本地 AI 私有知识库，支持10+种 LLM、RAG 和 AI Agents！

先说说核心定位：AnythingLLM 本质上是一个全栈应用，你可以把它理解成一个“私有版 ChatGPT”——既可以本地跑，也可以放云端，还能跟你扔进去的任何文档聊天。它背后接的是现成的商业大模型，或者是开源圈里流行的那些模型，再搭配一个向量数据库，一套组合拳下来，你就有了一个完全不受制于人的对话系统。

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3489762105535053833"></iframe>

支持 Mac, Windows, & Linux

AnythingLLM 核心功能

功能层面，AnythingLLM 给的选项相当丰富，挑几个重点说说：

• 多用户实例支持，带权限管理，团队协作场景可以直接用。
• 工作区里内置了 Agent（智能体），能干浏览网页、跑代码这类事情。
• 文档类型基本全覆盖：PDF、TXT、DOCX 这些主流格式都认。
• 两种对话模式——聊天模式保留历史上下文，适合连续追问；查询模式则直击文档做问答，不废话。
• 聊天过程中会明确标出回答引用了文档里的哪一段，溯源清晰。
• 100% 云部署就绪，当然你也可以“部署你自己的 LLM 模型”。
• 处理超大文档时效率很高：一次嵌入（Embedding）搞定，据说比其他方案省 90% 成本。
• 还给开发者准备了全套 API，方便做自定义集成。

AnythingLLM 支持的 LLM

在模型支持上，覆盖面相当广——从开源到商业闭源，几乎主流选择都在列：

• 任何与 llama.cpp 兼容的开源模型
• OpenAI
• Azure OpenAI
• Anthropic
• Google Gemini Pro
• Hugging Face（聊天模型）
• Ollama（聊天模型）
• LM Studio（所有模型）
• LocalAi（所有模型）
• Together AI（聊天模型）
• Perplexity（聊天模型）
• OpenRouter（聊天模型）
• Mistral
• Groq
• Cohere
• KoboldCPP

AnythingLLM 支持的嵌入模型

• AnythingLLM 原生嵌入器（默认）
• OpenAI
• Azure OpenAI
• LocalAi（全部）
• Ollama（全部）
• LM Studio（全部）
• Cohere

AnythingLLM 支持的转录模型

• AnythingLLM内置（默认）
• OpenAI

AnythingLLM 支持的向量数据库

• LanceDB（默认）
• Astra DB
• Pinecone
• Chroma
• Wea viate
• QDrant
• Milvus
• Zilliz

AnythingLLM 仓库介绍

仓库结构

如果你打算自己跑一遍源码，可以先了解一下仓库的组织方式。AnythingLLM 的代码库主要由三个模块构成：

• frontend
  ：一个 viteJS + React 前端，用来可视化管理所有配置和对话。

• server
  ：NodeJS Express 服务器，负责处理业务逻辑、向量数据库交互以及 LLM 的调度。

• collector
  ：另一个 NodeJS Express 服务，专门从 UI 接收并解析文档。
• 另外还有

  docker
  目录，包含了 Docker 构建指令及从源码构建的说明。

仓库地址：https://github.com/Mintplex-Labs/anything-llm

配置开发环境

本地启动的步骤很清晰，跟着走就行：

• yarn setup
  ：在仓库根目录下运行，会自动生成各个模块需要的 .env 文件。
• 注意：在继续之前，务必先填好 server/.env.development 里的配置项，否则代码跑不起来。

• yarn dev:server
  ：本地启动 server 模块。

• yarn dev:frontend
  ：本地启动前端。

• yarn dev:collector
  ：最后启动文档收集器。