36k Star的开源大模型应用开发平台，太强了！

如果你正想找一款能把大语言模型（LLM）落地成实际应用的工具，那 Dify 很可能就是你想要的。 Dify 是一个开源的大语言模型应用开发平台，目标很明确：让开发者和非技术人员都能快速搭建起生产级别的生成式 AI 应用。项目从 2023 年 3 月启动，采用 Apache License 2.0 有限商业许可，后端用 Python/Flask/PostgreSQL，前端则基于 Next.js。它把构建 LLM 应用所需要的核心组件——模型支持、Prompt 编排、RAG 引擎、Agent 框架、流程编排——统统打包在一起，同时还提供了直观的界面和 API。 可以说，Dify 做的正是“缩短 AI 应用从想法到产品”这件事。具体来说，它的主要功能包括： - **加速 AI 应用开发**：帮助创业者把创意快速变成 MVP，已经有多个团队靠它拿到了投资。 - **集成 LLM 至现有业务**：通过 RESTful API 把大模型能力嵌入已有应用，同时实现 Prompt 与业务逻辑的解耦，方便追踪数据、成本和用量，持续优化效果。 - **企业级 LLM 基础设施**：可以作为企业内部的 LLM 网关，加速 GenAI 技术落地，并实现中心化监管。 - **探索 LLM 边界**：即便是技术爱好者，也能借 Dify 动手实践 Prompt 工程和 Agent 技术，摸一摸 LLM 能力的天花板。 另外，Dify 也提供了完整的云服务，不用安装就能上手体验。截止发稿前，它在 GitHub 上已经收获了 36.3k 的 Star。

--- ### 模型设置 Dify 对模型的支持相当全面，目前已覆盖主流供应商，并且根据使用场景分成了四大类： **1. 系统推理模型** 这是创建应用时实际使用的模型。聊天、对话名称生成、下一步问题建议等场景，调用的都是推理模型。 目前已支持的系统推理模型供应商包括：OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU（ChatGLM）。 **2. Embedding 模型** 在数据集中，对文档进行分段后做 Embedding 用的是这类模型。同时，在使用了数据集的应用中，将用户的提问做 Embedding 处理也是它。 已支持的 Embedding 模型供应商：OpenAI、ZHIPU（ChatGLM）、JinaAI。 **3. Rerank 模型** Rerank 模型用来增强检索能力，改善 LLM 的搜索结果。有点像是检索后的“二次筛选”，让最相关的内容排在前面。 已支持的 Rerank 模型供应商：Cohere、JinaAI。 **4. 语音转文字模型** 在对话型应用中，把收到的语音转成文字，靠的就是这类模型。 目前已支持的语音转文字模型供应商：OpenAI。 --- ### 应用 & 工作流 在 Dify 里，所有应用都是基于 GPT 等大语言模型构建的，并且配套了完整的 API、Token 鉴权和 WebApp，方便你快速开发。它提供了四种应用类型： - **聊天助手**：基于 LLM 构建的对话式交互助手。 - **文本生成**：面向文本生成类任务，比如写故事、做文本分类、翻译等。 - **Agent**：能够分解任务、推理思考、调用工具的对话式智能助手。这才是体现“智能”的核心场景。 - **工作流**：通过流程编排，定义更灵活的 LLM 工作流。适合那些需要多步骤、多条件判断的复杂任务。 --- ### 知识库 在 Dify 平台中，知识库是实施 RAG（检索增强生成）技术的关键。当用户提出一个问题时，系统会迅速在知识库中搜索最匹配的数据片段。这个过程依赖复杂的语义匹配算法，确保检索到的内容不仅相关，而且能直接回答或辅助解答用户问题。找到合适信息后，系统会把这些文档片段融入模型生成的上下文中，作为额外的背景知识，最终给出更满意、更详尽的回答。 --- ### 工具 工具的存在，本质上是给 LLM“装上了手脚”。通过集成联网搜索、科学计算、图像生成等能力，它不仅扩充了 LLM 的技能集，更重要的是增强了它与外部世界互动、解决实际问题的能力。LLM 不再是“纸上谈兵”，而是能真正理解和回应复杂多样的现实需求。 --- ### 安装 #### 系统要求 在安装 Dify 之前，请确保机器满足以下最低配置： - CPU >= 2 Core - RAM >= 4GB #### 快速启动 启动 Dify 服务器最直接的方式是运行 `docker-compose.yml` 文件。在运行之前，请确保已经安装了 Docker 和 Docker Compose： ``` cd docker cp .env.example .env docker compose up -d ``` 启动后，在浏览器访问 `http://localhost/install` 就能进入 Dify 控制台，开始初始化安装操作。 #### 自定义配置 如果需要自定义配置，可以参考 `.env.example` 文件中的注释，然后更新 `.env` 文件中对应的值。此外，根据实际部署环境和需求，可能还需要调整 `docker-compose.yaml` 文件本身的内容，比如镜像版本、端口映射或卷挂载。完成修改后，重新运行 `docker-compose up -d` 即可。