900个开源AI工具背后，我看到的趋势

四年前，曾经对开源机器学习生态系统做过一次梳理。从那时到现在，整个格局已经天翻地覆，所以这次打算换个角度重新聊聊这件事，核心聚焦在基础模型的技术栈上。

数据

AI领域现在的热闹程度，已经不需要多说了。在GitHub上分别以GPT、LLM和Generative AI为关键词搜索，光是跟GPT相关的，结果就有大约11.8万条。

为了稍微减点负，把搜索范围限定在至少拥有500个Star的代码库。结果是这样的：与LLM相关的有590个，与GPT相关的有531个，与Generative AI相关的有38个。当然，也会时不时刷一下GitHub Trending和社交媒体上的新动静。

经过一番海捞，最终锁定了896个仓库。其中51个是教程类（比如dair-ai/Prompt-Engineering-Guide）和聚合列表类（比如f/awesome-chatgpt-prompts）。这些资料当然很有价值，但更关心的是实实在在的软件，不过还是把它们一起收进了最终列表。真正用来分析的，是剩下的845个软件库（截止本文发布时）。

筛选过程着实不轻松，但很有收获——对人们到底在捣鼓什么有了更深的理解，开源社区的合作精神令人印象深刻，也真切感受到中国的开源生态和西方之间存在不小的差异。

（当然，肯定漏掉了不少好东西。可以在这里提交遗漏的代码库，列表每天会自动更新。欢迎提交Star数低于500的库，会持续留意这些项目，等它们达到500 Star时再加进去！）

新的AI技术栈

从结构上看，AI技术栈可以划分成四个层级：基础设施层、模型开发层、应用开发层和应用层。

这是整个技术栈的底座，包含用于模型服务（比如vLLM、NVIDIA的Triton）、计算管理（比如SkyPilot）、向量搜索和数据库（比如Faiss、Milvus、Qdrant、LanceDB）等工具。

这一层提供了开发模型所需的工具，包括建模和训练框架（Transformers、Pytorch、DeepSpeed）、推理优化（比如GGML、Openai/Triton）、数据集工程、评估等。只要涉及改变模型权重的操作，比如微调，都归在这一层。

在这一层，任何人都可以基于现成的模型来开发应用。过去两年里，这一层的变化最为剧烈，而且还在快速演进。它也被称为AI工程（AI Engineering）。

应用开发包括提示工程（Prompt Engineering）、RAG（Retrieve、Add、Generate）和AI界面（AI Interface）等。

应用层汇集了许多基于现有模型构建的开源应用，最热门的类型包括编码、工作流自动化、信息聚合等。

除了这四个层级，还有一个单独类别——模型存储库（Model Repos）。公司和研究人员会在这里分享与自家模型相关的代码。典型的例子有 CompVis/stable-diffusion、openai/whisper 和 facebookresearch/llama。

AI技术栈的演进

从累积月度图来看，每一类代码库数量的增长轨迹非常清晰。2023年Stable Diffusion和ChatGPT推出之后，新工具的数量出现了爆发式增长。但进入2023年9月后，曲线似乎开始平缓下来，背后可能藏着三个原因：

1. 分析中只收录了Star数超过500的库，而积累这么多Star本身就需要时间。

2. 大部分容易摘到的“低垂果实”已经被摘完了，剩下的项目门槛更高，有能力做的人自然变少了。

3. 人们逐渐意识到，在生成式AI领域维持竞争力并不容易，兴奋情绪正在消退。2023年初和所有公司讨论AI都在聊生成式AI，而现在交流变得更加务实，有些公司甚至重新提起了Scikit-learn。过几个月再回头看看，这个趋势是否成立会很有意思。

2023年，增长最快的是应用层和应用开发层。基础设施层也有增长，但远不及其他层级。

应用

最受欢迎的应用类型并不让人意外：编码、机器人（比如角色扮演、WhatsApp机器人、Slack机器人），以及信息聚合（典型的场景是“把它连到Slack上，让它每天帮我总结消息”）。

AI工程化

2023年可以说是AI工程化的“元年”。许多工具长得越来越像，分门别类变得越来越困难。目前把它们大致归纳为这几类：提示工程、AI界面、智能体（Agent）和AI工程（AIE）框架。

提示工程已经远远不只是“调一调提示词”那么简单了，它涵盖了约束采样（结构化输出）、长期记忆管理、提示测试与评估等大量内容。

AI界面则负责为最终用户提供一个与AI应用交互的入口。这是最感兴趣的一个类别。目前逐渐流行起来的界面包括：

• Web和桌面应用。

• 浏览器扩展，方便用户浏览网页时快速调用AI模型。

• 嵌入在Slack、Discord、微信和WhatsApp等聊天应用中的机器人。

• 插件：让开发者可以将AI应用嵌入到VSCode、Shopify和Microsoft Office这类软件中。在需要调用工具完成复杂任务的智能体应用里，插件尤其常见。

AIE框架是一个统称，泛指所有能帮助开发AI应用的平台。这类平台大多围绕RAG构建，但通常也会附带监控、评估等其他功能。

智能体则是一个比较模糊的类别，因为很多智能体工具本质上只是更复杂的提示工程，可能包含约束生成（比如模型只能输出预设的动作）和插件集成（比如让智能体学会使用工具）。

模型开发层

在ChatGPT出现之前，模型开发曾是AI技术栈的主角。到了2023年，模型开发层最显著的增长来自于推理优化、评估和参数高效微调（归在建模和训练类目下）这几个方向。

推理优化历来都很重要，但现在的模型规模之大，让延迟和成本变得格外敏感。核心的优化方法（量化、低秩分解、剪枝、蒸馏）基本没变，但针对Transformer架构和新一代硬件，已经涌现出大量新技术。举个例子，2020年时16位量化已经算领先技术了，现在2位甚至更低精度的量化都已成现实。

模型评估也是老生常谈的东西，但如今许多人把模型当作黑盒来使用，评估就变得愈发关键。大量新基准和新方法应运而生，比如比较评估（如Chatbot Arena）和“AI-as-a-judge”的做法。

基础设施层

基础设施层主要涉及数据管理、计算资源，以及服务于模型、监控和其他平台工作的工具。尽管生成式AI带来了诸多变化，但开源AI基础设施层的格局基本保持不变。这可能是因为基础设施产品本身往往不开源，所以开源圈子里变化不大。

基础设施层最新的一个类别是向量数据库，包括Qdrant、Pinecone和LanceDB等玩家。不过也有不少人认为，这根本不应该单独算作一个类别——向量搜索早就有了。与其为向量搜索单独建一个数据库，不如像DataStax和Redis那样，直接把向量搜索整合进现有数据库。

开源AI开发者

和很多事情一样，开源软件也服从“长尾分布”——少数账户掌控着绝大多数的代码库。

一人创造价值数十亿美元的公司？

845个代码库分配给594个不同的GitHub账户，其中20个账户至少拥有4个代码库。这20个头部账户一共托管了195个代码库，占全部代码库的23%，而这195个库总共获得了165万个Star。

在头部Top 20账户中，有19个属于组织，其中3个来自谷歌——Google-research、Google和Tensorflow。

唯一的个人账户是lucidrains。如果按Star数最多的Top 20账户来看（仅统计生成式AI相关库），个人账户也仅有4个：

• lucidrains（Phil Wang）：以极快的速度复现SOTA模型闻名。

• ggerganov（Georgi Gerganov）：物理学背景的优化专家。

• Illyasviel（Lyumin Zhang）：创建了Foocus和ControlNet，目前在斯坦福读博。

• xtekky：全栈开发者，开发了gpt4free。

技术栈层级的深度和开发的难度成正比。越往下走，个人开发的难度就越大，基础设施层的软件最不可能由个人发起。相反，超过一半的应用层项目都是由个人托管的。有意思的是，由个人发起的应用，平均获得的Star数反而比组织发起的更多。很多人由此推测，未来会出现不少市值不菲的“个人公司”（OpenAI CEO Sam Altman的采访里提过类似观点，Reddit上也有相关讨论）。这个推测，很可能是对的。

100万次commit

超过两万名开发者参与了这845个库的贡献，总共完成了近100万次commit！

其中最活跃的50位贡献者，完成了超过10万次commit，平均每人超过2000次。下图为前50位最活跃开源开发者的完整名单。

中国不断壮大的开源生态系统

长期以来，中国的AI生态与美国各成一体，这已经不是什么秘密了（2020年的博客提到过这一点）。当时的感觉是，GitHub在中国并没有被广泛使用，这种感觉部分源于2013年GitHub被屏蔽的历史。

但现在不一样了。GitHub上出现了大量面向中文受众、描述全用中文写的热门AI项目。有些代码库专门用于开发中文或中英双语的模型，比如Qwen、ChatGLM3、Chinese-LLaMA等。

在美国，许多研究实验室已经放弃了基于RNN架构的语言模型，但基于RNN的RWKV系列在国内依然很受欢迎。

此外，一些能将AI模型集成到微信、QQ、钉钉等国内主流产品中的AI工程工具，也在稳步发展。很多热门的提示工程工具在国内都有对应的镜像版本。

在GitHub Top 20账户中，有6个来自中国：

1. THUDM：清华大学知识工程组（KEG）和数据挖掘团队。

2. OpenGVLab：上海人工智能实验室的通用视觉团队。

3. OpenBMB：由ModelBest和清华大学NLP组共同创建的“大模型基础开放实验室”。

4. InternLM：来自上海人工智能实验室。

5. OpenMMLab：来自香港中文大学。

6. QwenLM：阿里巴巴的AI实验室，发布了Qwen系列模型。

5

快速崛起，短暂辉煌

去年观察到，不少代码库在很短的时间内吸引了大量关注，然后迅速归于沉寂。身边的朋友称之为“炒作曲线”。在这845个至少拥有500个Star的GitHub代码库里，有158个库（占18.8%）在过去24小时内没有获得任何新Star，有37个库（占4.5%）在过去一周内颗粒无收。

下图是两个典型代码库的增长轨迹，与另外两个生命力更持久的软件做了对比。虽然展示的这两个案例如今已无人问津，但作为开源社区的缩影，它们的诞生速度之快依然令人惊叹。

6

个人最看好的创意

社区还涌现了许多很酷的创意，以下是最感兴趣的几个方向：

• 批量推理优化：FlexGen、llama.cpp

• 采用Medusa、LookaheadDecoding等技术的更快解码器

• 模型合并：mergekit

• 受限采样：outlines、guidance、SGLang

• 一些看似小众但解决特定问题极其出色的工具，比如einops和safetensors

7

结论

虽然这篇分析只深入了845个代码库，但实际浏览过来回翻了数千个项目，这帮助建立起对整个庞大AI生态的全景式理解。希望这份汇总能对你有所启发。如果发现遗漏了什么好东西，随时告诉我，会继续把它加进来。