您的位置：首页 > > 教程攻略 > ai资讯 >大模型的竞争方向是小模型

大模型的竞争方向是小模型

来源:互联网 更新时间:2026-08-18 14:08

编程竞赛知识库
大模型遇见李白
大模型的竞争方向是小模型

今天这篇内容，正好把三个最近值得关注的方向串起来说一说。一个是面向编程竞赛的优质知识库，一个是结合知识图谱和大模型的文化科普项目，还有一个是关于大模型“越做越小”的趋势判断。每个都挺有意思，咱们挨个聊。

编程竞赛知识库

OI Wiki 是一个免费开放、持续更新的编程竞赛知识整合站点，在这里能找到竞赛相关的、既有趣又实用的知识，从基础到进阶都有覆盖。

网站内容涵盖了比赛常用工具、语言基础、算法基础，以及搜索、动态规划、字符串、数学、数据结构、图论、计算几何等核心模块。语言方面支持 C++、Python、Ja va，算法部分则包含复杂度分析、枚举、模拟、递归与分治、贪心、排序、前缀和与差分、二分、倍增、构造等。

数学板块更是从基础概念到代数、数论、博弈论、概率论、线性代数，一应俱全。网址：https://oi-wiki.org。项目完全开源，GitHub 地址：https://github.com/OI-wiki/OI-wiki，感兴趣的话也可以本地部署，部署命令参考如下：

git clone https://github.com/OI-wiki/OI-wiki.git --depth=1
cd OI-wiki
# 安装 mkdocs
pipenv install --pypi-mirror https://pypi.tuna.tsinghua.edu.cn/simple/
# 使用我们的自定义主题（Windows 下请使用 Git Bash 执行）
# 安装主题时将连接网络下载资源，可通过以下配置项控制下载链接
# .gitmodules:
# - url
# scripts/pre-build/install-theme-vendor.sh:
# - MATHJAX_URL
# - MATERIAL_ICONS_URL
./scripts/pre-build/install-theme.sh
# 两种方法（选其一即可）：
# 1. 运行一个本地服务器，访问 http://127.0.0.1:8000 可以查看效果
pipenv run mkdocs serve -v
# 2. 在 site 文件夹下得到静态页面
pipenv run mkdocs build -v
# 获取 mkdocs 的命令行工具的说明（解释了命令和参数的含义）
pipenv run mkdocs --help

大模型遇见李白

GitHub 地址：https://github.com/BinNong/meet-libai

这个项目的思路挺妙：通过构建李白的知识图谱，再结合大模型训练出一个专门的 AI 智能体，最终以生成式对话应用的形式，推动李白文化的普及与推广。

几个重要亮点：

项目目标：收集整理李白的资料，构建知识图谱，训练 AI 智能体，开发生成式对话应用。
项目功能：包括数据预处理、知识图谱构建、问答系统构建、图谱可视化等。
项目现状：已经搭建了问答系统，完成了图谱可视化，并提供了大模型和 RAG 检索增强的代码实现。
项目挑战：知识图谱的构建与维护、问答系统的实现与优化、图谱可视化的探索等。
项目展望：进一步优化问答系统，探索其他问答任务，持续更新维护知识图谱。

这个项目的技术栈非常值得关注：Python、PyTorch、Transformers、fastAPI、DGL、DGL-KE、Neo4j、AC 自动机、RAG、langchain、edge-tts、modelscope、gradio、zhipuai，几乎把当前 AI 工程化里主流的工具都串起来了。对于想要深入实践大模型落地的同学来说，是一个很完整的参考案例。

大模型的竞争方向是小模型

最后插播一个消息和论断。

OpenAI 发布 GPT-4o mini 之后，Mistral 也发布了自家的 12B 小模型 Mistral NeMo。这个小模型拥有 128K 上下文长度，在推理、世界知识和编码准确性上表现相当突出。经过先进的微调和对齐之后，它在遵循精确指令、推理、多轮对话和代码生成方面都优于许多同类尺寸的模型。

模型地址：https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

关于小模型，OpenAI 创始成员、特斯拉前 AI 负责人 Andrej Karpathy 有一个很有意思的论断：LLM 模型的规模竞争正在加剧，但方向却是反向的——大家在往小做。

_{我认为，我们将会见到一些非常小但思维非常出色且可靠的模型。甚至可以对 GPT-2 参数进行某种设置，使得大多数人会认为 GPT-2 很“聪明”。当前模型之所以如此庞大，是因为我们在训练过程中非常浪费——我们要求它们记住整个互联网的内容，令人惊讶的是，它们确实可以做到，比如背诵常见数字的 SHA 哈希值，或者记住非常生僻的事实。（实际上，LLM 在记忆方面非常出色，比人类好很多，有时只需要一次更新就能记住很多细节并保持很长时间）。试想一下，如果在闭卷考试中，根据互联网任意段落的前几句话要求你背诵整个段落。这就是当前模型的标准（预）训练目标。要做得更好很难，因为思维的展示在训练数据中与知识“纠缠”在一起。} _{因此，模型必须先变得更大，然后才能变小，因为我们需要它们（自动化地）帮助重构和塑造训练数据，使其成为理想的合成格式。} _{这是一个改进的阶梯——一个模型帮助生成下一个模型的训练数据，直到我们得到“完美的训练集”。当你用它来训练 GPT-2 时，它将会成为一个非常强大/聪明的模型，按照今天的标准。也许 MMLU 会低一些，因为它不会完美记住所有的化学知识。也许它偶尔需要查找一些信息以确保正确。} _{这种情况与特斯拉的自动驾驶网络非常相似。什么是“离线追踪器”（在 AI 日上展示的）？它是一种合成数据生成过程，通过利用之前较弱的模型（例如单帧模型或仅限于边界框的模型），在离线状态下进行 3D 加时间的重建过程，从而大规模生成更干净的训练数据，这些数据直接用于 3D 多摄像机视频网络。同样的过程也会在大语言模型（LLMs）中间出现。}