大模型进阶必看：玩转“知识蒸馏”与“文档切割”两把手术刀

前言

2025年，AI圈出了件大事。

DeepSeek 只花了

的训练成本，就搞出了一个能和 OpenAI 掰手腕的模型。这消息一出，业界哗然。紧接着，OpenAI 坐不住了，指控 DeepSeek 用了一种叫“蒸馏”（Distillation）的技术，相当于抄了近道。

好家伙，这指控听起来挺唬人。但“蒸馏”到底是啥？

与此同时，在搞 AI 应用（尤其是 RAG 知识库）的时候，天天跟各种 Word、PDF、网页打交道。

这又涉及到另一门手艺—— 。

今天这篇文章主打一个“买一送一”。不拽术语，把

和一次性聊透！

Part 1：大模型的“吸星大法”——知识蒸馏

1. 蒸馏何谓？从化学到AI

“蒸馏”这个词，学过初中化学的都知道。

比如酿白酒，就是利用沸点不同，加热让酒精先变成蒸汽，再冷却收集。精髓就是四个字：

。

大模型里的蒸馏，核心思路一模一样。只不过对象从“酒精”换成了“知识”。要把一个大模型（

）脑子里的精华知识，“提纯”出来，灌进一个小模型（）脑子里。

简单来说，就是

。

2. 死记硬背的笨办法（硬标签）

先想想，如果让你教一个小学徒，怎么让他学得快？

最直接的办法：

。

比如拿一张猫的图片给大模型（老师）看，大模型说：“这是猫。” 然后我们把“猫”这个标准答案告诉小模型（学生），让它记住。在AI里，这个标准答案就叫

。

这像什么呢？就像给厨师新人一本菜谱，上面写着：“盐3克，糖5克。”
新人照着做，确实能做出来，但他不知道为什么放3克盐而不是5克。

3. 模仿思维的窍门（软标签与暗知识）

真正的知识蒸馏，可没这么简单粗暴。它不关心大模型给了“什么答案”，而是关心大模型是“

”。

大模型在回答问题时，其实不是只给出一个孤零零的结果，它会给所有可能的答案

。

比如，给大模型看一张图，它可能输出：

• 猫：概率 80%
• 狗：概率 10%
• 老虎：概率 5%
• 鸡：概率 1%

这组概率分布，就是

。

你看，这比单纯的硬标签（猫）信息量大太多了！软标签告诉小模型：猫和狗虽然不一样，但也有相似特征；猫和老虎更像。这种大模型在亿万数据里悟出来的“

”，就是传说中的。

4. 蒸馏的三大优势与边界

1. 数据效率更高
   ：小模型不用看几亿张图，直接拿着提炼好的“软标签”学，事半功倍。

2. 能学到暗知识
   ：模型学到的知识更立体，泛化能力更强。

3. 成本低很多
   ：训练小模型的成本可能只是大模型的零头，这也是DeepSeek把成本压到600万美金的秘诀之一。

1. 学生有上限
   ：小模型结构就摆在那，天花板就是老师傅的水平，很难青出于蓝。

2. 只学结果，学不到推理过程
   ：只学了“鱼”，没学“渔”。

3. 过度蒸馏会“同质化”
   ：大家都去薅OpenAI的羊毛，抄同一个学霸的作业，最后模型思路变得高度相似，失去了多样性。

---

Part 2：AI应用开发的“第一步”——文档切割（Document Chunking）

聊完怎么训练模型，把视线拉回到日常开发。

现在最火的应用是什么？

，也就是搞知识库问答。但知识库里的知识从哪来？怎么喂给AI？这就轮到登场了。

1. 知识库的源头：Loader（加载器）

知识的来源五花八门：可能是本地的Word文档、PDF文件，也可能是B站的视频字幕、某个网页URL，甚至是一条靠谱的Twitter。

在 Langchain 的世界里，第一步就是通过

。它的输入是原始文件，输出是标准的 （包含 pageContent 内容和 metadata 元数据）。

Langchain 社区提供了 180 多种加载器，基本覆盖了你能遇到的所有格式。

光说不练假把式，直接上一段真实代码。比如，你想把

存进知识库：

ja vascript

 复制代码import "dotenv/config";
import { CheerioWebBaseLoader } from "@langchain/community/document_loaders/web/cheerio";// 访问网址并提取文档内容
// cheerio 可以传递 css 选择器来精准定位，把网页里无关的侧边栏、广告统统过滤掉
const cheerioLoader = new CheerioWebBaseLoader(
  "https://juejin.cn/post/7660707431753678854",
  {
    selector: '.main-area p' // 只抓取文章的主体段落
  }
);// 加载！输出是一组 Documents
const documents = await cheerioLoader.load();
console.log(documents);

2. 第二步：分块（Splitter）

文件加载完了，是不是直接就能向量化存库了？

一个PDF动不动几十页，一篇文章几千字。如果整篇文章作为一个向量去检索，那就像是

。用户的提问往往只针对其中一小段，如果整个大文件塞进去，检索出来的内容噪音极大，AI根本找不到精确的答案。

所以，得

！这就是 的活。

需要把长文档，切割成一个个具有一定语义的、大小适中的

。这样，当用户提问时，向量数据库就能精准地捞出最相关的那一小块内容喂给大模型。

• 不能太大
  ：太大了，检索精准度下降。

• 不能太小
  ：太小了，丢失上下文语义（比如一句话被切成两半）。

• 要有重叠
  ：块与块之间最好有重叠部分，防止切断了关键信息。

---

总结一下

今天咱们一文聊透了两件事：

1. 知识蒸馏
   ：是

   模型与模型之间
   的传承。小模型通过模仿大模型的“概率分布”（软标签）来吸收“暗知识”，是降本增效的神器。

2. 文档切割
   ：是

   数据与应用之间
   的桥梁。通过 Loader 读取五花八门的源文件，再通过 Splitter 切分成精准的 Chunk，是 RAG 应用成功的基石。

一个管“

”，一个管“”。两者虽处不同赛道，但都是 AI 工程化落地不可或缺的“手术刀”。

希望这篇“双拼”干货对你有用！