大模型 SFT 经验分享

一、为什么大模型需要SFT？

微调这件事，说穿了就是在已有的、知识面很宽的大模型上，用特定数据集再训一训，让它更贴合某个任务或者某个专业领域。核心目标就两个：把知识精细地灌进去，把指令系统精确地对上。目前业界主要玩这么几种套路：

二、大模型 SFT 有哪些方法？

SFT的方法，本质上就是看你动模型多少参数。大致分这么几类：

1. 全参数微调
   ：把所有权重都翻新一遍，让模型彻底适应新领域。这招适合手里有大量高质量任务数据的情况，能最大化优化模型对新任务的理解和表现。

2. 部分参数微调
   ：只挑一部分权重来更新，尽量保留预训练阶段学到的通用知识。具体做法包括：

   1. LoRA
      ：往权重矩阵里加个低秩矩阵，既学了新任务模式，又没怎么动老本，过拟合风险低，训练效率高。

   2. P-tuning v2
      ：只微调跟Prompt相关的参数（比如额外加的可学习嵌入），不动模型主体。

   3. QLoRA
      ：大概是低秩调整加上量化，省资源又高效。

3. 冻结监督微调
   ：把模型大部分权重冻住，只训练最后几层或者新加的组件（比如任务特定的输出层）。这样预训练知识不会跑偏，同时还能学新任务的决策边界。

一句话：资源够的话，全量微调是首选。部分参数微调有时候不太稳，在特定场景下效果可能打折扣。

三、介绍一下大模型指令微调 （instruction tuning）？

指令微调，专门用来增强模型理解并执行自然语言指令的能力。说白了，就是让模型能根据你给的指令，准确、得体地生成输出或完成任务。它特别关注指令遵循的一致性和准确性，这样模型在各种应用场景里才能更灵活、更实用。

操作上，通常把Instruction和答案拼成一段文本，中间会加些角色标记（比如【USER】、【BOT】），再加上开始和结束的特殊token，变成一种聊天式的任务。举个例子——翻译任务：

如翻译任务

• instruction：

【USER】：将下列内容翻译成英语：｛待翻译文本｝

• answer:

【BOT】：{翻译结果}

• 拼接后的文本：

【USER】：将下列内容翻译成英语：｛待翻译文本｝【BOT】：{翻译结果} 

然后，用预训练的方式做自回归预测。和预训练的区别在于loss计算：虽然还是用Cross-Entropy，但指令微调只算答案部分的loss，Instruction部分通过设置ignore_index给隐掉了。上面那个例子，只计算“【BOT】：”之后的loss。

四、介绍一下大模型 SFT 微调样本构建方式？

样本构建，精髓在于质量而不是数量。少量但精良的样本，效果往往超过大批中低品质的数据。通常一万份左右的样本就能达到理想效果。Meta的《LIMA: Less Is More for Alignment》论文把这个道理讲得很透：高品质微调数据是决定性因素。所以，重心应该放在打磨样本质量上，而不是单纯堆数量。

那么问题来了：怎么评估样本质量？这本身是个值得深挖的话题。评估时，关键看以下几个维度：

1. 样本多样性
   ：

   1. 指令多样性
      ：指令覆盖的范围够不够广？任务类型、难度级别、结构和表达方式是不是丰富？这样才能确保模型微调后能应对各种复杂情况。

   2. 内容多样性
      ：文本内容是否涵盖不同主题、文体、长度、语境？不然模型容易在某个领域或文本类型上过拟合，通用性就差。

2. 答案质量
   ：

   1. 准确性
      ：答案是不是准确无误地响应了指令？有没有事实错误、逻辑矛盾、语义模糊？

   2. 完备性
      ：答案是不是全面覆盖了指令要求的所有点？多步骤任务尤其要检查。

   3. 简洁性与清晰度
      ：言简意赅、表达清晰，避免冗余或含糊。

3. 一致性
   ：

   1. 内部一致性
      ：同样的指令对不同内容，结果是不是保持一致？

   2. 外部一致性
      ：答案跟已知知识库、专家判断或公认基准有没有出入？

4. 难度适配
   ：

   1. 难易程度分布
      ：简单、中等、复杂任务的比例是否合理？这样模型才能逐步提升处理复杂指令的能力。

5. 噪声控制
   ：

   1. 标签错误检查
      ：剔除标注错误或不一致的样本。

   2. 数据清洗
      ：去除重复、无关或低质量文本。

可以看出，评估样本质量是个综合工程，目的是确保微调数据既能有效驱动模型学习指令理解与执行，又能让模型在实际应用中表现卓越。通过严谨的质量评估和持续优化，就能用有限的优质样本，实现大模型指令微调的高效与精准。

五、介绍一下大模型SFT训练-Trick？

受GPT系列论文启发，现在大模型普遍走三步：预训练、监督式微调、基于人类反馈的强化学习微调。先拿到基础模型（Base Model），再通过通用任务的SFT和RLHF训练，得到能对话、能推理、能迎合用户偏好、有广泛语言理解能力的聊天模型（Chat Model）。

如果要在具体业务场景里用，通常还得用领域数据再微调一遍。下面是一些实践中效果不错的策略和技巧：

1. 精心构筑领域数据集
   ：

   1. 定向采集
      ：数据集要富含领域特有的情境、术语、规范标准和业务流程中的典型对话。

   2. 均衡分布

   3. 高标准标注