大模型微调技巧 | 高质量指令数据筛选方法-MoDS

指令微调在大模型时代已经成为算法工程师的必修课。当我们不断优化模型时，通常绕不开两个维度：数据的数量和数据的质量。之前的文章聊过如何从海量数据中自动识别高质量数据，今天要介绍一种更精细的方法——MoDS，全称是“面向模型的指令数据选择方法”。它的核心逻辑很清晰：从数据质量、覆盖范围和必要性三个角度出发，对原始数据集进行筛选，最终为不同模型量身定制高质量的训练数据。更让人眼前一亮的是，相比传统的自动识别方法，MoDS在数据量更少的情况下，反而能取得更好的效果。

MoDS方法

MoDS通过三个关键指标来筛选指令数据：质量、覆盖范围和必要性。质量指标确保所选指令的问题和答案都足够可靠；覆盖范围指标保证指令的多样性，避免知识面过于狭窄；必要性指标则专门挑选那些大模型本身处理不好、觉得困难或不擅长的数据，用来填补模型能力的空白。整体流程可以概括为下图所示（图片位置保留）。

质量筛选

在数据质量过滤环节，MoDS使用了OpenAssistant的reward-model-deberta v3-large-v2模型——这是一个基于DeBERTa架构设计的奖励模型。具体做法是将原始数据的Instruction、Input、Output三部分拼接起来，送入奖励模型打分。如果分数超过某个阈值α，就认为该数据质量达标，从而构建出一份高质量数据集，记为Data1。

多样性筛选

为了避免筛选出的高质量数据彼此高度相似，MoDS引入了K-Center-Greedy算法。这个算法的目标是在最大化数据多样性的前提下，使指令数据集的规模尽可能小。经过这一步，我们会得到一份种子指令数据集，记为SID。值得一提的是，计算数据间距离时，MoDS采用了BERT模型为每条指令生成句向量。

必要性筛选

不同的大型语言模型在预训练阶段学到的知识和具备的能力千差万别。因此，针对不同的模型做指令微调时，所需要的指令数据也应该有所区别。判断逻辑很简单：对于一条指令，如果模型本身已经能生成不错的回答，说明它具备处理这类指令的能力；反之，那些模型无法妥善处理的指令，恰恰是微调中最有价值的部分。具体操作分为四步：

• 用SID数据集对模型进行一次初始训练；
• 用训练好的初始模型对整个高质量数据集Data1中的指令进行结果预测；
• 利用奖励模型对预测结果打分，当分值低于阈值β时，说明初始模型无法对这些指令生成优质回复，即缺乏处理这类指令的能力，这些数据被归入必要性数据集Data2；
• 对Data2再次进行多样性筛选，得到增强指令数据集，记为AID。

模型训练

最终，将种子指令数据集SID与增强指令数据集AID合并，一起对模型进行指令微调，得到最终模型。

实验结果

训练数据

实验用到了两种训练数据。一种是单独的Alpaca数据集（52k条），另一种是混合数据集（214k条），混合数据集包含HC3、Alpaca、Alpaca-evol-instruct、Dolly-v2、InstructWild和LIMA六份数据。测试数据则由五个测试集组成：Koala（180条）、WizardLM（218条）、Self-instruct（252条）、Vicuna（80条）和LIMA（300条）。

训练超参

模型基座采用LLaMA2-7B。训练参数如下：学习率2e-5，warmup比例0.03，权重衰减0.0，批大小128，训练轮数3。在质量评价和必要性评价中，Alpaca数据集的α和β均设为0.0；混合数据集的α设为1.0，β设为-1.0。测试阶段，使用ChatGPT和GPT4作为裁判，从相关性和准确性两个维度对模型生成结果打分，每个维度1到10分。评判两个模型胜负时，若两个维度得分都高则胜，一高一低则平，都低则负。

结果分析

在Alpaca数据集上，采用MoDS方法仅用1k数据训练的效果，就超过了使用全部52k数据训练的结果（如下图所示，图片保留）。当MoDS选择2k数据时，训练效果也优于基于IFD的自动选择方法（见下表，表格保留）。在混合数据集上，MoDS用4k数据的效果全面优于全量214k数据训练的结果。

此外，实验还验证了指令多样性选择的重要性——与随机选择进行对比，结果如下图（图片保留）。必要性筛选的重要性同样得到了验证——与仅用种子数据训练的模型对比，结果如下图。

说到底，MoDS的核心思路并不复杂：与其盲目堆数据量，不如从质量、多样性和必要性三个维度精挑细选。对于不同模型、不同任务，这种“量体裁衣”的数据选择方式，往往能带来意想不到的收益。