【LLM】通过文本质量的修剪来提高语言模型的训练效率

一句话结论

这篇论文提出了一种挺有意思的做法：给大型未标记NLP数据集里的文本质量打个分，然后用这个分数来指导数据修剪，从而在不依赖特定模型的前提下，提升语言模型的训练效率和效果。说白了，就是先筛掉“垃圾数据”，再用剩下的精华去训练，事半功倍。

论文的背景

语言模型最近几年确实风光无限，拿下了一大堆NLP任务的冠军。但训练这些模型呢，代价不菲——不仅需要海量数据，还得烧不少算力。更要命的是，现实世界中收集的数据常常很“脏”，噪声大、质量参差不齐，甚至夹杂着有害内容。如果模型不加筛选地一股脑全学进去，效果反而会打折扣。

所以，文本质量评估就成了关键一环。以前大家怎么做的呢？主要靠人工标注和主观判断。这方法虽然靠谱，但遇到大规模数据集就傻眼了——太慢、太贵，而且每个人的标准还不一样，主观偏差很难避免。最近也有团队尝试用ChatGPT或GPT-4来打分，让AI判断文本是不是像人写的。但这又引出一个新问题：评估本身也依赖大型语言模型，这不就陷入“用模型评估模型”的死循环了吗？与高效训练的初衷背道而驰。

论文的方案

为了解决这个矛盾，论文给出了一套新方案：设计一个数值化的文本质量分数，而且这个分数是

这样做的好处是双重的：一方面，把低质量的文本实例剔除掉，训练过程自然就轻快多了；另一方面，那些有害内容也会得到低分，直接被过滤掉，从源头上规避了模型学习有害信息的风险。一个典型的实验结果是：在OpenWebText数据集上，用这个修剪方法，下游14个评估任务的平均绝对准确度提升了0.9%，而数据量减少了40%，训练速度快了42%；在Wikipedia数据集上，准确度提升0.8%，数据减少20%，训练时间也缩短了。效果相当直观。

论文的效果

总的来说，论文构建了一个框架，能以模型不可知的方式定量评估文本质量，然后指导数据集修剪，最后用于语言模型训练。凭借这个质量分数指标，计算资源能被更高效地分配，训练所需的数据量也大幅下降。结果呢？训练更快，模型效果反而更好——这才是关键所在。

论文标题：Text Quality-Based Pruning for Efficient Training of Language Models

论文链接：https://arxiv.org/pdf/2405.01582