千问1.5B模型跑赢70B大模型，72B 吊打GPT-4

最近“小模型革命”确实有点火。不是说大模型不好，但你看，一条新赛道正在快速成型：用更小的参数规模，去撬动更实际的应用场景。

今天要说的这位新“小将”，来自Qwen团队，叫做Qwen2-Math 1.5B。别小看这个只有1.5亿参数的“小不点”，它在MATH基准测试里拿下了69.4分——这个分数已经超越了不少70B参数的大模型。这就是典型的“班里的‘小个子’同学”，突然在数学考试里一骑绝尘，把那些平时成绩不错的“大个子”们都甩在了身后。

更让人意外的是，这个模型的硬件需求极其亲民：FP16精度下只需要3GB显存，INT8精度下只需要1.5GB，INT4精度下更是只需要750MB。这意味着什么？用句调侃的话说，那些“显卡穷”的小伙伴们也能玩得转了，再也不用羡慕别人家的3090Ti——自家的“破显卡”也能跑出不错的效果。

这个模型是Qwen2-Math系列的一员。除了这个1.5B版本，他们还发布了7B和72B的版本。72B版本在MATH基准上拿到了84分，7B版本也有75分，这些成绩都超越了GPT-4o和Claude 3.5在某些数学任务上的表现。更让人兴奋的是，1.5B和7B版本都是Apache 2.0开源协议，可以自由使用和修改。72B版本虽然使用了Qianwen协议，但也提供了基础版和指令微调版供大家选择。

有网友调侃说：“这不就是AI界的‘Da vid VS Goliath’吗？小小的1.5B模型竟然能在某些任务上击败70B的巨人，简直是‘以小搏大’的经典案例啊！”

这个案例再次说明一件事：不是体型大就一定厉害。有时候，一个精心设计和训练的小模型，也能在特定任务上发挥出惊人的实力。

那么Qwen团队是怎么做到的呢？他们的秘诀包括几个关键点：

1. 在数学特定数据和合成数据上进行进一步预训练
2. 使用RM+拒绝采样构建SFT数据
3. 在SFT之后执行GRPO
4. 对预训练和指令数据集进行精确匹配和13-gram去重的数据清洗

不得不承认，这波操作既创新又下足了功夫。而且，这个模型已经集成到了Transformers中，这意味着更多的开发者和研究者能够方便地使用和研究它。

有网友激动地表示：“这简直是给我们这些‘GPU穷人’的福音啊！终于不用羡慕别人的‘显卡豪宅’了，自己的‘显卡蜗居’也能跑出不错的效果。Qwen团队，你们是我们的‘AI罗宾汉’！”

这个1.5B模型的出现，为那些计算资源有限的个人开发者和小团队带来了新的希望。它证明了一件事：在AI的世界里，智慧和创新比单纯的规模更重要。