如何选出性价比最高的Llama 3.1

今天终于有时间翻完了Llama 3.1那份90多页的技术报告，内容确实扎实。里面关于

的部分，有不少值得琢磨的地方，拿出来跟大伙儿聊聊。

TL;DR

• 在同等参数量下，Llama 3.1模型几乎都达到了当前最优水平
• 依赖公开评测集来评估模型能力，参考价值已经打了折扣
• 70B参数规模的模型，在绝大多数任务中的性价比是最高的
• 更大的模型，只有在特定任务上才能看到明显的性能提升

正文

报告第5章主要是评估结果的分析，覆盖了预训练模型（Base Model）和后训练模型（Instruct Model）的自动评估与人工评估，还包括安全性部分。

咱们重点拆一拆

。

关于模型大小和能力的关系，报告中有一张关键表格：

自动评估覆盖了当前主流的几个能力维度：

• 通用能力
• 编码能力
• 数学能力
• 推理能力
• 工具使用能力
• 长上下文处理能力
• 多语言能力

对应的数据集也都是业内在用的那几套。

从表上看，

。说实话，这种“SOTA”宣言在技术报告里已经快成标配了，每家都会挑几个自己擅长的维度来标榜一下。唯一的不同是，每个报告里那个“SOTA模型的版本号”轮到了自己。

而且，绝大部分评测集都是公开的。模型如果提前接触过这些数据，那用它们来横向比较各家的能力，其实已经不太站得住了——

。

不过，换个角度去看这张表，其实更能挖出点东西：

。这能帮我们回答两个问题：一、想在某类任务上做得更好，模型得放大多少倍？二、为了这个提升，多投入的资源到底值不值？

通用能力

编码能力

数学能力

推理能力

工具使用

长上下文处理

多语言能力

把这些维度串起来看，规律其实挺清晰的：

；但。

所以可以得出一个比较踏实的结论：

。当然，如果你的应用场景对逻辑推理或者代码生成要求特别高，那往大模型上砸资源，还是能换来实实在在的效果提升的。

这部分的分析，对我们在实际工程里选模型大小，确实给出了很直接的参考意义。