Llama3.1-8B模型中文版！OpenBuddy发布新一代跨语言模型

7月23日的一则消息，让整个开源社区都兴奋了一把——Meta正式发布了Llama3.1系列，算得上是开源模型发展史上的一个里程碑。为了这一天，我们团队在Llama3.1上拿出了第一个成果：

Llama3.1：开源模型的新里程碑

这次Meta带来的惊喜不少。其中最亮眼的，当属那个405B参数的版本——它直接刷新了开源模型性能的上限，多项测试成绩已经逼近GPT-4这样的闭源巨头，甚至在部分基准测试中还有反超的势头。这背后有什么门道？除了模型本身的能力提升，Meta还修改了许可协议，放开了数据蒸馏方面的限制。说白了，开发者现在可以用405B模型的输出去训练自己的模型，这对整个生态来说是不小的利好。

Llama3.1-8B-Instruct：利用合成数据增强小模型

大模型固然风光，但小模型也没被落下。Meta同步发布了8B和70B的3.1增强版，在数据集构成、训练方法和位置编码缩放上都做了针对性优化。具体到8B版本，它基于8种语言（英语、德语、法语、意大利语、葡萄牙语、西班牙语、印地语和泰语）的语料和问答对进行训练，配合特有的长文扩容技术，上下文长度直接拉到131072 tokens。知识截止日期也更新到了2023年12月，比上一版更有“时效感”。

不过，最值得关注的是Meta在训练方法上的尝试——用大模型“教”小模型。在后期训练中，他们引入了超过2500万条由405B模型等大模型合成的数据，让8B小模型的能力又上了一层台阶。从代码、数学这类考验推理能力的基准测试来看，Llama3.1-8B-Instruct的综合能力已经能和GPT-3.5 Turbo掰掰手腕了。可以说，这个版本证明了一件事：小模型+高质量数据这条路，是走得通的。

OpenBuddy-Llama3.1-8B-v22.1：新一代开源跨语言模型

Llama3.1虽然能力不错，但有一个明显的短板：它不支持中文。不过，既然模型已经在8种语言上充分训练，跨语言潜力肯定是有的。我们团队花了大约半天时间，在Llama3.1-8B-Instruct的基础上，用约10%的少量数据做了一次针对性训练，主要目标就是增强中文能力。

结果令人满意。经过少量数据训练后，这个模型不仅具备了中文问答和跨语言翻译能力，还在一些容易混淆概念的问题上表现出色。相比上一代8B模型，它能输出通常只有更大模型才能生成的答案——认知潜力确实更强了。

举个例子，有人问：“为什么手机只有100/100的电啊，根本就不够用，建议以后手机都有200/200的电。”

模型给出的回答是：手机电量显示为100/100的设计，主要是为了给用户一个直观的电量剩余指示。简化显示有助于用户快速了解状况。实际上，电池容量并不是用“100单位”来衡量的，而是以毫瓦时或瓦时为单位。100/100显示的是电池容量的最大值，并不意味着充满后不能再充电——继续充电只是显示值不再增加。这种设计能保护电池，避免过度充电缩短寿命。如果改成200/200，虽然在视觉上可能让用户感觉“更爽”，但实际存储能力没变。用户反而可能误以为容量翻倍，在显示接近200%时忽略真实充电情况。所以，从电池管理和用户教育角度看，保持100/100的设计才是更合理的选择，既不会误导用户，也有助于保护电池健康。