通义千问：Qwen2 已开源

北京时间6月7日零点，Qwen2正式开源。这次一口气放出五个尺寸版本：0.5B、1.5B、7B、57B-A14B，以及72B。其中72B版本在代码和数学任务上表现尤为突出。

训练集除了中英文，还额外涵盖了27种其他语言。上下文长度方面，72B版本做到了完美支持128K token，7B同样达到128K，57B-A14B是64K，而0.5B和1.5B则是32K。

0.5B、1.5B、7B、57B-A14B采用Apache 2.0协议，而72B版本则使用Qwen License。

https://github.com/QwenLM/Qwen2

https://huggingface.co/Qwen

https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct

技术参数

官方数据给出了几个看点。首先，在Qwen1.5系列中，只有32B和110B的模型使用了GQA（分组查询注意力），而这次从0.5B到72B，所有尺寸模型都统一使用了GQA。这意味着更高效的推理和更优的长文本处理能力。除了中英文，训练数据还包含了27种其他语言。

在大海捞针测试中，72B和7B可处理128k上下文，57B-A14B可处理64k上下文，0.5B和1.5B可处理32k上下文。

测试（72B）

从官方公布的测试结果来看，整体表现不错。数据来源可靠，对比维度也很清晰。值得一提的是，这次在对比中特意突出了Qwen2在某些基准上的优势。这个对比的用意，其实很明显。

测试（7B）

7B版本的测试同样可圈可点。作为轻量级模型，它在数学和代码任务上的表现已经超出了很多同类产品的预期。从排布来看，这个对比显然是经过精心设计的，意在突出Qwen2在某些维度的领先优势。