Qwen2模型开源，你值得拥有！

千呼万唤始出来。通义千问团队开源的Qwen2，终于来了。这次一口气端上来5个尺寸的模型，从轻量级到重量级，选择相当丰富，覆盖的场景也更全了。

具体来看，这次开源包含了4个Dense模型和1个MoE模型。Dense版本覆盖了0.5B、1.5B、7B和72B这四个主流参数规模，而MoE版本的总参数量是57B，每次推理时实际激活的参数量是14B，在性能和效率之间找到了一个不错的平衡点。

需要特别注意的是，Qwen2系列是一个多语言模型，除了中英文之外，还额外支持了27种其他语言。这意味着它在全球范围内的应用潜力非常大，尤其是在多语言RAG、工具调用、角色扮演和Agent等复杂任务上，原生支持会省下不少适配的功夫。

模型细节

在技术架构上，Qwen2延续了Qwen1.5的设计思路，主要的升级点在于训练数据的规模大幅提升——据说这次的预训练数据量达到了7T tokens以上。更多的数据意味着更强的知识储备和泛化能力，这是模型性能提升的最直接驱动力。

不同尺寸模型支持的上下文长度也拉开了一些差距：

• 0.5B和1.5B这两个小体量模型，支持32K上下文。
• 57B-A14B的MoE模型，支持64K上下文。
• 7B和72B模型，则直接拉到了128K上下文。

128K的上下文长度，意味着可以一次性处理十几万字的超长文档，这对于法律、金融、科研等需要处理长篇材料的场景来说，是非常实用的进步。

除了中英文之外，Qwen2所支持的27种语言覆盖范围相当广泛：

• 西欧：德语、法语、西班牙语、葡萄牙语、意大利语、荷兰语
• 东欧及中欧：俄语、捷克语、波兰语
• 中东：阿拉伯语、波斯语、希伯来语、土耳其语
• 东亚：日语、韩语
• 东南亚：越南语、泰语、印尼语、马来语、老挝语、缅甸语、宿务语、高棉语、菲律宾语
• 南亚：印地语、孟加拉语、乌尔都语

再来看MoE模型的内部结构。它总共有72个专家模块，其中8个是共享专家（无论处理什么任务都会被激活），另外64个是路由专家。在每次推理时，模型会从这64个路由专家中动态选择8个来激活。这意味着最终参与计算的专家数量是8（共享）+ 8（路由） = 16个。这种设计既保证了模型容量（总参数大），又控制了计算成本（激活参数少），是当前大模型领域的主流优化方向。

效果分析

从公布的评测数据来看，Qwen2系列模型整体上全面超越了自家的Qwen1.5系列，对比同期的其他开源模型，也展现出了非常明显的竞争力。

先说两个小尺寸模型，0.5B和1.5B。它们在中文相关的评测榜单上表现很亮眼，但在推理相关的榜单上略输于Phi-2。不过，坊间有传闻说Phi系列存在过拟合（overfit）的问题，这意味着它在特定榜单上刷分很强，但实际部署使用时的效果可能并不理想。如果是做中文场景的轻量级应用，Qwen2的小模型可能是个更稳妥的选择。

7B模型这个尺寸，是开源社区的“兵家必争之地”，竞争者包括Llama-3-8B、Yi-9B、GLM4-9B等。从评测数据看，Qwen2-7B在代码生成和中文理解这两个维度上，表现要优于同级别的对手。这对于国内开发者来说，无疑是个很有吸引力的选择。

最重磅的是Qwen2-72B模型。它在绝大多数评测榜单上的成绩，居然全面超越了自家上一代的最大模型Qwen1.5-110B。要知道，110B模型的参数量比72B大了一半，而72B却在代码、数学和中文等关键领域上实现了反超。这说明在数据质量和训练方法的优化上，Qwen2确实下了硬功夫。这在72B这个量级的模型里，可以说是相当能打了。

最后是Qwen2-57B-A14B MoE模型。与同级别的32B参数模型相比，它不仅效果更好，而且推理速度更快。在参数量相近的情况下，MoE架构通过动态激活部分专家，实现了更高效的算力利用，这次的结果正好印证了这一点。

利用Agent解决大模型上下文窗口问题

除了模型本身，团队还发了一篇技术博客，介绍如何让只有8K上下文长度的旧模型（或者作为解决方案的参考），更好地理解和处理长达百万字的文档。这个思路很有意思，它不是简单粗暴地扩展上下文窗口，而是通过Agent机制来主动进行信息检索和推理。

方法分为三个层级：

• Level 1：标准增强检索生成（RAG）。
  将长文档切分成小块，检索出最相关的几块，拼接到8K上下文中，然后让模型基于这些片段回答。这是最基础的方案。

• Level 2：分块阅读与并行预测。
  将文档切分成多个独立的小块，让模型同时对每个小块进行判断。如果是相关内容，就提取关键句子；如果不相关，就返回“无”。最后把这些关键句子拼接到8K上下文中，让模型生成最终答案。这相当于让模型先进行一轮“粗筛”，精度比Level 1高得多。

• Level 3：逐步推理。
  针对复杂的、需要多步推理的问题。首先将问题拆解成多个子问题，然后对每个子问题都采用Level 2的“分块阅读”方法来获取答案。接着，把第一个子问题的答案作为上下文，与第二个子问题结合，形成新的问题，再次采用Level 2的方法寻找答案。如此迭代，直至所有子问题解决，得出最终结论。

实验结果显示，这种基于Agent的逐步推理方案，在“大海捞针”（Needle In A Haystack）和LV-Eval这类长文本评测任务上，效果显著优于直接对模型进行上下文外推或者传统的RAG方法。

快速上手

跟之前的版本一样，Qwen2可以直接通过Transformers库来调用。下面以Qwen2-72B-Instruct模型为例，代码非常简单直接。

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-72B-Instruct", 
                                             torch_dtype="auto", 
                                             device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-72B-Instruct")

prompt = "你知道刘聪NLP是谁吗"
messages = [{"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages,
                                     tokenize=False,
                                     add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(model_inputs.input_ids,
                               max_new_tokens=512)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]