Qwen2 性能超越 LLama3？我们在 A5000 GPU 上试试它

大模型的热度持续攀升，Qwen2 更是目前开源社区里最受关注的选手之一。这次我们聚焦一个实际场景：用 Ollama 在 NVIDIA A5000 GPU 上跑阿里千问的 Qwen2:7b 模型。为什么选 A5000？因为它既有扎实的算力，又不像 H100 那样遥不可及，是很多开发者和中小团队搭建推理环境的优选。好，直接进入正题。

先简单看看 A5000 的底子。基于 Ampere 架构，8192 个 CUDA 核心，24GB GDDR6 显存，支持实时光线追踪和 AI 增强工作流。这个规格跑 7B 级别的模型绰绰有余，推理和简单微调都能胜任。下面这张图是它的实物照，熟悉的感觉。

简单介绍下阿里 Qwen2-7b

Qwen2 是阿里云最新推出的大语言模型系列，参数范围从 0.5B 到 72B，包含一个 MoE 版本。整个系列已经在 Hugging Face 上开源，而且开源后 Hugging Face 的联合创始人兼 CEO 就发文宣布，Qwen2-72B 冲上了 Open LLM Leaderboard 第一名，全球排名最高。这个成绩本身就很有说服力。

与上一代 Qwen1.5 相比，Qwen2 在语言理解、生成、多语言能力、编码、数学和推理等几乎所有基准测试中都有明显提升。背后是 Transformer 架构加上 SwiGLU 激活、注意力 QKV 偏差、组查询注意力以及改进的分词器等一系列增强设计。更关键的是，Qwen2-72B 在所有测试中都以明显优势超过了 Meta 的 Llama3-70B。下图是 Qwen2-72B 在 16 项基准测试中的表现，覆盖多个领域，对比 Qwen1.5-72B-Chat 和 Llama-3-70B-Instruct，优势一目了然。即使是较小的 7B 版本，在编码和中文相关指标上也遥遥领先。

可用版本

Qwen2 的训练覆盖了包括英语和中文在内的 29 种语言。五个参数尺寸：0.5B、1.5B、7B、57B、72B。其中 7B 和 72B 的上下文长度扩展到 128K 个 token。下图展示了五个版本的基础模型和指令调优模型。

图：Qwen2系列包括五个不同大小的基础和指令调整模型

另一个要用到的开源项目 Ollama

如果还没用过 Ollama，值得花两分钟了解一下。它是目前最简单的方式之一，能在本地或云 GPU 上运行大语言模型，提供预训练模型库、跨平台安装、本地 API，以及硬件加速支持。用户可以直接拉取模型并运行，无需复杂的配置。这次我们就用它来拉取 Qwen2:7b，几行命令搞定。

另一个要使用到的平台 Paperspace

Paperspace 是 DigitalOcean 旗下的 GPU 云服务，提供了包括 H100、A100、A5000、A6000 等多种 GPU 资源，也是 NVIDIA 官方 CSP 合作伙伴。相比 AWS 和 GCP，价格更亲民，卡型选择也更丰富。这篇文章后续的实战环节，就基于 DigitalOcean 的 A5000 云服务来完成。

使用 Ollama 在 Paperspace 上运行 Qwen2-7b

开始之前，先确认 GPU 规格。在终端里输入：

nvidia-smi

图：显示 NVIDIA A5000 的规格

接下来下载安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

完成后，清屏，然后拉取并运行模型：

ollama run qwen2:7b

如果遇到“无法连接到 ollama 应用程序”的错误，先启动服务：

ollama serve

然后打开另一个终端再次尝试命令。或者通过 systemctl 手动启动服务：

sudo systemctl enable ollama
sudo systemctl start ollama

现在，模型下载并开始推理。由于是量化版本，下载不会太久。接下来测试一下，比如让模型写个斐波那契数列的 Python 代码：

• 编写一个 Python 代码来计算斐波那契数列

图：Qwen2:7b 模型生成的斐波那契的 Python 代码

可以看到，7B 版本响应流畅，代码质量也很高。如果想尝试其他版本，Ollama 也支持，但 7B 是目前最推荐的。综合整体表现，Qwen2-72B-Instruct 在安全性和多语言环境中已经接近 GPT-4 的水平，且显著优于 Mistral-8x22B。Llama-3 在多语言测试中表现不佳，因此被排除在这一轮比较之外。

结论

Qwen2-72B-Instruct 在各种基准测试中展现出了扎实的领先能力，不仅超越了自家前代 Qwen1.5-72B-Chat，而且与 GPT-4 这类顶级模型相比也不落下风。在多语言安全性方面，更是明显优于 Mistral-8x22B。大语言模型的使用正在快速增长，Qwen2 的出现让开源社区又多了一个真正能打的选项。随着这类模型持续迭代，可以预期 AI 驱动的应用在自然语言理解、生成、编码、数学和推理等领域会变得更加成熟，同时兼顾安全与伦理标准。