记录QWen2-72B-Instruct模型安装部署过程

这次在 A800 上部署 QWen2-72B-Instruct，过程比想象中顺畅，但也有一些细节需要注意。下面把完整的部署步骤整理出来，供参考。

一、基础信息

先看一下部署环境的基本配置：

• 操作系统
  ：

  Ubuntu 22.04.3 LTS

• GPU:

  A800(80GB) * 8

• 内存
  ：1TB

二、软件信息

Python: 3.10
Pytorch：2.3.0
Transformers：4.43.0
vLLM：0.5.1
cuda：12.2
模型: QWen2-72B-Instruct

三、安装步骤

1、安装Conda

Conda 是一个开源的包管理系统和环境管理系统，专门用来简化软件包的安装、配置和使用。对于 Python 环境来说，它最大的好处就是能让你轻松切换不同环境，互不干扰。

可以从 Conda 官网下载安装包：https://www.anaconda.com/download#downloads

# 下载
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
# 安装
bash Anaconda3-2023.09-0-Linux-x86_64.sh
# 配置环境变量
echo 'export PATH="/path/to/anaconda3/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

安装完成后，用下面命令验证是否成功：

conda --version

建议顺手配置一下镜像源，后面下载依赖包会快很多：

# 配置源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

常用的 conda 命令也就这几个：

# 指定虚拟环境名称为 llm，python 版本是 3.10
conda create --name llm python=3.10
# 激活 conda 新环境
conda activate llm
# 查看当前环境列表
conda env list

2、下载 QWen2-72B-Instruct 模型

模型可以从两个地方下载，任选其一：

• Huggingface：https://huggingface.co/Qwen/Qwen2-72B-Instruct
• ModelScope：https://modelscope.cn/models/qwen/Qwen2-72B-Instruct

下载完成后，把模型文件放到服务器上。注意磁盘空间要够，72B 的模型文件可不小。

3、安装 Pytorch 等环境依赖

⚠️ 安装 Pytorch 时一定要和 cuda 驱动版本保持一致，否则各种莫名其妙的问题会让人抓狂。版本选择参考：https://pytorch.org/get-started/locally/

通过 conda 创建一个新环境，切换进去后再安装依赖包。

4、安装 vLLM

vLLM 是一个高效的大语言模型推理和部署服务系统，它有几个值得关注的特点：

• 高效的内存管理
  ：通过 PagedAttention 算法，实现了对 KV 缓存的高效管理，减少内存浪费，运行效率更高。

• 高吞吐量
  ：支持异步处理和连续批处理请求，能显著提高推理吞吐量，文本生成速度更快。

• 易用性
  ：与 HuggingFace 模型无缝集成，支持多种流行大模型，还兼容 OpenAI 的 API 服务器。

• 分布式推理
  ：支持多 GPU 分布式推理，通过模型并行策略和高效数据通信，提升处理大型模型的能力。

• 开源共享
  ：开源项目，社区活跃，方便贡献和改进。

GitHub：https://github.com/vllm-project/vllm
文档：https://docs.vllm.ai/en/latest/

在用 conda 创建好环境后，直接用 pip 安装：

pip install vllm

更多安装方式可参考官方文档：https://docs.vllm.ai/en/stable/getting_started/installation.html

5、模型验证

模型下载好、依赖装完之后，先跑个脚本验证一下，看看模型能不能正常调用。

# test.py
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
import os
import json

def get_completion(prompts, model, tokenizer=None, max_tokens=512, temperature=0.8, top_p=0.95, max_model_len=2048):
    stop_token_ids = []
    # 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率
    sampling_params = SamplingParams(temperature=temperature, top_p=top_p, max_tokens=max_tokens, stop_token_ids=stop_token_ids)
    # 初始化 vLLM 推理引擎
    llm = LLM(model=model, tokenizer=tokenizer, max_model_len=max_model_len,trust_remote_code=True)
    outputs = llm.generate(prompts, sampling_params)
    return outputs


if __name__ == "__main__":    
    # 初始化 vLLM 推理引擎
    model='/mnt/soft/models/qwen/Qwen2-72B-Instruct' # 指定模型路径
    # model="qwen/Qwen2-7B-Instruct" # 指定模型名称，自动下载模型
    tokenizer = None
    # 加载分词器后传入vLLM 模型，但不是必要的。
    # tokenizer = AutoTokenizer.from_pretrained(model, use_fast=False) 
    
    text = ["你好，帮我介绍一下什么时大语言模型。",
            "可以给我将一个有趣的童话故事吗？"]

    outputs = get_completion(text, model, tokenizer=tokenizer, max_tokens=512, temperature=1, top_p=1, max_model_len=2048)

    # 输出是一个包含 prompt、生成文本和其他信息的 RequestOutput 对象列表。
    # 打印输出。
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

在终端执行：

python test.py

如果控制台正常输出，就说明模型没问题。

6、启动服务 & 包装 OpenAI 格式的接口

验证通过后，就可以用 vLLM 提供的模块把模型服务包装成 OpenAI 格式的 HTTP 服务，方便上层应用调用。

有几点参数需要特别注意：

• --model：指定模型名称或路径。
• --served-model-name：指定服务模型的名称。
• --max-model-len：指定模型的最大长度。如果不指定，会从模型配置文件中自动加载。QWen2-72B 模型支持最大 128K。
• --tensor-parallel-size：指定使用多少张 GPU 分布式运行。QWen2-72B 单卡肯定撑不住，8 张 A800 刚刚好。
• --gpu-memory-utilization：GPU 内存利用率，范围 0~1。例如 0.5 就是 50%。默认 0.9。vLLM 通过这个参数预分配一部分显存，避免调用时频繁申请。

更多 vLLM 参数可以参考官方文档：https://docs.vllm.ai/en/stable/models/engine_args.html

推荐用 tmux 来运行服务，这样即使终端断开，服务也能继续跑。

tmux（Terminal Multiplexer）是一个强大的终端复用器，可以让你在一个终端窗口中同时使用多个会话。用起来很方便。

python3 -m vllm.entrypoints.openai.api_server --model /mnt/torchv/models/Qwen2-72B-Instruct  --served-model-name QWen2-72B-Instruct --tensor-parallel-size 8 --gpu-memory-utilization 0.7

出现端口等信息就说明服务启动成功！然后可以用 nvidia-smi 看看 GPU 显存占用情况。

tmux 的基本操作：

tmux new -t llm   # 创建一个新会话
tmux attach -t llm   # 进入会话
# 启动命令
python -m xxx
# 退出当前会话（如果没反应就多试几次）
Ctrl + b 然后按 d

服务启动后，用 curl 验证一下 OpenAI 接口是否可用：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "QWen2-72B-Instruct",
  "messages": [
      {
          "role": "user",
          "content": "给我讲一个童话故事"
      }
  ],
  "stream": true,
  "temperature": 0.9,
  "top_p": 0.7,
  "top_k": 20,
  "max_tokens": 512
}'

四、总结

目前的开源生态已经非常成熟了，像 vLLM 这样的工具能让你轻松完成大模型部署，工作效率提升明显。怒赞？

五、References

官网资源等信息

权重文件下载不完全

这次部署过程中碰到一个问题：模型权重文件下载不完整，导致 vLLM 启动不起来。解决办法是用 Linux 的 sha256sum 工具检查文件，和网站上的 sha256 值进行对比，不一致就重新下载。

命令如下：

sha256sum your_local_file