微调LLAMA3，启动！

PyTorch 最近开源了一款名为 torchtune 的新工具，专门用来微调大语言模型，且原生就支持 LLAMA3。消息一出，社区里不少人都跃跃欲试。之前咱们也聊过相关的内容，包括如何用 torchtune 微调自己的大模型，以及 LLAMA3 的数据清洗如何干翻 GPT4——这里不再赘述，直接进入正题。

Llama3-8B 的核心变化

Llama3-8B 是 Meta AI 最新发布的模型，它在多个基准测试中全面超越了 Llama2 系列。相比 Llama2-7B，Llama3-8B 在架构上的改进相当明显，具体来说有以下几个关键点：

• 注意力机制：从 Llama2-7B 的标准多头注意力，换成了分组查询注意力（GQA），这能显著提升推理效率。
• 词汇表：词汇表大小从 Llama2 的 32,000 直接翻到了 128,256，意味着模型能处理更丰富的词汇和子词。
• 分词器：从 sentencepiece 换成了 tiktoken，分词逻辑完全不同，兼容性和效率都有提升。
• MLP 层：中间维度比 Llama2-7B 更大，参数量实际上涨了不少。
• 旋转位置嵌入：计算 theta 时用了更大的数值，这也影响了长序列的处理能力。

这些改动环环相扣，直接带来了模型性能的跃升。那么，想要自己动手微调，该怎么操作？

获取 Llama3-8B 模型权重

第一步自然是拿到模型权重。torchtune 提供了便捷的 download 命令，一行搞定：

tune download meta-llama/Meta-Llama-3-8B 
--output-dir  
--hf-token

注意需要提前申请 Meta 的许可，并在 Hugging Face 上配置好 token。具体步骤可以参考官方仓库的说明。

微调实战：LoRA 与 QLoRA

torchtune 最吸引人的地方在于：配置驱动，几乎不用写代码。所有微调流程都通过 YAML 配置文件定义，你只需要确定好参数，然后跑一行命令。

tune run lora_finetune_single_device --config llama3/8B_lora_single_device

实际测试下来，峰值内存占用大约 18.5 GB，默认配置在 24 GB 显存的消费级 GPU（比如 RTX 4090）上就能顺利跑完。如果你手上有多个 GPU，torchtune 也支持分布式版本，利用 PyTorch 的 FSDP 来切分模型、优化器和梯度，从而增大 batch size、加速整体训练。比如在两块 GPU 上：

tune run --nproc_per_node 2 lora_finetune_distributed --config llama3/8B_lora

得益于默认配置支持完整的 bfloat16 训练，以上命令只要确认显存不低于 24 GB 都能跑。如果还想进一步压低资源，可以尝试 QLoRA——峰值分配内存甚至能降到 10 GB 以下。QLoRA 的启动方式也很直接：

tune run lora_finetune_single_device --config llama3/8B_qlora_single_device

除此之外，你也可以自由组合 LoRA 和 QLoRA 的不同配置，甚至直接做全量参数微调。整个流程下来，你只需要调整 YAML 配置文件，真正实现了“0 代码”微调、评测、量化、推理一条龙。不妨动手试试，看看你的 Llama3-8B 能跑出什么新花样。