英特尔第一时间支持混元Hy3， 至强® 6适配优化已就位

7月6日，腾讯新一代自研通用多模态大模型混元Hy3正式发布并开源。这件事的看点在于：相比preview版本，Hy3的进步相当显著——不大的模型尺寸，却展现了比肩乃至超越那些参数规模2到5倍的旗舰模型的智能水平。这延续了混元系列一向的陡峭能力增长曲线，而背后的关键，是后训练阶段算力规模进一步扩大，数据质量和多样性也明显提升，让这个较小尺寸的模型，第一次追平了国内外那些大块头旗舰模型的效果。换句话说，小尺寸，也能扛大旗了。

作为混元模型在算力平台领域的重要合作伙伴，英特尔也在第一时间完成了Hy3在至强® 6处理器与Gaudi® 2E AI翻跟斗平台上的适配与优化。说白了，就是不仅模型放出来了，底层硬件也同步跟上，真正加速了优质开源大模型向产业落地的进程。

具体来看，英特尔这次对Hy3的快速支持，涵盖了模型中多个关键组件与算子的深度优化。这让至强® 6处理器平台能够充分释放其内置的英特尔® AMX（高级矩阵扩展）技术的潜力，为Hy3提供更高效、更强悍的推理加速能力。一个很直观的成果是：在推荐配置下，仅用单台至强® 6服务器，就可以部署总参数295B、BF16精度的满血版Hy3模型。注意，不是剪枝版，不是量化版，是满血版。

至强® 6平台部署方案

英特尔已经在SGLang主分支上完成了针对Hy3与至强® 6处理器硬件特性的专属优化，目标只有一个：把这个处理器的算力和带宽优势发挥到极致。具体部署步骤如下：

搭载两颗至强® 6性能核处理器，推荐选用6978P（120核）或6980P（128核）型号。每颗处理器需配置为SNC3模式，平台建议搭配1TB或以上容量的内存。

https://docs.sglang.io/platforms/cpu_server.html#installation

https://docs.sglang.io/platforms/cpu_server.html#launch-of-the-serving-engine

启动server命令如下：

python -m sglang.launch_server --model-path HY-3.0_ID --dtype bfloat16 --trust-remote-code --device cpu --disable-overlap-schedule --tp 6

值得一提的是，如果想获得更好的解码性能，可以在server启动命令中增加 --enable-torch-compile。

Gaudi® 2E AI翻跟斗平台部署方案

英特尔® Gaudi® 2E AI翻跟斗对Hy3的支持也已就位。它的优势在于：仅用单节点4卡高速互联，就能完成Hy3模型的部署与应用。这意味着用户在部署时能获得更高的灵活性，门槛也更低。

单节点适配需要至少4块Gaudi® 2E PCIe加速卡，基于单卡96GB HBM的配置，4卡合计384GB HBM总容量。

Gaudi® 2E AI翻跟斗针对Hy3的技术资源，已公开上传至GitHub：https://github.com/HabanaAI/vllm-fork/tree/aice/v1.22.0

按照下述步骤操作，即可安装上述链接中提供的vllm-fork及vllm-hpu-extension库：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm推理手册.md#10-环境部署

再按照下述步骤，用下载得到的Hy3 FP8模型权重目录，进行转换后即可部署使用该模型：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm推理手册.md#384-fp8精度模型部署