AMD 推出 vLLM-ATOM 插件，深度优化国产大模型推理表现

来源:互联网 更新时间:2026-06-08 15:12

最近，AMD 正式发布了一款名为

vLLM-ATOM

的新插件。它的目标很明确：在不改变&现有工作流的前提下，最大限度地挖掘硬件潜力，为 DeepSeek-R1、Kimi-K2 以及 gpt-oss-120B 这类主流大语言模型的推理过程，带来显著的效率提升。

对开发者来说，

本身是一个专注于优化高并发场景下吞吐量和显存利用率的开源框架。它和那些传统的单次调用工具不同，核心在于请求调度和缓存管理。而这次 AMD 推出的 ATOM 插件，则是一套为自家

深度定制的“加速包”。它最吸引人的地方在于“无感迁移”——企业用户完全不需要修改现有的 API 接口、命令或端到端流程，插件就能在后台自动接管，完成底层的性能优化。

从技术架构上看，vLLM-ATOM 采用了相当精密的三层设计。顶层继续沿用 vLLM 原有的请求调度和兼容接口；中间层的 ATOM 插件负责模型实现与内核调优；而最底层的

则直接对接 GPU 硬件，提供了包括 Flash Attention、量化 GEMM 以及融合 MoE 在内的核心加速能力。

这款插件主要面向

等高性能 GPU 计算卡。其支持列表也相当广泛，不仅覆盖了 Qwen3、GLM、DeepSeek 等明星模型，还实现了对 MoE（混合专家模型）、稠密模型以及视觉语言模型（VLM）等多种架构的全方位支持。

业内普遍认为，这套方案的核心价值在于极大地降低了高性能算力的部署门槛。通过这种近乎“零学习成本”的平滑迁移方案，企业可以更轻松地将 AI 服务切换到 AMD 硬件后端，在保障推理效率的同时，有效提升了大模型在线服务的稳定性和响应速度。