阿里云灵骏真武M890超节点实例成功适配Kimi K3大模型

这几天，阿里云灵骏真武M890超节点实例正式跑通了Kimi K3，一个2.8万亿参数的大模型。实测结果挺直观：首Token时延降了约35%，长上下文场景下，用户体验明显更顺滑。这背后是芯片、推理平台和模型三方联合优化，硬生生把推理效率拉上了一个台阶。

Kimi K3是月之暗面（Moonshot AI）最新的旗舰模型，参数规模高达2.8万亿，采用混合专家（MoE）架构。目前，它的完整模型权重已经开放下载。作为业界参数规模最大的模型之一，K3的高效运行，光有大规模算力和显存还不够，还需要高速互联网络让几十张GPU紧密协作。传统AI集群根本扛不住这种高吞吐、低延迟、低成本的推理需求。月之暗面官方博客也明确说，推荐把K3部署在“64卡以上翻跟斗组成的超节点”上。

灵骏真武超节点实例，基于平头哥训推一体AI芯片真武M890打造。通过ICN Switch 1.0互联芯片，可以让64张真武M890实现800 GB/s的All-to-All高速互联，显存规模也达到了9TB。这样一来，万亿级MoE模型的EP专家并行通信流量，就能完全跑在一个高带宽通信域内，Token生成的效率自然有保障。

为了让K3在真武M890超节点上实现Day0高效运行，阿里云、平头哥和Kimi团队从算子、软件栈等层面深度联合适配。依托真武AI芯片的T-Head SAIL软件栈，Kimi自研的Mooncake推理框架实现了快速部署，基本就是“开箱即跑”。比如在算子层面，真武M890对Triton的良好支持，让大量基于Triton编写的自定义算子无需重写就能直接运行，极大降低了适配工作量。

在此基础上，三方还针对K3的超大规模MoE架构做了三方面重点优化：

EP 专家并行通信优化

借助ICN64高带宽通信域，对MoE最核心的All-to-All专家路由通信进行深度调优。把2.8万亿参数的专家并行流量完整承载在单一超节点内部，避免跨节点通信成为瓶颈。

MXFP4 混合精度推理

结合真武M890原生支持的MXFP4低精度算力，在保证模型效果无损的前提下，大幅提升计算密度与显存利用效率。

KDA 混合架构算子深度优化

Kimi K3采用KDA（Kimi Delta Attention）线性注意力与全注意力相结合的混合架构。联合团队在真武M890上深度调优了KDA核心算子，充分对齐芯片的并行计算架构与访存特性，并通过算子融合减少Kernel启动与中间访存开销，让注意力计算的算力与带宽利用效率大幅提升。

经过联合优化，Kimi K3在灵骏真武M890超节点实例上不仅实现了Day0平稳跑通，关键推理指标也获得了可观提升。以下是阶段性优化实测的参考数据：

相比迁移初期基线，首Token时延（TTFT）降低约35%，长上下文场景下体感更流畅；单卡解码吞吐（Decode Tokens/s）提升约1.8倍；

借助MXFP4混合量化，整体推理效率进一步提升；

得益于KDA线性注意力混合架构与算子优化，长序列推理算力开销随长度近线性增长，稳定支持最长1M上下文，从容应对长文档理解、复杂推理等场景。

这次Day0适配，本质上是阿里云、平头哥、Kimi团队从芯片、推理框架到云平台的全栈协同。它不仅为Kimi K3这类万亿参数大模型提供了开源开放的软件栈，也提供了国内可获取的高算力选择。未来，三方将继续在模型适配、性能调优与工程化部署上深化合作，持续提升Kimi系列模型在真武超节点上的推理性能与性价比。