Kimi K3正式开源：2.8万亿参数模型权重、技术报告同步发布

7月28日深夜，月之暗面正式宣布开源Kimi K3模型权重，并同步发布技术报告，同时开放了MoonEP、FlashKDA、AgentEnv三项关键基础设施技术。这次开源动作的覆盖面相当完整——模型本身、训练方法、底层训练系统，都在公开之列。开发者可以下载模型进行部署和二次开发，具体使用范围则需要遵循Kimi K3许可证的规定。

从最新披露的信息来看，Kimi K3采用了混合专家架构，总参数规模达到2.8万亿，同时具备原生视觉理解能力，并支持100万Token的上下文窗口。相比上一代Kimi K2.5，参数规模提升了大约3倍。月之暗面在介绍中提到，在算力资源有限的前提下，借助Kimi Delta Attention、Attention Residuals以及MoonEP等技术，模型的规模化效率提升了约2.5倍。这个数字在当下的算力环境下，其实颇有分量。

跟模型权重一起发布的，还有Kimi K3的技术报告。报告内容相当详实，披露了模型训练与架构设计的多项技术细节，比如KDA与Gated MLA混合注意力结构、Stable LatentMoE专家路由机制、MoonViT-V2视觉编码器训练方案，以及模型后训练和评测方法。具体来看，模型采用了896个路由专家，每个Token激活16个专家的MoE设计，覆盖了通用推理、Agent以及编程Agent等多个能力方向的训练与评估。可以说，技术路线和方向都摆得很清楚。

除了模型本身，月之暗面还开源了三项支持Kimi K3训练的关键基础设施技术。MoonEP是一套面向大规模MoE模型的高性能专家并行通信库；FlashKDA是Kimi Delta Attention对应的高性能计算算子，最新数据显示，在英伟达H20上，它的Prefill速度相比flash-linear-attention基线提升了1.72到2.22倍；AgentEnv则是月之暗面与KVCache.ai合作开发的Agent沙箱系统，支持快速快照、恢复以及Fork等能力，专门用于大规模Agent训练环境。

月之暗面表示，这次开放的核心目标是推动开放权重模型生态的发展。通过开放模型、训练方法以及底层基础设施，他们希望降低模型部署和开发的门槛，为AI社区和相关研究提供更多可复用的技术资源。从实际动作来看，这套组合拳确实给了社区不少可以深入研究的素材。