您的位置：首页 > > 教程攻略 > 热点新闻 >月之暗面开源2.8万亿参数Kimi K3大模型及三大核心

月之暗面开源2.8万亿参数Kimi K3大模型及三大核心

来源:互联网 更新时间:2026-08-02 18:54

月之暗面这回动作不小——正式开源了Kimi K3模型，连带完整权重、技术白皮书，以及支撑训练与部署的三项核心基础设施：MoonEP、FlashKDA和AgentEnv。一次性打包，诚意十足。

Kimi K3的底子很特别：KDA混合线性注意力机制加上注意力残差结构，原生就支持多模态视觉理解。参数规模定格在2.8万亿，放眼整个开源圈，这是目前参数量最大的语言模型，过去一年里这个纪录一直没被打破。

架构上，它走的是Stable LatentMoE稀疏专家路线，896个专家里每次只激活16个——配合深度优化的训练策略，扩展效率比上一代翻了约2.5倍。简单说，就是花更少的算力，办更大的事。

值得一提的还有那三项基础设施。FlashKDA其实之前已经开放过，但MoonEP和AgentEnv是头一回公开。这三兄弟分别管着高性能分布式通信、高效自定义算子实现，以及分布式强化学习训练环境，都是模型从训练到落地最难啃的骨头。月之暗面把它们一起开源，等于把自家的“后厨”亮了出来。

热门资讯