官方预告 MiniMax M3 系列 AI 模型即将登场

5月27日，AI领域传来新动向。上海稀宇科技有限公司（MiniMax）在其官方X平台账号发布预告，正式宣布即将推出MiniMax M3系列模型。

这条推文同时转发了一篇于5月26日发表在预印本平台arxiv上的论文，题为《The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence》。这篇论文可以看作是对已发布的MiniMax M2.x系列模型背后技术工作的系统性回顾与总结。

根据论文披露的信息，M2.x系列模型在架构设计上颇具巧思。其总参数量达到2299亿，但通过创新的稀疏激活机制，每个词元（token）实际激活的参数仅为98亿。这种“小激活，大智能”的设计理念，旨在以更低的计算成本换取更高的实际性能。模型配备了长达192K的上下文窗口，其预训练数据规模更是达到了惊人的29.2万亿词元。

具体到模型结构，M2系列采用了62层的解码器式Transformer架构。其核心在于引入了多达256个细粒度专家（Expert），并为每个处理到的词元动态选择激活其中的8个专家。这种混合专家模型（MoE）的设计，是实现高效稀疏激活的关键。

更值得关注的是其在训练系统层面的创新。论文中，MiniMax团队提出了名为“Forge”的强化学习系统，该系统旨在面向智能体（Agent）进行优化。Forge系统的特点在于能够统一接入白盒与黑盒智能体，并通过将训练、推理与智能体逻辑解耦，配合窗口化FIFO调度、前缀树合并和专门的推理加速技术，显著降低了长轨迹任务（long-horizon tasks）的训练成本。

在M2.7版本中，一个被称为“自我进化”雏形的能力开始显现。论文描述，模型已经能够自主排查训练失败的原因、阅读系统日志、并修改相关的脚手架代码，进而在内部任务上完成多达100轮的自主迭代优化。这听起来是不是有点“AI自我改进”的早期影子了？

数据显示，这套自我进化系统已经能够承担团队30%到50%的日常迭代工作量。在内部的一项编程脚手架优化任务中，它甚至带来了30%的性能提升。这意味着，模型正开始参与到其自身开发与优化的闭环中，虽然尚处早期，但方向已然明确。

相关论文：《The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence》。