摩尔线程宣布开源MusaCoder：首个国产全功能GPU全栈训练代码大模型

6月10日消息，今日，摩尔线程宣布正式发布并开源MusaCoder，这是面向GPU底层算子生成的专用代码大模型。

摩尔线程表示，

据介绍，MusaCoder包含9B和27B两个参数规模，主要面向GPU底层算子生成任务设计，重点支持从PyTorch标准算子自动生成高性能CUDA/MUSA原生Kernel代码。

性能方面，在KernelBench评测中，MusaCoder-27B-RL取得Overall Pass@8 93.2%、Avg.@8 88.60%的成绩，

摩尔线程称，MusaCoder的SFT（监督微调）、RFT（拒绝采样微调）、RL（强化学习）、异步rollout、在线编译执行验证及reward计算等全栈训练与验证流程，均依托MTT S5000构建的夸娥智算集群完成。

这也意味着，国产GPU不仅能够支撑大模型推理和常规微调任务，也能够稳定承载代码大模型后训练全周期算力需求。

尤其是在GPU Kernel生成这类任务中，训练系统需要频繁进行代码生成、编译、执行、验证和反馈计算，对硬件、编译栈、运行时、调度系统和评测基础设施都提出了更高要求。

MusaCoder训练总流程