摩尔线程发布TensorFlow-MUSA v1.5：加速搜广推模型训推

8月21日消息，摩尔线程正式发布TensorFlow-MUSA v1.5.0。作为面向MUSA统一系统架构GPU推出的TensorFlow插件，该版本进一步完善了对搜索、广告、推荐（以下简称“搜广推”）业务的支持，开发者可以在摩尔线程全功能GPU上直接开展AI模型训练与推理，无需对原有TensorFlow模型代码进行大幅修改。此次更新还针对搜广推业务的模型特点进行了专项优化，并已在GitHub开源，同时提供预构建镜像，方便开发者快速部署。

摩尔线程

搜广推业务常常要应对海量用户行为数据以及大规模稀疏特征，其计算特性与视觉、语音等常见AI任务大不相同。一方面，Embedding参数规模巨大，模型结构也得频繁迭代；另一方面，训练阶段对吞吐能力和分布式计算能力要求颇高，而在线推理又对延迟和吞吐有着严格要求。由于训练和推理往往要共用模型代码及工程链路，所以AI框架不仅要具备较为齐全的算子支持，还得兼顾混合精度和分布式计算能力。

针对这些需求，TensorFlow-MUSA v1.5.0在框架层面实现了对TensorFlow数据流图、自动微分以及分布式训练等核心机制的支持，并将MUSA设备作为TensorFlow原生设备进行注册。对于原本基于TensorFlow开发的搜广推模型而言，可以继续沿用原有开发方式，将模型迁移至摩尔线程全功能GPU上运行，从而降低适配过程中需要进行的代码和工程调整。

就模型兼容性而言，TensorFlow-MUSA v1.5的覆盖范围有了更进一步的拓展。该版本除了继续对ResNet等经典视觉、语音模型予以支持外，还增添了大量搜广推模型，像Wide&Deep、FNN、PNN、DeepFM、NFM、MLR、SharedBottom等经典模型，以及DCN、xDeepFM、AutoInt、FGCNN、FiBiNet、FWFM等特征交叉模型都被囊括其中。与此同时，针对用户行为序列建模以及多任务学习场景，这个版本还支持DIN、DIEN、DSIN、BST、MMoE、ESMM、PLE等模型。

此外，TensorFlow-MUSA v1.5还针对近年来出现的新型搜广推架构进行了适配，支持EDCN、DCNmix、Wukong、RankMixer、OneTrans和TokenMixerLarge等模型。摩尔线程表示，这些模型覆盖了从传统推荐算法到新型模型架构的多个应用场景，可以满足开发者在不同搜广推业务中的训练和推理需求。

软件版本方面，TensorFlow-MUSA v1.5支持TensorFlow 2.6.1和2.15.1，并可配合MUSA SDK 4.3.5或5.1.0使用。摩尔线程表示，考虑到TensorFlow 2.15.1之后的功能变化相对有限，同时部分早期特性被移除，后续将主要维护TensorFlow 2.15.1版本，并保持前向兼容，同时根据开发者需求评估其他版本的支持。

性能方面，摩尔线程公布的实验室测试数据显示，基于AI训推一体智算卡MTT S5000运行搜广推模型时，在BF16、TF32等数据精度以及多流执行、算子融合、图优化和XLA编译优化等能力支持下，部分模型表现出较明显的性能提升。以TokenMixerLarge为例，单步训练耗时为138.048ms，相较国际主流GPU的加速比达到1.81倍。摩尔线程同时给出的整体测试结果显示，部分前沿搜广推模型训练吞吐提升幅度达到1.5倍至1.85倍。不过，官方也注明，相关数据来自摩尔线程实验室，实际性能会受到模型实现、硬件配置、软件版本以及训练参数等因素影响。

相关信息

目前，TensorFlow-MUSA v1.5.0已经在GitHub开源，开发者可以按照官方说明自行编译安装，也可以直接使用预构建镜像。此次版本更新将重点从通用模型支持进一步延伸至搜广推等高计算需求场景，摩尔线程也在通过框架适配、模型覆盖和性能优化等方式，完善MUSA GPU的软件生态。