寒武纪基于思元370芯片的MLU370-X8 智能加速卡产品手册详解

在AI芯片这个竞争激烈的赛道上，每一次工艺和架构的革新都备受瞩目。寒武纪推出的思元370，作为其首款采用Chiplet（芯粒）技术的AI芯片，无疑是一次重要的技术跃迁。基于7nm制程，这颗芯片集成了高达390亿个晶体管，其最大算力达到了256TOPS(INT8)，是上一代思元270算力的整整两倍。这背后，寒武纪最新的智能芯片架构MLUarch03功不可没，它让思元370的实测性能表现更为亮眼。

除了算力，内存带宽常常是制约性能发挥的另一关键。思元370是国内首款公开发布支持LPDDR5内存的云端AI芯片，其内存带宽达到了上一代产品的3倍，而访存能效更是GDDR6的1.5倍，这意味着在处理海量数据时能效比更高。为了应对日益复杂的分布式训练和推理任务，芯片还搭载了MLU-Link™多芯互联技术，确保多颗思元370芯片能够高效协同工作。软件生态方面，全新升级的寒武纪基础软件平台新增了推理加速引擎MagicMind，实现了训练与推理的一体化，这显著提升了开发部署效率，并有效降低了用户的学习、开发和运营成本。

寒武纪® AIDC® MLU370®-X8智能加速卡训推一体人工智能加速卡

将思元370的强大性能转化为可部署的算力单元，便是MLU370-X8智能加速卡。这款加速卡采用双芯思元370配置，是一张双槽位、250W功耗的全尺寸加速卡。它提供了24TFLPOS(FP32)的训练算力和256TOPS (INT8)的推理算力，同时全面支持FP16、BF16等多种训练精度，为复杂的AI模型训练和部署提供了坚实的硬件基础。

基于双芯设计，MLU370-X8整合了双倍的内存和编解码资源。更重要的是，它搭载的MLU-Link多芯互联技术，使得每张加速卡能获得高达200GB/s的通讯吞吐性能，这是PCIe 4.0带宽的3.1倍。这种高速互联能力，支持单机八卡的密集部署，能够高效执行多芯多卡的协同训练和分布式推理任务，极大提升了集群算力的利用率。

作为一款全面升级的数据中心训推一体AI加速卡，MLU370-X8基于思元370芯片，采用标准的PCIe 4.0 X16接口，全高全长双宽（FHFL-Dual-Slot）的设计使其能够轻松适配业内最新的CPU平台，快速集成于先进的人工智能服务器中。其250W的功耗，为计算机视觉、自然语言处理、语音识别等多样化AI应用提供了强大而高效的算力支持。

产品规格

在实际应用中，性能表现才是硬道理。根据寒武纪基础软件平台SDK上的实测数据，在几个常见的人工智能模型上，功耗为250W的MLU370-X8单卡性能，已经能够与主流的350W功耗GPU相媲美。而在更需要技术实力的多卡加速场景下，MLU370-X8凭借MLU-Link多芯互联技术和寒武纪CNCL通讯库的深度优化，在8卡环境下展现出了更优的并行加速比，这意味着其多卡扩展效率更高，能更好地发挥集群算力。

性能对比

测试环境
250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0
350W GPU： Supermicro AS -4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2