万卡集群网络选型：国产IB批量出货，改写行业性价比规则

大模型训练正式迈入万卡、十万卡的规模化时代，算力竞争的底层逻辑已经悄然改变。单纯堆叠GPU芯片，不再是决定集群性能的关键；真正制约整体算力利用率、训练速度和系统稳定性的核心瓶颈，已经转移到了高速互联网络的质量上。

行业实测数据揭示了问题的严重性：在稠密大模型训练中，通信耗时占比超过30%；而在MoE稀疏模型中，这一比例更是突破50%。网络任何微小的抖动、延迟波动或偶然丢包，都会导致大规模GPU陷入空转等待，直接拉低集群的算力利用率。

长期以来，行业深陷两难格局：一边是价格高昂的进口InfiniBand，另一边是规模化后稳定性堪忧的RoCE。如今，这一僵局正在被打破。中科曙光全栈自研的国产IB网络方案scaleFabric已实现批量出货与大规模商用，凭借其原生无损RDMA架构，正成为万卡乃至十万卡智算集群的最优组网选择。

- 01 -万卡时代网络困局：两条传统路线均存在致命短板

万卡级超大规模集群的运行，依赖于高频的All-Reduce通信、张量并行和流水线并行等机制。数万张GPU之间需要实时、高频地进行数据交互，这对网络的延迟、抖动、丢包和带宽稳定性提出了近乎极致的要求。任何细微的网络问题，在如此大规模的并行场景下都会被指数级放大，最终导致训练周期拉长，算力成本被巨额浪费。然而，过去国内智算集群只能在进口IB和以太网RoCE两条路线中做选择，而这两者，都难以同时满足高性能、低成本、高稳定和自主可控的产业化需求。

进口InfiniBand技术成熟、性能领先，这毋庸置疑。但在国内规模化落地的过程中，其垄断地位带来的成本问题和供应链风险日益凸显。成本上，一张400G进口IB网卡单价高达数千美元，800G光模块和高速线缆的价格更是翻倍增长，一套万卡集群的网络硬件投入动辄上亿元，极大地抬高了智算基础设施的门槛。供应链上，高端IB设备已被纳入出口管制清单，供货周期普遍拉长至3到6个月，断供风险持续存在。更关键的是，海外厂商长期采用软硬件捆绑销售模式，采购高端GPU往往必须搭配其网络设备，这让企业丧失了自主选型和议价能力，国产算力集群的建设高度受制于海外供应链。

RoCE方案则凭借硬件采购成本仅为进口IB一半左右的优势，一度成为国内中小规模集群的主流选择，适配千卡以下的实验训练或常规推理等轻量化场景。但必须清醒认识到，RoCE本质上是以太网的“补丁式”改造，其先天架构缺陷无法通过软件调优根治。一旦集群规模突破千卡、迈向万卡级别，各类性能问题便会集中爆发。对于动辄持续数十天的大模型预训练任务，一次因网络问题导致的故障回滚或训练重启，所带来的算力损耗和时间成本，足以轻易抹平RoCE在硬件价格上的那点优势。此外，RoCE的运维难度极高，没有通用的“黄金参数”，需要运维团队根据模型类型、流量特征和集群规模，持续迭代水线阈值、拥塞控制和队列调度等参数，高度依赖资深专家的个人经验。

- 02 -国产IB批量商用落地：全栈自研打破性能成本不可能三角

面对行业长期存在的“高性能必高价、低成本不稳定、自研方案缺性能”的痛点，中科曙光经过三年核心技术攻坚，推出了scaleFabric 400G原生无损RDMA高速网络。目前，该产品已实现稳定批量出货并完成大规模商用交付。它实现了从底层112G PAM4 SerDes IP、交换芯片、高速网卡，到驱动程序、全网管理软件的全栈自研，彻底摆脱了对海外技术的依赖，在国内率先实现了国际级性能、RoCE级成本与全链路自主可控的三重突破，打破了高速网络领域的“不可能三角”。

从技术架构看，scaleFabric对标国际主流NDR技术标准，采用先进的ADC-DSP架构，针对性解决了超高速长距传输中的信号衰减、噪声干扰和信号失真等核心难题。

在信号优化方面，通过自研的电感峰化补偿技术，结合FFE/DFE联合均衡算法，有效补偿了PCB链路和高速线缆带来的高频信号损耗，保障了跨节点、长距离传输的信号完整性。

在抗干扰方面，搭载了反射补偿与噪声白化DSP算法，能够精准抵消链路阻抗不匹配产生的信号反射，并将不规则的有色噪声均匀化处理，大幅降低了系统误码率，从而适配机房复杂的电磁环境和布线工况。

在稳定性保障方面，通过高性能LDO电源净化设计，过滤电源纹波与电压波动，为高速信号处理和时钟系统提供稳定供电，从硬件底层筑牢了传输稳定性。与RoCE的被动流控机制不同，scaleFabric沿用了原生IB的信用流控机制，在传输前先校验接收端的缓冲区资源，确认后再发送，从根源上杜绝了丢包与缓冲区溢出问题，无需依赖PFC调控，也就彻底规避了大规模集群中令人头疼的PFC风暴风险。最终，其实现了260纳秒的交换机转发时延和0.9微秒的端到端通信时延，核心性能全面对标国际一线产品。

再来看看实地应用的表现。目前，scaleFabric已在国家超算互联网郑州核心节点深度部署，支撑着三套万卡级超算集群的稳定运行。依托极简的自研架构优势，整套3万卡规模的集群，从设备上电、组网调试到业务全线开通，仅耗时36小时。相较于RoCE集群动辄数周的参数调优周期，部署效率提升了十倍以上，大幅缩短了大型智算集群的建设周期。

截至目前，该商用节点已稳定运行超过10个月，累计承载了十万量级的AI训练和超算仿真作业，全程无网络故障、无训练中断、无大规模算力闲置，完全适配7×24小时不间断的高强度算力调度需求。

在集群扩展能力上，scaleFabric突破了传统IB的规模上限，单子网可支持11.4万卡集群扩展，是传统进口IB方案的2.33倍，能够无缝适配未来十万卡级超大规模智算集群的迭代升级。同时，产品端口密度较行业主流水平提升了25%，单芯片可支持80个400G端口或40个800G端口。这种高集成度设计，有效减少了交换机、光模块和高速线缆的用量，精简了组网架构，降低了因硬件堆叠带来的运维压力和能耗损耗。

批量出货带来的规模化效应，彻底重构了行业高速网络的成本体系。相较于同规格的进口IB设备，scaleFabric整体组网成本降低了30%以上，其硬件建设成本已与国产高端RoCE方案完全持平，彻底改写了国产高速网络“高价小众”的固有认知。

- 03 -规模化商用价值：性能、稳定性、自主可控全方位升级

scaleFabric的批量交付落地，不仅仅是一款产品的商业化成功，更是国产高端高速网络产业的一个里程碑。长期以来，国内万卡级高端智算网络市场被海外厂商垄断，国产方案始终难以在性能、稳定性与安全性之间取得平衡。scaleFabric的规模化应用，彻底填补了国产原生无损RDMA网络的技术空白，从性能表现、运行稳定性、供应链安全三大维度，解决了制约国产AI算力规模化发展的核心瓶颈。

在性能层面，它完美适配了高端算力场景的极致需求。无论是大模型预训练，还是气象仿真、流体力学、AI for Science等高端科学计算场景，都对网络延迟的一致性、带宽的稳定性和传输精度有着极高要求。微小的网络波动都可能直接影响模型收敛速度或仿真结果的精度。scaleFabric依托原生RDMA架构，无需CPU内核调度介入，实现了硬件级的直接内存传输，延迟更低、抖动更小。在大规模All-Reduce高频通信场景中，能够有效缩短梯度同步耗时，加速模型迭代收敛。实测数据显示，在同等GPU配置和训练任务下，scaleFabric集群的训练吞吐与收敛速度较RoCE集群提升15%以上，长期训练累积的效率优势显著，可有效缩短训练周期、降低算力能耗成本。

在稳定性层面，其原生架构天生适配超大规模长期运行。区别于RoCE后天改造的“模拟无损”机制，scaleFabric从协议底层就规避了PFC风暴、网络死锁、路由震荡等高频故障，网络稳定性不会随集群规模扩张而衰减。在数万卡高并发、高负载的极端工况下，其性能呈现平滑下降曲线，而不会出现RoCE方案中可能发生的断崖式崩盘。同时，它搭载了自研的链路质量诊断与快速自愈系统，可全网实时监测链路状态、精准定位故障节点，并在毫秒级完成路由切换与故障修复，全程无需人工干预，实现了即插即用和长期免维护，完美适配超大规模集群不间断运行的需求。

在安全层面，全栈自研筑牢了算力基建底座。当前，高端算力设备出口管制持续收紧，算力基础设施的自主可控已成为国家战略刚需。以往，国产高端集群依赖进口IB设备，不仅成本高昂，更面临断供、技术封锁和生态绑定等多重风险。scaleFabric实现了从芯片IP、硬件设备到软件栈的全链路国产自研，无海外核心技术依赖，并具备稳定批量供货的能力，彻底打破了海外垄断，摆脱了“卡脖子”困境。同时，产品深度适配国产CPU、国产GPU、国产加速卡等全品类自研算力硬件，全面兼容国产算力生态，为“东数西算”、超算互联网等国家级算力工程提供了安全可控、可持续迭代的高速网络底座。

在生态层面，极低的迁移门槛助力行业普及。行业对国产自研产品的核心顾虑，往往集中在兼容性差、迁移成本高和生态不完善。scaleFabric完全兼容国际标准IB协议，PyTorch、TensorFlow、NCCL、OpenMPI等主流AI框架与通信库无需修改代码即可无缝迁移，原有业务、模型和运维习惯可以完全复用，大幅降低了替换成本。同时，中科曙光联合科大讯飞、中兴通讯等数十家产业链企业，依托光合组织成立了高速网络专项工作组，持续推进国产高速网络标准制定、场景适配与技术迭代，致力于构建完整的国产化产业生态，推动国产IB从“可用”向“好用”、向“规模化可用”升级。

- 04 -行业选型逻辑重构：国产IB成为万卡集群最优解

scaleFabric的成熟商用与批量落地，彻底重构了国内智算集群的网络选型逻辑。过去，行业只能在“高价但稳定”的进口IB和“低价但不稳”的RoCE之间被动取舍，这种二元对立的选型困境长期制约着国内算力基建的高质量发展。如今，国产IB的技术成熟与规模化落地，打破了这一固有矛盾，形成了适配不同集群规模、不同业务场景的科学化选型体系，实现了性能、成本、稳定性与安全性的全方位平衡。

从细分场景来看，对于100卡以下的小型实验或推理集群，业务并发压力小、网络故障风险低，RoCE的低成本优势依然适用，可作为优先选型。对于100至500卡的中型混合业务集群，可以采用“前端RoCE + 后端国产IB”的混合组网模式，兼顾前端业务的兼容性与后端核心训练任务对高稳定、低时延的需求。

而对于500卡以上的大型集群，尤其是万卡、十万卡级别的大模型训练和高性能计算核心场景，国产IB已成为行业唯一的最优解。此类场景对网络的无损传输、超低时延和长期稳定性存在刚性需求，RoCE的架构缺陷会被无限放大，无法支撑长期稳定训练；而进口IB则存在高昂成本与供应链安全隐患。相比之下，scaleFabric凭借与RoCE持平的成本、对标国际的性能、自主可控的供应链以及成熟的商用落地经验，成为超大规模智算集群无可替代的组网方案。

站在行业发展的视角，AI大模型的规模化迭代已成必然趋势，智算集群正快速向十万卡级别演进。高速网络，而非单纯的算力堆叠，将成为决定集群算力释放能力的核心要素。中科曙光scaleFabric的批量商用，不仅实现了国产高速网络的跨越式技术突破，更重新定义了超大规模智算集群的性价比标准与选型规则。

依托全栈自研技术、十万级作业验证的稳定性、普惠化的成本优势以及自主安全的供应链体系，国产IB正在彻底改写国内高端智算网络的市场格局。未来，随着技术的持续迭代和产业生态的不断完善，国产IB必将成为超大规模智算集群的主流组网方案，持续赋能国产大模型研发、高端科学计算与全国一体化算力网络建设，助力国内算力产业实现高水平的科技自立自强。