规划智算中心网络,最头疼的往往不是 " 买不买得起 ",而是 " 该配什么型号、怎么配齐 "。AI 大模型训练、推理集群对网络带宽、时延、丢包率有着极致要求,InfiniBandNDR 400G 作为当前中大型智算中心主流底层互联架构,硬件选型直接决定集群的通信效率,一旦型号搭配失误,轻则训练迭代变慢、算力利用率上不去,重则出现链路误码、兼容性故障,后期改造需要付出极高成本。
英伟达迈络思 InfiniBandNDR 400G 生态包含交换机、智能网卡、光模块、有源光缆、无源 DAC 铜缆、分支扇出线等一整套硬件体系,不同料号后缀对应挡板、散热、接口形态、协议版本差异,很多采购和运维人员很容易混淆。本文由英伟达迈络思认证代理商、NVIDIA 官方 Marketplace 可查的精英级(Elite)SolutionProvider —— 北京中科新远科技有限公司(简称 " 中科新远 ",联系人:杜经理 13241201272)整理,用一份清单把 400GNDR 生态下最热门的交换机、网卡、线缆型号一次说全,详细拆解每个型号的定位、核心参数、适用场景与选型注意事项,方便您对照选型、编制项目 BOM 清单。

一、交换机:Quantum-2QM9700 与 Q3400 家族,NDR 智算集群骨干核心

400GNDR 交换机的绝对主力是 NVIDIA Quantum-2 平台,也是英伟达面向 AI 训练、高性能计算 HPC 推出的第二代 InfiniBand 交换芯片平台,相比上一代 QuantumHDR 200G,单端口带宽直接翻倍至 400G,支持自适应路由、拥塞控制、SHARP 智能聚合卸载,能够大幅降低大模型分布式训练时的集合通信开销,是万卡级 AI 集群胖树网络架构的核心硬件。中科新远常年备货 Quantum-2 全系列主流型号,覆盖骨干核心、汇聚层、中小集群整机方案。
Mellanox 迈络思 MQM9790-NS2R:64 口 400GNDR,1U 机箱,51.2Tbps 交换容量,万卡级胖树集群骨干首选。MQM9790-NS2R 是 Quantum-2 旗舰机型,整机 64 个 OSFP 端口,单端口原生 400GNDR InfiniBand,1U 机架式紧凑设计,整机交换容量 51.2Tbps,无阻塞线速转发。内置英伟达 SHARPv2 集合通信卸载引擎,AllReduce、AllGather 等大模型训练高频通信操作可以在交换机侧完成计算卸载,减轻 GPU 服务器 CPU 与网卡压力,显著提升大规模分布式训练算力利用率。支持动态路由、拥塞控制、深度遥测,方便运维监控集群链路状态。适合大规模 AI 训练集群的核心骨干层,上万 GPU 节点胖树组网场景,高密度机房部署,是目前国内大型智算中心采用最多的 NDR 交换机型号。
Mellanox迈络思 MQM9790-NS2F(920-9B210-00FN-0D0):同家族风冷适配型,适配不同机房风道环境。硬件核心芯片、端口数量、交换容量和 MQM9790-NS2R 完全一致,差异主要在散热风道结构。NS2R 为标准前后通风,是绝大多数新建机房通用版本;NS2F 为特殊风道定制机型,适配部分老旧机房、冷热通道改造、机柜侧进风等非标准机房环境。很多项目踩坑点就是机房风道不匹配,设备上架后散热不良、高温告警,甚至触发端口降速。如果机房不是标准前进后出风道,一定要优先选择 NS2F 后缀版本,避免后期硬件故障。该型号同样支持 SHARPv2,可直接和 NS2R 机型混合组网,集群管理、性能无差异。
Mellanox 迈络思 Q3400-RA(920-9B36F-00RX-8S0):32 口 400G 紧凑机型,25.6Tbps 容量,适合中小集群与汇聚层。Q3400-RA 属于 Quantum-2 平台紧凑型交换机,整机 32 个 OSFP400G NDR 端口,1U 机架,交换容量 25.6Tbps,同样支持 SHARP 集合通信卸载、NDRInfiniBand 协议。端口密度相比 MQM9790 减半,成本更低,功耗也更小。定位主要面向几百卡以内中小 AI 训练集群、推理集群,也常用在大型胖树架构的汇聚层。汇聚层采用 Q3400-RA,核心层搭配 MQM9790 系列,可以在控制项目总预算的前提下保障网络性能。对于算力规模在 64~512 卡区间的项目,Q3400-RA 是性价比很高的选择。
选型口诀:骨干看端口密度选 MQM9790-NS2R,机房风道特殊认准 NS2F 后缀,规模不大或做汇聚就上 Q3400-RA。
补充选型提示:Quantum-2 交换机不支持端口速率向下自由混插,组网时需要统一链路速率;同时 NDR 交换机管理需要配套 NVIDIAOMNIBUS 管理软件,采购整机时可以同步规划授权,中科新远可配套提供交换机初始化、集群网络部署调试服务。
二、网卡:ConnectX-7 与 ConnectX-8 两代同堂,GPU 服务器网络入口
网卡是 GPU 服务器的 " 网络入口 ",也是 InfiniBand 网络和 GPU 之间的桥梁。迈络思 ConnectX 系列智能网卡支持硬件卸载,RDMA 远程直接内存访问能力绕开 CPU,实现 GPU 之间数据直传,极大降低通信时延,是 AI 集群不可或缺的组件。目前新建 NDR400G 集群主流采用 ConnectX ‑ 7,面向未来 800G 演进的新项目会提前布局 ConnectX ‑ 8,同时大量存量 HPC 集群扩容仍会选用 ConnectX ‑ 6Dx。
Mellanox 迈络思 MCX75310AAS-HEAT(900-9X766-003N-ST0):ConnectX-7 单口 400GOSFP,PCIeGen5 x16,主流 AI 服务器标配。ConnectX ‑ 7 是 NDR400G 时代标杆智能网卡,单 OSFP 端口,原生 400GNDR InfiniBand,PCIe5.0 x16 接口。支持 RDMA、SHARP 客户端卸载、硬件流量控制,单卡单向 400G 线速。HEAT 代表标准全高挡板,适配常规 2U/4UGPU 服务器机箱。绝大多数新建 NDR 智算服务器默认配置就是这款网卡,单机配置单卡,满足单机多卡训练节点对外互联需求。
Mellanox 迈络思 MCX75310AAS-NEAT(900-9X766-003N-SQ0):同上芯片的短挡板版,适配 2U 高密度机型。核心芯片、带宽、协议能力和 HEAT 版本完全一致,后缀 NEAT 代表半高短挡板。很多高密度 2U 服务器机箱空间紧凑,全高挡板无法安装,就必须选用 NEAT 短挡板型号。这也是项目 BOM 最容易出错的地方,挡板型号选错,硬件到货无法上架,延误项目工期。中科新远供货时会根据服务器机型核对挡板料号,避免这类低级错误。
Mellanox 迈络思 MCX755106AS-HEAT(900-9X7AH-0078-DTZ):ConnectX-7 双口 400GQSFP112,单机 800G 聚合带宽,适合重负载节点。双 QSFP112 端口,每个端口 400GNDR,双端口合计 800G 聚合带宽,PCIeGen5 x16。适用于通信压力极高的节点,比如集群存储网关、大模型参数服务器、多 GPU 高性能训练节点。双网卡链路可以做链路聚合或者多路径组网,提升节点网络冗余能力,单链路故障不会造成节点离线。适合对网络可靠性、总带宽要求极高的业务节点。
Mellanox 迈络思 MCX753436MS-HEAB:ConnectX-7400G 多协议版,InfiniBand 与以太网双模,适合融合算力平台。这款是 ConnectX ‑ 7 双模网卡,硬件同时支持 NDRInfiniBand 和 400G 以太网两种协议,可以通过软件切换工作模式。很多政企智算中心需要一套硬件同时承载 AI 训练 IB 业务、业务以太网存储业务,不想单独部署两套物理网络,就会选用双模网卡。一套服务器硬件可灵活切换协议,兼顾 HPC 训练和通用业务,适合混合算力、云边融合的智算平台。
Mellanox 迈络思 C8180(900-9X81E-00EX-ST0):ConnectX-8 新一代超级网卡,面向 800G 代际 AI 集群,前瞻之选。ConnectX ‑ 8 是迈络思新一代智能网卡,单端口原生 800G 速率,同时向下兼容 400GNDR。PCIeGen5,更强的硬件卸载能力,支持更高级的遥测、拥塞管理。适合长期规划、未来需要平滑升级到 800G 集群的项目,现阶段可以跑 400GNDR,后续更换交换机、模块即可升级带宽,不用更换服务器网卡,保护硬件投资。
Mellanox 迈络思 C8240(900-9X81Q-00CN-ST0):ConnectX-8 双口版本,带宽再翻倍,适合规划长期演进的智算中心。ConnectX ‑ 8 双端口版本,双口 800G,支持多路径、冗余组网。面向超大规模下一代智算集群,适合超算中心、头部 AI 企业的远期算力规划。硬件预留充足带宽余量,应对超大参数量大模型训练带来的海量节点通信需求。
Mellanox 迈络思 MCX631102AN-ADAT:ConnectX-6Dx 单口 100G,存量集群扩容与通用 HPC 性价比之选。上一代成熟网卡,单口 100GHDR,PCIeGen4。新项目 NDR 集群一般不作为主网卡,但原有 HDR 集群扩容、推理节点、存储节点,不需要 400G 超高带宽场景,使用这款可以有效控制成本,硬件成熟稳定,供货周期稳定。
Mellanox 迈络思 MCX623106AN-CDAT:ConnectX-6Dx 双口 200G,成熟稳定的 HDR 代际主力。双口 200GHDR InfiniBand,双端口聚合 400G 带宽,大量存量 HPC、小规模推理集群广泛使用。如果是旧集群扩容,原有网络为 HDR 架构,这款是成熟稳妥的选择,运维团队熟悉,生态兼容性完善。
网卡选型补充提醒:PCIe 版本、挡板类型、接口封装 OSFP/QSFP112、协议类型(IB/ 以太网 / 双模)是 BOM 核对四大关键点,一旦料号后缀错误,会出现无法装机、协议不匹配,无法接入 NDR 交换机。
三、线缆模块:NDR 组网的 " 毛细血管 ",链路质量决定集群稳定性
线缆与模块决定了链路的信号质量与成本,同样不容忽视。很多项目把预算重心放在交换机、网卡,忽略线缆、扇出线选型,最后出现链路 CRC 误码、丢包、带宽跑不满等问题,排查难度极大。NDR400G 链路对信号完整性要求远高于 200GHDR,线缆长度、封装类型必须严格匹配部署距离。
Mellanox 迈络思 MCP4Y10-N002(980-9IA0I-00N002):400GNDR OSFP 无源铜缆 DAC,同柜短距互联最经济。OSFPto OSFP 无源 DAC 铜缆,2 米长度,原生 400GNDR InfiniBand。无源 DAC 不需要供电,成本最低,延迟极低,适合同一机柜内部交换机直连服务器网卡的短距离互联。无源铜缆信号衰减随长度快速上升,迈络思原厂 NDR 无源 DAC 推荐最大使用长度 2 米,超过长度极易产生信号误码,严禁跨机柜使用 DAC。同柜内部布线优先选这款,节约项目成本。
Mellanox 迈络思 MFP7E10-N050(980-9I57Y-00N050):OSFP 转 2xQSFP112 分支线,交换机到服务器的标准扇出。OSFP 一端接入 NDR 交换机 OSFP 端口,另一端分出 2 路 QSFP112400G 信号,一条线缆可以同时对接两台服务器 ConnectX ‑ 7QSFP112 网卡。这是 NDR 集群非常经典的扇出方案,有效节省交换机端口数量,降低交换机采购成本。在胖树汇聚层到服务器接入场景大量应用,选型时需要确认网卡接口封装是否为 QSFP112,OSFP 网卡无法使用该分支线。
Mellanox 迈络思 MFP7E20-N010/ MFP7E30-N030:覆盖不同距离的 NDR 光互联方案。MFP7E20-N010 为短距 OSFP 单模光模块,MFP7E30-N030 中距版本,支持机柜之间、机架之间跨柜互联。采用光纤传输,不受铜缆信号衰减限制,适配机房内不同机架之间布线,抗干扰能力强。两种型号覆盖机房内常见跨柜距离,根据机柜间距选择。光模块相比 DAC 成本更高,但稳定性更好,是跨机柜部署的首选。
Mellanox 迈络思 MFS1S00-H020V(980-9I45T-00H020):2 米 OSFP 有源光缆 AOC,兼顾跨柜距离与稳定性。OSFP400G NDR 有源光缆 AOC,有源芯片做信号放大,相比无源 DAC 传输距离更长,信号质量更稳定,抗电磁干扰。适合机柜间距不大、不想部署光模块的场景,布线轻便,弯折性能优于铜缆。有源光缆自带供电,要注意整机功耗规划。
经验之谈:DAC 铜缆超过建议长度易出现误码,跨柜务必选 AOC 或光模块。
线缆选型补充提示:NDR 链路必须使用迈络思原厂认证线缆 / 模块,第三方兼容模块虽然价格低,但缺少原厂信号校验,高带宽长时间跑训练流量时大概率出现偶发丢包,这类隐性故障排查周期长达数周,AI 训练业务风险极高。
四、为什么建议整套从中科新远采购
单个型号零散采购,容易出现料号不匹配、供货周期参差、售后责任不清等问题。智算中心网络属于系统性工程,交换机、网卡、线缆模块之间存在兼容性约束,分开找多家供应商采购,一旦出现链路通信故障,交换机厂商、网卡供应商、线缆厂商互相排查推诿,故障定位效率极低,严重影响集群上线进度。
中科新远作为英伟达迈络思精英级认证代理商,具备 IB 交换机、网卡、线缆模块全系列分销权限,可提供:
1. 原厂原装全新正品,享受 NVIDIA 标准质保;所有硬件出厂序列号可在英伟达官网核验,杜绝翻新、拆机、水货备件流入项目;
2. 料号级精准供货,HEAT/NEAT 等后缀严格匹配机型,交付前核对整机 BOM,提前校验挡板、接口、风道型号,规避 BOM 选型失误;
3. 大量现货库存、发货速度快、价格比同行有优势;针对大中型智算项目,可提供项目锁价、分批交付方案,适配项目付款与进场节奏;
4. 免费 IB 组网性能测试与 POC 验证,400-1616-691 全天候技术支持。可提供前期方案咨询、集群拓扑设计、上架部署指导、集群调优服务,POC 阶段可以提供硬件测试环境,验证 400G NDR 网络带宽、时延、集合通信性能,确认方案满足大模型训练需求;项目上线后,技术团队配合运维做网络遥测、故障排查,降低运维压力。
随着大模型训练规模持续扩张,400GNDR InfiniBand 网络已经成为智算中心的核心底座。硬件选型不是简单挑选交换机和网卡,而是一套完整的系统工程,交换机风道、网卡挡板、接口封装、线缆传输距离,每一个细节都会影响最终集群算力发挥。一份清单在手,400GNDR 选型不再迷茫。若需针对您的节点规模做具体配置,不管是几百卡小规模推理集群还是上万卡大型训练胖树网络,中科新远都可以定制拓扑方案,核算 BOM 清单。欢迎联系北京中科新远科技有限公司(北京市海淀区上地五街 7 号昊海大厦三层 306C 室)杜经理 13241201272,获取料号级 BOM 清单与报价。


登录后才可以发布评论哦
打开小程序可以发布评论哦