一、智算网络：AI集群的“神经系统”

1. 核心作用

智算网络是连接GPU/NPU服务器的专用高速网络，用于：

• 分布式训练：千卡集群中同步模型参数（如AllReduce操作）。
• 数据共享：高速读取分布式存储中的训练数据集。
• 容灾备份：节点故障时快速迁移任务。

2. 性能指标

3. 典型组网架构

|-----------------------|  
| **计算节点**          | → 8卡GPU服务器（如NVIDIA DGX A100）  
|   ├─ GPU0 → NVLink    |  
|   └─ GPU1 → NVLink    | （节点内高速互联）  
|-----------------------|  
| **网络交换层**        | → InfiniBand/RoCE交换机（如NVIDIA Quantum-2）  
|-----------------------|  
| **存储节点**          | → 并行文件系统（如Lustre）通过200Gbps网络接入  
|-----------------------|  

二、RoCE：基于以太网的RDMA技术

1. 核心概念

• RDMA（Remote Direct Memory Access）：允许计算机直接访问另一台机器的内存，无需CPU介入，降低延迟和开销。
• RoCE（RDMA over Converged Ethernet）：在标准以太网上实现RDMA的技术，分两种：RoCEv1：仅支持同一二层网络（无路由）。RoCEv2（主流）：支持IP路由，可跨三层网络，添加拥塞控制（DCQCN）。

2. 为什么智算需要RoCE？

• 替代InfiniBand：成本更低（利用现有以太网设备），性能接近（200Gbps RoCEv2延迟≈1.2μs vs. InfiniBand 0.7μs）。
• 国产化支持：华为、中兴等国产交换机均支持RoCEv2，符合信创要求。

3. 关键技术

4. 部署示例

• 硬件：华为CE8860交换机（支持400G RoCEv2） + 昇腾910B NPU
• 软件：华为ACL（Ascend Computing Language）优化通信库
• 性能：ResNet-50千卡训练扩展效率≥90%

三、NVLink：NVIDIA的GPU直连技术

1. 核心特点

• 专为GPU设计：比PCIe带宽更高、延迟更低，适合多卡协同计算。
• 拓扑灵活：支持Mesh、Ring等连接方式（如DGX H100采用3D Mesh）。

2. 代际演进

3. 应用场景

• 单机多卡：8卡DGX服务器中，NVLink实现GPU全互联（如A100 NVLink拓扑如下）：
• plaintext
• GPU0 ↔ GPU1 ↔ GPU2 ↔ GPU3 ↕ ↕ ↕ ↕ GPU4 ↔ GPU5 ↔ GPU6 ↔ GPU7
• 多机扩展：通过NVLink Switch（如NVIDIA Quantum-2）连接多台DGX，构建千卡集群。

4. 性能对比（NVLink vs. PCIe 4.0）

四、RoCE vs. NVLink vs. InfiniBand

五、行业实践与问题

1. 典型案例

• NVIDIA Eos超算：网络：400G InfiniBand + NVLink（共4608张H100 GPU）性能：18.4 EFLOPS（FP8精度）
• 阿里云智算集群：网络：200G RoCEv2 + 自研通信库（如ACCL）特点：支持万卡级弹性扩展

2. 常见问题

• 网络拥塞：千卡AllReduce时若未配置DCQCN，可能导致吞吐量下降50%+。
• 国产替代：华为昇腾+RoCE方案中，需用ACL替代NVIDIA NCCL通信库。部分国产交换机RoCE性能不足（需验证PFC/ECN支持）。

六、知识总结

• 智算网络是千卡集群的核心瓶颈，需重点优化带宽、延迟和RDMA支持。
• 技术选型：国产化场景选RoCEv2（如华为昇腾+CE交换机）。国际高性能场景选InfiniBand（如NVIDIA DGX SuperPOD）。单机多卡必用NVLink（尤其大模型训练）。
• 关键问题：如何通过RoCEv2实现InfiniBand 90%的性能？NVLink在3D Mesh拓扑下如何避免通信热点？