无阻塞网络

比如对于端口数为 40 的交换机，两层胖树架构可容纳的 GPU 卡的数量是 800 卡，三层胖树架构可容纳的 GPU 卡的数量是 16000 卡。不同GPU编号的智算节点间，借助NCCL通信库中的Rail Local技术，可以充分利用主机内GPU间的NVSwitch的带宽，将多机间的跨卡号互通转换为跨机间的同GPU卡号的互通。网络可承载的 GPU 卡的规模和所采用交换机的端口密度、网络架构相关。网络的层次多，承载的 GPU 卡的规模会变大，但转发的跳数和时延也会变大，需要结合实际业务情况进行权衡。