17.6.1 集群通信网络与 NCCL：分布式训练的通信骨架#

多 GPU 系统的速度不仅取决于单卡算力，还取决于张量经过哪条链路、通信算法怎样组织以及计算能否覆盖等待。