19.1 PyTorch 分布式训练：从原理到实战#

当模型参数量从百万量级扩展至千亿量级时，单块 GPU 的显存容量与计算能力已无法承载完整的训练负载。