分布式训练#

分布式训练以显存墙和时间墙为起点，把数据、参数、张量、流水线与序列维度映射到不同通信原语和硬件拓扑，目标是在可扩展性与通信成本之间取得平衡。