19.4 数据并行（DP、DDP、FSDP）#

数据并行的基本思想是把同一个模型复制到多张 GPU、把一个大批次的数据切成互不重叠的子批分给各卡，各卡独立算出梯度后再做一次全局同步，使所有副本以完全一致的梯度更新参数；三代方案 DP、DDP、FSDP 的区别只在于梯度如何同步以及哪些状态在卡间冗余复制、哪些被切片分摊。