19.7 流水线并行 PP#
流水线并行（Pipeline Parallelism, PP）把模型按层切成若干个连续的 Stage 分置于不同设备，仅在 Stage 边界传递激活值，因而通信量极小、可跨机扩展；其核心代价是设备等待造成的空转（Pipeline Bubble），历代调度策略，GPipe、1F1B、Interleaved 1F1B 直到 Zero Bubble，的主线就是在不牺牲收敛语义的前提下把这段空转压到最小。
流水线并行（Pipeline Parallelism, PP）把模型按层切成若干个连续的 Stage 分置于不同设备，仅在 Stage 边界传递激活值，因而通信量极小、可跨机扩展；其核心代价是设备等待造成的空转（Pipeline Bubble），历代调度策略，GPipe、1F1B、Interleaved 1F1B 直到 Zero Bubble，的主线就是在不牺牲收敛语义的前提下把这段空转压到最小。