14.2 CP 上下文并行：原理、通信与加速#

上下文并行（Context Parallelism, CP）沿序列长度维把同一条序列切到多张 GPU 上，非注意力层天然本地计算，注意力则通过跨分片交换 KV 与在线 softmax 精确复原全局结果。