15.4 Dispatch/Combine 与通信墙#

MoE 层的通信并非普通的 all-reduce，而是把每个 token 按 router 结果发送到专家所在设备（dispatch）、计算完毕后收回原位（combine）。这是一次 All-to-All（全交换），也是 MoE 推理面临的核心通信墙。