15.2 路由与负载均衡#

MoE 中的路由器（router，即门控网络）具有双重身份，它既是决定每个 token 交给哪几位专家的模型结构，又是决定各 GPU 忙闲分布的系统调度器；一旦其输出分布倾斜，整批推理的时延便由负载最重的那张卡决定。