17.3.7 LayerNorm 与残差连接深入理解#

残差连接为深层网络提供稳定梯度通路，LayerNorm 控制每个 token 的特征尺度；二者的放置顺序决定训练稳定性、数值范围与算子融合方式。