17.3.5 Transformer 前馈网络 FFN 深入理解#

FFN 对每个 token 独立执行扩维、非线性变换与压缩，参数量和计算量通常占 Transformer 主体，因此激活函数、门控结构与张量并行方式直接影响训练和推理效率。