19.3 优化器#

优化器决定拿到梯度之后如何更新参数，其内部维护的一阶动量、二阶动量与 FP32 主权重是训练显存的主要来源，在混合精度下 Adam/AdamW 每个参数需要 12 字节的优化器状态，占 7B 模型训练总显存的约四分之三，因此它既是收敛的关键，也是显存优化（ZeRO、8-bit 优化器、Adafactor）首先开刀的对象。