19.8 其他显存优化技术#

并行策略负责把一份大模型摊到多张卡上，本节讲的是与并行正交的一类技术，它们不改变卡数，而是在单卡内部通过重算换显存、累积换批量、降精度换容量、或改写核函数消除中间张量，把训练所需的峰值显存压下来。