5.2 训练稳定性、精度与 Checkpoint:让长程实验完整跑到终点#

预训练是一次持续数天至数月的长程实验,数值精度的选择、梯度稳定性的保障、断点的可恢复性,三者共同决定实验能否完整跑到终点。

登录后才可看