13.2 它是怎么工作的:掩码去噪#

扩散语言模型(Diffusion LM)通过训练一个在各种掩码程度下都能填空的模型来生成文本,生成时从全 [MASK] 序列出发,反复执行并行预测所有位置、只确认置信度最高的一批、其余重新掩码的循环,逐步收敛为完整文本。

登录后才可看