13.4 现状与代表模型:扩散语言模型的当前进展#

截至 2026 年初,扩散语言模型(Diffusion Language Model, dLLM)已从研究阶段进入产品化阶段。开源方向以 LLaDA(首个在 8B 规模从零训练的掩码扩散大语言模型,性能与同规模自回归模型相当)和 Dream 7B(以自回归权重初始化)为代表;商用方向的 Mercury(Inception Labs)与 Gemini Diffusion(Google)则展示了并行去噪的吞吐优势,达到每秒上千 token,较同级自回归模型有数倍提升。就整体格局而言,自回归仍是主流,扩散是一条以高速、双向、可修订为特征的并行路线,尚未构成对主流范式的替代[^llada][^mercury][^gemini]。

登录后才可看