11.2 MTP：多 token 预测#

标准语言模型每步仅预测下一个 token；多 token 预测（Multi-Token Prediction, MTP）令模型在一次前向中同时预测未来多个 token。它兼具两重身份：作为训练目标（Training Objective）提供更密集的监督信号，迫使模型在生成当前位置时对后续若干位置做出规划；同时天然产出一份与主干同源的草稿，一次前向即可起草多个候选，恰好供投机解码的验证环节使用，从而无需单独训练一个独立的草稿模型[^meta][^dsv3]。