11.1 投机解码基础:草稿-验证与无损加速#
投机解码(Speculative Decoding)以一个小而快的草稿源一次性预测接下来的 $K$ 个 token,再由目标大模型在一次前向传播中并行验证这 $K$ 个候选,依据接受准则采纳其中最长的正确前缀;在此过程中输出分布与逐字自回归生成严格一致,因而是无损加速[^lev][^dm]。
投机解码(Speculative Decoding)以一个小而快的草稿源一次性预测接下来的 $K$ 个 token,再由目标大模型在一次前向传播中并行验证这 $K$ 个候选,依据接受准则采纳其中最长的正确前缀;在此过程中输出分布与逐字自回归生成严格一致,因而是无损加速[^lev][^dm]。