11.3 EAGLE-3:在特征层起草,把接受长度推到极致#

EAGLE 系列将起草的空间从 token 层迁移到特征层(next-to-top-layer 隐藏态)做自回归预测,其草稿准度显著超过同词表的小模型草稿;EAGLE-3 则进一步重构训练目标,直接预测 token、融合多层特征、在训练阶段模拟测试时的多步展开,使草稿模型能够随训练数据规模持续增强,将平均接受长度与加速比推至当前开源方案的最优梯队[^e1][^e3]。

登录后才可看