17.3.6 Transformer 位置编码深入理解#

位置编码为排列等变的注意力注入顺序信息，绝对位置、相对位置与 RoPE 的差异最终体现在外推能力、缓存兼容性和长上下文成本上。