14.1 位置外推、稀疏注意力与评测#

上下文窗口变长与模型真正会利用长文本是两个相互独立的问题，前者由位置外推与稀疏注意力扩展可接受的输入长度，后者需由评测度量模型对远端与中段信息的实际利用能力。