17.3.4 Self-Attention 机制深入理解#

Self-Attention 把输入投影为 Query、Key、Value，以缩放点积和 Softmax 动态聚合上下文；其工程成本由序列长度、头数、张量布局与内存访问共同决定。