18.7.2 FlashAttention V2 详解#

FlashAttention V2 相对于 V1 版本的关键优化体现在三个方面：首先，调换了内外循环的执行顺序；其次，优化了线程块内部的工作分配方式；第三，显著减少了对非矩阵乘法的运算次数。