18.6.2 CUDA Online Softmax 实现#

传统 Safe Softmax 的实现需要对输入数据进行三次完整的遍历，而 Online Softmax 则借助数学递推关系，在单次遍历中同步计算出最大值和总和，将内存读取操作的数量从三次降低至两次。