18.6.1 CUDA Softmax 朴素实现优化#

Softmax 必须在保持数值稳定的同时完成行最大值、指数求和与归一化,CUDA 优化的关键是减少全局内存遍历、复用归约结果并控制同步开销。

登录后才可看