9.4 GPU 与算力：计算与访存的矛盾#
GPU 提供的浮点算力极高，但将数据从显存（High Bandwidth Memory, HBM）搬入计算单元的带宽有限。因此许多负载的瓶颈并非计算速度，而是数据搬运速度，此类情形称为访存受限（memory-bound）。理解计算与访存这对矛盾，即可解释 推理 Decode 阶段为何缓慢，以及 批处理 与 投机解码 何以有效。本节主线取自 CS336 第 5 讲[^cs336]。
GPU 提供的浮点算力极高，但将数据从显存（High Bandwidth Memory, HBM）搬入计算单元的带宽有限。因此许多负载的瓶颈并非计算速度，而是数据搬运速度，此类情形称为访存受限（memory-bound）。理解计算与访存这对矛盾，即可解释 推理 Decode 阶段为何缓慢，以及 批处理 与 投机解码 何以有效。本节主线取自 CS336 第 5 讲[^cs336]。