17.5.1 GPU 基础知识：从硬件架构到 AI 计算#

GPU 是支撑大模型训练与推理的核心硬件：训练一个千亿参数的大型语言模型可能需要数千块 GPU 持续运行数月，而推理服务的吞吐量与延迟也直接取决于 GPU 的利用效率。