9.2 · 主流优化方法#
这一组你会懂什么
- 推理优化并非单一方法通用,而是每种方法各自针对一类瓶颈,理解它优化哪一环,即理解它为何有效;
- 五节分别展开一种主流方法(连续批处理、PagedAttention、FlashAttention、前缀缓存、并行),外加量化 / 投机解码 / MoE 的深入入口;
- 面对任何一个旨在提升推理速度或降低成本的新方案,能迅速定位它优化的是什么、代价在何处。
这一组你会懂什么
- 推理优化并非单一方法通用,而是每种方法各自针对一类瓶颈,理解它优化哪一环,即理解它为何有效;
- 五节分别展开一种主流方法(连续批处理、PagedAttention、FlashAttention、前缀缓存、并行),外加量化 / 投机解码 / MoE 的深入入口;
- 面对任何一个旨在提升推理速度或降低成本的新方案,能迅速定位它优化的是什么、代价在何处。