9.2.1 连续批处理（Continuous Batching）#

连续批处理在 token 级别动态调度请求，某请求生成完成即刻移出，将排队中的新请求填入空出的批槽位，使 GPU 时刻接近满载。它是提升服务端吞吐最有效的手段之一，在真实混合负载上常带来一个数量级的提升[^anyscale]。