20.2 推理引擎核心技术#

推理引擎的工作不是简单地反复调用模型前向，而是同时管理请求、显存和 GPU 执行队列。