20.3.1 vLLM 快速入门：从安装到部署你的第一个 LLM 推理服务#

将大语言模型部署为在线服务时，核心挑战通常集中在两处：显存容量不足以同时容纳模型权重和多个请求的状态，以及推理吞吐量受限于 KV 缓存的管理方式。