10.5 分层缓存与卸载：为 KV 引入内存层级#

前缀缓存 只能把可复用的 KV 保留在容量有限的 GPU 显存中，当历史规模增大（多轮会话、Agent 反复携带上下文、大量共享前缀）时，显存无法容纳全部 KV，命中率随之被容量上限锁死。分层缓存（Hierarchical KV Caching）借用计算机存储金字塔的层级组织：高频访问的 KV 驻留 GPU，次频的下沉到 CPU 主机内存，低频的再下沉到 SSD 或分布式存储，并在使用前异步预取回上层。代表系统为 SGLang 的 HiCache、LMCache 与 Strata[^hicache][^lmcache][^strata]。