10.6 分离式架构与全局 KV 池：以 KVCache 为中心的推理#

前几节的优化都作用于单机内部，本节把优化对象扩展到整个集群。分离式架构针对两个结构性问题：其一，预填充（prefill，算力密集）与解码（decode，访存密集）运行于同一张 GPU 时相互干扰；其二，KV-Cache 被约束在单机、生成结束即释放，无法跨请求、跨节点复用。Mooncake（Kimi / Moonshot AI）给出的方案是一种以 KVCache 为中心的分离式架构（KVCache-centric disaggregated architecture）：预填充池与解码池物理分离并各自采用最优配置，再将全集群闲置的 CPU、DRAM、SSD 组织为一个跨机的全局 KVCache 池以供复用，由 KVCache 中心调度器统一编排，Transfer Engine 负责在机器之间搬运 KV[^mooncake]。