推理优化实战#

推理优化围绕 Prefill、Decode、KV Cache 与调度展开，通过框架选型、P/D 解耦、性能分析和端到端压测，在 TTFT、TPOT、吞吐、显存与 Goodput 之间完成可验证的权衡。