模型每生成一个新 token，都要让当前 query 访问过去 token 的 key 和 value。为了避免把过去全部重算一遍，推理系统把这些 K、V 留在显存里。代价是缓存随上下文长度、层数和 KV head 数一起增长。

这类工作看起来很多，其实可以放进一个很清楚的坐标系：

KV Cache 优化主要是在 Token、Layer、Head 三个维度上减少需要保存的状态。