vLLM PagedAttention:通过区块哈希重用内容的提示缓存

shao__meng 基于 vLLM PagedAttention 分析了提示缓存,显示缓存是基于内容的(全局重用),而非基于用户会话。预填充(KV 缓存)计算密集,而解码则受限于内存带宽;缓存命中可以将预填充成本降低约 10 倍。PagedAttention 将 KV 切分为具有父级依赖的区块哈希和全局查找的区块;实用建议包括:保持稳定的前缀,使用确定性序列化,采用仅追加历史,避免动态工具定义的变化。

shao__meng 基于 vLLM PagedAttention 分析了提示缓存,显示缓存是基于内容的(全局重用),而非基于用户会话。预填充(KV 缓存)计算密集,而解码则受限于内存带宽;缓存命中可以将预填充成本降低约 10 倍。PagedAttention 将 KV 切分为具有父级依赖的区块哈希和全局查找的区块;实用建议包括:保持稳定的前缀,使用确定性序列化,采用仅追加历史,避免动态工具定义的变化。