推理性能 / TOKEN WIKI
KV Cache
一句话理解
KV Cache 缓存注意力机制计算中先前 Token 的键和值，以减少自回归生成中的重复计算。
为什么与业务相关？
它会占用显存，序列长度和并发增加时需要关注内存管理。
应用时如何判断？
结合框架实现评估缓存内存、分页管理和并发容量，不把 KV Cache 与商业计费缓存混为一谈。
常见问题
KV Cache 就是供应商的缓存优惠吗？
不是同一概念，工程缓存与产品计费规则需要分别理解。
KV Cache 缓存注意力机制计算中先前 Token 的键和值，以减少自回归生成中的重复计算。
它会占用显存，序列长度和并发增加时需要关注内存管理。
结合框架实现评估缓存内存、分页管理和并发容量，不把 KV Cache 与商业计费缓存混为一谈。
不是同一概念，工程缓存与产品计费规则需要分别理解。
一起出海 ↗