词元与计费 / TOKEN WIKI
上下文缓存
一句话理解
上下文缓存是在满足特定条件时复用已处理上下文，以减少重复计算的机制。
为什么与业务相关？
重复前缀较多的工作负载可能受益，但缓存规则、有效期和单价因平台而异。
应用时如何判断？
用真实请求验证命中率，分别记录命中和未命中用量；不要假设所有相似请求都能命中。
常见问题
开启缓存就一定更便宜吗？
不一定，取决于命中率、缓存存储或写入费用与实际计费规则。
上下文缓存是在满足特定条件时复用已处理上下文，以减少重复计算的机制。
重复前缀较多的工作负载可能受益，但缓存规则、有效期和单价因平台而异。
用真实请求验证命中率，分别记录命中和未命中用量；不要假设所有相似请求都能命中。
不一定，取决于命中率、缓存存储或写入费用与实际计费规则。
一起出海 ↗