トークンと請求 / TOKEN WIKI
コンテキスト キャッシュ
一文でわかる
コンテキスト キャッシュは、特定の条件が満たされた場合に処理されたコンテキストを再利用して、計算の繰り返しを減らすメカニズムです。
がビジネスに関連するのはなぜですか?
重複するプレフィックスが多数あるワークロードには利点がある可能性がありますが、キャッシュ ルール、有効期間、単価はプラットフォームによって異なります。
を適用する場合の判断方法は？
実際のリクエストでヒット率を検証し、ヒットとミスの使用状況を個別に記録します。同様のリクエストがすべてヒットするとは考えないでください。
よくある質問
キャッシュを有効にすると必然的に安くなりますか?
必ずしもではありませんが、ヒット率、キャッシュ ストレージまたは書き込み料金、および実際の請求ルールによって異なります。
