トークンと請求 / TOKEN WIKI
入力トークン
一文でわかる
入力トークンは、モデル リクエストでモデルによって読み取られる情報の量であり、これには通常、ユーザーの質問、システム プロンプト、履歴の会話、ツールなどのコンテキストが含まれます。
がビジネスに関連するのはなぜですか?
マルチラウンド アプリケーションは履歴メッセージを繰り返し送信する可能性があり、コンテキストが大きくなるにつれて入力コストが増加します。
を適用する場合の判断方法は？
は、システム プロンプト、取得したドキュメント、チャット履歴をテストに組み込み、キャッシュ ヒットが個別に請求されるかどうかを確認します。
よくある質問
トークンの入力はこの質問に対してのみカウントされますか?
には通常、インターフェイス メータリングによって測定される、リクエストとともに送信された履歴およびその他のコンテキストも含まれます。
