◈TokenスーパーコンピュートGLOBAL AI COMPUTE
海外開発とアーキテクチャ / TOKEN WIKI

電流制限 / レート制限

一文でわかる

電流制限は、一定期間内のリクエスト数、トークン使用量、または同時実行性を制御するメカニズムです。リソースとサービスの安定性を管理するためによく使用されます。

がビジネスに関連するのはなぜですか?

異なるクォータが同時に有効になる場合があり、実行できるビジネス量はリクエスト数だけでは見積もることができません。

を適用する場合の判断方法は?

は、サプライヤーの返品情報を読み取り、上限バックオフ再試行とアプリケーション側の同時実行制御を実装します。

よくある質問

429 エラーを受け取った後、再試行を続ける必要がありますか?

は無限に再試行するべきではありませんが、クォータとバックオフ ポリシーに従って処理する必要があり、合計タイムアウトを設定する必要があります。

関連タグ

関連記事

蓝白色Token海豚元宝一緒に海へ行きましょう ↗

言語を選択