inference performance / TOKEN WIKI
The total system throughput of
ストリーミング出力 / ストリーミング
一文でわかる
ストリーミング出力を使用すると、アプリケーションは完全な結果が生成される前にコンテンツを段階的に受信でき、会話やリアルタイムの対話によく使用されます。
がビジネスに関連するのはなぜですか?
体感的な待ち時間は改善されますが、トークンの総使用量や総計算コストが自動的に削減されるわけではありません。
を適用する場合の判断方法は？
は、接続の中断、タイムアウト、エンドマーク、および最終的な使用状況を処理して、再試行によって繰り返しのビジネス アクションが発生しないようにします。
よくある質問
ストリーミング出力は安いですか?
の請求はサプライヤーと実際の使用状況によって異なり、ストリーミング自体は割引を表しません。
