inference performance / TOKEN WIKI
The total system throughput of
推論遅延
一文でわかる
推論レイテンシは、リクエストの開始から出力の生成または完了までの経過時間を表します。キューイング、最初の単語、および合計経過時間を区別する必要があります。
がビジネスに関連するのはなぜですか?
average may mask a long-tail experience, and interactive applications also need to observe high-quantile latency.
を適用する場合の判断方法は？
は、最初の単語時間、生成速度、エンドツーエンドの消費時間、および p95 または p99 分位数をそれぞれ記録します。
よくある質問
平均レイテンシーが低いということは、エクスペリエンスが良いことを意味しますか?
必ずしもそうとは限りませんが、ロングテール、再試行の失敗、最初の単語の待機がユーザー エクスペリエンスに影響を与える可能性があります。
