inference performance / TOKEN WIKI
The total system throughput of
TTFT / 最初のトークン時間
一文でわかる
TTFT は、リクエストの開始から最初の出力トークンの受信までの時間を指し、ストリーミング インタラクションの待機エクスペリエンスを測定するためによく使用されます。
がビジネスに関連するのはなぜですか?
最初の単語時間が短いからといって、セグメント全体がより速く生成されるわけではありません。その後のトークン間隔と合計消費時間を観察することも必要です。
を適用する場合の判断方法は？
は、必要なネットワーク時間やキュー時間を含む開始点と終了点を明確に測定し、入力の長さと同時実行条件を記録します。
よくある質問
TTFT は全解答時間と同じですか?
は違います。完全な答えには、その後の生成プロセスも含まれます。
