-Inferenzleistung / TOKEN WIKI
Der Gesamtsystemdurchsatz des
TTFT / Erster Token-Zeitpunkt
in einem Satz verstehen
Warum ist
TTFT bezieht sich auf die Zeit vom Beginn der Anforderung bis zum Empfang des ersten Ausgabetokens und wird häufig zur Messung der Warteerfahrung von Streaming-Interaktionen verwendet.
für Unternehmen relevant?
Eine kurze Zeit für das erste Wort bedeutet nicht, dass das gesamte Segment schneller generiert wird. Es ist auch notwendig, das nachfolgende Token-Intervall und den Gesamtzeitverbrauch zu beachten.
zu beurteilen?
misst eindeutig die Start- und Endpunkte, einschließlich der erforderlichen Netzwerk- und Warteschlangenzeiten, und zeichnet die Eingabelänge und Parallelitätsbedingungen auf.
Häufige Fragen
Ist TTFT dasselbe wie vollständige Antwortzeit?
ist anders. Die vollständige Antwort umfasst auch den anschließenden Generierungsprozess.
