-Inferenzleistung / TOKEN WIKI
Der Gesamtsystemdurchsatz des
Inferenzverzögerung
in einem Satz verstehen
Warum ist
-Inferenzlatenz beschreibt die Zeit, die von der Anforderungsinitiierung bis zur Ausgabegenerierung oder zum Abschluss vergeht. Es sollte zwischen Warteschlange, erstem Wort und insgesamt verstrichener Zeit unterschieden werden.
für Unternehmen relevant?
-Durchschnitt verschleiert möglicherweise ein Long-Tail-Erlebnis, und interaktive Anwendungen müssen auch eine hohe Quantillatenz einhalten.
zu beurteilen?
zeichnet die Zeit des ersten Wortes, die Generierungsgeschwindigkeit, den End-to-End-Zeitverbrauch und die Quantile p95 bzw. p99 auf.
Häufige Fragen
Bedeutet eine niedrige durchschnittliche Latenz ein gutes Erlebnis?
Nicht unbedingt, Long Tail, fehlgeschlagene Wiederholungsversuche und das Warten auf das erste Wort können die Benutzererfahrung beeinträchtigen.
