/ TOKEN WIKI
Le débit total du système du
inference delay
comprend en une phrase
Pourquoi le
décrit le temps écoulé entre le lancement de la demande et la génération ou l'achèvement de la sortie. La file d'attente, le premier mot et le temps total écoulé doivent être distingués. Vitesse de réponse de l'API
est-il pertinent pour les entreprises ?
peut masquer une expérience à longue traîne, et les applications interactives doivent également observer une latence quantile élevée.
?
enregistre respectivement le temps du premier mot, la vitesse de génération, la consommation de temps de bout en bout et les quantiles p95 ou p99.
FAQ
Une latence moyenne faible est-elle synonyme de bonne expérience ?
Pas nécessairement, les longues traînes, les tentatives infructueuses et l'attente du premier mot peuvent affecter l'expérience utilisateur. Modèle
