/ TOKEN WIKI
El rendimiento total del sistema de
inference delay
entender en una frase
¿Por qué el
La latencia de inferencia describe el tiempo transcurrido desde el inicio de la solicitud hasta la generación o finalización de la salida. Se deben distinguir la cola, la primera palabra y el tiempo total transcurrido. Velocidad de respuesta de la API
es relevante para los negocios?
puede enmascarar una experiencia de cola larga, y las aplicaciones interactivas también deben observar una latencia de cuantiles altos.
?
registra el tiempo de la primera palabra, la velocidad de generación, el consumo de tiempo de un extremo a otro y los cuantiles p95 o p99, respectivamente.
Preguntas frecuentes
¿Una latencia promedio baja significa una buena experiencia?
No necesariamente, la cola larga, los reintentos fallidos y la espera de la primera palabra pueden afectar la experiencia del usuario. Modelo de baja latencia
