/ TOKEN WIKI
O rendimento total do sistema do
inference delay
entenda em uma frase
Por que
descreve o tempo decorrido desde o início da solicitação até a geração ou conclusão da saída. O enfileiramento, a primeira palavra e o tempo total decorrido devem ser diferenciados. Velocidade de resposta da API
é relevante para os negócios?
pode mascarar uma experiência de cauda longa, e os aplicativos interativos também precisam observar latência de alto quantil.
?
registra o tempo da primeira palavra, velocidade de geração, consumo de tempo ponta a ponta e quantis p95 ou p99, respectivamente.
Perguntas frequentes
A latência média baixa significa uma boa experiência?
Não necessariamente, cauda longa, tentativas malsucedidas e espera pela primeira palavra podem afetar a experiência do usuário. Modelo de baixa latência
