/ TOKEN WIKI
Общая пропускная способность системы
inference delay
пойми в одном предложении
Почему
Задержка вывода описывает время, прошедшее от инициации запроса до генерации или завершения вывода. Следует различать очередь, первое слово и общее затраченное время. Скорость ответа API
важен для бизнеса?
может маскировать длинный хвост, а интерактивным приложениям также необходимо соблюдать высокую квантильную задержку.
?
записывает время первого слова, скорость генерации, сквозное потребление времени и квантили p95 или p99 соответственно.
Вопросы и ответы
Означает ли низкая средняя задержка хороший опыт?
Не обязательно, длинный хвост, неудачные повторные попытки и ожидание первого слова могут повлиять на работу пользователя. Модель
