추론 성능 / TOKEN WIKI
추론 지연
한 문장으로 이해하기
Inference latency describes the time elapsed from request initiation to output generation or completion. Queuing, first word, and total time consuming should be distinguished.
가 비즈니스와 왜 관련이 있나요?
평균은 롱테일 경험을 가릴 수 있으며 대화형 애플리케이션도 높은 분위수 대기 시간을 관찰해야 합니다.
적용시 어떻게 판단하나요?
는 첫 번째 단어 시간, 생성 속도, 종단 간 시간 소비 및 p95 또는 p99 분위수를 각각 기록합니다.
자주 묻는 질문
평균 대기 시간이 낮다는 것은 좋은 경험을 의미합니까?
반드시 그런 것은 아니지만 롱테일, 재시도 실패 및 첫 번째 단어 대기는 사용자 경험에 영향을 미칠 수 있습니다.
