추론 성능 / TOKEN WIKI
처리량 / 처리량
한 문장으로 이해하기
처리량은 특정 기간 내에 처리된 요청 또는 토큰 수입니다. 통계적 대상과 테스트 조건에 대한 설명이 필요합니다. 초당
가 비즈니스와 왜 관련이 있나요?
의 전체 시스템 처리량과 단일 사용자 생성 속도는 동일한 지표가 아닙니다. 집계 처리량이 높을수록 대기열 시간이 길어질 수 있습니다.
적용시 어떻게 판단하나요?
는 조건 외 비교를 피하기 위해 동시성, 입력 및 출력 길이, 성공률 및 대기 시간 분위수를 동시에 보고합니다.
자주 묻는 질문
토큰은 단일 요청입니까, 아니면 전체 시스템의 지표입니까?
둘 다 가능합니다. 먼저 테스트 구경을 확인해야 합니다.
