추론 성능 / TOKEN WIKI
TTFT / First Token Time
한 문장으로 이해하기
TTFT refers to the time from the start of the request to the receipt of the first output Token, and is often used to measure the waiting experience of streaming interactions.
가 비즈니스와 왜 관련이 있나요?
첫 번째 단어 시간이 짧다고 해서 전체 세그먼트가 더 빠르게 생성된다는 의미는 아닙니다. 또한 후속 토큰 간격과 총 시간 소비를 관찰해야 합니다.
적용시 어떻게 판단하나요?
는 필요한 네트워크 및 대기열 시간을 포함하여 시작 및 끝 지점을 명확하게 측정하고 입력 길이 및 동시성 조건을 기록합니다.
자주 묻는 질문
TTFT는 전체 응답 시간과 동일합니까?
는 다릅니다. 완전한 답변에는 후속 생성 프로세스도 포함됩니다.
