토큰 및 청구 / TOKEN WIKI
토크나이저/토크나이저
한 문장으로 이해하기
토크나이저는 원본 텍스트를 모델에서 처리할 수 있는 토큰 시퀀스로 변환하고 출력 토큰을 읽을 수 있는 콘텐츠로 복원합니다.
가 비즈니스와 왜 관련이 있나요?
단어 분할 규칙은 컨텍스트 점유 및 호출 비용에 영향을 미칩니다. 모델 간 비교는 토큰 수를 기계적으로 비교하기보다는 작업을 통합해야 합니다.
적용시 어떻게 판단하나요?
는 공급업체가 지정한 버전의 토크나이저를 사용하여 역할 템플릿, 시스템 프롬프트 및 특수 태그의 오버헤드를 유지합니다.
자주 묻는 질문
동일한 텍스트의 토큰 번호가 다른 이유는 무엇입니까?
어휘 목록, 알고리즘 및 대화 템플릿이 다르면 분할 결과가 달라집니다.
