모델 및 추론 / 토큰 위키
Distillation / Knowledge Distillation
한 문장으로 이해하기
model distillation is to use the output, probability distribution or intermediate information of the teacher model to train the student model so that it can learn part of the teacher's capabilities on the target task.
가 비즈니스와 왜 관련이 있나요?
는 적절한 작업에서 배포 리소스와 추론 비용을 줄일 수 있지만 그 효과는 교사 품질, 교육 샘플 및 평가 방법에 의해 영향을 받습니다.
적용시 어떻게 판단하나요?
는 먼저 대상 작업 및 지표를 명확히 하고 독립적인 평가 세트를 준비하며 데이터 및 모델 인증을 확인합니다. 동시에 품질, 지연 및 단위 작업 비용을 비교합니다.
자주 묻는 질문
증류는 모델 매개변수의 정량화 또는 복제와 동일합니까?
는 그렇지 않습니다. 증류에는 일반적으로 학생 모델 훈련이 포함됩니다. 양자화는 주로 수치 표현을 변경하며 두 가지를 조합하여 사용할 수 있습니다.
