모델 및 추론 / 토큰 위키
추론/추론
한 문장으로 이해하기
추론은 훈련된 모델을 사용하여 새로운 입력을 계산하고 출력을 생성하는 프로세스로, 모델 매개변수를 업데이트하는 훈련과 다릅니다.
가 비즈니스와 왜 관련이 있나요?
온라인 추론은 요청 대기 시간, 처리량, 안정성 및 단위 작업 비용에 중점을 둡니다.
적용시 어떻게 판단하나요?
는 실제 입력 및 출력 길이, 동시성 및 성공 기준에 따라 스트레스 테스트를 거쳤습니다. 이상적인 짧은 요청만 사용하지 마십시오.
자주 묻는 질문
모델 추론과 모델 교육의 차이점은 무엇입니까?
교육은 모델 매개변수를 조정합니다. 추론은 일반적으로 기존 매개변수를 사용하여 새 입력을 처리합니다.
