추론 성능 / TOKEN WIKI
batch processing / Batching
한 문장으로 이해하기
batch processing combines multiple computing tasks to improve hardware utilization; the service system may also use continuous batch processing.
가 비즈니스와 왜 관련이 있나요?
배치 크기, 대기열 정책 및 입력 차이는 처리량, 메모리 및 요청 대기 시간에 영향을 미칩니다.
적용시 어떻게 판단하나요?
는 리소스 활용도와 서비스 대기 시간 목표의 균형을 맞추기 위해 실제 요청 배포로 일괄 처리 전략을 테스트합니다.
자주 묻는 질문
일괄 처리를 수행하면 반드시 각 요청이 더 빨라지나요?
반드시 그런 것은 아니지만 전체 처리량은 향상되지만 개별 요청에 대한 대기 시간은 늘어납니다.
