해외 개발 및 아키텍처 / TOKEN WIKI
current limit / Rate Limit
한 문장으로 이해하기
Current limiting is a mechanism to control the number of requests, token usage or concurrency within a period of time. It is often used to manage resources and service stability.
가 비즈니스와 왜 관련이 있나요?
서로 다른 할당량이 동시에 적용될 수 있으며, 수행할 수 있는 비즈니스 볼륨은 요청 수만으로는 추정할 수 없습니다.
적용시 어떻게 판단하나요?
는 공급자 반환 정보를 읽고 상한 백오프 재시도 및 애플리케이션 측 동시성 제어를 구현합니다.
자주 묻는 질문
429 오류가 발생한 후 계속 다시 시도해야 합니까?
는 무한히 재시도해서는 안 되며, 할당량 및 백오프 정책에 따라 처리되어야 하며 총 시간 제한이 설정되어야 합니다.
