컴퓨팅 성능 기본 사항 / TOKEN WIKI
대역폭 및 상호 연결
한 문장으로 이해하기
대역폭은 단위 시간당 전송할 수 있는 데이터의 양을 나타냅니다. 모델 서비스에는 비디오 메모리, 장치 상호 연결, 네트워크 등 다양한 수준의 대역폭이 포함됩니다.
가 비즈니스와 왜 관련이 있나요?
의 다양한 병목 현상 수준은 다양한 최적화 방법에 해당하며 인터넷 대역폭은 GPU 간의 통신 문제를 해결할 수 없습니다.
적용시 어떻게 판단하나요?
메모리, 장비, 노드 또는 클라이언트 네트워크에서 병목 현상이 발생하는지 식별한 다음 해당 하드웨어 또는 아키텍처 최적화를 선택합니다.
자주 묻는 질문
의 대역폭이 높을수록 첫 번째 단어 지연이 낮아 집니까?
반드시 그런 것은 아니지만 대기열, 모델 계산, 라우팅 및 왕복 지연도 첫 번째 단어 시간에 영향을 미칩니다.
