컴퓨팅 성능 기본 사항 / TOKEN WIKI
비디오 메모리/VRAM
한 문장으로 이해하기
비디오 메모리는 모델 가중치, 중간 상태 및 기타 계산 데이터를 저장하기 위해 GPU에서 사용하는 전용 메모리입니다.
가 비즈니스와 왜 관련이 있나요?
모델의 무게는 이뿐만이 아닙니다. 긴 컨텍스트, KV 캐시 및 동시성도 메모리 요구 사항을 증가시킵니다.
적용시 어떻게 판단하나요?
는 실제 배포 프레임워크를 사용하여 최대 메모리를 테스트하고 시스템 오버헤드와 운영 마진을 남겨둡니다. 양자화는 일부 가중치 메모리를 줄입니다.
자주 묻는 질문
모델 웨이트를 안정적으로 설치하고 실행할 수 있습니까?
반드시 그런 것은 아니지만 런타임 상태 및 동시 요청을 위해 추가 메모리가 필요합니다.
