추론 성능 / TOKEN WIKI
Streaming output / Streaming
한 문장으로 이해하기
streaming output allows applications to receive content incrementally before the complete result is generated, often used for conversations and real-time interactions.
가 비즈니스와 왜 관련이 있나요?
인식된 대기 시간을 개선하지만 총 토큰 사용량이나 총 계산 비용을 자동으로 줄이지는 않습니다.
적용시 어떻게 판단하나요?
는 연결 중단, 시간 초과, 종료 표시 및 최종 사용을 처리하여 재시도가 반복적인 비즈니스 작업을 생성하지 않도록 합니다.
자주 묻는 질문
스트리밍 출력이 더 저렴합니까?
과금은 공급업체와 실제 사용량에 따라 달라지며, 스트리밍 자체는 할인을 의미하지 않습니다.
