검색 및 발견 / 토큰 위키
AI search crawler
한 문장으로 이해하기
AI search crawler crawls public web pages to support search or user retrieval. Different organizations may differentiate between search, user access and training purposes.
가 비즈니스와 왜 관련이 있나요?
GPTBot 및 OAI-SearchBot과 같은 이름은 서로 다른 용도를 나타내며 모든 AI 크롤러를 동일한 유형의 트래픽으로 간주할 수 없습니다.
적용시 어떻게 판단하나요?
는 공식 문서에 따라 크롤링 기본 설정을 설정합니다. 로그의 User-Agent는 단지 명령문일 뿐입니다. 중요한 인증을 위해서는 공식 IP나 인증방법을 참고하셔야 합니다.
자주 묻는 질문
GPTBot을 허용하면 ChatGPT 검색에 나타날 수 있다는 뜻인가요?
아니요, OpenAI는 주로 검색에 OAI-SearchBot 규칙을 사용하며 훈련 크롤링 및 검색 규칙은 서로 독립적입니다.
