検索と検出 / トークン WIKI
AI検索クローラー
一文でわかる
AI 検索クローラーは、公開 Web ページをクロールして、検索やユーザーの取得をサポートします。組織によっては、検索、ユーザー アクセス、トレーニングの目的を区別する場合があります。
がビジネスに関連するのはなぜですか?
GPTBot や OAI-SearchBot などの名前は異なる用途を表しており、すべての AI クローラーを同じタイプのトラフィックと見なすことはできません。
を適用する場合の判断方法は？
は、公式ドキュメントに従ってクロール設定を設定します。ログ内の User-Agent は単なるステートメントです。重要な認証については、公式IPまたは認証方法を参照する必要があります。
よくある質問
GPTBot を許可すると、ChatGPT 検索に表示される可能性があるということでしょうか?
いいえ、OpenAI は主に検索に OAI-SearchBot ルールを使用し、トレーニング クロール ルールと検索ルールは互いに独立しています。
