検索と検出 / トークン WIKI
robots.txt
一文でわかる
robots.txt は、サイトのルート パスに配置されるクロール ルール ファイルで、ルールに準拠するクローラーへのアクセス設定を表現するために使用されます。
がビジネスに関連するのはなぜですか?
これはアクセス制御メカニズムではありません。プライベート データは認証によって保護される必要があり、Disallow だけに依存することはできません。
を適用する場合の判断方法は？
はボディパスの開示を許可し、アカウントやバックエンドなどの非公開領域を除外し、ルールがプラットフォームのアクセス制限と競合しないことを保証します。
よくある質問
robots.txt は管理バックエンドを保護できますか?
いいえ、管理バックエンドにはサーバー側の認証と権限チェックが必要です。
