搜索与发现 / TOKEN WIKI
robots.txt
一句话理解
robots.txt 是放在站点根路径的抓取规则文件，用于向遵守规则的爬虫表达访问偏好。
为什么与业务相关？
它不是访问控制机制；隐私数据必须使用鉴权保护，不能只依靠 Disallow。
应用时如何判断？
允许公开正文路径，排除账户与后台等非公开区域，并确保规则没有与平台访问限制冲突。
常见问题
robots.txt可以保护管理后台吗？
不能，管理后台必须具备服务端身份验证与权限检查。
robots.txt 是放在站点根路径的抓取规则文件，用于向遵守规则的爬虫表达访问偏好。
它不是访问控制机制；隐私数据必须使用鉴权保护，不能只依靠 Disallow。
允许公开正文路径，排除账户与后台等非公开区域，并确保规则没有与平台访问限制冲突。
不能，管理后台必须具备服务端身份验证与权限检查。
一起出海 ↗