搜索与发现 / TOKEN WIKI
AI 搜索爬虫
一句话理解
AI 搜索爬虫抓取公开网页以支持搜索或用户检索，不同机构可能区分搜索、用户访问和训练用途。
为什么与业务相关？
GPTBot 与 OAI-SearchBot 等名称代表不同用途，不能把所有 AI 爬虫当成同一类流量。
应用时如何判断？
按官方文档设置抓取偏好；日志中的 User-Agent 只是声明，重要验证还需参考官方 IP 或验证方式。
常见问题
允许GPTBot就等于能出现在ChatGPT搜索吗？
不是，OpenAI对搜索主要使用OAI-SearchBot规则，训练抓取与搜索规则彼此独立。
