搜尋與發現 / TOKEN WIKI
AI 搜尋爬蟲
一句話理解
AI 搜尋爬蟲抓取公開網頁以支援搜尋或使用者檢索，不同機構可能區分搜尋、使用者存取和訓練用途。
為什麼與業務有關？
GPTBot 與 OAI-SearchBot 等名稱代表不同用途，無法將所有 AI 爬蟲當成同一類流量。
應用時如何判斷？
依官方文件設定抓取偏好設定；日誌中的 User-Agent 只是聲明，重要驗證還需參考官方 IP 或驗證方式。
常見問題
允許GPTBot就等於能出現在ChatGPT搜尋嗎？
不是，OpenAI對搜尋主要使用OAI-SearchBot規則，訓練抓取與搜尋規則彼此獨立。
