搜尋與發現 / TOKEN WIKI
robots.txt
一句話理解
robots.txt 是放在網站根路徑的抓取規則文件，用於向遵守規則的爬蟲表達存取偏好。
為什麼與業務有關？
它不是存取控制機制；隱私權資料必須使用鑑權保護，不能只依賴 Disallow。
應用時如何判斷？
允許公開正文路徑，排除帳號與後台等非公開區域，並確保規則沒有與平台存取限制衝突。
常見問題
robots.txt可以保護管理後台嗎？
不能，管理後台必須具備服務端驗證與權限檢查。
robots.txt 是放在網站根路徑的抓取規則文件，用於向遵守規則的爬蟲表達存取偏好。
它不是存取控制機制；隱私權資料必須使用鑑權保護，不能只依賴 Disallow。
允許公開正文路徑，排除帳號與後台等非公開區域，並確保規則沒有與平台存取限制衝突。
不能，管理後台必須具備服務端驗證與權限檢查。
一起出海 ↗