robots封禁后,為什么線上結果沒有立刻消除或百度爬蟲依舊對封禁目錄進行抓取?
- 威海百度搜索資源平臺 威海百度搜索資源平臺
- 1407
您好,網(wǎng)站在設置robots封禁,您可以使用搜索資源平臺的robots工具進行更新,更新后可以嘗試使用抓取診斷工具進行檢測。 百度在robots封禁后,百度可以保證不再對robots封禁的網(wǎng)站和目錄進行抓取,但無法保證線上結果會立即消除,線上更新需要一定周期。如您站想快速刪除索引,您可以將域名設置404狀態(tài),使用死鏈工具進行提交。如問題依舊存在,請進行人工反饋。