360搜索蜘蛛IP段及蜘蛛ip被攔截的問題解決方法
- 威海Spider 威海360Spider
- 1218
360Spider的ip,我們已經公開在這里辣~:
http://www.so.com/help/spider_ip.html
360Spider的UA(UA是蜘蛛訪問的時候,在服務器中留下的訪問簽名信息,凡是下面這個UA,就代表是360Spider來過了):
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
360robots協議支持FAQ:
http://www.haosou.com/help/help_3_2.html
關于蜘蛛被攔截:
蜘蛛被攔截一般是網站服務器或防火墻在做設置時,不小心將搜索引擎的蜘蛛做了攔截,導致蜘蛛無法訪問,獲取不到網站信息。這種問題會導致網站不收錄或收錄出現異常的問題
蜘蛛被攔截的常見現象有:
1、360Spider 無訪問記錄
2、360Spider 有訪問頁面的記錄,但是訪問的http狀態為非200的狀態,主要狀態碼有:404、403、0、503、504、521等
3、部分優質內容不收錄或者收錄出現異常(如優質內容的收錄數量劇烈下降等,注意:關于內容收錄的維度,也請參考我們之前發布的各類算法和白皮書,不清楚的小伙伴可以看這里)
如下面這個站點,就是典型的蜘蛛被攔截,我們沒有辦法收錄到,其表現為http抓取狀態為0
如何解決?
1、將我們的蜘蛛ip、UA加入到可訪問的白名單
2、加白之后,盡快通過網站收錄提交入口,提交網站的收錄,并通過站長平臺,提交網站的sitemap,觀察一段時間(一般建議觀察15-30天)看是否開始有收錄
3、向您的空間服務商進行反饋,告知其加白我們的蜘蛛ip以及ua
以上就是我們解決蜘蛛被攔截的一個基本思路,各位小伙伴清楚了波~
如果仍然有疑問或者需要我們協助,可以向我們發郵件進行反饋,我們的反饋郵箱是:service-so@360.cn
感謝大家對360搜索的支持
來源:360站長平臺