360搜索蜘蛛IP段及蜘蛛ip被攔截的問題解決方法
- 威海Spider 威海360Spider
- 1510
搜索蜘蛛IP段 1、百度蜘蛛：220.181.100-220.181.111 2、360搜索蜘蛛：36.110.0-36.110.255 3、新浪蜘蛛：61.135.160-61.135.160 4、搜狗蜘蛛：182.118.7-182.118.15 蜘蛛IP被攔截的問題解決方法 1、根據不同的蜘蛛IP段添加搜索蜘蛛的IP白名單，以免被攔截； 2、根據不同的蜘蛛訪問網站的添加User-Agent白名單，這樣蜘蛛爬取網站內容就不會被攔截； 3、如果網頁搜索功能被攔截，可以根據不同的蜘蛛訪問網站設置他們發出的請求不會被攔截； 4、可以根據蜘蛛的特定屬性，例如URL的長度、請求的速度，及時更新攔截規則來保證正常使用； 5、調整網站服務器的配置，使搜索蜘蛛可以正常訪問網站； 6、定期更新有關搜索蜘蛛的IP列表，以及解析搜索蜘蛛的新特性；
Public @ 2023-02-24 20:00:29
