不要看所謂的IP段，IP也不是一沉不變的，過去開頭有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更多的服務器，總要有IP的增加，而IP段不可能一直是固定的那幾個。所以單純的以IP段來看，是非常不嚴謹的。
那么如何查看呢？可以使用cmd命令： nslookup IP地址 的方式來進行查看，如果返回的信息中，有百度子域名，那么說明是百度的IP，如果無法返回，或者返回了諸如114.114.114.114 等等，都跟百度無關，則是虛假的百度IP了。
來源：A5營銷
針對apache、iis6、iis7獨立ip主機屏蔽攔截蜘蛛抓取的方法如下： 1. 在網站根目錄下新建一個robots.txt文件，添加以下代碼： User-agent: * Disallow: / 這樣可以禁止所有蜘蛛抓取你的網站。 2. 在服務器端安裝mod_security模塊并配置，可以使用以下命令： sudo apt-get install libapache-mod-secu
可能是因為網站存在未處理的URL鏈接或者被其他網站或者搜索引擎誤解導致的，也有可能是惡意的爬蟲在嘗試攻擊網站。為了解決這個問題，可以通過以下方式進行： 1. 對于不存在的頁面，應該返回404錯誤頁面或者301重定向到一個已有的頁面； 2. 建立一個robots.txt文件來限制搜索引擎或者爬蟲的訪問； 3. 定期檢查日志文件來發現存在攻擊性的IP地址或者爬蟲； 4. 部署防火墻、權限管理和加密措
1. 重新編輯robots.txt文件，將網站中不需要抓取的頁面和目錄添加進去； 2. 如果抓取的網站帶有反爬蟲功能，建議可以設置User-Agent，以區分人為訪問和爬蟲程序進行訪問； 3. 設置深度抓取，讓程序對某個網頁進行抓取時，只抓取它指定難度及深度的URL； 4. 不定時發起網站掃描任務，用來檢查異常的URL，以及分析抓取URL的情況，同時將發現的問題處理掉； 5. 合理設置
