屏蔽百度爬蟲的方法
- 威海Spider 威海Baiduspider
- 1268
1. 設置robots.txt文件 在根目錄中建立一個robots.txt文件,設置禁止百度抓取即可達到屏蔽百度爬蟲的效果,具體設置內容如下: User-agent: Baiduspider Disallow: / 2. 自定義Http請求 百度爬蟲最顯著的特征就是它的User_Agent中包含Baiduspider,一般在Http頭中添加請求頭:X-Baidu-Env:martin-spider可以阻止百度爬蟲。 3. IP偽裝 將服務器IP做轉換,將真實的IP改成池外的IP地址,讓百度爬蟲無法訪問。