apache、iis6、ii7獨立ip主機屏蔽攔截蜘蛛抓取(適用vps云主機服務器)
在Apache、IIS6、IIS7獨立IP主機上屏蔽攔截蜘蛛抓取的方法如下:
1. Apache服務器:在httpd.conf文件中添加以下代碼:
```
SetEnvIfNoCase User-Agent "^Mozilla/5.0\s\(compatible;\sGooglebot/2.1" bad_bot
SetEnvIfNoCase User-Agent "^Mediapartners-Google" bad_bot
SetEnvIfNoCase User-Agent "^Everflux" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
```
2. IIS6服務器:使用ISAPI_Rewrite插件,創建一個規則,如下:
```
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|Yahoo! Slurp) [NC]
RewriteRule .* - [F,L]
```
該規則將針對Googlebot、Bingbot和Yahoo! Slurp等蜘蛛用戶代理,將其拒絕訪問。
3. IIS7服務器:在web.config文件中添加以下代碼:
```