apache、iis規則屏蔽攔截蜘蛛抓取
- 威海服務器/VPS 威海APACHE,IIS
- 1264
如果您想屏蔽蜘蛛抓取,可以嘗試以下方法:
1. Apache規則屏蔽攔截蜘蛛抓取
在Apache配置文件(如httpd.conf或.htaccess)中,使用以下規則來屏蔽蜘蛛抓?。?
```
SetEnvIfNoCase User-Agent "^Mozilla/4.0 \(compatible; MSIE 6.0; Windows NT 5.1; SV1\)$" bad_bot
SetEnvIfNoCase User-Agent "^Mozilla/5.0 \(Windows NT 6.1; WOW64\) AppleWebKit/537.36 \(KHTML, like Gecko\) Chrome/41.0.2272.101 Safari/537.36$" bad_bot
Order Allow,Deny
Allow from All
Deny from env=bad_bot
```
這將屏蔽兩個蜘蛛(IE6和Chrome 41),您可以自行添加其他蜘蛛的規則。
2. IIS規則屏蔽攔截蜘蛛抓取
打開IIS管理器,然后在您的網站上右鍵單擊,選擇“添加規則”。
然后選擇“請求過濾”規則,并使用以下規則屏蔽蜘蛛抓取:
```