如何讓 sogou spider 不抓我的網站
- 威海Spider 威海sogou spider
- 1928
有以下幾種方式可以讓 sogou spider 不抓取你的網站:
1. 使用 robots.txt 文件。在網站根目錄下添加 robots.txt 文件,并加入以下代碼:
User-agent: Sogou
Disallow: /
這將告訴 Sogou 爬蟲不要訪問網站的任何頁面和文件。
2. 使用 meta 標簽。在網站的頭部添加以下 meta 標簽:
這將告訴所有的搜索引擎爬蟲不要索引該網站。
3. 使用 .htaccess 文件。在網站的根目錄中添加以下代碼: