如何讓 sogou spider 不抓我的網站
- 威海Spider 威海sogou spider
- 1654
您可以在網站的 robots.txt 文件中添加以下內容,來阻止 Sogou 蜘蛛抓取您的網站: User-agent: Sogou Disallow: / 這會告訴 Sogou 蜘蛛不要訪問您的整個網站。如果您只想阻止蜘蛛訪問特定頁面或目錄,可以將 Disallow: / 替換為您想要屏蔽的 URL。例如: User-agent: Sogou Disallow: /admin/ Disal