robots.txt語法教程
robots.txt 是一個文件，它位于網站的根目錄下，用于告訴搜索引擎和機器人哪些頁面可以被訪問或哪些不應該被訪問。以下是 robots.txt 語法教程。 1. User-agent User-agent 表示搜索引擎或機器人的名稱。當網站管理員想要禁止某個搜索引擎或機器人訪問網站時，可以使用 User-agent 指定名稱。 例如： User-agent: Googlebot Disallow: / 這將告訴谷歌機器人不要訪問網站的任何頁面。 2. Disallow Disallow 表示哪些頁面或目錄不允許訪問，可以使用通配符來表示多個頁面或目錄。 例如： User-agent: * Disallow: /private/ Disallow: /login.php 這將告訴所有搜索引擎和機器人不要訪問網站的 /private/ 目錄和 login.php 頁面。 3. Allow 如果某些特定的頁面或目錄需要被搜索引擎或機器人索引，可以使用 Allow 指定它們。 例如： User-agent: * Disallow: /temp/ Allow: /temp/index.html 這將告訴所有搜索引擎和機器人禁止訪問網站的 /temp/ 目錄，但還允許訪問 /temp/index.html 頁面。 4. Sitemap Sitemap 指定網站地圖的位置。 例如： Sitemap: http://www.example.com/sitemap.xml 這將告訴搜索引擎網站地圖位于 http://www.example.com/sitemap.xml。 總結： 這是 robots.txt 的基本語法。此外，您還可以在 robots.txt 中包含注釋，例如： # This is a robots.txt file User-agent: * Disallow: /private/ Disallow: /login.php Allow: /temp/index.html Sitemap: http://www.example.com/sitemap.xml 注釋以“#”開頭，可以幫助網站管理員和其他人了解 robots.txt 的內容。
