360搜索對Robots協議的擴展
360搜索對Robots協議進行了擴展,增加了以下幾個指令: 1. User-Agent:用于指定搜索引擎訪問網站時使用的用戶代理字符串,可以設置多個User-Agent。 2. Crawl-delay:用于指定搜索引擎訪問網站時的延遲時間,單位為秒。可以設置針對不同的User-Agent的延遲時間。 3. Sitemap:用于指定網站的sitemap文件的地址,搜索引擎將通過該文件獲取站點的所有URL。 4. Host:用于指定網站的主機名,可以避免因為DNS變化導致搜索引擎爬蟲無法訪問網站。 5. Clean-param:用于指定需要從URL中移除的參數,搜索引擎在訪問網站時會忽略URL中包含的這些參數。 6. Noindex-nofollow:用于指定不需要被搜索引擎收錄或鏈接的頁面。 這些指令的使用可以讓網站管理員更加靈活地控制搜索引擎爬蟲的訪問行為,以達到更好的SEO效果。