User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不要與其他目錄或檔案混淆，否則會影響索引品質。 - Allow：機器人允許存取的目錄或檔案，若不設定，代表機器人可自由存取。 - Sitemap：網站地圖檔案通常是一個XML檔案，提供站點中所有的頁面、文章等連結資訊，可以協助搜尋引擎更精確地抓取網站的內容。在robots.txt中設定可以幫助搜尋引擎更快速地尋找該檔案，並進一步了解網站結構和相關信息。
動態URL是什么動態URL就是動態頁面，動態鏈接，即指在URL中出現“?” 這樣的參數符號，并以aspx、asp、jsp、php、perl、cgi為后綴的url。動態URL有什么特點1、在建設反向鏈接過程中，因為動態URL的非永久性，所以它不如靜態URL有優勢。2、動態URL較之靜態的URL不利于搜索引擎抓取。3、動態網址的生成是采集數據庫的內容，所以不能保證網頁內容的穩定性和鏈接的永久性，所以很
解決網址規范化問題有以下幾點方法：1.確保使用的CMS系統只產生規范化網址，無論是否有靜態化。2.在Google管理員工具中設置首選域。3.所有內部鏈接保持統一，都指向規范化網址。4.使用canonical標簽。5.使用301轉向，把不規范化URL全部轉向到規范化URL。6.提交給搜索引擎的XML網站地圖中全部使用規范化網址。來源：搜外網
百度各個產品使用不同的user-agent:無線搜索Baiduspider-mobile圖片搜索Baiduspider-image視頻搜索Baiduspider-video新聞搜索Baiduspider-news百度搜藏Baiduspider-favo百度聯盟Baiduspider-cpro商務搜索Baiduspider-ads網頁以及其他搜索Baiduspider來源：360站長平臺
robots是什么robots是網站跟蜘蛛間的協議，當訪問站點時，它首先檢查機器人是否存在于站點的根目錄中。如果找到，蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中，文件名必須為小寫。robots.txt是一個純文本文件，在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分，或者指定搜索引擎只收錄指定
