1. 不需要在每個頁面都添加robots.txt文件：robots.txt文件只是一份給搜索引擎看的指令，如果不希望搜索引擎從該頁面抓取數據，那么每一頁都是可以不用添加robots.txt文件的。 2. 不能用于移動設備：robots.txt文件可用于搜索引擎爬蟲，但也可以在部分機型的移動設備上進行yu處理，可以用于控制移動設備的蜘蛛爬行進行內容抓取。 3. 不應該將robots保存到公用文件夾：如果存放在公用文件夾，所以網站確實包含多個鏈接，則所有用到robots.txt文件的頁面都將使用同一份robots文件。需要將robots.txt文件放在每個頁面的根目錄下來避免混淆和混合索引。
1.進入360搜索站長平臺，點擊左側菜單欄的“Sitemap”選項。 2.點擊“添加Sitemap”按鈕。 3.填寫Sitemap的相關信息，包括Sitemap的URL、名稱、語言、文件類型等等，最后點擊“保存”按鈕。 4.返回Sitemap列表頁面，將新添加的Sitemap展開，點擊“立即提交”按鈕。 5.等待搜索引擎爬蟲抓取Sitemap，并開始對站點進行索引。 6.查看S
經常會碰到這樣的情況，其他網站鏈接你的站點時，會用下面的鏈接：www.example.comexample.com/www.example.com/index.htmlexample.com/index.php而這樣導致：你站點主域名的PR值分散到其他幾個URL上。如果你用301重定向把其他三個URL轉到www.example.comPR也就集中在主域名：www.example.com 了。301
robots.txt文件放在哪里?robots.txt文件應該放置在網站根目錄下。舉例來說，當spider訪問一個網站（比如 http://www.abc.com）時，首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件，如果 Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。網站 URL相應的 robots.txt的 URLhtt
鑒于網絡安全與隱私的考慮，搜索引擎遵循robots.txt協議。通過根目錄中創建的純文本文件robots.txt，網站可以聲明不想被robots訪問的部分。每個網站都可以自主控制網站是否愿意被搜索引擎收錄，或者指定搜索引擎只收錄指定的內容。當一個搜索引擎的爬蟲訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會按照該文
