obots.txt 文件必須放在網(wǎng)站的根目錄。
放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是無效的。
以下3種情況需要注意：
1、如果手機網(wǎng)站采用的是m.的二級域名，要給手機網(wǎng)站設置robots.txt的話，robots.txt要放在m. 這個二級域名的根目錄下，而不是www的根目錄。
2、給網(wǎng)站添加了一個站內站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內站創(chuàng)建獨立的robtos.txt文件。
3、網(wǎng)站有多個二級域名的話，應該每個二級域名設置一個robots.txt。搜外問答的例子，點擊查看。
來源：搜外網(wǎng)
下面這幾個問題可能造成復制內容。1.代理商和零售商從產(chǎn)品生產(chǎn)商那里轉載產(chǎn)品信息。2.網(wǎng)頁內容由RSS生成。3.轉載及抄襲。4.鏡像網(wǎng)站。5.URL任意加字符還是返回200狀態(tài)碼。6.打印版本。7.產(chǎn)品或服務類型之間的區(qū)別比較小。8.使用Session ID。9.網(wǎng)站結構造成的各種頁面版本。10.網(wǎng)頁實質內容太少。來源：搜外網(wǎng)
問：當內容里出現(xiàn)AAB這樣的關鍵詞時，錨文本是給AAB、還是AA或AB?我們設置的規(guī)則是給AAB，即當長詞和短詞都是關鍵詞時，錨文本給長詞。問：同一個關鍵詞在內容里出現(xiàn)多次會怎么樣？一個內容里同一個關鍵詞錨文本僅加第一次，同一個URL也只做一次錨文本。問：如果自動添加的錨文本不滿意怎么辦？在功能設置里，可以選擇自動添加錨文本，或手動添加。問：定時發(fā)布的內容錨文本是怎么安排？內容選擇定時發(fā)布、草稿箱
robots文件是搜索生態(tài)中很重要的一個環(huán)節(jié)，同時也是一個很細節(jié)的環(huán)節(jié)。很多站長同學在網(wǎng)站運營過程中，很容易忽視robots文件的存在，進行錯誤覆蓋或者全部封禁robots，造成不必要損失！那么如果誤操作封禁了robots怎么辦？今天我們請到了廈門258網(wǎng)站運營負責人——鄭軍偉，為我們分享網(wǎng)站robots誤封禁后該如何操作？【案例背景】網(wǎng)站開發(fā)2.0版本，技術選擇了在線開發(fā)，為了避免搜索引擎抓取開
個人信息一旦在網(wǎng)上發(fā)布，很有可能會被百度搜索引擎抓取，特別是在知名社交網(wǎng)站、專業(yè)網(wǎng)站上發(fā)布的內容。可能您并不希望這類個人信息出現(xiàn)在百度搜索結果中，以下方式可以幫助您阻止個人信息在搜索結果中出現(xiàn)。如果您是在其他網(wǎng)站上發(fā)布的內容：1、在社交網(wǎng)站中（例如人人網(wǎng)，開心網(wǎng)等），您可以針對個人信息設置瀏覽權限，例如只有朋友或者自己可以瀏覽；如果您不愿讓陌生人看到某些照片或信息，則應該慎重考慮是否公開發(fā)布這些內
