robots文件中屏蔽的為什么還可以收錄?
我今天來給大家詳細講解下,先了解幾個概念
1、robots只是禁止抓取,不是禁止收錄
2、另外還有nofollow的作用不是不抓取這個鏈接,是不從這個鏈接傳遞權重
了解這2個概念后,我們再來討論怎么處理這類收錄問題:
robots寫正確的同時,不要在任何一家收錄的網站發外鏈,友鏈,也不要主動提交百度,這樣才可以保證不被搜索引擎收錄,為什么呢?
大家百度查一下淘寶,如圖:
按照道理淘寶寫了robots怎么還是收錄,因為有大量的鏈接指向淘寶官網,而且這些外鏈可能權重都比較高,
全部都禁止了,依然收錄了1億多條鏈接
看到這里,是不是有感而發,我們怎么從百度導流到你的淘寶店!(來源:夫唯seo特訓營)