禁止收錄機制
有些時候,站長并不希望某些頁面被抓取和收錄,如付費內容、測試階段的頁面、復制內容頁面等。網站上不出現鏈接,或者使用JavaScript、Flash鏈接,使用nofollow等方法都不能保證頁面一定不會被收錄。站長自己雖然沒有鏈接到不想被收錄的頁面,其他網站可能由于某種原因出現導入鏈接,導致頁面被收錄。要確保頁面不被收錄,需要使用robots文件或Meta Robots標簽。來源:搜外網
Public @ 2017-07-11 16:21:36