RobotsMETA標簽的寫法
- 威海網站結構優(yōu)化 威海Robots
- 1980
Robots META標簽中沒有大小寫之分，name="Robots"表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name="BaiduSpider"。 content部分有四個指令選項:index、noindex、follow、nofollow，指令間以","分隔。
INDEX 指令告訴搜索機器人抓取該頁面;
FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去;
Robots Meta標簽的缺省值是INDEX和FOLLOW，只有inktomi除外，對于它，缺省值是INDEX,NOFOLLOW。
這樣，一共有四種組合:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="ALL">;
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="NONE">
目前看來，絕大多數(shù)的搜索引擎機器人都遵守robots.txt的規(guī)則，而對于Robots META標簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE還增加了一個指令"archive"，可以限制GOOGLE是否保留網頁快照。例如:
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點中頁面并沿著頁面中鏈接抓取，但是不在GOOLGE上保留該頁面的網頁快照。
來源：360站長平臺
