爬行和抓取 是搜索引擎工作的第一步，完成數據收集任務。
1、蜘蛛：
搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛（spider），也稱為機器人（bot）。
2、跟蹤鏈接：
為了抓取網上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網上爬行那樣，這也是搜索引擎蜘蛛這個名稱的由來。
3、吸引蜘蛛：
理論上蜘蛛能爬行和抓取所有頁面，但實際上不能，也不會這么做。SEO人員想要讓自己的更多頁面被收錄，就要想方設法吸引蜘蛛抓取。
4、地址庫：
為了避免重復爬行和抓取網址，搜索引擎會建立一個地址庫，記錄已經被發現還沒有抓取的頁面，以及已經被抓取的頁面。
5、文件儲蓄：
搜索引擎蜘蛛抓取的數據存入原始頁面數據庫。其他的頁面數據與用戶瀏覽器得到的HTML是完全一樣的。每個URL都是這樣一個獨特的文件編號。
來源：搜外網
相關統計數據表明：互聯網上近似重復的網頁的數量占網頁總數量的比例高達29%，完全相同的網頁大約占網頁總數量的22%.研究表明，在一個大型的信息采集系統中，30%的網頁是和另外70%的網頁完全重復或近似重復的。即：互聯網的網頁中相當高的比例的網頁內容是近似相同或完全相同的!搜索爬蟲抓取會產生網頁重復的類型：1.多個URL地址指向同一網頁以及鏡像站點如：www.sina.com 和www.sina.c
外部投票是指其他網站鏈接到你的網站的數量和質量。百度搜索引擎通過外部投票來判斷你網站的權威性和可信度，因為如果其他網站鏈接到你的網站，說明你的內容具有一定的價值和權威性。而且，如果鏈接到你網站的其他網站本身也是權威性和可信度高的網站，那么你的權威性和可信度也會被提升。因此，外部投票對于提高自己網站在百度搜索引擎中的排名非常重要。 同時，需要注意的是，如果你的網站有過多的低質量或垃圾站點鏈接到你
有人說，搜索引擎技術似乎不需要本地化，這一看就是徹底不懂這個領域的人講的。當然，實話說，如果有人說，google在中文本地化方面做得非常好，我是可以部分同意的，同意的比例可能會比google工程師少一些。但我相信google工程師也會告訴你，搜索引擎是需要本地化的。今天寫篇科普文，講講搜索引擎的技術機理和市場競爭的一些特點。當然，作為從事或有興趣從事流量運營的朋友，是可以用另一個角度去理解本文。【
相關統計數據表明：互聯網上近似重復的網頁的數量占網頁總數量的比例高達29%，完全相同的網頁大約占網頁總數量的22%.研究表明，在一個大型的信息采集系統中，30%的網頁是和另外70%的網頁完全重復或近似重復的。即：互聯網的網頁中相當高的比例的網頁內容是近似相同或完全相同的!搜索爬蟲抓取會產生網頁重復的類型：1.多個URL地址指向同一網頁以及鏡像站點如：www.sina.com 和www.sina.c
