索引擎百度各個產品使用不同的user-agent:
產品名稱 | 對應user-agent | |
網頁搜索 | Baiduspider | |
移動搜索 | Baiduspider | |
圖片搜索 | Baiduspider-image | |
視頻搜索 | Baiduspider-video | |
新聞搜索 | Baiduspider-news | |
百度搜藏 | Baiduspider-favo | |
百度聯盟 | Baiduspider-cpro | |
商務搜索 | Baiduspider-ads | |
近期百度搜索最大的動作應該就是百度Spider3.0升級了，簡單的概括下升級的特點就是：抓取更實時，收錄效率更快，對原創優質內容更青睞。此次升級是把當前離線、全量計算為主的系統，改造成實時、增量計算的全實時調度系統，萬億規模的數據進行實時讀寫，可以收錄90%的網頁，速度提升80%！『抓取、建庫更快—提交的內容更容易被抓取』鏈接發現方面：如今sipder每天發現的新鏈接在500億左右的量級，說明啥？
1、網站和頁面權重。質量高，資格老的網站被認為權重比較高，這種網站上的頁面被爬行的深度也會比較高，所以會更多內頁被收錄。2、與首頁點擊距離。一般來說網站上權重最高的是首頁，大部分外部鏈接是指向首頁的，蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離近，頁面權重越高，被蜘蛛爬行的機會也越大。3、導入鏈接。無論是外部鏈接還是同一個網站的內部鏈接，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道
百度官方表示，造成蜘蛛抓取流量暴增的原因主要有以下幾個方面： 1. 站點更新頻繁：如果站點內容更新頻繁，蜘蛛會更加積極地抓取頁面，從而帶來流量的上漲。 2. 站點質量提高：如果站點內容質量得到提高，搜索引擎會更加青睞，從而增加蜘蛛的抓取頻率，進而帶來流量的上漲。 3. 站點結構優化：如果站點結構調整得當，蜘蛛能夠更好地抓取頁面，從而提高流量。 4. 站點權重提高：如果站點的權重得到提高，蜘
Baiduspider抓取造成的帶寬堵塞？Baiduspider的正常抓取并不會造成您網站的帶寬堵塞，造成此現象可能是由于有人冒充Baiduspider惡意抓取。如果您發現有名為Baiduspider的agent抓取并且造成帶寬堵塞，請盡快和我們聯系。您可以將信息反饋至反饋中心，如果能夠提供您網站該時段的訪問日志將更加有利于我們的分析。如果大家對百度spider還有別的疑問，大家可以到[學堂同學匯
