1. 在 Robots.txt文件中添加屏蔽百度爬蟲代碼。 User-agent: Baiduspider Disallow: / 2. 在HTTP請求頭里加入User-Agent字段 User-Agent:123 3. 使用IP段黑名單來屏蔽來自百度的爬蟲 拒絕127.0.0.1 - 127.255.255.255
網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，查找引擎蜘蛛，在FOAF社區中心，更常常的稱為網頁追逐者），是一種依照必定的規矩，主動的抓取萬維網信息的程序或許腳本，別的一些不常運用的姓名還有螞蟻，主動索引，模擬程序或許蠕蟲
Baiduspider抓取造成的帶寬堵塞？Baiduspider的正常抓取并不會造成您網站的帶寬堵塞，造成此現象可能是由于有人冒充Baiduspider惡意抓取。如果您發現有名為Baiduspider的agent抓取并且造成帶寬堵塞，請盡快和我們聯系。您可以將信息反饋至反饋中心，如果能夠提供您網站該時段的訪問日志將更加有利于我們的分析。如果大家對百度spider還有別的疑問，大家可以到[學堂同學匯
近期百度搜索最大的動作應該就是百度Spider3.0升級了，簡單的概括下升級的特點就是：抓取更實時，收錄效率更快，對原創優質內容更青睞。此次升級是把當前離線、全量計算為主的系統，改造成實時、增量計算的全實時調度系統，萬億規模的數據進行實時讀寫，可以收錄90%的網頁，速度提升80%！『抓取、建庫更快—提交的內容更容易被抓取』鏈接發現方面：如今sipder每天發現的新鏈接在500億左右的量級，說明啥？
如果快照顯示網頁不完整，是不是說明BaiduSpider沒有完整收錄網頁？答：不是的，快照的成生涉及很多環節，顯示不完整的原因會很多，不能簡單地認為沒有收錄完整。來源：百度搜索資源平臺 百度搜索學堂
