頭條搜索站長平臺-關(guān)于Bytespider
- 威海Spider 威海Bytespider
- 1220
頭條搜索UA介紹
頭條搜索的爬蟲UA為“Bytespider”首寫字母為大寫,例如：
PC
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
Android
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
iOS
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
頭條搜索ip字段介紹
頭條搜索的ip字段總共涉及10個ip，具體字段如下：
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
220.243.188.0/24
220.243.189.0/24
60.8.123.0/24
60.8.151.0/24
基本流程
1. 抓取網(wǎng)頁
每個獨立的搜索引擎都有自己的網(wǎng)頁抓取程序爬蟲（Spider）。爬蟲順著網(wǎng)頁中的超鏈接，從這個網(wǎng)站爬到另一個網(wǎng)站，通過超鏈接分析連續(xù)訪問抓取更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上，從一定范圍的網(wǎng)頁出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁。
2. 處理網(wǎng)頁
搜索引擎抓到網(wǎng)頁后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞，建立索引庫和索引。其他還包括去除重復(fù)網(wǎng)頁、分詞（中文）、判斷網(wǎng)頁類型、分析超鏈接、計算網(wǎng)頁的重要度/豐富度等。
3. 提供檢索服務(wù)
用戶輸入關(guān)鍵詞進(jìn)行檢索，搜索引擎從索引數(shù)據(jù)庫中找到匹配該關(guān)鍵詞的網(wǎng)頁；為了用戶便于判斷，除了網(wǎng)頁標(biāo)題和URL外，還會提供一段來自網(wǎng)頁的摘要以及其他信息。
Bytespider IP反解析
反查IP
站長可以通過DNS反查IP的方式判斷某只spider是否來自頭條搜索引擎。根據(jù)平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下
在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Bytespider的抓取。Bytespider的hostname以*.bytedance.com的格式命名，非 *.bytedance.com即為冒充
host 111.225.148.250
148.148.225.111.in-addr.arpa domain name pointer bytespider-111-225-148-148.crawl.bytedance.com.
在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來判斷是否來自Bytespider的抓取。打開命令處理器 輸入nslookup -qt=ptr xxx.xxx.xxx.xxx(IP地 址)就能解析ip，來判斷是否來自Bytespider的抓取，Bytespider的hostname以*.bytedance.com 的格式命名，非*.bytedance.com 即為冒充。
在mac os平臺下，您可以使用dig命令反解ip來判斷是否來自Bytespider的抓取。打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip， 來判斷是否來自Bytespider的抓取，Bytespider的hostname以 *.bytedance.com的格式命名，非 *.bytedance.com即為冒充。
問題反饋
如果您的網(wǎng)站發(fā)現(xiàn)有頭條spider的UA Bytespider 抓取存在抓取量過大，導(dǎo)致您的網(wǎng)站出現(xiàn)緩慢、宕機(jī)等問題，您可以通過“抓取頻次”功能，對網(wǎng)站進(jìn)行設(shè)置抓取要求，我們會在1天內(nèi)時間內(nèi)生效。
關(guān)于spider有其他問題，可以向zhanzhang@bytedance.com提交反饋，我們會在及時處理。
來源：頭條搜索站長平臺
