頭條搜索站長平臺-sitemap異常原因解釋
sitemap異常原因解釋解決方法
爬蟲被封禁可能是您的網站對Bytespider的UA或IP進行封禁建議您根據我們公布的UA和IP進行解封，第二天重新抓取之后會恢復正常
sitemap文件數據量過大可能是您的sitemap節點數量超過了5w個建議您拆分為幾個小的sitemap文件
sitemap地址非法可能是您的sitemap地址不可訪問或者存在xml和txt混合模式的數據建議您按照我們的要求提交sitemap地址
站點服務不可用我們請求您的網站3次后發現您的網站仍舊不可訪問會暫時停止抓取，則返回該原因請您檢查服務器是否可正常運轉，如果正常，等正常調度后正常抓取
sitemap地址不存在可能是您的地址無法訪問，返回404，我們獲取不了任何信息請您排查sitemap地址鏈接，等正常調度后可恢復正常抓取
txt文件未發現有效鏈接可能是您的txt文件鏈接并非按照要求提供html鏈接請您按照我們的規范格式提交
xml文件數據量過大可能是您的xml文件大小超過10M，item數目超過1W個建議您拆分幾個小的xml文件
來源：頭條搜索站長平臺
Public @ 2021-01-02 16:09:47
