做了偽靜態(tài),為什么網(wǎng)站日志里抓取的還是動(dòng)態(tài)地址?
song 提問于 3年 之前
網(wǎng)站上線三個(gè)多月了,上線前就做了偽靜態(tài),目前被收錄近萬的頁面都是偽靜態(tài)地址,線上沒有動(dòng)態(tài)地址的入口,為什么網(wǎng)站日志里抓取的全部都是動(dòng)態(tài)地址呢?
網(wǎng)兼吧 回復(fù)于 3年 之前
用robots.txt禁止抓取呢
3 個(gè)回答
Zac 管理員 回答于 3年 之前
如果搜索引擎蜘蛛沒有在什么地方看到動(dòng)態(tài)網(wǎng)址,蜘蛛不會(huì)把靜態(tài)URL改寫成動(dòng)態(tài)的,搜索引擎無法知道頁面是動(dòng)態(tài)的還是靜態(tài)的,即使猜測(cè)是動(dòng)態(tài)改寫成靜態(tài)的,它也不知道對(duì)應(yīng)的動(dòng)態(tài)URL是什么樣的。所以蜘蛛一定是在什么地方讀到了動(dòng)態(tài)網(wǎng)址。
可能是網(wǎng)站上你沒注意的什么地方出現(xiàn)了動(dòng)態(tài)URL,或者服務(wù)器由于某種原因,靜態(tài)URL會(huì)被自動(dòng)改寫、轉(zhuǎn)向?yàn)閯?dòng)態(tài)URL,或者服務(wù)器日志自動(dòng)匹配為動(dòng)態(tài)URL?
stevezhou 回答于 3年 之前
這個(gè)要具體看,寬泛的有很多原因可能會(huì)造成這種情況。
在js調(diào)用動(dòng)態(tài)地址,是可能會(huì)被蜘蛛識(shí)別到的。
或者非SEO人員做了動(dòng)態(tài)地址的外鏈。
或者些其它原因,比如你偽靜態(tài)地址的實(shí)現(xiàn)方式。
…
黃小泉 回答于 3年 之前
一般很多大型的網(wǎng)站會(huì)出現(xiàn)這類問題,特別是上幾十萬頁面的網(wǎng)站,這說明你的動(dòng)態(tài)URL沒有處理完成,不夠全面! 列舉幾個(gè):
1、網(wǎng)站地圖動(dòng)態(tài)地址更換成偽靜態(tài)地址,是否做了?(包括txt+xml+html格式的sitemap都檢查下)
2、產(chǎn)品列表頁面動(dòng)態(tài)地址是否完善了?
3、搜索結(jié)果頁是否做了? 如果都做了,恭喜您沒有了哈哈。。
來源:SEO每天一貼 Zac 昝輝