為什么我的網(wǎng)站內(nèi)一些不設(shè)鏈接的私密性網(wǎng)頁，甚至是需要訪問權(quán)限的網(wǎng)頁，也會被搜狗收錄？
- 威海了解搜索引擎 威海網(wǎng)站收錄
- 1457
sogou spider對網(wǎng)頁的抓取，是通過網(wǎng)頁與網(wǎng)頁之間的鏈接實現(xiàn)的。
網(wǎng)頁之間的鏈接類型，除了站點內(nèi)部的頁面鏈接之外，還有不同網(wǎng)站之間的互相鏈接。因此，某些網(wǎng)頁即便通過您的網(wǎng)站內(nèi)部鏈接無法訪問到，但是，如果別人的網(wǎng)站上有指向這些頁面的鏈接，那么這些頁面還是會被搜索引擎所收錄。
搜狗Spider的訪問權(quán)限，和普通用戶是一樣的。因此，普通用戶沒有權(quán)限訪問的內(nèi)容，Spider也沒有權(quán)限訪問。之所以看上去某些訪問權(quán)限限制內(nèi)容被搜狗收錄，原因有兩點：
A. 該內(nèi)容在Spider訪問時是沒有權(quán)限限制的，但抓取之后，內(nèi)容的權(quán)限發(fā)生了變化。
B. 該內(nèi)容有權(quán)限限制，但是由于網(wǎng)站安全漏洞問題，導(dǎo)致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上，則Spider就會循著這條路徑抓出受限內(nèi)容。
如果您不希望這些私密性內(nèi)容被搜狗收錄，一方面可以通過robots協(xié)議加以限制；另一方面，也可以通過刪除快照反饋給我們進行解決或者通過站長平臺使用死鏈提交告知我們對其進行刪除。
Public @ 2017-04-25 15:55:44
