為什么我的網(wǎng)站中的一些私密網(wǎng)頁也會被百度收錄?
- 威海了解搜索引擎 威海網(wǎng)站收錄
- 2812
Baiduspider對網(wǎng)頁的抓取,是通過網(wǎng)頁與網(wǎng)頁之間的鏈接實(shí)現(xiàn)的。
網(wǎng)頁之間的鏈接類型,除了站點(diǎn)內(nèi)部的頁面鏈接之外,還有不同網(wǎng)站之間的互相鏈接。因此,某些網(wǎng)頁即便通過您的網(wǎng)站內(nèi)部鏈接無法訪問到,但是,如果別人的網(wǎng)站上有指向這些頁面的鏈接,那么這些頁面還是會被搜索引擎所收錄。
百度Spider的訪問權(quán)限,和普通用戶是一樣的。因此,普通用戶沒有權(quán)限訪問的內(nèi)容,Spider也沒有權(quán)限訪問。之所以看上去某些訪問權(quán)限限制內(nèi)容被百度收錄,原因有兩點(diǎn):
A. 該內(nèi)容在Spider訪問時是沒有權(quán)限限制的,但抓取之后,內(nèi)容的權(quán)限發(fā)生了變化
B. 該內(nèi)容有權(quán)限限制,但是由于網(wǎng)站安全漏洞問題,導(dǎo)致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上,則Spider就會循著這條路徑抓出受限內(nèi)容
如果您不希望這些私密性內(nèi)容被百度收錄,一方面可以通過Robots協(xié)議加以限制;另一方面,也可以通過反饋中心反饋給我們進(jìn)行解決。