開發(fā)者如何解除封禁百度蜘蛛
- 威海Spider 威海Baiduspider
- 2466
近期收到一些開發(fā)者反饋，為什么網(wǎng)站或智能小程序資源的內(nèi)容非常優(yōu)質(zhì)，但是沒有查詢到百度蜘蛛抓取記錄，或在百度搜索中沒有得到收錄和展現(xiàn)？
在技術(shù)分析后發(fā)現(xiàn)，有些網(wǎng)站或智能小程序存在封禁百度蜘蛛的情況，導(dǎo)致百度蜘蛛無法正常抓取，所以無法在百度搜索中正常收錄和展現(xiàn)，或在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。
為了讓廣大開發(fā)者的網(wǎng)站或小程序，在百度搜索中得到正常的收錄和展現(xiàn)，建議開發(fā)者及時(shí)根據(jù)以下內(nèi)容自查，解除封禁問題，并通過鏈接提交工具主動(dòng)提交給我們。
常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。
如何驗(yàn)證網(wǎng)站和智能小程序是否存在封禁百度蜘蛛的情況？
1、首先， 查看robots.txt文件，是否存在封禁記錄。（一般robots.txt文件放置在網(wǎng)站根目錄下。）
【建議方案】解除robots封禁：robots封禁情況，請檢查robots.txt文件，及時(shí)修改。
robots文件說明：https://ziyuan.baidu.com/college/articleinfo?id=1516
2、robots文件無異常，進(jìn)一步排查是否存在封禁百度UA情況；
方案一：執(zhí)行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注：正常返回碼是200，其他情況為異常。
xxxxxxx為網(wǎng)站域名,如：http://abc.com.cn。
正確識(shí)別和獲取百度蜘蛛，https://ziyuan.baidu.com/college/articleinfo?id=2855
方案二：變更瀏覽器UA驗(yàn)證；
【建議方案】解除百度UA封禁：查看網(wǎng)站反爬蟲策略，進(jìn)行策略調(diào)整。或針對百度UA添加策略白名單。
3、以上驗(yàn)證均無異常，最后進(jìn)一步排查是否存在IP級別的封禁；
常見的IP封禁，源自網(wǎng)站的防火墻系統(tǒng)配置，需要查看防火墻配置系統(tǒng)后臺(tái)，檢查是否存在百度蜘蛛的IP級別封禁措施。
【建議方案】解除百度IP封禁：查看網(wǎng)站反爬蟲策略，進(jìn)行策略調(diào)整。
來源：百度搜索資源平臺(tái) 百度搜索學(xué)堂
