如何正確識(shí)別Baiduspider移動(dòng)ua
- 威海Spider 威海Baiduspider
- 2864
百度站長(zhǎng)平臺(tái)發(fā)布公告宣布新版Baiduspider移動(dòng)ua上線，同時(shí)公布了PC版Baiduspider UA，那么該如何正確識(shí)別移動(dòng)UA呢？我們百度站長(zhǎng)平臺(tái)技術(shù)專家孫權(quán)老師給出了答案：
新版移動(dòng)UA:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
之前通過(guò)“+http://www.baidu.com/search/spider.html”進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意！您需要修改識(shí)別方式，新的正確的識(shí)別Baiduspider移動(dòng)ua的方法如下：
1. 通過(guò)關(guān)鍵詞“Android”或者“Mobile”來(lái)進(jìn)行識(shí)別，判斷為移動(dòng)訪問(wèn)或者抓取。
2. 通過(guò)關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲(chóng)。
另外需要強(qiáng)調(diào)的是，對(duì)于robots封禁，如果封禁的agent是Baiduspider，會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即，無(wú)論是PC還是移動(dòng)Baiduspider，都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)（同一個(gè)url，PC ua打開(kāi)的時(shí)候是PC頁(yè)，移動(dòng)ua打開(kāi)的時(shí)候是移動(dòng)頁(yè)），想通過(guò)設(shè)置robots的agent封禁達(dá)到只讓移動(dòng)Baiduspider抓取的目的，但由于PC和移動(dòng)Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。
更多相關(guān)問(wèn)題討論，歡迎移步【學(xué)堂同學(xué)匯】《如何正確識(shí)別Baiduspider移動(dòng)ua》討論帖
來(lái)源：百度搜索資源平臺(tái) 百度搜索學(xué)堂
