360搜索蜘蛛IP段及蜘蛛ip被攔截的問題解決方法
- 威海Spider 威海360Spider
- 2132
360Spider的ip，我們已經(jīng)公開在這里辣~：
http://www.so.com/help/spider_ip.html
360Spider的UA（UA是蜘蛛訪問的時(shí)候，在服務(wù)器中留下的訪問簽名信息，凡是下面這個(gè)UA，就代表是360Spider來過了）：
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
360robots協(xié)議支持FAQ：
http://www.haosou.com/help/help_3_2.html
關(guān)于蜘蛛被攔截：
蜘蛛被攔截一般是網(wǎng)站服務(wù)器或防火墻在做設(shè)置時(shí)，不小心將搜索引擎的蜘蛛做了攔截，導(dǎo)致蜘蛛無法訪問，獲取不到網(wǎng)站信息。這種問題會(huì)導(dǎo)致網(wǎng)站不收錄或收錄出現(xiàn)異常的問題
蜘蛛被攔截的常見現(xiàn)象有：
1、360Spider 無訪問記錄
2、360Spider 有訪問頁面的記錄，但是訪問的http狀態(tài)為非200的狀態(tài)，主要狀態(tài)碼有：404、403、0、503、504、521等
3、部分優(yōu)質(zhì)內(nèi)容不收錄或者收錄出現(xiàn)異常（如優(yōu)質(zhì)內(nèi)容的收錄數(shù)量劇烈下降等，注意：關(guān)于內(nèi)容收錄的維度，也請(qǐng)參考我們之前發(fā)布的各類算法和白皮書，不清楚的小伙伴可以看這里）
如下面這個(gè)站點(diǎn)，就是典型的蜘蛛被攔截，我們沒有辦法收錄到，其表現(xiàn)為http抓取狀態(tài)為0
如何解決？
1、將我們的蜘蛛ip、UA加入到可訪問的白名單
2、加白之后，盡快通過網(wǎng)站收錄提交入口，提交網(wǎng)站的收錄，并通過站長平臺(tái)，提交網(wǎng)站的sitemap，觀察一段時(shí)間（一般建議觀察15-30天）看是否開始有收錄
3、向您的空間服務(wù)商進(jìn)行反饋，告知其加白我們的蜘蛛ip以及ua
以上就是我們解決蜘蛛被攔截的一個(gè)基本思路，各位小伙伴清楚了波~
如果仍然有疑問或者需要我們協(xié)助，可以向我們發(fā)郵件進(jìn)行反饋，我們的反饋郵箱是：service-so@#
感謝大家對(duì)360搜索的支持
來源：360站長平臺(tái)
