Baiduspider抓取造成的帶寬堵塞？
Baiduspider的正常抓取并不會造成您網(wǎng)站的帶寬堵塞，造成此現(xiàn)象可能是由于有人冒充Baiduspider惡意抓取。如果您發(fā)現(xiàn)有名為Baiduspider的agent抓取并且造成帶寬堵塞，請盡快和我們聯(lián)系。您可以將信息反饋至反饋中心，如果能夠提供您網(wǎng)站該時段的訪問日志將更加有利于我們的分析。
如果大家對百度spider還有別的疑問，大家可以到[學堂同學匯][學習討論] 《 百度spider介紹》討論帖中發(fā)表自己的看法，我們的工作人員會關(guān)注這里并與大家進行探討。
來源：百度搜索資源平臺 百度搜索學堂
網(wǎng)絡爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，查找引擎蜘蛛，在FOAF社區(qū)中心，更常常的稱為網(wǎng)頁追逐者），是一種依照必定的規(guī)矩，主動的抓取萬維網(wǎng)信息的程序或許腳本，別的一些不常運用的姓名還有螞蟻，主動索引，模擬程序或許蠕蟲
目前百度Spider抓取新鏈接的途徑有兩個，一是主動出擊發(fā)現(xiàn)抓取，二就是從搜索資源平臺的鏈接提交工具中獲取數(shù)據(jù)，其中通過主動推送功能“收”上來的數(shù)據(jù)最受百度Spider的歡迎。對于站長來說，如果鏈接很長時間不被收錄，建議嘗試使用主動推送功能，尤其是新網(wǎng)站，主動推送首頁數(shù)據(jù)，有利于內(nèi)頁數(shù)據(jù)的抓取。那么同學們要問了，為什么我提交了數(shù)據(jù)還是遲遲在線上看不到展現(xiàn)呢？那涉及的因素可就多了，在Spider抓取
PC搜索完整UA：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）移動搜索完整UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile
