近期收到一些開發(fā)者反饋，為什么網(wǎng)站或智能小程序資源的內(nèi)容非常優(yōu)質(zhì)，但是沒有查詢到百度蜘蛛抓取記錄，或在百度搜索中沒有得到收錄和展現(xiàn)？在技術(shù)分析后發(fā)現(xiàn)，有些網(wǎng)站或智能小程序存在封禁百度蜘蛛的情況，導(dǎo)致百度蜘蛛無法正常抓取，所以無法在百度搜索中正常收錄和展現(xiàn)，或在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。為了讓廣大開發(fā)者的網(wǎng)站或小程序，在百度搜索中得到正常的收錄和展現(xiàn)，建議開發(fā)者及時根據(jù)以下
Baiduspider遵守互聯(lián)網(wǎng)robots協(xié)議。您可以利用robots.txt文件完全禁止Baiduspider訪問您的網(wǎng)站，或者禁止Baiduspider訪問您網(wǎng)站上的部分文件。 注意：禁止Baiduspider訪問您的網(wǎng)站，將使您的網(wǎng)站上的網(wǎng)頁，在百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無法被搜索到。關(guān)于robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方
從輸入關(guān)鍵詞，到百度給出搜索結(jié)果的過程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內(nèi)容展現(xiàn)給用戶？這背后蘊藏著什么樣的工作流程和運算邏輯？事實上，百度搜索引擎的工作并非僅僅如同首頁搜索框一樣簡單。搜索引擎為用戶展現(xiàn)的每一條搜索結(jié)果，都對應(yīng)著互聯(lián)網(wǎng)上的一個頁面。每一條搜索結(jié)果從產(chǎn)生到被搜索引擎展現(xiàn)給用戶，都需要經(jīng)過四個過程：抓取、過濾、建立索引和輸出結(jié)果。
百度站長平臺發(fā)布公告宣布新版Baiduspider移動ua上線，同時公布了PC版Baiduspider UA，那么該如何正確識別移動UA呢？我們百度站長平臺技術(shù)專家孫權(quán)老師給出了答案：新版移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile S
為什么Baiduspider不停的抓取我的網(wǎng)站？對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)更新的頁面，Baiduspider會持續(xù)抓取。此外，您也可以檢查網(wǎng)站訪問日志中Baiduspider的訪問是否正常，以防止有人惡意冒充Baiduspider來頻繁抓取您的網(wǎng)站。 如果您發(fā)現(xiàn)Baiduspider非正常抓取您的網(wǎng)站，請通過反饋中心反饋給我們，并請盡量給出Baiduspider對貴站的訪問日志，以便于我們跟蹤處
對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)更新的頁面，Baiduspider會持續(xù)抓取。此外，您也可以檢查網(wǎng)站訪問日志中Baiduspider的訪問是否正常，以防止有人惡意冒充Baiduspider來頻繁抓取您的網(wǎng)站。 如果您發(fā)現(xiàn)Baiduspider非正常抓取您的網(wǎng)站，請通過投訴平臺反饋給我們，并請盡量給出Baiduspider對貴站的訪問日志，以便于我們跟蹤處理。
注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛一、問題因某些原因，搜索引擎蜘蛛抓取網(wǎng)站占用很大流量，如圖：網(wǎng)站訪問日志也可看見很多蜘蛛爬行記錄。如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進行禁止，否則網(wǎng)站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失?？梢詢?yōu)先考慮升級虛擬主機型號以獲得更多的流量或升級為云服務(wù)器（
