抓取診斷工具常見錯誤類型解析
- 威海百度搜索資源平臺 威海百度搜索資源平臺
- 2059
【url規(guī)范】
百度支持抓取的url長度不超過1024，如果您的鏈接長度過長，請在保證正常訪問的情況下，適當(dāng)精簡，保證鏈接能被百度正常抓取和收錄。
【重定向錯誤】
重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次，就會發(fā)生重定向錯誤而導(dǎo)致抓取失敗。
【服務(wù)器連接錯誤】
這種情況是指，由于服務(wù)器響應(yīng)過慢或您的網(wǎng)站屏蔽了百度spider，而導(dǎo)致百度無法訪問您的網(wǎng)站。從而會導(dǎo)致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤：連接超時、連接失敗、連接被拒、無響應(yīng)、響應(yīng)遭到截斷、連接重置、標(biāo)頭遭到截斷、超時。
*如何處理服務(wù)器連接錯誤？
減少動態(tài)網(wǎng)頁請求的過多網(wǎng)頁加載。如果網(wǎng)站為多個網(wǎng)址提供相同內(nèi)容，則會被視為動態(tài)提供內(nèi)容（例如，www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同）。動態(tài)網(wǎng)頁的響應(yīng)時間可能會很長，并會因此導(dǎo)致超時問題?；蛘?，服務(wù)器可能會返回超載狀態(tài)，要求百度spider放慢抓取該網(wǎng)站的速度。一般來說，建議您盡量使用簡短的參數(shù)并謹(jǐn)慎使用。
確保您網(wǎng)站的托管服務(wù)器沒有停止運(yùn)行、超載或配置不當(dāng)。如果連接問題、超時問題或響應(yīng)問題仍然存在，請與您的網(wǎng)站托管服務(wù)提供商聯(lián)系，并考慮增強(qiáng)您的網(wǎng)站處理流量的能力。
檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會由于系統(tǒng)級問題而阻止了百度訪問，例如DNS配置問題、配置不當(dāng)?shù)姆阑饓駾oS防護(hù)系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務(wù)正常運(yùn)行的關(guān)鍵因素之一，并且這些系統(tǒng)通常會配置為自動阻止超量的服務(wù)器請求。由于百度spider發(fā)出的請求通常要比普通用戶多，因此可能會觸發(fā)這些防御系統(tǒng)，導(dǎo)致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題，您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個部分在阻止百度spider，然后取消該阻止。如果您沒有控制防火墻的權(quán)限，就需要與您的托管服務(wù)提供商聯(lián)系解決此問題。
來源：百度搜索資源平臺 百度搜索學(xué)堂
