什么是抓取異常？網(wǎng)站抓取異常的原因
- 威海百度搜索資源平臺 威海抓取異常
- 2350
什么是抓取異常？
指的是蜘蛛無法正常抓取頁面，網(wǎng)站出現(xiàn)抓取異常。
網(wǎng)站抓取異常的原因：
1、服務器異常
服務器連接異常最大的可能是網(wǎng)站服務器過大，超負荷運轉，通過檢查瀏覽器是否正常訪問。服務器異常會導致蜘蛛無法連接網(wǎng)站服務器，導致出現(xiàn)抓取失敗。
2、域名到期
域名過期網(wǎng)站肯定不能訪問，域名解析會失效，如果存在這類情況請與域名注冊商聯(lián)系。
3、網(wǎng)絡運營商異常
電信和聯(lián)通這兩種都是屬于網(wǎng)絡運營商，蜘蛛無法訪問的網(wǎng)站。
如果是因為網(wǎng)絡運營商出現(xiàn)問題，與網(wǎng)絡服務運營商聯(lián)系，或者空間或者購買CDN服務。
3、robots.txt文件設置
robots.txt的功效主要是一些不重要的文件屏蔽掉告訴搜索引擎這些些頁面可以不抓取，可能會存在把重要的頁面也給屏蔽了，可以檢查下robots文件設置。
4、死鏈接
原本正常的鏈接后來失效了就是死鏈接，死鏈接發(fā)送請求時，服務器返回404錯誤頁面。
死鏈的處理方案可以通過百度站長平臺提交死鏈文件。具體的操作方法文章(為什么要使用死鏈工具？死鏈工具的使用方法)
5、網(wǎng)站被掛馬
網(wǎng)站被掛馬，要查詢掛馬文件在哪里并刪除，恢復網(wǎng)站，更改登錄名和密碼，安全密保要從新設置，防止下次被掛馬。
如果網(wǎng)站出現(xiàn)抓取異常的現(xiàn)象，訪問網(wǎng)站的用戶沒有得到想要的東西，用戶的體驗感就會下降，搜索引擎對網(wǎng)站的評價降低。
來源：搜外網(wǎng)
Public @ 2014-01-23 16:03:52
