搜索問(wèn)答劇場(chǎng)【七】“robots文件”常見(jiàn)問(wèn)題解析
哈嘍大家好！
【搜索問(wèn)答劇場(chǎng)】最新一集如期而至，平小雕又帶著滿滿的知識(shí)干貨回來(lái)啦！準(zhǔn)備好迎接知識(shí)的洗禮了嘛？
第五集【搜索問(wèn)答劇場(chǎng)】中，跟大家提到了【Robots】工具。
本期就來(lái)詳細(xì)教大家如何靈活地使用【Robots】工具，以及如何正確設(shè)置網(wǎng)站整體的抓取范圍。
一、了解robots文件
1、Q：什么是robots文件？
A：robots文件用于指定spider在網(wǎng)站上的抓取范圍，在文件中可以聲明網(wǎng)站中不想被搜索引擎抓取或指定被抓取的資源。
2、Q：robots.txt文件怎么寫(xiě)？
文件包含一條或更多的記錄，這些記錄通過(guò)空行分開(kāi)（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"<field>:<optional space><value><optionalspace>"
在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開(kāi)始，后面加上若干Disallow和Allow行,詳細(xì)情況如下：
User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字。
Disallow:該項(xiàng)的值用于描述不希望被訪問(wèn)的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被 robot訪問(wèn)。
Allow:該項(xiàng)的值用于描述希望被訪問(wèn)的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開(kāi)頭的URL 是允許robot訪問(wèn)的。
如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。
說(shuō)明：百度會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請(qǐng)注意區(qū)分您不想被抓取或收錄的目錄的大小寫(xiě)，百度會(huì)對(duì)robots中所寫(xiě)的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無(wú)法生效。
robots.txt文件舉例：
3、Q：robots.txt文件放在哪里?
A：robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。網(wǎng)站對(duì)應(yīng)robots文件的URL：
詳情可參考《什么是robots文件》
二、如何使用【Robots】工具
1、Q：【Robots】工具的作用？
A：站長(zhǎng)可以通過(guò)搜索資源平臺(tái)【Robots】工具來(lái)創(chuàng)建、校驗(yàn)、更新robots.txt文件，或查看網(wǎng)站robots.txt文件是否成功生效的情況。
2、Q：使用【Robots】工具的注意事項(xiàng)？
A：【Robots】工具目前支持48k的文件內(nèi)容檢測(cè)。同時(shí)請(qǐng)保證網(wǎng)站的robots.txt文件不要過(guò)大，目錄最長(zhǎng)不超過(guò)250個(gè)字符。
robots文件更新和提交后，百度蜘蛛不是立即調(diào)整停止/開(kāi)放抓取的，搜索引擎需要逐漸完成robots.txt的更新。
3、Q：robots.txt中設(shè)置了禁止百度收錄網(wǎng)站的內(nèi)容，為何還出現(xiàn)在百度搜索結(jié)果中？
A：可能存在以下問(wèn)題：
（1）robots文件不能夠有效訪問(wèn)。站長(zhǎng)可以在資源平臺(tái)-【Robots】工具查看robots文件的訪問(wèn)情況。
（2）文件暫未生效。robots文件在結(jié)果中生效一般需要1-2周，可以關(guān)注。
4、【Robots】工具校驗(yàn)提示解讀？
A：可能出現(xiàn)以下情況：
顯示錯(cuò)誤碼404，robots文件可能無(wú)法被訪問(wèn)。
顯示錯(cuò)誤碼301，robots文件可能存在跳轉(zhuǎn)。
顯示錯(cuò)誤碼500，robots頁(yè)面訪問(wèn)失敗。
以上情況時(shí)，建議自查robots文件情況針對(duì)性?xún)?yōu)化后，重新提交校驗(yàn)。
5、Q：robots文件誤封禁，如何處理？
A：（1）修改robots文件，封禁改為允許。
（2）在搜索資源平臺(tái)檢測(cè)并更新robots文件，若顯示抓取失敗，可以多嘗試點(diǎn)擊幾次，觸發(fā)蜘蛛抓取站點(diǎn)。
（3）關(guān)注【抓取頻次】數(shù)據(jù)情況，可以適當(dāng)調(diào)整抓取頻次。
（4）可以使用【鏈接提交】，主動(dòng)提交相關(guān)資源鏈接。
來(lái)源：百度搜索資源平臺(tái)
