robots.txt文件的格式為： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬蟲的名稱，[URL path]指代禁止訪問的URL路徑。在文件中可以定義多條User-agent和Disallow規(guī)則，每一條規(guī)則占一行，每一對規(guī)則之間要有一個空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開(以CR,CR/NL, or NL作為結(jié)束符)，每一條記錄的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件
nofollow標簽是HTML的一個屬性，用于告訴搜索引擎不要追蹤特定的網(wǎng)頁鏈接。減少垃圾對搜索引擎的排名影響。網(wǎng)站SEO優(yōu)化nofollow標簽的應(yīng)用起到一定的作用。網(wǎng)站Nofollow標簽的應(yīng)用場景：1、nofollow標簽通常用于論壇帖子、博客評價，這些地方存在大量的其他網(wǎng)站鏈接，導(dǎo)致網(wǎng)站上的垃圾鏈接過多，影響蜘蛛爬取，現(xiàn)在很多博客cms都會帶有相關(guān)功能自動加上nofollow。2、給廣告鏈
1. 不需要在每個頁面都添加robots.txt文件：robots.txt文件只是一份給搜索引擎看的指令，如果不希望搜索引擎從該頁面抓取數(shù)據(jù)，那么每一頁都是可以不用添加robots.txt文件的。 2. 不能用于移動設(shè)備：robots.txt文件可用于搜索引擎爬蟲，但也可以在部分機型的移動設(shè)備上進行yu處理，可以用于控制移動設(shè)備的蜘蛛爬行進行內(nèi)容抓取。 3. 不應(yīng)該將robots保存到公用
robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當(dāng)robots訪問一個網(wǎng)站時，首先會檢查該網(wǎng)站中是否存在這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
