用幾個最常見的情況，直接舉例說明:
1. 允許所有SE收錄本站:robots.txt為空就可以，什么都不要寫。
2. 禁止所有SE收錄網(wǎng)站的某些目錄:
User-agent: *
Disallow: /目錄名1/
Disallow: /目錄名2/
Disallow: /目錄名3/
3. 禁止某個SE收錄本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收錄本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路徑,例如:
來源：360站長平臺
"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開(以CR,CR/NL, or NL作為結(jié)束符)，每一條記錄的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁的 <HEAD> 部分:<meta name="robots" content="noarchive">要允許其他搜索引擎顯示快照，但僅防止搜索引擎顯示，請使用以下標記:<meta name="Baiduspider" content="noa
Meta robots標簽是一種HTML頭部元數(shù)據(jù)標簽，用于指示搜索引擎如何處理指定頁面的內(nèi)容。它告訴網(wǎng)絡(luò)爬蟲如何爬取索引優(yōu)化。這些標簽是在和之間添加的，旨在為“robots（搜索引擎蜘蛛）”提供有關(guān)如何索引和緩存頁面內(nèi)容的指令。 以下是meta robots標簽的寫法： - - - - 其中，“content”屬性指定一組用逗號分隔的值，可以是以下之一： - index：告訴爬
我今天來給大家詳細講解下，先了解幾個概念1、robots只是禁止抓取，不是禁止收錄2、另外還有nofollow的作用不是不抓取這個鏈接，是不從這個鏈接傳遞權(quán)重了解這2個概念后，我們再來討論怎么處理這類收錄問題：robots寫正確的同時，不要在任何一家收錄的網(wǎng)站發(fā)外鏈，友鏈，也不要主動提交百度，這樣才可以保證不被搜索引擎收錄，為什么呢？大家百度查一下淘寶，如圖：按照道理淘寶寫了robots怎么還是收
