我今天來給大家詳細講解下，先了解幾個概念
1、robots只是禁止抓取，不是禁止收錄
2、另外還有nofollow的作用不是不抓取這個鏈接，是不從這個鏈接傳遞權(quán)重
了解這2個概念后，我們再來討論怎么處理這類收錄問題：
robots寫正確的同時，不要在任何一家收錄的網(wǎng)站發(fā)外鏈，友鏈，也不要主動提交百度，這樣才可以保證不被搜索引擎收錄，為什么呢？
大家百度查一下淘寶，如圖：
按照道理淘寶寫了robots怎么還是收錄，因為有大量的鏈接指向淘寶官網(wǎng)，而且這些外鏈可能權(quán)重都比較高，
全部都禁止了，依然收錄了1億多條鏈接
看到這里，是不是有感而發(fā)，我們怎么從百度導(dǎo)流到你的淘寶店！（來源：夫唯seo特訓(xùn)營）
錨文本鏈接，簡稱錨文本，又叫關(guān)鍵詞鏈接，是鏈接的一種展現(xiàn)形式。錨文本和超鏈接類似，超鏈接是直接鏈接形式，如 https://www.seowhy.com/a/227.html錨文本是給一個關(guān)鍵詞做一個鏈接，指向別的網(wǎng)頁，例子如：SEO第二個例子：學(xué)SEO需要多長時間 這樣可以點擊的文字，就是一個錨文本。錨文本是文本關(guān)鍵詞與URL鏈接整合在一起狀態(tài)名稱。如果給一個圖片做一個鏈接，則叫圖片
面包屑導(dǎo)航來源很久很久以前，在大森林的邊上住著一個貧窮的樵夫，他與妻子和兩個孩子相依為命。他的兒子名叫漢賽爾，女兒名叫格萊特。后來樵夫的妻子去世了，他又給孩子們?nèi)⒘艘粋€后母。后母計劃把兩個孩子帶到森林的深處，然后趁他們睡著的時候跑掉。漢賽爾無意中知道了后母的計劃，于是偷偷地把一塊面包藏在了口袋里。在去森林的路上，漢賽爾悄悄地捏碎了他的面包，并不時地停下腳步，把碎面包屑撒在路上。后母順利地趁孩子們睡
robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當(dāng)robots訪問一個網(wǎng)站時，首先會檢查該網(wǎng)站中是否存在這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
要避免搜索引擎蜘蛛爬取某個頁面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 這樣，所有搜索引擎蜘蛛都不會爬取網(wǎng)站的index.htm首頁頁面。注意，這并不代表該頁面會從搜索結(jié)果中徹底移除，因為即使沒有被索引，用戶仍然可以在搜索結(jié)果中找到該頁面。
