為什么我的網(wǎng)站已經(jīng)加了robots.txt，還能在百度搜索出來？
因為搜索引擎索引數(shù)據(jù)庫的更新需要時間。雖然Baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁，但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息，可能需要數(shù)月時間才會清除。另外也請檢查您的robots配置是否正確。
如果您的拒絕被收錄需求非常急迫，也可以通過反饋中心反饋請求處理。
來源：百度搜索資源平臺 百度搜索學(xué)堂
搜索引擎收錄機制就是搜索引擎系統(tǒng)執(zhí)行網(wǎng)頁抓取、URL分析、文本鏈接分析、內(nèi)容分析及網(wǎng)頁排序等一系列操作而形成的一種機制。這個機制由爬蟲、索引和查詢構(gòu)成，爬蟲存儲所有網(wǎng)絡(luò)上數(shù)據(jù)、分析搜索引擎索引，而搜索引擎索引就像物理上的索引一樣，能讓搜索引擎定位到目標(biāo)頁面；最后查詢的時候則是讓搜索引擎根據(jù)索引定位相應(yīng)的頁面，最終完成數(shù)據(jù)的展示。
網(wǎng)站出現(xiàn)多個不規(guī)范網(wǎng)址會給搜索引擎收錄和排名帶來很多麻煩。網(wǎng)址規(guī)范化造成的幾個問題：?CMS系統(tǒng)在不同地方鏈接到不同的URL，分散了頁面權(quán)重，不利于排名。?復(fù)制內(nèi)容過多，搜索引擎可能認(rèn)為有作弊嫌疑。?外部鏈接也可能指向不同URL，分散權(quán)重。?搜索引擎把資源花在收錄不規(guī)范的網(wǎng)址上，留下給獨特內(nèi)容的資源就減少了。?搜索引擎判斷的規(guī)范化網(wǎng)址不是站長想要的那個網(wǎng)址。來源：搜外網(wǎng)
robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL,or NL作為結(jié)束符），每一條記錄的格式如下所示："<field>:<optional space><value><optionalspace>"在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以
robots.txt 是一個標(biāo)準(zhǔn)，它通過提供一些規(guī)則，告訴搜索引擎爬蟲哪些網(wǎng)頁可以被爬取，哪些網(wǎng)頁不應(yīng)該被爬取。但是，一些搜索引擎爬蟲可能會忽略這些規(guī)則，直接抓取它們想要的網(wǎng)頁。 此外， robots.txt 文件的存在只是一個建議而不是命令。在一些情況下，搜索引擎爬蟲可能會收錄被 robots.txt 文件所屏蔽的網(wǎng)頁，這有可能是因為發(fā)布這個網(wǎng)頁的人想要讓它被收錄，也有可能是因為機器人誤解了
