国产成人精品999视频&日本一区二区亚洲人妻精品&久久久精品国产99久久精&99热这里只有成人精品国产&精品国产剧情av一区二区&成人亚洲精品久久久久app&国产精品美女高潮抽搐A片

Categories

Tags

搜索引擎的Robots協(xié)議

robots.txt是一種存放于網(wǎng)站根目錄下的文本文件，用于告訴搜索引擎的爬蟲（spider），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的索引，哪些是可以被索引。通常認(rèn)為，robots.txt文件用來搜索引擎對(duì)目標(biāo)網(wǎng)頁的抓取。

robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，通常搜索引擎會(huì)識(shí)別這個(gè)文件，但也有一些特殊情況。

對(duì)于Google來說，使用robots也未必能阻止Google將網(wǎng)址編入索引，如果有其他網(wǎng)站鏈接到該網(wǎng)頁的話，Google依然有可能會(huì)對(duì)其進(jìn)行索引。按照Google的說法，要想徹底阻止網(wǎng)頁的內(nèi)容在Google網(wǎng)頁索引中（即使有其他網(wǎng)站鏈接到該網(wǎng)頁）出現(xiàn)，需要使用noindex元標(biāo)記或x-robots-tag。例如將下面的一行加入到網(wǎng)頁的header部分。

<meta name="googlebot" content="noindex">

如果Google看到某一頁上有noindex的元標(biāo)記，就會(huì)將此頁從Google的搜索結(jié)果中完全丟棄，而不管是否還有其他頁鏈接到此頁。

搜索引擎的Robots規(guī)則

對(duì)于百度來說，情況和Google類似，如果有其他網(wǎng)站鏈接目標(biāo)網(wǎng)頁，也有可能會(huì)被百度收錄，從百度的說明頁面上看，百度并不支持像Google那樣通過noindex完全將網(wǎng)頁從索引上刪除，只支持使用noarchive元標(biāo)記來禁止百度顯示網(wǎng)頁快照。具體的語句如下。

<meta name="Baiduspider" content="noarchive">

上面這個(gè)標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會(huì)繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。

例如，淘寶網(wǎng)目前就通過robots.txt來屏蔽百度爬蟲，但百度依舊收錄了淘寶網(wǎng)的內(nèi)容，百度搜索“淘寶網(wǎng)”，第一個(gè)結(jié)果也是淘寶網(wǎng)首頁地址，只是該頁面沒有網(wǎng)頁快照，因此看來，網(wǎng)站只能禁止百度的快照，而無法禁止百度為網(wǎng)頁建索引。

來源：月光博客


 Public @ 2018-04-08 16:09:21

站內(nèi)SEO優(yōu)化對(duì)于圖片和視頻有什么好的解決辦法？

關(guān)于站內(nèi)SEO優(yōu)化圖片有如下幾個(gè)注意點(diǎn)：1、圖片命名圖片命名，現(xiàn)在網(wǎng)絡(luò)上很多圖片的名稱用數(shù)字或者一組數(shù)字命名，可能是方便記憶和整理，但從SEO的角度來講相對(duì)就沒有什么益處了。而這一方面從目前的狀況來看，搜索引擎對(duì)圖片名稱給予的權(quán)重也不算高。因?yàn)閳D片名有時(shí)候并不能正確的表達(dá)圖片本身的內(nèi)容，很多時(shí)候完全可以用毫不相干的名字來命名圖片，但是你不能否認(rèn)圖片名稱很有可能會(huì)是搜索引擎判斷圖片內(nèi)容的一個(gè)因素。2

 Public @ 2021-02-04 15:16:40

關(guān)于Sitemap

百度一直致力于將優(yōu)質(zhì)內(nèi)容索引并呈現(xiàn)給搜索用戶，因此百度站長平臺(tái)推出了Sitemap工具，網(wǎng)站可通過該工具將優(yōu)質(zhì)資源主動(dòng)反饋提交給百度站長平臺(tái)，加強(qiáng)百度對(duì)優(yōu)質(zhì)資源的收錄，優(yōu)化收錄效果。Sitemap（即站點(diǎn)地圖）就是您網(wǎng)站上各網(wǎng)頁的列表。創(chuàng)建并提交Sitemap有助于百度發(fā)現(xiàn)并了解您網(wǎng)站上的所有網(wǎng)頁，包括百度通過傳統(tǒng)抓取方式可能找不到的網(wǎng)頁。您還可以使用Sitemap提供有關(guān)您網(wǎng)站的其他信息，如上次

 Public @ 2011-06-13 16:11:59

玩轉(zhuǎn)robots協(xié)議

2013年2月8日北京市第一中級(jí)人民法院正式受理了百度訴奇虎360違反“Robots協(xié)議”抓取、復(fù)制其網(wǎng)站內(nèi)容的不正當(dāng)競(jìng)爭行為一案，索賠金額高達(dá)一億元，這可以看做2012年下半年“3B大戰(zhàn)”的繼續(xù)。在此次索賠案件中，百度稱自己的Robots文本中已設(shè)定不允許360爬蟲進(jìn)入，而360的爬蟲依然對(duì)“百度知道”、“百度百科”等百度網(wǎng)站內(nèi)容進(jìn)行抓取。其實(shí)早在2012年11月初，針對(duì)雙方摩擦加劇的情況，在中

 Public @ 2019-05-13 16:09:21

robots協(xié)議

　Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲掃除規(guī)范”（RobotsExclusionProtocol），網(wǎng)站經(jīng)過Robots協(xié)議通知查找引擎哪些頁面可以抓取，哪些頁面不能抓取　　是查找引擎的一部分來定位和索引互聯(lián)網(wǎng)上的每個(gè)可能答復(fù)查找懇求的網(wǎng)頁，一般只在評(píng)論robots的HTML標(biāo)簽或許robots.txt文件的時(shí)分運(yùn)用。

 Public @ 2010-10-17 15:26:25

更多您感興趣的搜索

0.473878s