国产成人精品999视频&日本一区二区亚洲人妻精品&久久久精品国产99久久精&99热这里只有成人精品国产&精品国产剧情av一区二区&成人亚洲精品久久久久app&国产精品美女高潮抽搐A片

Categories

Tags

如何使用Robots避免蜘蛛黑洞？

蜘蛛黑洞：

蜘蛛黑洞指的是網(wǎng)站通過(guò)極低的成本運(yùn)營(yíng)，制造出大量和內(nèi)容相識(shí)但參數(shù)不同的動(dòng)態(tài)URL ，像一個(gè)無(wú)限循環(huán)的“黑洞”將蜘蛛困住，蜘蛛花費(fèi)太多的時(shí)間在網(wǎng)站，浪費(fèi)了大量資源抓取的網(wǎng)頁(yè)為無(wú)效網(wǎng)頁(yè)。

如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象，盡快的處理好，蜘蛛黑洞不利于網(wǎng)站的收錄，也會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結(jié)果頁(yè)基本都是使用靜態(tài)鏈接，比如：

http:// bj.XXXXX. com/category/zizhucan/weigongcun

當(dāng)用戶(hù)選擇不同排序后，會(huì)自動(dòng)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，即使選擇是同一種排序條件，生成的參數(shù)也有不同的，比如：

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁(yè)面使用robots規(guī)則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結(jié)果頁(yè)，為用戶(hù)和搜索引擎節(jié)省時(shí)間。

Robots文件寫(xiě)法中Disallow: /*?* 禁止訪(fǎng)問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址，通過(guò)這種方式，如果網(wǎng)站的無(wú)效頁(yè)面不希望被搜索引擎收錄，可以屏蔽掉低質(zhì)量的頁(yè)面，告訴搜索引擎哪些頁(yè)面可以抓取，有效的避免黑洞的形成。

來(lái)源：搜外網(wǎng)


 Public @ 2014-02-24 16:09:26

導(dǎo)航結(jié)構(gòu)是什么？導(dǎo)航結(jié)構(gòu)優(yōu)化方法

導(dǎo)航結(jié)構(gòu)是啥網(wǎng)站導(dǎo)航的作用就是引導(dǎo)用戶(hù)快速找到主要信息，指引用戶(hù)到達(dá)目標(biāo)頁(yè)面，一個(gè)好的導(dǎo)航對(duì)于吸引用戶(hù)和搜索引擎優(yōu)化都非常重要。導(dǎo)航結(jié)構(gòu)的作用1、引導(dǎo)用戶(hù)訪(fǎng)問(wèn)指定頁(yè)面。其中全局導(dǎo)航、分類(lèi)導(dǎo)航、輔助導(dǎo)航都是根據(jù)這個(gè)目的進(jìn)行的。2、告訴用戶(hù)所在網(wǎng)頁(yè)位置。這個(gè)在面包屑導(dǎo)航中得到了充分的體現(xiàn)，它幫助用戶(hù)識(shí)別當(dāng)前瀏覽的頁(yè)面與網(wǎng)站整體內(nèi)容間關(guān)系，及其與網(wǎng)站中其它內(nèi)容的聯(lián)系和區(qū)分。3、理清網(wǎng)站各內(nèi)容與鏈接間的聯(lián)

 Public @ 2015-09-17 16:11:43

robot.txt在SEO中的作用

Robots.txt 是一個(gè)網(wǎng)站管理員可通過(guò)在站點(diǎn)根目錄中放置一個(gè)名為robots.txt的文件來(lái)讓搜索引擎（及其爬蟲(chóng)）知道該如何來(lái)收錄并處理某些目錄或頁(yè)面，并使索引過(guò)程更加有效更加規(guī)范。 Robots.txt 的作用是向搜索引擎解釋網(wǎng)站中哪些目錄和文件希望被搜索引擎收錄、哪些不希望收錄，以避免搜索引擎抓取到網(wǎng)站誤差的內(nèi)容。如果 robots.txt 被恰當(dāng)?shù)卦O(shè)置，可以有效提高收錄質(zhì)量和網(wǎng)站

 Public @ 2023-03-03 03:00:14

robots使用誤區(qū)

1. 不需要在每個(gè)頁(yè)面都添加robots.txt文件：robots.txt文件只是一份給搜索引擎看的指令，如果不希望搜索引擎從該頁(yè)面抓取數(shù)據(jù)，那么每一頁(yè)都是可以不用添加robots.txt文件的。 2. 不能用于移動(dòng)設(shè)備：robots.txt文件可用于搜索引擎爬蟲(chóng)，但也可以在部分機(jī)型的移動(dòng)設(shè)備上進(jìn)行yu處理，可以用于控制移動(dòng)設(shè)備的蜘蛛爬行進(jìn)行內(nèi)容抓取。 3. 不應(yīng)該將robots保存到公用

 Public @ 2023-03-03 14:00:19

Robots文件的作用和規(guī)范寫(xiě)法

控制頁(yè)面的抓取、索引是SEO優(yōu)化網(wǎng)站結(jié)構(gòu)時(shí)經(jīng)常需要用到的技術(shù)。常見(jiàn)的工具包括：robots文件頁(yè)面的noindex標(biāo)簽鏈接的nofollow屬性頁(yè)面的301轉(zhuǎn)向頁(yè)面的canonical標(biāo)簽等這幾個(gè)工具各有各的特定應(yīng)用場(chǎng)景，但都是用于控制網(wǎng)站內(nèi)部結(jié)構(gòu)，之間容易混淆，還經(jīng)常需要配合使用，SEO們必須準(zhǔn)確理解這幾個(gè)工具的機(jī)制和原理，不然很容易出錯(cuò)。這篇貼子討論robots文件。Robots文件的作用ro

 Public @ 2012-12-30 16:09:20

更多您感興趣的搜索

0.494231s