国产成人精品999视频&日本一区二区亚洲人妻精品&久久久精品国产99久久精&99热这里只有成人精品国产&精品国产剧情av一区二区&成人亚洲精品久久久久app&国产精品美女高潮抽搐A片

Categories

Tags

常見(jiàn)的robots.txt文件用法實(shí)例

常見(jiàn)的robots.txt文件用法實(shí)例：

1、禁止所有搜索引擎抓取網(wǎng)站的任何部分

User-agent: *

Disallow: /

這是禁止所有目錄和文件被所有搜索引擎收錄。網(wǎng)站還沒(méi)上線時(shí)，有的會(huì)先屏蔽所有蜘蛛抓取。

2、允許所有的spider抓?。ɑ蛘咭部梢越ㄒ粋€(gè)空的robots.txt文件）

User-agent: *

Allow: /

這是允許所有搜索引擎抓取網(wǎng)站的任何部分，既然是允許所有文件被抓取，可以不用創(chuàng)建robtos.txt文件，即默認(rèn)全部允許抓取。

3、禁止spider抓取特定目錄

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

這是禁止所有的spider抓取a、b、c目錄。這個(gè)規(guī)則我們最常用到，比如網(wǎng)站的程序后臺(tái)、程序目錄等都可以禁止spider抓取，以減少spider無(wú)意義的浪費(fèi)我們的空間資源。

4、禁止spider抓取搜索結(jié)果頁(yè)面

User-agent: *

Disallow: /so_article?*

如果你網(wǎng)站的搜索結(jié)果頁(yè)面URL格式如：/so_article?keyword=搜索關(guān)鍵字，則按以上格式進(jìn)行屏蔽，注意最后帶了一個(gè)星號(hào)*，代表屏蔽so_article?帶頭的所有URL。

對(duì)于大部分網(wǎng)站，常用的就是以上4種情況。

來(lái)源：搜外網(wǎng)


 Public @ 2010-05-21 16:09:23

什么是GZIP，開(kāi)啟GZIP有什么好處

GZIP是網(wǎng)站壓縮加速的一種技術(shù)，對(duì)于開(kāi)啟后可以加快我們網(wǎng)站的打開(kāi)速度，原理是經(jīng)過(guò)服務(wù)器壓縮，客戶(hù)端瀏覽器快速解壓的原理，可以大大減少了網(wǎng)站的流量。什么是GZIP答：GZIP最早由Jean-loup Gailly和Mark Adler創(chuàng)建，用于UNIX系統(tǒng)的文件壓縮。我們?cè)贚inux中經(jīng)常會(huì)用到后綴為.gz的文件，它們就是GZIP格式的。現(xiàn)今已經(jīng)成為Internet 上使用非常普遍的一種數(shù)據(jù)壓縮格

 Public @ 2012-04-28 16:09:42

什么是robots文件

robots.txt是一個(gè)網(wǎng)站的根目錄中的文件，用于告知搜索引擎哪些頁(yè)面和文件可以被搜索引擎的爬蟲(chóng)訪問(wèn)，哪些不可以。該文件是遵循 robots協(xié)議的網(wǎng)站必不可少的一個(gè)文件，用于控制搜索引擎的爬蟲(chóng)訪問(wèn)網(wǎng)站的行為。通過(guò)robots.txt文件，網(wǎng)站管理員可以禁止搜索引擎爬蟲(chóng)訪問(wèn)一些無(wú)用或敏感的網(wǎng)站內(nèi)容，或是避免搜素引擎爬蟲(chóng)訪問(wèn)較為頻繁的API接口等。

 Public @ 2023-05-30 08:00:08

robots是什么？

robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限，也就是說(shuō)robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。搜索引擎通過(guò)一

 Public @ 2017-11-12 16:09:33

更多您感興趣的搜索

0.541785s