国产成人精品999视频&日本一区二区亚洲人妻精品&久久久精品国产99久久精&99热这里只有成人精品国产&精品国产剧情av一区二区&成人亚洲精品久久久久app&国产精品美女高潮抽搐A片

Categories

Tags

Google爬行緩存代理（crawl caching proxy）

前兩天人們注意到Google Adsense蜘蛛所抓取的網(wǎng)頁(yè)會(huì)出現(xiàn)在搜索結(jié)果中。Matt Cutts在他的博客里迅速的做出了回應(yīng)，對(duì)這種現(xiàn)象做了進(jìn)一步解釋。

簡(jiǎn)單來(lái)說(shuō)，Google在完成大爸爸?jǐn)?shù)據(jù)中心升級(jí)后，各種蜘蛛抓取網(wǎng)頁(yè)的機(jī)制產(chǎn)生了變化。不是各個(gè)蜘蛛直接抓取網(wǎng)頁(yè)，而是由一個(gè)爬行緩存代理crawl caching proxy抓取網(wǎng)頁(yè)，然后不同的蜘蛛從這個(gè)緩存中獲取內(nèi)容，從而節(jié)省了帶寬。

Matt Cutts的帖子比較完整的翻譯可以在幻滅和小添的博客里看到。

我要補(bǔ)充的是：第一：Matt Cutts特意指出，這個(gè)新的抓取機(jī)制不會(huì)讓你的網(wǎng)頁(yè)被抓取的更快，也不會(huì)對(duì)排名有任何影響。這個(gè)爬行緩存代理也不影響各個(gè)蜘蛛本來(lái)應(yīng)該爬行的頻率和時(shí)間表。只不過(guò)各個(gè)蜘蛛不直接爬行網(wǎng)頁(yè)，而是從緩存中獲取。

第二：更引起我注意的是，Matt Cutts說(shuō)這個(gè)爬行緩存代理是大爸爸更新之后才有的。因?yàn)檫\(yùn)行的很順利，在其他人發(fā)現(xiàn)這種現(xiàn)象之前，Matt Cutts自己沒(méi)意識(shí)到這種新的機(jī)制已經(jīng)運(yùn)行了。這說(shuō)明Matt Cutts并不能掌握所有各個(gè)部門(mén)的最新情況，那么還有什么是Matt Cutts也還不知道的呢？

第三：Matt Cutts講這個(gè)機(jī)制的目標(biāo)是節(jié)省帶寬，而不是隱藏頁(yè)面（cloaked page）檢測(cè)。我覺(jué)得弦外之音是，利用同樣的技術(shù)，Google完全可以用其他的蜘蛛來(lái)檢測(cè)隱藏頁(yè)面。當(dāng)然也可能是我過(guò)度敏感了。

另外，最近很多網(wǎng)站出現(xiàn)被收錄的頁(yè)面數(shù)目急劇下降的現(xiàn)象，我懷疑和這個(gè)新的頁(yè)面抓取方法造成的混亂有關(guān)。很顯然不是排名算法改變導(dǎo)致收錄的網(wǎng)頁(yè)數(shù)目下降，而是蜘蛛爬行的問(wèn)題。

來(lái)源：SEO每天一貼 Zac 昝輝


 Public @ 2019-08-28 16:22:27

吸引蜘蛛抓取的影響因素

1、網(wǎng)站和頁(yè)面權(quán)重。質(zhì)量高，資格老的網(wǎng)站被認(rèn)為權(quán)重比較高，這種網(wǎng)站上的頁(yè)面被爬行的深度也會(huì)比較高，所以會(huì)更多內(nèi)頁(yè)被收錄。2、與首頁(yè)點(diǎn)擊距離。一般來(lái)說(shuō)網(wǎng)站上權(quán)重最高的是首頁(yè)，大部分外部鏈接是指向首頁(yè)的，蜘蛛訪問(wèn)最頻繁的也是首頁(yè)。離首頁(yè)點(diǎn)擊距離近，頁(yè)面權(quán)重越高，被蜘蛛爬行的機(jī)會(huì)也越大。3、導(dǎo)入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛根本沒(méi)有機(jī)會(huì)知道

 Public @ 2017-12-02 16:22:35

蜘蛛抓取過(guò)程中涉及的網(wǎng)絡(luò)協(xié)議有哪些

搜索引擎通過(guò)站長(zhǎng)們提供資源，來(lái)滿足用戶的搜索需求，而站長(zhǎng)通過(guò)搜索引擎將網(wǎng)站的內(nèi)容傳播出去，獲得有效的流量和用戶。蜘蛛在抓取過(guò)程中雙方都要遵守一定的規(guī)范，便于搜索引擎抓取，不要使用過(guò)多對(duì)搜索引擎不友好的元素。蜘蛛抓取過(guò)程中涉及的網(wǎng)絡(luò)協(xié)議有以下四種：1、HTTP協(xié)議HTTP是超文本傳輸協(xié)議，在互聯(lián)網(wǎng)上被廣泛應(yīng)用的一種網(wǎng)絡(luò)協(xié)議，客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)。用戶通過(guò)瀏覽器或蜘蛛等對(duì)指定端口發(fā)起一個(gè)請(qǐng)

 Public @ 2012-07-29 16:22:31

百度真假蜘蛛IP如何識(shí)別？判斷百度蜘蛛的鑒別方法

很多SEO從業(yè)人員在剛剛接觸這個(gè)行業(yè)的時(shí)候，經(jīng)常會(huì)問(wèn)——百度蜘蛛是什么？我們可以理解為百度蜘蛛就是用來(lái)抓取網(wǎng)站鏈接的IP，小編經(jīng)常會(huì)聽(tīng)到百度蜘蛛來(lái)的太頻繁，服務(wù)器要被抓爆了，如果你無(wú)法識(shí)別百度蜘蛛，你怎么知道是百度蜘蛛抓爆的呢？也有出現(xiàn)百度蜘蛛都不來(lái)了的情況，還有很多站點(diǎn)想得到百度蜘蛛的IP段，想把IP加入白名單，但無(wú)法識(shí)別百度IP。那怎么才能識(shí)別正確的百度蜘蛛呢？來(lái)來(lái)來(lái)，只需做著兩點(diǎn)，就能正確識(shí)

 Public @ 2010-10-11 16:22:32

更多您感興趣的搜索

0.522041s