Google Adsense蜘蛛抓取的網(wǎng)頁在搜索中出現(xiàn)
前兩天Matt Cutts剛剛證實，Google Adsense蜘蛛(Mediapartner bot)所抓取的網(wǎng)頁會在Google搜索中出現(xiàn)。Matt Cutts說這只是一個節(jié)省帶寬開支的手段而已。
由于Google蜘蛛(Googlebot/2.1)所抓取的網(wǎng)站之多和頻率之緊密，他們每天需要使用的帶寬是巨量的。把Adsense蜘蛛所抓取的網(wǎng)站內(nèi)容考慮進主搜索引擎中，一定會節(jié)省大量的帶寬開支。
實際上很多人一直以來都懷疑，Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之間的關(guān)系到底是什么？使用Adsense的網(wǎng)站會不會因此更快的被收錄到Google搜索數(shù)據(jù)庫？會不會因為使用Adsense而提高或降低搜索排名？
在Google的官方網(wǎng)站中，他們明確指出，Adsense蜘蛛與搜索蜘蛛是完全分開的，而且Adsense的使用完全不影響網(wǎng)站排名，這兩者之間毫無關(guān)系。而且在Google內(nèi)部，這兩個產(chǎn)品是由完全不同的兩個部門來處理的。他們之間并不交換任何資料。
但最近有跡象表明，Adsense蜘蛛所抓取的網(wǎng)頁結(jié)果出現(xiàn)在搜索結(jié)果中。比如Jen注意到，在搜索結(jié)果中出現(xiàn)的網(wǎng)頁快照時間與服務(wù)器日志文件中Adsense蜘蛛訪問的時間完全吻合，而不是Google搜索蜘蛛訪問的時間。
還有人在網(wǎng)頁上檢測訪問的是不是Adsense蜘蛛，如果是Adsense蜘蛛，就會返回一個改寫過的網(wǎng)頁。結(jié)果發(fā)現(xiàn)，在搜索引擎當(dāng)中網(wǎng)頁出現(xiàn)了兩個版本。也就是說，搜索蜘蛛和Adsense蜘蛛的網(wǎng)頁結(jié)果都出現(xiàn)在搜索結(jié)果中，造成了復(fù)制網(wǎng)頁。
我自己以前也注意到，Adsense蜘蛛至少對網(wǎng)頁收錄有影響。記得有一次在做一個全新網(wǎng)站的時候，我從其他網(wǎng)站上直接復(fù)制代碼到新網(wǎng)頁。這段代碼里含有Adsense碼，我忘了刪除。新網(wǎng)站設(shè)計好后，我上傳網(wǎng)頁，然后自己看了一下，當(dāng)然Adsense廣告也出現(xiàn)在網(wǎng)頁上。隨后我把Adsense碼刪除掉。
這個新的網(wǎng)站沒有任何導(dǎo)入鏈接，我也沒有向任何地方登錄，完全是一個試驗性質(zhì)的網(wǎng)站。但不久，網(wǎng)頁結(jié)果出現(xiàn)在Google搜索中。
Google Adsense蜘蛛所抓取的網(wǎng)頁會出現(xiàn)在Google搜索結(jié)果中，對網(wǎng)站建設(shè)者有什么影響呢？第一，我想給我們的最重要的暗示是：千萬不要試圖使用隱藏網(wǎng)頁技術(shù)（cloaking），也就是當(dāng)Google蜘蛛來訪問時，給它經(jīng)過優(yōu)化的版本，當(dāng)普通訪客來訪時，給他另外一個版本。Google完全可以發(fā)出沒有Google標志的蜘蛛來檢測這種手段。
實際上，Google Adsense蜘蛛的標志和搜索蜘蛛就不一樣。如果你給這兩個蜘蛛不同的網(wǎng)頁內(nèi)容，你的網(wǎng)站就會造成復(fù)制內(nèi)容網(wǎng)頁，從而排名被懲罰。
第二： Google Adsense蜘蛛對排名是否真的沒有影響，我們需要做更多的測試才能肯定。
來源：SEO每天一貼 Zac 昝輝
