Matt Cutts談大爸爸數(shù)據(jù)中心，補充材料網(wǎng)頁及收錄網(wǎng)頁數(shù)下降
在大爸爸數(shù)據(jù)中心更新結束后，很多站長發(fā)現(xiàn)被收錄的網(wǎng)頁數(shù)急劇下降。有時候能從幾萬頁降到幾頁，而且補充材料網(wǎng)頁越來越多。
很多人一直在問，為什么Matt Cutts對這個問題一直不做評論？今天Matt Cutts發(fā)了一個很長的帖子，一次性回答大爸爸更新之后的一些問題。帖子很長，下面揀要點翻譯一下。
首先Matt Cutts給那些不想讀這么長帖子的人兩點小結。第一，Google的爬行和索引部門有足夠的機器。收錄網(wǎng)頁數(shù)下降并不是因為Google沒地方存了。第二，Google繼續(xù)認真聽取站長們的反饋。
大爸爸更新3月份已經(jīng)結束
在12月爬行/索引部門已經(jīng)準備好開始大爸爸更新。大爸爸指的是爬行和一部分索引軟件的更新（這是第一次聽說稍微具體點兒的關于大爸爸到底是什么的信息）。
1月上旬，Matt Cutts給出一個正在運行大爸爸數(shù)據(jù)中心的IP地址，要求站長們提供反饋。
2月份，大爸爸數(shù)據(jù)中心在更多數(shù)據(jù)中心使用。
3月份，很多站長開始投訴他們的網(wǎng)頁沒有被大爸爸收錄，并且有越來越多的補充材料網(wǎng)頁。
3月13 號，Google Guy (一位匿名Google員工)在站長世界論壇征求具體的例子。
在看了這些例子網(wǎng)站之后，我可以在幾分鐘之內，就看出問題在哪兒。這些在大爸爸數(shù)據(jù)中心里面有問題的網(wǎng)站，是那些我們的算法對這個網(wǎng)站的反向鏈接和導出鏈接的信任度都很低的網(wǎng)站。比如說大量交換鏈接，連向垃圾網(wǎng)站，買賣鏈接。
大爸爸和補充材料結果無關。所以當大爸爸不收錄一個網(wǎng)站的網(wǎng)頁的時候，補充引擎就可能收錄更多的網(wǎng)頁。
我和爬行/索引部門一起調節(jié)了算法的門檻，以收錄更多這種網(wǎng)站。3月22號，我發(fā)了一個帖子，告訴大家我們正在收錄更多的網(wǎng)頁。
3月29號，大爸爸更新完全完成，舊系統(tǒng)關閉，從那之后所有的爬行都是由大爸爸控制的。
考慮到程序編碼更新的數(shù)量，我覺得大爸爸更新是很成功的，只有兩個投訴。第一個就是前面提到的，信任度比較低的網(wǎng)站的網(wǎng)頁被爬行和收錄的比較少，我們對此作出了反應，很快開始收錄更多的網(wǎng)頁。另一個投訴是Google Adsense爬行的網(wǎng)頁開始出現(xiàn)在搜索結果中，實際上這是爬行緩存代理的設計。
關于大爸爸就這些了。大爸爸從12月份開始出現(xiàn)到3月份完全完成。在完成大爸爸之后，我們把注意力更多的轉向了對補充材料結果的更新。下面將會談到比較具體的時間表。在這同時，有一種說法是我們的機器都滿了。從我個人的角度 看，我們當然有足夠的機器來爬行和索引網(wǎng)頁。
補充材料結果更新
4月初，我們開始向用戶顯示更新過的補充材料結果。
4月13 號，有人開始談論被收錄的網(wǎng)頁減少了。
4月24號，Google Guy希望人們提供細節(jié)。
我看了這些反饋，并沒有看出什么重要的規(guī)律。我把這些例子交給了爬行/索引部門，他們也沒看出什么規(guī)律。網(wǎng)站地圖部門也進行了研究，結論是和網(wǎng)站地圖也沒什么關系。負責補充材料結果更新的部門，檢查了這些反饋意見。5月5號，他們發(fā)現(xiàn)使用”site:”指令(注:這個指令會列出所有被收錄的網(wǎng)頁)，并不返回補充材料結果，他們在當天就解決了這個問題。后來他們又發(fā)現(xiàn)了site指令無法工作于由分字符鏈接的域名，很快也解決了。
Google Guy在5月8號希望站長們提供更多信息。
這些就是我所知道的補充材料結果的問題和已經(jīng)解決了的問題。下面舉一些具體的例子，看為什么有的網(wǎng)站被收錄的網(wǎng)頁數(shù)急劇減少。
一個.tv關于某一個國家房地產(chǎn)的網(wǎng)站。5月3號，這個網(wǎng)站的管理員說他的網(wǎng)站從兩萬頁降到了300頁。我看過以后，用”site:”指令已經(jīng)可以返回31200頁。所以這個域名應該沒有問題了。
一個5月11號的例子，站長只提供了網(wǎng)址，沒有其他文字和解釋。這也是一個房地產(chǎn)網(wǎng)站，有387頁被收錄。但是在網(wǎng)頁底部你可以看到這些鏈接到鈴聲下載，SEO比賽，魚油網(wǎng)站等等，我想我找到了問題。如果你想讓你的網(wǎng)站更多頁被收錄的話，你得多考慮你的鏈接的質量。對索引進行了修改以后，我們處理交換鏈接和買賣鏈接的能力都提高了。
再看一個5月4號的例子，又是一個房地產(chǎn)網(wǎng)站。站長說被收錄的網(wǎng)頁數(shù)從一萬降到了80，我看了一下這個網(wǎng)站，這回看到的是鏈接向貸款按揭網(wǎng)站，信用卡網(wǎng)站，運動器械網(wǎng)站等。和上面的一樣，如果你做很多交換鏈接，現(xiàn)在新的蜘蛛有不同的爬行優(yōu)先考慮，你就不要奇怪了。
再看一個健康保養(yǎng)的目錄網(wǎng)站，看起來是個不錯的網(wǎng)站，也沒鏈接向不好的網(wǎng)站，但是整個域名只有6個導入鏈接。這么少的導入鏈接，我想Google蜘蛛只能爬行比較少的網(wǎng)頁。
總體上來說，我檢查的幾個網(wǎng)站在這幾天都有了更多的被收錄的網(wǎng)頁。做很多交換鏈接的網(wǎng)站，可能發(fā)現(xiàn)爬行次數(shù)少了。如果你的導入鏈接太少，被爬行的也會比較少。
我的評論：看來大爸爸完成之后，Google確實減少了對很多網(wǎng)站的爬行和收錄。原因主要在于鏈接的質量。做大量交換鏈接，買賣鏈接，鏈接向垃圾網(wǎng)站，鏈接向無關網(wǎng)站，受影響會比較大。Google發(fā)現(xiàn)受影響的網(wǎng)站太多之后，也做了調整。
但是就我目前所看，被收錄的網(wǎng)頁數(shù)非常不穩(wěn)定。不同數(shù)據(jù)中心之間的數(shù)據(jù)很可能還不同步，而且哪些網(wǎng)站會被當作補充材料的選擇算法，還有很大問題。
來源：SEO每天一貼 Zac 昝輝
