未來SEO也許不用再操心爬行、抓取問題？
SEO每天一貼很少寫關(guān)于必應Bing或雅虎Yahoo!的事，原因顯而易見：他們那可憐的市場份額真不大值得寫。
微軟雖然一直對搜索不離不棄，投入重金和時間，但到目前為止，Bing在搜索市場從來都是個陪襯。Yahoo!就更甭提了，在收購了除Google、Bing以外的所有搜索引擎之后，Yahoo!竟然自廢武功，把自己多年積累、收購的所有搜索技術(shù)徹底放棄了，雅虎網(wǎng)站的搜索功能轉(zhuǎn)為使用Bing的技術(shù) – – 不禁讓人心里嘀咕：確定不是Google臥底干的嗎？一個最重要的對手就這么沒了？
不過Bing對SEO們一直都是挺友好的，而且Bing工程師們給SEO行業(yè)不少很有建設性的意見。比如，關(guān)于外鏈建設，我覺得最精彩的一句話就是某位必應工程師說的，大意是，最好的外鏈是那些你根本不知道其存在的外鏈。
必應大幅提高URL提交限額
一月底Bing站長博客發(fā)了一篇帖子，表示Bing站長工具URL提交工具做了升級，大幅提高站長可以提交的URL數(shù)目上限，從原來的每天只能提交10個，每個月最多50個，增長1000倍，現(xiàn)在每天可以提交10，000個，沒有月上限。唯一的限制是，網(wǎng)站需要在Bing站長工具注冊驗證180天以上：
Bing提高URL提交上限
帖子還說了很有意思的一段話，如果以后搜索引擎按這個方向發(fā)展的話，SEO們未來可能不用再操心頁面爬行、抓取的問題了：
We believe that enabling this change will trigger a fundamental shift in the way that search engines, such as Bing, retreive and are notified of new and updated content across the web. Instead of Bing monitoring often RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify the Bing directly about relevant URLs changing on their website. This means that eventually search engines can reduce crawling frequency of sites to detect changes and refresh the indexed content.
翻譯過來大意是：
我們相信這個變化會引發(fā)搜索引擎發(fā)現(xiàn)及抓取新內(nèi)容（包括新建或更新的內(nèi)容）方式的根本性變革。站長將可以直接通知Bing網(wǎng)站上有了URL變化，而不需要Bing通過監(jiān)控RSS或頻繁爬行來發(fā)現(xiàn)新頁面。這實際上意味著搜索引擎在發(fā)現(xiàn)、更新索引內(nèi)容時，可以降低對網(wǎng)站的爬行頻率。
內(nèi)容索引不再依靠爬行？
一直以來，我覺得SEO有三大難點：內(nèi)容、內(nèi)部鏈接結(jié)構(gòu)、外鏈建設。其中，網(wǎng)站內(nèi)部鏈接結(jié)構(gòu)就是要解決搜索引擎有效爬行、抓取的難題，既要抓得全，抓得快，又要避免抓取不必要的內(nèi)容，還得合理分配權(quán)重。越是大站，這個問題越難完美解決。做過大站的SEO一定都深有體會，不管怎樣調(diào)整網(wǎng)站結(jié)構(gòu)，都無法做到頁面100%被索引。
必應的這篇帖子在告訴SEO們，以后很可能不用擔心抓取的問題了，有了新頁面，或者舊頁面有了更新，直接提交URL就行了（通過站長工具或API），不必依靠Bing蜘蛛爬行抓取，實際上，Bing蜘蛛會大大減少爬行，卻不耽誤索引新內(nèi)容。
后續(xù)SearchEngineLand對Bing搜索工程師的訪談證實，減少爬行，確實是Bing的目標。他們希望未來幾年內(nèi)，Bing不再依靠爬行來發(fā)現(xiàn)新內(nèi)容。Bing認為，對網(wǎng)站爬行的方法低效、費資源，不如站長直接提交內(nèi)容。Bing表示，提交URL是頁面抓取的“很強”的信號，要想內(nèi)容被快速索引，就趕緊用提交工具吧。
確實，大型網(wǎng)站，頁面被抓取一遍，可能需要幾個星期，甚至更長時間，那么網(wǎng)站上有新頁面，或老頁面內(nèi)容有更新，要被抓取，也可能會有幾個星期的延遲。提交URL是個更快的方法。
其實百度早就在做類似的事，在百度資源平臺提交內(nèi)容是快速抓取新頁面的很好方法，小時級收錄確實可以在幾小時內(nèi)收錄，有時幾分鐘就收錄。不過百度資源平臺提交好像不支持老的但有更新的頁面。
對SEO行業(yè)的潛在影響
如果Google以后也跟進采取這個方法，可能會對SEO行業(yè)產(chǎn)生不小的影響。搜索引擎發(fā)現(xiàn)、抓取、索引新內(nèi)容的方式變得更加簡單直接，SEO們調(diào)整網(wǎng)站結(jié)構(gòu)的必要性和難度將大大降低。
不過也有潛在問題。比如，黑帽SEO們顯然不會放過這個機會。以前垃圾內(nèi)容靠爬行被抓取越來越困難，因為從一個頁面到另一個頁面的爬行就是個鑒別、過濾的過程。大量主動提交垃圾頁面成為可能后，搜索引擎該怎么處理？
再比如，搜索引擎減少爬行，倒是節(jié)省資源了，但老的、不更新的頁面被重新抓取的次數(shù)將大大減少，這會不會導致鏈接關(guān)系計算的不準確、不及時？順便提一句，不知道為什么總是有人說鏈接對排名已經(jīng)不重要了，其實依然很重要。
SEO的基本方法過去十多年沒有大變化，但SEO依然是個不斷變化的行業(yè)。
來源：SEO每天一貼 Zac 昝輝
