百度搜索引擎的工作原理首先是抓取建庫，這是一個自動化的過程，百度通過多種方式來收集Web頁面。百度擁有多臺服務(wù)器，它們負(fù)責(zé)索引世界上大量的網(wǎng)站，以及持續(xù)的更新內(nèi)容。 百度抓取網(wǎng)頁的方式有兩種，一種是爬蟲，它們自動訪問web頁面，抓取那些有可能帶有搜索關(guān)鍵字的頁面；另一種是人工抓取，百度人工審查網(wǎng)頁，將其記錄到百度索引數(shù)據(jù)庫中。 抓取到的網(wǎng)頁都會放入百度索引庫中，該庫中包含了網(wǎng)頁的具體內(nèi)容、
搜索引擎的基本工作原理是：用戶向搜索引擎輸入一系列關(guān)鍵詞，搜索引擎會從自身擁有的網(wǎng)頁數(shù)據(jù)庫中根據(jù)相關(guān)算法去檢索出匹配度最高的搜索結(jié)果進行顯示和返回給用戶。 搜索引擎的基本流程包括： 1. 網(wǎng)頁爬蟲：搜索引擎會通過程序自動爬取網(wǎng)頁上的數(shù)據(jù)。 2. 網(wǎng)頁索引：搜索引擎會把所有爬取的數(shù)據(jù)進行索引，并在索引中建立統(tǒng)一的編號，以便后續(xù)的檢索。 3. 網(wǎng)頁分類：搜索引擎會把所有索引的內(nèi)容進行分類，
搜索引擎是通過比較網(wǎng)頁URL，內(nèi)容和相關(guān)屬性來刪除重復(fù)網(wǎng)頁的，具體步驟如下： 1. 搜索引擎收集器(Crawler)會在網(wǎng)絡(luò)上發(fā)現(xiàn)新網(wǎng)頁并收集，此時會有一定概率發(fā)現(xiàn)相同的網(wǎng)頁，并添加到收集器的索引中去。 2. 收集器會識別新的網(wǎng)頁，把重復(fù)的網(wǎng)頁排除。 3. 然后，搜索引擎把新索引serves給布置在 Indexer(索引器)中，執(zhí)行深入索引，會把相同內(nèi)容的文章及URL排除，僅保留一條記錄
搜索引擎檢索系統(tǒng)是指實現(xiàn)引用文獻資源檢索、特定學(xué)科知識檢索等服務(wù)的系統(tǒng)。包括主要用于進行引文檢索的數(shù)據(jù)庫管理系統(tǒng)、多元綜合檢索系統(tǒng)，瀏覽引擎，等。 其主要功能包括：引文的資源的收集、索引、目錄和存儲；對文獻進行分類和檢索；檢索系統(tǒng)中相關(guān)檢索結(jié)果的排序和顯示；瀏覽系統(tǒng)中各式學(xué)術(shù)服務(wù)，比如新聞信息、擁有特定學(xué)科內(nèi)容的網(wǎng)站；支持Web檢索、模糊檢索、多備份系統(tǒng)等功能，以確保檢索準(zhǔn)確性；在線的文獻的
搜索引擎是一種用來搜索巨大的獲取到的信息的技術(shù)，它根據(jù)用戶輸入的關(guān)鍵字或問題，再搜索索引庫中獲取到的信息，以便提供相關(guān)網(wǎng)站頁面、新聞文檔、圖片和其他形式的信息來回答用戶提出的問題。 搜索引擎的一般工作原理是，將信息經(jīng)過索引化存在索引庫中，用戶通過輸入一定的關(guān)鍵字搜索時，搜索引擎從索引庫中搜索符合條件的結(jié)果項并返回；或者通過抓取網(wǎng)頁技術(shù)在搜索引擎開發(fā)過程中，根據(jù)搜索引擎的網(wǎng)絡(luò)爬蟲技術(shù)逐一抓取網(wǎng)
搜索引擎索引系統(tǒng)概述眾所周知，搜索引擎的主要工作過程包括：抓取、存儲、頁面分析、索引、檢索等幾個主要過程。上一章我們主要介紹了部分抓取存儲環(huán)節(jié)中的內(nèi)容，此章簡要介紹一下索引系統(tǒng)。在以億為單位的網(wǎng)頁庫中查找特定的某些關(guān)鍵詞猶如大海里面撈針，也許一定的時間內(nèi)可以完成查找，但是用戶等不起，從用戶體驗角度我們必須在毫秒級別給予用戶滿意的結(jié)果，否則用戶只能流失。怎樣才能達(dá)到這種要求呢？如果能知道用戶查找的關(guān)
Spider抓取系統(tǒng)的基本框架互聯(lián)網(wǎng)信息爆發(fā)式增長，如何有效的獲取并利用這些信息是搜索引擎工作中的首要環(huán)節(jié)。數(shù)據(jù)抓取系統(tǒng)作為整個搜索系統(tǒng)中的上游，主要負(fù)責(zé)互聯(lián)網(wǎng)信息的搜集、保存、更新環(huán)節(jié)，它像蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此通常會被叫做“spider”。例如我們常用的幾家通用搜索引擎蜘蛛被稱為：Baiduspdier、Googlebot、Sogou Web Spider等。Spider抓取系統(tǒng)是搜索
雖然搜索引擎排名技術(shù)和算法一直在提高，但我相信所有搜索引擎都或多或少有人工干預(yù)，就算最標(biāo)榜一切以算法和自動化為目標(biāo)的Google，也肯定有人工因素。去年就曾經(jīng)有人報道（http://www.searchbistro.com/index.php?/archives/19-Google-Secret-Lab,-Prelude.html），Google在很多國家的大學(xué)招募學(xué)生，進行搜索引擎結(jié)果的評價工作
1. 抓取網(wǎng)頁每個獨立的搜索引擎都有自己的網(wǎng)頁抓取程序爬蟲（Spider）。爬蟲順著網(wǎng)頁中的超鏈接，從這個網(wǎng)站爬到另一個網(wǎng)站，通過超鏈接分析連續(xù)訪問抓取更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上，從一定范圍的網(wǎng)頁出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁。2. 處理網(wǎng)頁搜索引擎抓到網(wǎng)頁后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞，建立索引庫和索
一位讀者在蜘蛛抓取配額是什么這篇帖子留言：不對呀，這個index標(biāo)簽，是指告訴蜘蛛可以抓取該頁面，那么noindex不就是不允許抓取該頁面嗎？！那么為什么文章最后的幾個說明里有“noindex標(biāo)簽不能節(jié)省抓取份額。搜索引擎要知道頁面上有noindex標(biāo)簽，就得先抓取這個頁面，所以并不節(jié)省抓取份額?！绷粞哉f明，這位讀者并沒有太明白什么是抓取，什么是索引，index和noindex標(biāo)簽的意義又是什么。
