搜索引擎是一種用來搜索巨大的獲取到的信息的技術，它根據(jù)用戶輸入的關鍵字或問題，再搜索索引庫中獲取到的信息，以便提供相關網(wǎng)站頁面、新聞文檔、圖片和其他形式的信息來回答用戶提出的問題。 搜索引擎的一般工作原理是，將信息經(jīng)過索引化存在索引庫中，用戶通過輸入一定的關鍵字搜索時，搜索引擎從索引庫中搜索符合條件的結(jié)果項并返回；或者通過抓取網(wǎng)頁技術在搜索引擎開發(fā)過程中，根據(jù)搜索引擎的網(wǎng)絡爬蟲技術逐一抓取網(wǎng)頁，添加到自己的索引庫中，當用戶搜索索引庫中有的結(jié)果時搜索引擎就會進行排序，返回符合條件的搜索結(jié)果。
相關統(tǒng)計數(shù)據(jù)表明：互聯(lián)網(wǎng)上近似重復的網(wǎng)頁的數(shù)量占網(wǎng)頁總數(shù)量的比例高達29%，完全相同的網(wǎng)頁大約占網(wǎng)頁總數(shù)量的22%.研究表明，在一個大型的信息采集系統(tǒng)中，30%的網(wǎng)頁是和另外70%的網(wǎng)頁完全重復或近似重復的。即：互聯(lián)網(wǎng)的網(wǎng)頁中相當高的比例的網(wǎng)頁內(nèi)容是近似相同或完全相同的!搜索爬蟲抓取會產(chǎn)生網(wǎng)頁重復的類型：1.多個URL地址指向同一網(wǎng)頁以及鏡像站點如：www.sina.com 和www.sina.c
PPCblog.com呈現(xiàn)給我們一幅由Jess Bachman（在WallStats.com工作）精心描繪的示意圖，這張流程圖展示了每天擁有3億次點擊量的Google搜索按鈕背后搜索引擎在那不到1秒的響應時間內(nèi)所進行的處理。這張流程圖演示了在你點擊Google搜索按鈕后，在Google返回查詢結(jié)果前那一眨眼的功夫里，Google是如何處理你的搜索請求的？這可是搜索巨人Google年贏利額高達200
基本流程抓取網(wǎng)頁。每個獨立的搜索引擎都有自己的網(wǎng)頁抓取程序爬蟲（Spider）。爬蟲順著網(wǎng)頁中的超鏈接，從這個網(wǎng)站爬到另一個網(wǎng)站，通過超鏈接分析連續(xù)訪問抓取更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。由于互聯(lián)網(wǎng)中超鏈接的應用很普遍，理論上，從一定范圍的網(wǎng)頁出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁。處理網(wǎng)頁。搜索引擎抓到網(wǎng)頁后，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索
（1）爬蟲：從互聯(lián)網(wǎng)爬取原始網(wǎng)頁數(shù)據(jù)，存儲于文檔知識庫服務器。（2）文檔知識庫服務器：存儲原始網(wǎng)頁數(shù)據(jù)，通常是分布式Key-Value數(shù)據(jù)庫，能根據(jù)URL/UID快速獲取網(wǎng)頁內(nèi)容。（3）索引：讀取原始網(wǎng)頁數(shù)據(jù)，解析網(wǎng)頁，抽取有效字段，生成索引數(shù)據(jù)。索引數(shù)據(jù)的生成方式通常是增量的，分塊/分片的，并會進行索引合并、優(yōu)化和刪除。生成的索引數(shù)據(jù)通常包括：字典數(shù)據(jù)、倒排表、正排表、文檔屬性等。生成的索引存儲
