爬行和抓取 是搜索引擎工作的第一步，完成數(shù)據(jù)收集任務(wù)。1、蜘蛛：搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛（spider），也稱為機(jī)器人（bot）。2、跟蹤鏈接：為了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也是搜索引擎蜘蛛這個名稱的由來。3、吸引蜘蛛：理論上蜘蛛能爬行和抓取所有頁面，但實(shí)際上不能，也不會這么做。SEO人員想要讓
搜索引擎接收到用戶輸入的搜索詞后，需要對搜索詞做一些處理，才能進(jìn)入排名過程。搜索詞處理包括以下幾方面:（1）中文分詞。與頁面索引時一樣，搜索詞也必須進(jìn)行中文分詞，將查詢字符串轉(zhuǎn)換為以詞為基礎(chǔ)的關(guān)鍵詞組合。分詞原理與頁面分詞相同。（2）指令的處置。平時咱們在搜索時會輸入多個詞語，實(shí)在默認(rèn)的情況下，搜索引擎把多個默認(rèn)的詞語都依照“與”來進(jìn)行詞語。比方你搜索“seo”“培訓(xùn)”時，搜索引擎會默認(rèn)咱們輸入的
感謝Mr.Zhao的投稿：搜索引擎最重要的是什么?有人會說是查詢結(jié)果的準(zhǔn)確性，有人會說是查詢結(jié)果的豐富性，但其實(shí)這些都不是搜索引擎最最致命的地方。對于搜索引擎來說，最最致命的是查詢時間。試想一下，如果你在百度界面上查詢一個關(guān)鍵詞，結(jié)果需要5分鐘才能將你的查詢結(jié)果反饋給你，那結(jié)果必然是你很快的舍棄掉百度。搜索引擎為了滿足對速度苛刻的要求(現(xiàn)在商業(yè)的搜索引擎的查詢時間單位都是微秒數(shù)量級的)，所以采用緩
搜索引擎的工作的過程非常復(fù)雜，而簡單的講搜索引擎的工過程大體可以分成三個階段。爬行和抓?。核阉饕嬷┲胪ㄟ^跟蹤鏈接訪問頁面，獲取頁面HTML代碼存入數(shù)據(jù)庫。預(yù)處理：搜索贏球?qū)ψト淼捻撁鏀?shù)據(jù)文字進(jìn)行文字提取、中文分詞、索引等處理，以備排名程序調(diào)用。排名：用戶輸入關(guān)鍵字后，排名調(diào)用索引庫數(shù)據(jù)，計(jì)算相關(guān)性，然后按一定格式生成搜索結(jié)果頁面。爬行和抓取爬行和抓取是搜索引擎工作的第一步，完成數(shù)據(jù)收集任務(wù)。蜘
搜索引擎基本結(jié)構(gòu)一般包括：搜索器、索引器、檢索器、用戶接口等四個功能模塊。1、搜索器：搜索器也叫網(wǎng)絡(luò)蜘蛛，是搜索引擎用來爬行和抓取網(wǎng)頁的一個自動程序，在系統(tǒng)后臺不停歇地在互聯(lián)網(wǎng)各個節(jié)點(diǎn)爬行，在爬行過程中盡可能快的發(fā)現(xiàn)和抓取網(wǎng)頁。2、索引器。它的主要功能是理解搜索器所采集的網(wǎng)頁信息，并從中抽取索引項(xiàng)。3、檢索器。其功能是快速查找文檔，進(jìn)行文檔與查詢的相關(guān)度評價，對要輸出的結(jié)果進(jìn)行排序。4、用戶接口。
搜索引擎工作流程主要有數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)處理、結(jié)果展示等階段。在各工作階段分別使用了網(wǎng)絡(luò)爬蟲、中文分詞、大數(shù)據(jù)處理、數(shù)據(jù)挖掘等技術(shù)。網(wǎng)絡(luò)爬蟲也被稱為蜘蛛或者網(wǎng)絡(luò)機(jī)器人，它是搜索引擎抓取系統(tǒng)的重要組成部分。網(wǎng)絡(luò)爬蟲根據(jù)相應(yīng)的規(guī)則，以某些站點(diǎn)作為起始站點(diǎn)通過各頁面上的超鏈接遍歷整個互聯(lián)網(wǎng)，利用URL弓I用根據(jù)廣度優(yōu)先遍歷策略從一個html文檔爬行到另一個html文檔來抓取信息。中文分詞是中文搜
（1）爬蟲：從互聯(lián)網(wǎng)爬取原始網(wǎng)頁數(shù)據(jù)，存儲于文檔知識庫服務(wù)器。（2）文檔知識庫服務(wù)器：存儲原始網(wǎng)頁數(shù)據(jù)，通常是分布式Key-Value數(shù)據(jù)庫，能根據(jù)URL/UID快速獲取網(wǎng)頁內(nèi)容。（3）索引：讀取原始網(wǎng)頁數(shù)據(jù)，解析網(wǎng)頁，抽取有效字段，生成索引數(shù)據(jù)。索引數(shù)據(jù)的生成方式通常是增量的，分塊/分片的，并會進(jìn)行索引合并、優(yōu)化和刪除。生成的索引數(shù)據(jù)通常包括：字典數(shù)據(jù)、倒排表、正排表、文檔屬性等。生成的索引存儲
搜索引擎最重要的是什么？有人會說是查詢結(jié)果的準(zhǔn)確性，有人會說是查詢結(jié)果的豐富性，但其實(shí)這些都不是搜索引擎最最致命的地方。對于搜索引擎來說，最最致命的是查詢時間。試想一下，如果你在百度界面上查詢一個關(guān)鍵詞，結(jié)果需要5分鐘才能將你的查詢結(jié)果反饋給你，那結(jié)果必然是你很快的舍棄掉百度。搜索引擎為了滿足對速度苛刻的要求（現(xiàn)在商業(yè)的搜索引擎的查詢時間單位都是微秒數(shù)量級的），所以采用緩存支持查詢需求的方式，也就
基本流程抓取網(wǎng)頁。每個獨(dú)立的搜索引擎都有自己的網(wǎng)頁抓取程序爬蟲（Spider）。爬蟲順著網(wǎng)頁中的超鏈接，從這個網(wǎng)站爬到另一個網(wǎng)站，通過超鏈接分析連續(xù)訪問抓取更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上，從一定范圍的網(wǎng)頁出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁。處理網(wǎng)頁。搜索引擎抓到網(wǎng)頁后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞，建立索引庫和索
用戶行為方式怎樣影響搜索引擎排名結(jié)果，是很多SEO一直關(guān)心探討的問題。前一陣在點(diǎn)石論壇上就看到關(guān)于在百度大量點(diǎn)擊搜索結(jié)果中自己的網(wǎng)站，從而進(jìn)一步提高排名的討論。其邏輯是，搜索結(jié)果中的某個網(wǎng)站被點(diǎn)擊次數(shù)越多，說明越有用，用戶越喜歡，搜索引擎會更進(jìn)一步提高這個網(wǎng)站的排名。不過這種用戶行為方式是噪聲很大的數(shù)據(jù)，極容易作弊。搜索引擎要在這些數(shù)據(jù)中提煉出精華非常困難。前幾天Google員工JohnMu就在G
