Sogou spider User-Agent字段是一種用于爬蟲程序中的HTTP報頭，它是搜狗搜索的爬蟲程序使用的字符串，其格式為："Sogou web spider/版本號(語言:語言代碼;平臺:操作系統(tǒng))"，例如："Sogou web spider/4.0(Windows NT 6.1;zh-CN)"。該字段包含了爬蟲程序的名稱、版本號、語言和操作系統(tǒng)等信息。
點 HTTP狀態(tài)代碼是指網(wǎng)站服務器對用戶請求的響應結(jié)果。根據(jù)不同的HTTP狀態(tài)代碼，搜索引擎可以了解網(wǎng)頁更新的頻率，以及網(wǎng)頁存在的情況，從而判斷是否應該繼續(xù)Crawl你的站點： HTTP 200：這是最常見的狀態(tài)碼，表示請求成功。搜索引擎會解析服務器返回的網(wǎng)頁內(nèi)容，并繼續(xù)向您的站點爬取其他頁面。 HTTP 301/302：這些狀態(tài)碼表示鏈接已經(jīng)更改，搜索引擎會更新當前網(wǎng)頁的鏈接，并繼續(xù)爬取新
搜索引擎蜘蛛是搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁、圖片、視頻等內(nèi)容，建立索引數(shù)據(jù)庫，使用戶能在搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁、圖片、視頻等內(nèi)容。一般用法為“ spider+URL”，后面的URL(網(wǎng)址)是搜索引擎的痕跡，如果要查看某搜索引擎是否來爬取過你們的網(wǎng)站，可查看服務器的日志里是否有該URL,同時還能查看來的時間、頻率等…1、百度蜘蛛：可以根據(jù)服務器的負載能力調(diào)節(jié)訪問密度，大
sogou spider 支持 robots 協(xié)議，您可以在網(wǎng)站的根目錄放置 robots.txt。robots.txt 的規(guī)則請參閱 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要幾個星期才能體現(xiàn)出效果來，另外，被您禁止 sogou spider 收錄的網(wǎng)頁將不能在搜狗搜索引擎上檢索到。
PC端UA為Sogou web spiderSogou inst spiderSogou spider無線端UA為Sogou wap spider來源：搜狗資源平臺
