sogou spider 會封鎖那些網(wǎng)站?
- 威海Spider 威海sogou spider
- 2245
作弊網(wǎng)站內(nèi)容低劣的網(wǎng)站違反國家政策和法律的網(wǎng)站
作弊網(wǎng)站內(nèi)容低劣的網(wǎng)站違反國家政策和法律的網(wǎng)站
sogou spider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置,使搜狗顯示只對該網(wǎng)頁建索引,但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。和robots的更新一樣,因為搜索引擎索引數(shù)據(jù)庫的更新需要時間,雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了搜狗在搜索結(jié)果中顯示該網(wǎng)頁的快照,但搜狗搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息,可能需要二至四周才會在線上生效。
因為搜索引擎索引數(shù)據(jù)庫的更新需要時間。雖然sogou spider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁,但搜狗搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息,可能需要數(shù)月時間才會清除。另外也請檢查您的robots配置是否正確。如果您的拒絕被收錄需求非常急迫,也可以通過刪除快照反饋請求處理。
sogou spider 對于同一個 IP 地址的服務(wù)器主機,只建立一個連接,抓取間隔速度控制在幾秒一次。一個網(wǎng)頁被收錄后,最快也要過幾天以后才會去更新。如果持續(xù)不斷地抓取您的網(wǎng)站,請注意您的網(wǎng)站上的網(wǎng)頁是否每次訪問都產(chǎn)生新的鏈接。如果您認為 sogou spider 對于您的網(wǎng)站抓取過快,請與我們聯(lián)系,并最好能提供訪問日志中sogou spider 訪問的部分,而不要直接將搜狗spider的ua
sogou spider對于同一個IP地址的服務(wù)器主機,只建立一個連接,抓取間隔速度控制在幾秒一次。一個網(wǎng)頁被收錄后,最快也要幾天以后才會去更新。如果sogou spider持續(xù)不斷地抓取您的網(wǎng)站,請注意您的網(wǎng)站上的網(wǎng)頁是否每次訪問都產(chǎn)生新的鏈接。
搜狗暫不對外提供搜狗spider IP列表,但您可以通過DNS反查IP的方式判斷某只spider是否來自搜狗搜索引擎。根據(jù)不同平臺有不同的驗證方法。linux平臺:命令為host ip,如下圖。搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均為冒充。在windows平臺或者IBM OS/2平臺:命令為nslookup ip,搜狗spider的hos
sogou spider 支持 robots 協(xié)議,您可以在網(wǎng)站的根目錄放置 robots.txt。robots.txt 的規(guī)則請參閱 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要幾個星期才能體現(xiàn)出效果來,另外,被您禁止 sogou spider 收錄的網(wǎng)頁將不能在搜狗搜索引擎上檢索到。
Sogou web spider 和 Sogou inst spider請注意,根據(jù)標準,ua區(qū)分大小寫。
內(nèi)容優(yōu)良而獨特的頁面,如果您的頁面內(nèi)容和互聯(lián)網(wǎng)上已存在的其他頁面有高度的相似性,可能不會被 sogou spider 收錄。鏈接層次較淺的頁面,過深的鏈接層次,尤其是動態(tài)網(wǎng)頁的鏈接,會被丟棄而不收錄。如果是動態(tài)網(wǎng)頁,請控制一下參數(shù)的數(shù)量和URL的長度。搜狗更偏好收錄靜態(tài)網(wǎng)頁。重定向次數(shù)越多的頁面,越有可能被 sogou spider 丟棄。
sogou spider 會根據(jù)網(wǎng)頁的重要性和歷史變化情況來動態(tài)調(diào)整更新時間,更新已經(jīng)抓取過的頁面