sogou spider 支持 robots 協(xié)議，您可以在網(wǎng)站的根目錄放置 robots.txt。
robots.txt 的規(guī)則請參閱 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要幾個星期才能體現(xiàn)出效果來，另外，被您禁止 sogou spider 收錄的網(wǎng)頁將不能在搜狗搜索引擎上檢索到。
1. 什么是BaiduspiderBaiduspider是百度搜索引擎的一個自動程序，它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁。2. Baiduspider的user-agent是什么？百度各個產(chǎn)品使用不同的user-agent：產(chǎn)品名稱對應(yīng)user-agent網(wǎng)頁搜索Baiduspider無線搜索Baiduspider圖片搜索Baiduspide
如此 實(shí)際上，搜索引擎蜘蛛抓取越多并不一定是越好的。這取決于您的網(wǎng)站是做什么的。如果您的網(wǎng)站有重要的動態(tài)內(nèi)容，那么如果您的搜索引擎蜘蛛抓取過多，將會給您的網(wǎng)站帶來壓力，導(dǎo)致網(wǎng)站性能和速度下降。如果您的網(wǎng)站是基于靜態(tài)內(nèi)容的，例如博客，則搜索引擎蜘蛛抓取更多是沒有問題的。
搜狗是一家中國的互聯(lián)網(wǎng)公司，旗下?lián)碛兴压匪阉饕?。蜘蛛爬蟲是搜索引擎中用來抓取網(wǎng)頁內(nèi)容的程序。搜狗搜索的蜘蛛爬蟲被稱為"Sogou web spider"。 蜘蛛爬蟲抓取網(wǎng)頁的過程中，會按照一定的規(guī)則遍歷網(wǎng)頁，獲取網(wǎng)頁的內(nèi)容并存儲在搜索引擎的數(shù)據(jù)庫中，以便用戶在搜索時能夠得到相應(yīng)的結(jié)果。 如果你想了解搜狗搜索的蜘蛛爬蟲抓取的更多細(xì)節(jié)，可以查閱搜狗搜索的官方技術(shù)文檔，或者參考相關(guān)的網(wǎng)絡(luò)資源和教程
sogou spider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置，使搜狗顯示只對該網(wǎng)頁建索引，但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。和robots的更新一樣，因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時間，雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了搜狗在搜索結(jié)果中顯示該網(wǎng)頁的快照，但搜狗搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息，可能需要二至四周才會在線上生效。
