360搜索對Robots協(xié)議的支持
360搜索支持Robots協(xié)議的主要命令,以下為具體說明:
1. user-agent
360搜索各產(chǎn)品的爬蟲user-agent為:
- 網(wǎng)頁搜索 360Spider
- 圖片搜索 360Spider-Image
- 視頻搜索 360Spider-Video
2. Allow
站長可通過Allow命令指定建議收錄的文件、目錄 。
3. Disallow
站長可通過Disallow命令指定不建議收錄的文件、目錄。
360搜索支持Robots協(xié)議的主要命令,以下為具體說明:
1. user-agent
360搜索各產(chǎn)品的爬蟲user-agent為:
- 網(wǎng)頁搜索 360Spider
- 圖片搜索 360Spider-Image
- 視頻搜索 360Spider-Video
2. Allow
站長可通過Allow命令指定建議收錄的文件、目錄 。
3. Disallow
站長可通過Disallow命令指定不建議收錄的文件、目錄。
導(dǎo)航結(jié)構(gòu)是啥網(wǎng)站導(dǎo)航的作用就是引導(dǎo)用戶快速找到主要信息,指引用戶到達(dá)目標(biāo)頁面,一個好的導(dǎo)航對于吸引用戶和搜索引擎優(yōu)化都非常重要。導(dǎo)航結(jié)構(gòu)的作用1、引導(dǎo)用戶訪問指定頁面。其中全局導(dǎo)航、分類導(dǎo)航、輔助導(dǎo)航都是根據(jù)這個目的進(jìn)行的。2、告訴用戶所在網(wǎng)頁位置。這個在面包屑導(dǎo)航中得到了充分的體現(xiàn),它幫助用戶識別當(dāng)前瀏覽的頁面與網(wǎng)站整體內(nèi)容間關(guān)系,及其與網(wǎng)站中其它內(nèi)容的聯(lián)系和區(qū)分。3、理清網(wǎng)站各內(nèi)容與鏈接間的聯(lián)
清晰的導(dǎo)航系統(tǒng)是網(wǎng)站設(shè)計(jì)的重要目標(biāo),對網(wǎng)站信息架構(gòu)、用戶體驗(yàn)影響重大。SEO也越來越成為導(dǎo)航設(shè)計(jì)時需要考慮的因素之一。站在用戶的角度上,網(wǎng)站導(dǎo)航系統(tǒng)需要解決兩個問題。(1)我現(xiàn)在在哪里?用戶可能從任何一個內(nèi)頁進(jìn)入網(wǎng)站,有時候從首頁進(jìn)入,點(diǎn)擊多個鏈接后,用戶也忘了是怎么來到當(dāng)前頁面的。導(dǎo)航系統(tǒng)這時候就要清楚告訴用戶現(xiàn)在處在網(wǎng)站總體結(jié)構(gòu)的哪一部分。頁面設(shè)計(jì)風(fēng)格的統(tǒng)一、面包屑導(dǎo)航的使用、主導(dǎo)航系統(tǒng)當(dāng)前所
robots文件是搜索生態(tài)中很重要的一個環(huán)節(jié),同時也是一個很細(xì)節(jié)的環(huán)節(jié)。很多站長同學(xué)在網(wǎng)站運(yùn)營過程中,很容易忽視robots文件的存在,進(jìn)行錯誤覆蓋或者全部封禁robots,造成不必要損失!那么如果誤操作封禁了robots怎么辦?今天我們請到了廈門258網(wǎng)站運(yùn)營負(fù)責(zé)人——鄭軍偉,為我們分享網(wǎng)站robots誤封禁后該如何操作?【案例背景】網(wǎng)站開發(fā)2.0版本,技術(shù)選擇了在線開發(fā),為了避免搜索引擎抓取開
哈嘍大家好!【搜索問答劇場】最新一集如期而至,平小雕又帶著滿滿的知識干貨回來啦!準(zhǔn)備好迎接知識的洗禮了嘛?第五集【搜索問答劇場】中,跟大家提到了【Robots】工具。本期就來詳細(xì)教大家如何靈活地使用【Robots】工具,以及如何正確設(shè)置網(wǎng)站整體的抓取范圍。一、了解robots文件1、Q:什么是robots文件?A:robots文件用于指定spider在網(wǎng)站上的抓取范圍,在文件中可以聲明網(wǎng)站中不想被