用幾個最常見的情況，直接舉例說明：
1. 允許所有SE收錄本站：robots.txt為空就可以，什么都不要寫。
2. 禁止所有SE收錄網(wǎng)站的某些目錄：
User-agent: *
Disallow: /目錄名1/
Disallow: /目錄名2/
Disallow: /目錄名3/
3. 禁止某個SE收錄本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收錄本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路徑
網(wǎng)站結(jié)構(gòu)有以下類型： 1. 線性結(jié)構(gòu)：網(wǎng)頁按照線性順序呈現(xiàn)，用戶只能按照給定的路徑進(jìn)行操作。 2. 并列結(jié)構(gòu)：網(wǎng)頁中的多個頁面并列展示，用戶可以按照自己的意愿任意選擇。 3. 分層結(jié)構(gòu)：根據(jù)主題或類別將網(wǎng)頁分成不同的層次，并且每一層都有相應(yīng)的子頁鏈接。 4. 網(wǎng)狀結(jié)構(gòu)：網(wǎng)頁中的所有頁面都可以互相連接，沒有明確的層次結(jié)構(gòu)。 5. 混合結(jié)構(gòu)：以上幾種結(jié)構(gòu)的組合。 樹狀結(jié)構(gòu)是一種分層結(jié)構(gòu)，也稱為層次
301轉(zhuǎn)向是指在網(wǎng)站代碼中設(shè)置一個永久重定向，將一個網(wǎng)頁的URL地址重定向到另一個URL地址。301轉(zhuǎn)向的作用包括： 1. 改變URL結(jié)構(gòu)時，將舊URL地址重定向到新URL地址，以保持搜索引擎的收錄和排名。 2. 合并或重構(gòu)網(wǎng)站時，將原來的網(wǎng)頁重定向到新的網(wǎng)頁，以避免404錯誤頁面的出現(xiàn)，同時保留原來網(wǎng)頁的SEO價值。 3. 修復(fù)破損的鏈接，將錯誤的URL重定向到正確的URL地址。 設(shè)置3
1)、圖像目錄圖像是構(gòu)成網(wǎng)站的首要組成元素。跟著現(xiàn)在建站越來越便利，許多cms的呈現(xiàn)，真實(shí)做到了會打字就會建網(wǎng)站，而正是由于如此便利，網(wǎng)上呈現(xiàn)了許多的同質(zhì)化模板網(wǎng)站，被重復(fù)運(yùn)用，這樣的網(wǎng)站查找引擎是必定不喜愛的，就算是你的網(wǎng)站被錄入了，那你的作用也是很差的。若是你非要用這種網(wǎng)站的話，主張你大概在robots.txt文件中進(jìn)行屏蔽，一般的網(wǎng)站圖像目錄是：imags 或許 img;2)、網(wǎng)站模板目錄如
Robots are machines that are capable of carrying out complex tasks automatically, often in a manner similar to human beings. They can be programmed to perform a wide range of actions, from simple acti
