頭條搜索站長平臺-Sitemap提交
功能說明
提交sitemap工具可以向頭條搜索提交網(wǎng)站的sitemap文件，幫助頭條spider更好的抓取您的網(wǎng)站。您可以在此工具下選擇已經(jīng)驗證的站點，進行驗證站點的sitemap文件提交。
sitemap提交后，頭條搜索會根據(jù)sitemap了解網(wǎng)站中數(shù)據(jù)情況。
sitemap要求
sitemapindex文件要求
sitemapindex文件根節(jié)點必須是<sitemapindex>。
sitemapindex文件編碼必須為UTF-8，第一行為: <?xml version="1.0" encoding="utf-8" ?>。
sitemapindex文件禁止使用命名空間，禁止使用規(guī)定之外的屬性。
sitemapindex文件大小不得超過5M，sitemap節(jié)點數(shù)量不超過1W。
必須保證sitemap中所有URL可訪問，且內(nèi)容符合XML數(shù)據(jù)文件規(guī)范。
1.XML數(shù)據(jù)文件規(guī)范
數(shù)據(jù)XML文件的根節(jié)點必須為<DOCUMENT>
數(shù)據(jù)XML文件編碼必須為UTF-8，第一行為: <?xml version="1.0" encoding="utf-8" ?>
數(shù)據(jù)XML文件禁止使用命名空間，禁止使用規(guī)定之外的屬性。
數(shù)據(jù)XML單個文件大小不得超過10M(必須滿足)，item數(shù)目不得超過1W。
除根節(jié)點之外的其它節(jié)點，標簽名建議采用英文小寫字母及下劃線‘_’
數(shù)據(jù)節(jié)點中包含轉(zhuǎn)義字符，請使用CDATA
對于數(shù)組型的節(jié)點，請在只有一個子節(jié)點時保證和多個節(jié)點時的結構相同
2.Txt格式規(guī)范
Txt文件編碼必須為UTF-8
Txt文件大小不得超過10M，每個文本文件最多可包含5w個網(wǎng)址
Txt文件每行都必須有一個網(wǎng)址，網(wǎng)址中不能有換行
Txt文件中不能包含網(wǎng)址列表以外的任何信息
- 必須書寫完整的網(wǎng)址，包含http/https
- 必須保證Txt文件中所有URL 可訪問，且內(nèi)容符合Txt數(shù)據(jù)規(guī)范
注意事項
提交的sitemap有作弊嫌疑的url，頭條將進行嚴厲的處罰措施并取消相關權限
頭條spider有自身的爬取規(guī)則，sitemap只是幫助頭條spider更好的收錄您的網(wǎng)站，提交sitemap并不會決定網(wǎng)站收錄或者排名。
工具使用方法
1. sitemap索引格式
<?xml version='1.0' encoding='UTF-8'?>
<sitemapindex>
<sitemap>
<loc>https://www.toutiao.com/1.xml</loc>
<lastmod>2019-12-05</lastmod>
</sitemap>
<sitemap>
<loc>https://www.toutiao.com/2.xml</loc>
<lastmod>2019-12-05</lastmod>
</sitemap>
</sitemapindex>
2. xml格式
<?xml version="1.0" encoding="utf-8"?>
<urlset>
<url>
<loc>https://www.toutiao.com/1</loc>
<lastmod>2019-11-26</lastmod>
</url>
<url>
<loc>https://www.toutiao.com/2</loc>
<lastmod>2019-11-26</lastmod>
</url>
</urlset>
3.txt格式
http://www.example.com/1.html
http://www.example.com/2.html
http://www.example.com/3.html
4. 提交sitemap
完成sitemap制作后可以使用sitemap提交工具進行提交
sitemap提交幫助
1）提交成功
等待：代表您的sitemap文件已經(jīng)解析完畢，等待抓取
正常：代表您的sitemap文件在抓取中
異常：代表您的sitemap文件存在問題，不能抓取
2）提交失敗
若在Sitemap提交工具使用中發(fā)生錯誤，請確認是否為以下原因：
Sitemap文件地址無法訪問,請確認提交的地址可正常訪問。
Sitemap文件地址與提交站點不是包含關系，請確認提交的地址屬于已驗證的站點
相同的Sitemap文件地址已經(jīng)添加過，請勿重新添加。
提交的Sitemap格式不規(guī)范，請檢查該數(shù)據(jù)格式，修改后重新提交。
sitemap異常原因解釋
sitemap異常原因解釋解決方法
爬蟲被封禁可能是您的網(wǎng)站對Bytespider的UA或IP進行封禁建議您根據(jù)我們公布的UA和IP進行解封，第二天重新抓取之后會恢復正常
sitemap文件數(shù)據(jù)量過大可能是您的sitemap節(jié)點數(shù)量超過了5w個建議您拆分為幾個小的sitemap文件
sitemap地址非法可能是您的sitemap地址不可訪問或者存在xml和txt混合模式的數(shù)據(jù)建議您按照我們的要求提交sitemap地址
站點服務不可用我們請求您的網(wǎng)站3次后發(fā)現(xiàn)您的網(wǎng)站仍舊不可訪問會暫時停止抓取，則返回該原因請您檢查服務器是否可正常運轉(zhuǎn)，如果正常，等正常調(diào)度后正常抓取
sitemap地址不存在可能是您的地址無法訪問，返回404，我們獲取不了任何信息請您排查sitemap地址鏈接，等正常調(diào)度后可恢復正常抓取
txt文件未發(fā)現(xiàn)有效鏈接可能是您的txt文件鏈接并非按照要求提供html鏈接請您按照我們的規(guī)范格式提交
xml文件數(shù)據(jù)量過大可能是您的xml文件大小超過10M，item數(shù)目超過1W個建議您拆分幾個小的xml文件
Sitemap相關QA
Sitemap文件支持什么格式提交？
目前頭條搜索sitemap支持xml、txt格式提交，不支持單條鏈接提交。
我提交時填寫的周期是什么含義？
ByteSpider會參考設置周期抓取Sitemap文件，因此請根據(jù)Sitemap文件內(nèi)容的更新（比如增加新url）來設置。請注意如果url不變僅是url對應的頁面內(nèi)容更新（比如UGC回答有新內(nèi)容），不在此更新范圍內(nèi)，Sitemap工具不能解決頁面更新問題。
Sitemap提交后，多久能被頭條搜索處理？
Sitemap數(shù)據(jù)提交后，一般在1小時內(nèi)頭條搜索就會開始處理，但抓取時間會以Sitemap文件大小決定，如果遇到狀態(tài)“等待”時間較長，可以觀察一下。
提交的Sitemap都會被頭條搜索抓取并收錄嗎？
頭條搜索對網(wǎng)站提交的數(shù)據(jù)，無法保證一定會抓取且收錄所有網(wǎng)址，數(shù)據(jù)鏈接能否被收錄與頁面質(zhì)量相關，可盡量避免低質(zhì)內(nèi)容提交。
Sitemap的url鏈接可以包含中文嗎？
不要有，“中文”無法解碼。
為什么我提交的sitemap返回異常？
封禁：如果返回狀態(tài)為請求異常，請務必確認是否封禁頭條搜索的出口ip和ua
格式有誤：請確認您的sitemap是否嚴格按照提交幫助中的格式生成，sitemapindex里面包含的xml也應以.xml結尾
解析失?。航馕鍪≈淮嬖谟趚ml格式，如果因為解析失敗返回異常，請檢查您的xml是否符合標準sitemap格式規(guī)范
創(chuàng)建Sitemap時有哪些注意事項
sitemapindex文件大小不得超過5M，sitemap節(jié)點數(shù)量不超過1W個。如果您的Sitemap超過了這些限值，請將其拆分為幾個小的Sitemap。數(shù)據(jù)量限制有助于確保您的網(wǎng)絡服務器不會因提供大文件而超負荷；
站點支持提交的sitemap文件個數(shù)必須少于1w個，多于1w個后會不再處理，并顯示“sitemap文件數(shù)據(jù)量過大”
提示
sitemap數(shù)據(jù)能幫助頭條搜索改進抓取策略，不能承諾收錄，也不能決定收錄量級，不能決定搜索排名。
來源：頭條搜索站長平臺
