網(wǎng)站流量超標(biāo)排查
網(wǎng)站出現(xiàn)流量超標(biāo)時(shí)分析及解決思路為:
查看網(wǎng)站訪問(wèn)統(tǒng)計(jì)---->結(jié)合訪問(wèn)統(tǒng)計(jì)分析網(wǎng)站訪問(wèn)日志---->確定原因采取相應(yīng)措施。
一.查看網(wǎng)站訪問(wèn)統(tǒng)計(jì)
1. 登錄到虛擬主機(jī)管理面板,點(diǎn)擊“訪問(wèn)統(tǒng)計(jì)”
圖片.png
2.首先查看訪問(wèn)統(tǒng)計(jì)中瀏覽器與非瀏覽器流量確定流量類(lèi)型。
圖片.png
3.根據(jù)流量類(lèi)型詳細(xì)查看訪問(wèn)統(tǒng)計(jì)數(shù)據(jù):
3.1如是瀏覽器流量占用高,可查看
圖片.png
圖片.png
圖片.png
圖片.png
等統(tǒng)計(jì)數(shù)據(jù),以確定網(wǎng)站中是哪類(lèi)文件,哪些url地址被大量訪問(wèn),以及是哪些IP,哪些蜘蛛等訪問(wèn)量大。
3.2如是非瀏覽器流量占用高,可查看
圖片.png
確定是什么狀態(tài)情況下產(chǎn)生的非瀏覽器流量。
二.分析網(wǎng)站訪問(wèn)日志
根據(jù)網(wǎng)站訪問(wèn)統(tǒng)計(jì)中按“按日期統(tǒng)計(jì)”數(shù)據(jù)找一天流量較大的日志下載至本地使用記事本編輯器打開(kāi)對(duì)日志具體分析核實(shí)。
圖片.png
通常只需找最近三天左右的日志即可,
windows主機(jī)可以點(diǎn)擊“www日志”下載訪問(wèn)日志到wwwroot目錄下,再通過(guò)ftp方式連接下載 至本地使用編輯器打開(kāi)查看。
Linux主機(jī)通過(guò)ftp連接主機(jī)打開(kāi)logs目錄下即可下載最近的日志。
如要下載歷史日志,可以點(diǎn)擊 “www日志”--“獲取歷史日志”。
三.處理措施
3.1 正常訪問(wèn)情況主機(jī)流量配置低導(dǎo)致超標(biāo)。如占用流量的文件類(lèi)別、url網(wǎng)址、搜索蜘蛛、訪問(wèn)IP等數(shù)據(jù)都較均衡,無(wú)明顯差異等。請(qǐng)升級(jí)主機(jī)至流量配額更大的型號(hào)。
3.2 網(wǎng)站頁(yè)面數(shù)據(jù)過(guò)大導(dǎo)致流量超標(biāo)。如首頁(yè)中加載的圖片過(guò)大,同時(shí)圖片設(shè)計(jì)過(guò)大等,可聯(lián)系網(wǎng)站程序方人員減少頁(yè)面的圖片數(shù),減小圖片大小等方式處理或者升級(jí)主機(jī)至流量更大的型號(hào)。
3.3 某類(lèi)文件被大量請(qǐng)求下載等導(dǎo)致超標(biāo)。如網(wǎng)站的mp4文件被外部盜鏈/下載等,可考慮將文件存放至其他第三方網(wǎng)站進(jìn)行引用,或升級(jí)主機(jī)至不限流量的云服務(wù)器。
3.4 其他某搜索引擎蜘蛛、IP、useragent等導(dǎo)致流量超標(biāo)異常的??赏ㄟ^(guò)web.config或.htaccess進(jìn)行攔截屏蔽。
屏蔽攔截搜索引擎蜘蛛、useragent的訪問(wèn)抓取等:http://faq.myhostadmin.net/faq/list.asp?unid=662
屏蔽限制ip訪問(wèn):http://faq.myhostadmin.net/faq/list.asp?unid=681
四.相關(guān)案例
4.1 正常訪問(wèn)情況主機(jī)流量配置低
圖片.png
圖片.png
圖片.png
從訪問(wèn)統(tǒng)計(jì)可見(jiàn)占用流量的文件類(lèi)別主要為php、js、png、css。訪問(wèn)最多的網(wǎng)址為首頁(yè)。而訪問(wèn)IP,搜索蜘蛛等占量無(wú)異常。
通過(guò)下載網(wǎng)站日志核實(shí),日志中也均正常的訪問(wèn)記錄無(wú)明顯異常請(qǐng)求。
此情況則為正常訪問(wèn)而主機(jī)流量不足導(dǎo)致超標(biāo),應(yīng)升級(jí)主機(jī)。
4.2 網(wǎng)站頁(yè)面數(shù)據(jù)過(guò)大
圖片.png
圖片.png
圖片.png
圖片.png
從統(tǒng)計(jì)可見(jiàn)占用流量最多的是圖片類(lèi)文件,訪問(wèn)網(wǎng)址最多的是首頁(yè)。
從訪問(wèn)日志中可見(jiàn),請(qǐng)求的圖片量較大,通過(guò)瀏覽器可見(jiàn)圖片也相對(duì)偏大。
此情況可考慮優(yōu)化減小圖片大?。ㄍǔD片大小不應(yīng)超過(guò)300KB),或升級(jí)主機(jī)。
4.3 非瀏覽器流量大某文件被下載
圖片.png
圖片.png
圖片.png
從訪問(wèn)統(tǒng)計(jì)可見(jiàn)非瀏覽器206狀態(tài)占用大量流量,文件類(lèi)別為mp4且文件較大。 206是斷點(diǎn)續(xù)傳下載,由此可判斷mp4文件被下載導(dǎo)致。
此情況可考慮將文件存放至其他第三方網(wǎng)站進(jìn)行引用,或升級(jí)主機(jī)至不限流量的云服務(wù)器。
4.3 搜索引擎蜘蛛/機(jī)器人等占用流量
圖片.png
圖片.png
從訪問(wèn)統(tǒng)計(jì)可見(jiàn)Googlebot(google蜘蛛)占用大量流量。
從訪問(wèn)日志可見(jiàn)Googlebot對(duì)網(wǎng)站某個(gè)地址進(jìn)行大量的訪問(wèn)抓取,通過(guò)反查IP是真實(shí)的google蜘蛛。
此情況如不考慮seo優(yōu)化影響情況下,可以通過(guò)規(guī)則對(duì)googlebot進(jìn)行屏蔽。 類(lèi)似情況還可能有Baiduspider(百度蜘蛛)對(duì)網(wǎng)站的大量訪問(wèn)抓取??赏ㄟ^(guò)來(lái)源IP核查是否為真實(shí)的百度蜘蛛等。屏蔽蜘蛛的抓取會(huì)對(duì)網(wǎng)站的seo優(yōu)化產(chǎn)生影響,所以并不推薦將google,baidu的蜘蛛進(jìn)行屏蔽。建議用戶(hù)可考慮升級(jí)主機(jī)解決。
五.驗(yàn)證屏蔽規(guī)則是否生效
5.1 屏蔽IP驗(yàn)證:
5.1.1訪問(wèn)http://ip.tool.chinaz.com/獲取到本地公網(wǎng)IP。
5.1.2將.htaccess(linux主機(jī))或web.cofnig (windows主機(jī)) 中規(guī)則攔截IP換成本地公網(wǎng)IP:
圖片.png
5.1.3再次訪問(wèn)網(wǎng)站,如提示Forbidden訪問(wèn)受限則規(guī)則正確生效,然后將IP對(duì)應(yīng)更換為需要屏蔽的IP即可。
5.2 屏蔽蜘蛛或useragent驗(yàn)證(以百度蜘蛛為例):
5.2.1 訪問(wèn)http://faq.myhostadmin.net/faq/listagent.asp?Unid=2289 安裝瀏覽器插件。
5.2.1 將.htaccess(linux主機(jī))或web.cofnig (windows主機(jī)) 中規(guī)則中增加對(duì)Baiduspider的攔截
圖片.png
圖片.png
5.2.3再次訪問(wèn)網(wǎng)站,如提示Forbidden訪問(wèn)受限則規(guī)則正確生效,然后在規(guī)則文件中取消對(duì)Baiduspider的屏蔽,改為其他蜘蛛或useragent即可。
來(lái)源:西部數(shù)碼