這篇文章主要講解了“Nginx日志及性能排查舉例分析”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Nginx日志及性能排查舉例分析”吧！
正安ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來市場(chǎng)廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！| 導(dǎo)讀 | 最近一直在做性能排查，思路就是根據(jù)分析nginx日志，得到響應(yīng)耗時(shí)的url、以及請(qǐng)求時(shí)間，再得到這段時(shí)間的請(qǐng)求量，并發(fā)量，分析是并發(fā)的原因，還是本身就比較慢，如果是應(yīng)用本身的原因，只需要找到對(duì)應(yīng)的代碼，然后進(jìn)行優(yōu)化就好了 |
我找到的幾個(gè)原因，基本就是后端sql運(yùn)行的比較多，單次訪問看不出來，但是人比較多的時(shí)候就比較慢了，人少的時(shí)候20-200毫秒，人多的時(shí)候，200-6000毫秒，優(yōu)化之后基本保持在幾十毫秒，優(yōu)化策略就是減少不必要的sql，加上緩存，基本解決了卡頓的問題，順便把這次用的一系列 命令記錄下來，當(dāng)個(gè)總結(jié)吧
如果需要得到請(qǐng)求處理的時(shí)間，需要在nginx log 里面加上$request_time，下面是我的log_format
nginx.conf
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent $request_body "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';
修改之后重啟nginx，查看nginx log的時(shí)候，就能看到nginx處理請(qǐng)求所花的時(shí)間了，這個(gè)時(shí)間基本就是后端所花的時(shí)間，所以可以根據(jù)這個(gè)字段來得到響應(yīng)慢的請(qǐng)求
以下是就是我用到的一些 命令了
獲取pv數(shù)
<1code class="hljs shell">$ cat /usr/local/nginx/logs/access.log | wc -l
獲取ip數(shù)
重慶分公司
重慶分公司
$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l獲取最耗時(shí)的請(qǐng)求時(shí)間、url、耗時(shí)，前10名, 可以修改后面的數(shù)字獲取更多，不加則獲取全部
$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10獲取某一時(shí)刻的請(qǐng)求數(shù)量，可以把秒去掉得到分鐘的數(shù)據(jù)，把分鐘去掉得到小時(shí)的數(shù)據(jù)，以此類推
$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l
獲取每分鐘的請(qǐng)求數(shù)量，輸出成csv文件，然后用excel打開，可以生成柱狀圖
$ cat /usr/local/class/logs/access.log | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv
上面的圖是用excel生成的，也可以用命令行工具gnuplot生成png，我也試了一下，沒什么問題，直接以編程的形式得到報(bào)表，去掉人工操作部分，很方便，但是有一點(diǎn)就是x軸數(shù)據(jù)比較多的時(shí)候，不能像excel一樣自動(dòng)稀釋數(shù)據(jù)，所以我還是喜歡用excel來生成
其實(shí)用來用去也就是那么幾個(gè)命令:
cat：輸入文件內(nèi)容
grep：過濾文本
'sort'：排序
'uniq'：去重
'awk'：文本處理
命令組合使用，單個(gè)命令可以使用多次，來達(dá)到多重過濾的效果，前面一個(gè)命令的輸出就是后一個(gè)命令的輸入，流式處理，只要學(xué)會(huì)這個(gè)命令，有多看似復(fù)雜的東西，都變得異常簡(jiǎn)單。
上面介紹的都是命令，下面再介紹一個(gè)直接輸出html的。
利用go-access來分析nginx日志
cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess --time-format='%H:%M:%S' --date-format='%d/%b/%Y' --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html
go-access是以docker容器的形式運(yùn)行的，只要你安裝了docker，就能直接運(yùn)行，免安裝很方便
以上 腳本，配合日志每天的日志分割，然后在crontab里面配置一下自動(dòng)運(yùn)行 腳本，可生成每一天的nginx報(bào)表，網(wǎng)站情況一幕了然，當(dāng)然這里也有缺點(diǎn)，因?yàn)椴粚?shí)時(shí)
想要統(tǒng)計(jì)實(shí)時(shí)數(shù)據(jù)，可以使用ngxtop 來查看，安裝起來也很簡(jiǎn)單
$ pip install ngxtop
運(yùn)行的話，先進(jìn)到nginx目錄，然后再運(yùn)行，-c 指定配置文件，-t 刷新頻率，單位為秒
$ cd /usr/local/nginx$ ngxtop -c conf/nginx.conf -t 1
但是這種實(shí)時(shí)的方式，還需要ssh遠(yuǎn)程登錄，不太方便，還可以使用lua來進(jìn)行實(shí)時(shí)統(tǒng)計(jì)，然后寫一個(gè)界面把數(shù)據(jù)展示出來，通過 lua-nginx-module，nginx/tengine 都可以用，如果直接安裝openresty的話，就方便了，內(nèi)嵌了lua，不需要重新編譯nginx了。
感謝各位的閱讀，以上就是“Nginx日志及性能排查舉例分析”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Nginx日志及性能排查舉例分析這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
