在上文中，我們已經(jīng)詳細(xì)介紹 linux 三劍客的基本使用，接下來(lái)我們看看具體在性能測(cè)試領(lǐng)域的運(yùn)用，本文主要介紹的是在 Tomcat 和 Nginx access日志的統(tǒng)計(jì)分析。
通化縣網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)于2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
server.xml 使用配置方式，%D-請(qǐng)求時(shí)間，%F-響應(yīng)時(shí)間
字段說(shuō)明如下：
日志樣例：
使用默認(rèn) combined 的經(jīng)典格式上擴(kuò)展 response_timeupstream_response_time
nginx.conf 使用配置方式：
字段說(shuō)明如下：
日志示例：
為了能理解 AWK 程序，我們下面概述其基本知識(shí)。
模式( pattern ) 用于匹配輸入中的每行文本。對(duì)于匹配上的每行文本，awk 都執(zhí)行對(duì)應(yīng)的 動(dòng)作( action )。模式和動(dòng)作之間使用花括號(hào)隔開(kāi)。awk 順序掃描每一行文本，并使用 記錄分隔符（一般是換行符）將讀到的每一行作為 記錄，使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個(gè) 域， 每個(gè)域分別可以使用 2, … 表示。1 表示第一個(gè)域，表示第二個(gè)域，n 表示第 n 個(gè)域。 $0 表示整個(gè)記錄。模式或動(dòng)作都可以不指定，缺省模式的情況下，將匹配所有行。缺省動(dòng)作的情況下，將執(zhí)行動(dòng)作 {print}，即打印整個(gè)記錄。
此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。 使用 awk 分解出Nginx access日志中的信息
以此類推…… 當(dāng)我們使用默認(rèn)的域分割符時(shí)，我們可以從日志中解析出下面不同類型的信息：
我們不難發(fā)現(xiàn)，僅使用默認(rèn)的域分隔符，不方便解析出請(qǐng)求行、引用頁(yè)和瀏覽器類型等其他信息，因?yàn)檫@些信息之中包含不確定個(gè)數(shù)的空格。 因此，我們需要把域分隔符修改為 “ ，就能夠輕松讀出這些信息。
注意：這里為了避免 Linux Shell 誤解 “ 為字符串開(kāi)始，我們使用了反斜杠，轉(zhuǎn)義了 “ 。 現(xiàn)在，我們已經(jīng)掌握了 awk 的基本知識(shí)，以及它是怎樣解析日志的。
此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。
如果我們想知道那些類型的瀏覽器訪問(wèn)過(guò)網(wǎng)站，并按出現(xiàn)的次數(shù)倒序排列，我可以使用下面的命令：
此命令行首先解析出瀏覽器域，然后使用管道將輸出作為第一個(gè) sort 命令的輸入。第一個(gè) sort 命令主要是為了方便 uniq 命令統(tǒng)計(jì)出不同瀏覽器出現(xiàn)的次數(shù)。最后一個(gè) sort 命令將把之前的統(tǒng)計(jì)結(jié)果倒序排列并輸出。
我們可以使用下面的命令行，統(tǒng)計(jì)服務(wù)器返回的狀態(tài)碼，發(fā)現(xiàn)系統(tǒng)可能存在的問(wèn)題。
正常情況下，狀態(tài)碼 200 或 30x 應(yīng)該是出現(xiàn)次數(shù)最多的。40x 一般表示客戶端訪問(wèn)問(wèn)題。50x 一般表示服務(wù)器端問(wèn)題。 下面是一些常見(jiàn)的狀態(tài)碼：
HTTP 協(xié)議狀態(tài)碼定義可以參閱：
查找并顯示所有狀態(tài)碼為 404 的請(qǐng)求
統(tǒng)計(jì)所有狀態(tài)碼為 404 的請(qǐng)求
現(xiàn)在我們假設(shè)某個(gè)請(qǐng)求 ( 例如 : URI: /path/to/notfound ) 產(chǎn)生了大量的 404 錯(cuò)誤，我們可以通過(guò)下面的命令找到這個(gè)請(qǐng)求是來(lái)自于哪一個(gè)引用頁(yè)，和來(lái)自于什么瀏覽器。
有時(shí)候會(huì)發(fā)現(xiàn)其他網(wǎng)站出于某種原因，在他們的網(wǎng)站上使用保存在自己網(wǎng)站上的圖片。如果您想知道究竟是誰(shuí)未經(jīng)授權(quán)使用自己網(wǎng)站上的圖片，我們可以使用下面的命令：
注意：使用前，將 修改為自己網(wǎng)站的域名。
統(tǒng)計(jì)共有多少個(gè)不同的 IP 訪問(wèn)：
統(tǒng)計(jì)每一個(gè) IP 訪問(wèn)了多少個(gè)頁(yè)面：
將每個(gè) IP 訪問(wèn)的頁(yè)面數(shù)進(jìn)行從小到大排序：
統(tǒng)計(jì) 2018 年 8 月 31 日 14 時(shí)內(nèi)有多少 IP 訪問(wèn) :
統(tǒng)計(jì)訪問(wèn)最多的前十個(gè) IP 地址
查看某一個(gè) IP訪問(wèn)了哪些頁(yè)面：
統(tǒng)計(jì)某個(gè) IP 的詳細(xì)訪問(wèn)情況,按訪問(wèn)頻率排序
列出傳輸大小最大的幾個(gè)文件
列出輸出大于 204800 byte ( 200kb) 的頁(yè)面以及對(duì)應(yīng)頁(yè)面發(fā)生次數(shù)
列出訪問(wèn)最頻的頁(yè)面(TOP100)
列出訪問(wèn)最頻的頁(yè)面([排除php頁(yè)面】(TOP100)
列出頁(yè)面訪問(wèn)次數(shù)超過(guò)100次的頁(yè)面
列出最近1000條記錄，訪問(wèn)量最高的頁(yè)面
統(tǒng)計(jì)每分鐘的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到分鐘)
統(tǒng)計(jì)每小時(shí)的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到小時(shí))
統(tǒng)計(jì)每秒的請(qǐng)求數(shù),top100的時(shí)間點(diǎn)(精確到秒)
統(tǒng)計(jì)當(dāng)天的 pv
說(shuō)明：
可以使用下面的命令統(tǒng)計(jì)出所有響應(yīng)時(shí)間超過(guò) 3 秒的日志記錄。
注意：NF 是當(dāng)前記錄中域的個(gè)數(shù)。$NF 即最后一個(gè)域。
列出php頁(yè)面請(qǐng)求時(shí)間超過(guò)3秒的頁(yè)面，并統(tǒng)計(jì)其出現(xiàn)的次數(shù)，顯示前100條
列出相應(yīng)時(shí)間超過(guò) 5 秒的請(qǐng)求，顯示前20條
統(tǒng)計(jì)蜘蛛抓取次數(shù)
統(tǒng)計(jì)蜘蛛抓取404的次數(shù)
通過(guò)本文的介紹，我相信同學(xué)們一定會(huì)發(fā)現(xiàn) linux三劍客強(qiáng)大之處。在命令行中，它還能夠接受，和執(zhí)行外部的 AWK 程序文件，可以對(duì)文本信息進(jìn)行非常復(fù)雜的處理，可以說(shuō)“只有想不到的，沒(méi)有它做不到的”。
1.全局變量解釋：
optarg: 如果選項(xiàng)帶參數(shù)，參數(shù)保存在optarg中。如果選項(xiàng)帶可選參數(shù)，而實(shí)際無(wú)參數(shù)時(shí)，optarg為NULL。
optind:argv數(shù)組中下一次需要處理的元素的下標(biāo)，系統(tǒng)默認(rèn)初始化此值為1. 0是沒(méi)有意義的，argv[0]為程序名，在解析命令行參數(shù)中是沒(méi)有意義的。getopt正常解析完畢后，optind設(shè)置為argv數(shù)組中第一個(gè)不是選項(xiàng)的元素的下標(biāo)（一般為0）。
opterr:存儲(chǔ)錯(cuò)誤選項(xiàng)字符.
2. GNU/Linux的命令行選項(xiàng)有兩種類型： 短選項(xiàng)和長(zhǎng)選項(xiàng) ，前者以 '-' 作為前導(dǎo)符，后者以 '--' 作為前導(dǎo)符。 -n 表示是一個(gè)不帶參數(shù)的短選項(xiàng)。 --n 表示是一個(gè)不帶參數(shù)的長(zhǎng)選項(xiàng)。現(xiàn)在有一個(gè)帶有參數(shù)的短選項(xiàng)比如說(shuō) -w foo ,那么它和長(zhǎng)選項(xiàng) --foo 是等價(jià)的。
函數(shù)聲明：
函數(shù)參數(shù)：
1.argc:主函數(shù)傳遞過(guò)來(lái)的實(shí)參
2.argv:主函數(shù)傳遞過(guò)來(lái)的實(shí)參
3.optstring:一個(gè)包含選項(xiàng)字符的字符串。 一組短選項(xiàng)組成的字符串
函數(shù)調(diào)用結(jié)果
1.該函數(shù)每解析完一個(gè)選項(xiàng)，就返回該選項(xiàng)字符。選項(xiàng)字符解析完畢后，調(diào)用getopt函數(shù)將會(huì)返回-1，然后optind設(shè)置為argv數(shù)組中第一個(gè)不是選項(xiàng)的元素的下標(biāo)。
2. 當(dāng)調(diào)用getopt函數(shù)檢測(cè)到錯(cuò)誤時(shí)(比如說(shuō)檢測(cè)到的選項(xiàng)字符不在optstring實(shí)參中)，默認(rèn)情況下函數(shù)返回'?'。 為什么說(shuō)是默認(rèn)呢？因?yàn)槿绻ㄟ^(guò)optstring實(shí)參指明選項(xiàng)帶參數(shù)，而實(shí)際命令行沒(méi)有參數(shù)時(shí)，getopt返回 ':' 而不是 '?'
關(guān)于optstring，還有幾點(diǎn)說(shuō)明：
1.如果選項(xiàng)帶參數(shù)，該選項(xiàng)后接冒號(hào)，比如optstring這個(gè)實(shí)參值為"a:b"，指示a帶參數(shù)，b沒(méi)有參數(shù)；
2.如果選項(xiàng)帶可選參數(shù)，該選項(xiàng)后接兩個(gè)冒號(hào)，比如"a::b"，表明a可能有參數(shù)，也可能沒(méi)有；
3.如果optstring的開(kāi)頭字符為':'，表明如果指明選項(xiàng)帶參數(shù)，而實(shí)際命令行沒(méi)有參數(shù)時(shí)，getopt返回':'而不是'?'(默認(rèn)情況下返回 '?' ，和無(wú)法識(shí)別的參數(shù)返回一樣)；
4.如果optstring的開(kāi)頭字符為'+'，表明一但遇到一個(gè)非選項(xiàng)參數(shù)，馬上停止掃描，隨后的部分當(dāng)作參數(shù)來(lái)解釋；
5.如果optstring的開(kāi)頭字符為'-'，表明如果遇到無(wú)選項(xiàng)參數(shù)，則把它當(dāng)作選項(xiàng)1（不是字符'1'）的參數(shù)
示例：(來(lái)源于man文檔)
運(yùn)行示例：
函數(shù)聲明：
函數(shù)參數(shù)：
longops:指向一個(gè)option結(jié)構(gòu)體數(shù)組的第一個(gè)元素。
longindex:getopt_long的最后一個(gè)參數(shù)longindex在函數(shù)返回時(shí)指向被搜索到的選項(xiàng)在longopts數(shù)組中的下標(biāo)。
關(guān)于option struct如下：
注意在初始化option struct時(shí)： The last element of the array has to be filled with zeros.
函數(shù)返回值：
1.如果flag這個(gè)實(shí)參為null,那么這個(gè)函數(shù)返回val的值。 這樣短選項(xiàng)字符解析和長(zhǎng)選項(xiàng)解析搭建了橋梁。
2.如果flag這個(gè)實(shí)參不為null,那么這個(gè)函數(shù)返回0
3.選項(xiàng)字符解析完畢后，調(diào)用getopt_long函數(shù)將會(huì)返回-1
4.當(dāng)調(diào)用getopt_long函數(shù)檢測(cè)到錯(cuò)誤時(shí)(比如說(shuō)檢測(cè)到的選項(xiàng)字符不在longops實(shí)參中)，默認(rèn)情況下函數(shù)返回'?'
示例：(來(lái)源于man 文檔)
運(yùn)行示例如下：
getopt_long_only類似于getopt_long，但是它把 '-' 開(kāi)頭的選項(xiàng)當(dāng)作長(zhǎng)選項(xiàng)來(lái)處理。如果該選項(xiàng)與長(zhǎng)選項(xiàng)不匹配，而與短選項(xiàng)匹配，則可以作為短選項(xiàng)解析。
【語(yǔ)法格式】
man 參數(shù)選擇 命令/文件
【命令操作】
【語(yǔ)法格式】
命令 --help
【命令操作】
如果想顯示中文的幫助解釋，需要調(diào)整中文字符集的結(jié)果，其實(shí)就是調(diào)整系統(tǒng)字符集為“zh_CN.UTF-8”(不建議使用中文)
在Linux系統(tǒng)里有一些特殊的命令，它們就是bash程序的內(nèi)置命令，例如cd、history、read等，這些命令在系統(tǒng)目錄里不存在真實(shí)的程序文件（存在于bash程序里），對(duì)于這部分命令，查看幫助的方法就是使用help命令。
【命令操作】
Linux系統(tǒng)中的info命令是一個(gè)查看程序?qū)?yīng)文檔信息的命令，可以作為man及help命令的幫助補(bǔ)充
【命令操作】
搜索引擎使用順序google - bing - baidu（不要問(wèn)為什么?。?/p>
像火柴盒、utools等工具也有各類系統(tǒng)的命令幫助插件
重慶分公司
重慶分公司
