Linux 文件行數(shù)統(tǒng)計(jì)

一、行數(shù)統(tǒng)計(jì)方法

準(zhǔn)格爾ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

1、系統(tǒng)命令：wc -l filename

2、grep方法：grep -c "" filename

3、sed方法：sed -n '$=' filename

4、awk方法：awk 'END{print NR}' filename

參考文件

Linux下如何對目錄中的文件進(jìn)行統(tǒng)計(jì)

在本文中，將展示幾種查找 Linux 目錄中的文件數(shù)量的不同方法。

統(tǒng)計(jì)目錄中的文件數(shù)量

統(tǒng)計(jì)目錄中文件的最簡單方法是使用ls每行列出一個(gè)文件，并將輸出通過管道符傳遞給wc計(jì)算數(shù)量：

[root@localhost ~]# ls -1U /etc |wc -l

執(zhí)行上面的 命令 將顯示所有文件的總和，包括目錄和符號鏈接。-1選項(xiàng)表示每行列出一個(gè)文件，-U告訴ls不對輸出進(jìn)行排序，這使 命令 的執(zhí)行速度更快。ls -1U命令不計(jì)算隱藏文件。如果只想計(jì)算文件而不包括目錄，請使用以下命令：

[root@localhost ~]# ls -1Up /etc |grep -v /|wc -l

-p選項(xiàng)強(qiáng)制ls將斜杠（/）指示符附加到目錄。輸出結(jié)果通過管道符傳遞到grep -v命令，排除包含斜杠的行，并計(jì)算數(shù)量。

為了更好地控制列出的文件，使用find命令而不是ls:

[root@localhost ~]# find /etc -maxdepth 1 -type f |wc -l

-type f選項(xiàng)告訴find僅列出文件（包括隱藏文件），-maxdepth 1將搜索限制到第一級目錄。

遞歸統(tǒng)計(jì)目錄中的文件

如果想要統(tǒng)計(jì)目錄中的文件數(shù)量，并包括子目錄中的，可以使用find命令：

[root@localhost ~]# find /etc -type f|wc -l

用來統(tǒng)計(jì)文件的另一個(gè)命令是tree，它以樹狀格式列出目錄的內(nèi)容：

[root@localhost ~]# yum -y install tree

[root@localhost ~]# tree /root

輸出的內(nèi)容底部會(huì)顯示有多少目錄，和多少文件。

總結(jié)

在本文中，將展示幾種查找Linux目錄中的文件數(shù)量的不同方法。

Linux常見日志統(tǒng)計(jì)分析命令

在上文中，我們已經(jīng)詳細(xì)介紹 linux 三劍客的基本使用，接下來我們看看具體在性能測試領(lǐng)域的運(yùn)用，本文主要介紹的是在 Tomcat 和 Nginx access日志的統(tǒng)計(jì)分析。

server.xml 使用配置方式，%D-請求時(shí)間，%F-響應(yīng)時(shí)間

字段說明如下：

日志樣例：

使用默認(rèn) combined 的經(jīng)典格式上擴(kuò)展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段說明如下：

日志示例：

為了能理解 AWK 程序，我們下面概述其基本知識。

模式( pattern ) 用于匹配輸入中的每行文本。對于匹配上的每行文本，awk 都執(zhí)行對應(yīng)的 動(dòng)作( action )。模式和動(dòng)作之間使用花括號隔開。awk 順序掃描每一行文本，并使用 記錄分隔符（一般是換行符）將讀到的每一行作為 記錄，使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個(gè) 域， 每個(gè)域分別可以使用 2, … 表示。1 表示第一個(gè)域，表示第二個(gè)域，n 表示第 n 個(gè)域。 $0 表示整個(gè)記錄。模式或動(dòng)作都可以不指定，缺省模式的情況下，將匹配所有行。缺省動(dòng)作的情況下，將執(zhí)行動(dòng)作 {print}，即打印整個(gè)記錄。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。 使用 awk 分解出Nginx access日志中的信息

以此類推…… 當(dāng)我們使用默認(rèn)的域分割符時(shí)，我們可以從日志中解析出下面不同類型的信息：

我們不難發(fā)現(xiàn)，僅使用默認(rèn)的域分隔符，不方便解析出請求行、引用頁和瀏覽器類型等其他信息，因?yàn)檫@些信息之中包含不確定個(gè)數(shù)的空格。 因此，我們需要把域分隔符修改為 “ ，就能夠輕松讀出這些信息。

注意：這里為了避免 Linux Shell 誤解 “ 為字符串開始，我們使用了反斜杠，轉(zhuǎn)義了 “ 。 現(xiàn)在，我們已經(jīng)掌握了 awk 的基本知識，以及它是怎樣解析日志的。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。

如果我們想知道那些類型的瀏覽器訪問過網(wǎng)站，并按出現(xiàn)的次數(shù)倒序排列，我可以使用下面的命令：

此命令行首先解析出瀏覽器域，然后使用管道將輸出作為第一個(gè) sort 命令的輸入。第一個(gè) sort 命令主要是為了方便 uniq 命令統(tǒng)計(jì)出不同瀏覽器出現(xiàn)的次數(shù)。最后一個(gè) sort 命令將把之前的統(tǒng)計(jì)結(jié)果倒序排列并輸出。

我們可以使用下面的命令行，統(tǒng)計(jì)服務(wù)器返回的狀態(tài)碼，發(fā)現(xiàn)系統(tǒng)可能存在的問題。

正常情況下，狀態(tài)碼 200 或 30x 應(yīng)該是出現(xiàn)次數(shù)最多的。40x 一般表示客戶端訪問問題。50x 一般表示服務(wù)器端問題。 下面是一些常見的狀態(tài)碼：

HTTP 協(xié)議狀態(tài)碼定義可以參閱：

查找并顯示所有狀態(tài)碼為 404 的請求

統(tǒng)計(jì)所有狀態(tài)碼為 404 的請求

現(xiàn)在我們假設(shè)某個(gè)請求 ( 例如 : URI: /path/to/notfound ) 產(chǎn)生了大量的 404 錯(cuò)誤，我們可以通過下面的命令找到這個(gè)請求是來自于哪一個(gè)引用頁，和來自于什么瀏覽器。

有時(shí)候會(huì)發(fā)現(xiàn)其他網(wǎng)站出于某種原因，在他們的網(wǎng)站上使用保存在自己網(wǎng)站上的圖片。如果您想知道究竟是誰未經(jīng)授權(quán)使用自己網(wǎng)站上的圖片，我們可以使用下面的命令：

注意：使用前，將 修改為自己網(wǎng)站的域名。

統(tǒng)計(jì)共有多少個(gè)不同的 IP 訪問：

統(tǒng)計(jì)每一個(gè) IP 訪問了多少個(gè)頁面：

將每個(gè) IP 訪問的頁面數(shù)進(jìn)行從小到大排序：

統(tǒng)計(jì) 2018 年 8 月 31 日 14 時(shí)內(nèi)有多少 IP 訪問 :

統(tǒng)計(jì)訪問最多的前十個(gè) IP 地址

查看某一個(gè) IP訪問了哪些頁面：

統(tǒng)計(jì)某個(gè) IP 的詳細(xì)訪問情況,按訪問頻率排序

列出傳輸大小最大的幾個(gè)文件

列出輸出大于 204800 byte ( 200kb) 的頁面以及對應(yīng)頁面發(fā)生次數(shù)

列出訪問最頻的頁面(TOP100)

列出訪問最頻的頁面([排除php頁面】(TOP100)

列出頁面訪問次數(shù)超過100次的頁面

列出最近1000條記錄，訪問量最高的頁面

統(tǒng)計(jì)每分鐘的請求數(shù),top100的時(shí)間點(diǎn)(精確到分鐘)

統(tǒng)計(jì)每小時(shí)的請求數(shù),top100的時(shí)間點(diǎn)(精確到小時(shí))

統(tǒng)計(jì)每秒的請求數(shù),top100的時(shí)間點(diǎn)(精確到秒)

統(tǒng)計(jì)當(dāng)天的 pv

說明：

可以使用下面的命令統(tǒng)計(jì)出所有響應(yīng)時(shí)間超過 3 秒的日志記錄。

注意：NF 是當(dāng)前記錄中域的個(gè)數(shù)。$NF 即最后一個(gè)域。

列出php頁面請求時(shí)間超過3秒的頁面，并統(tǒng)計(jì)其出現(xiàn)的次數(shù)，顯示前100條

列出相應(yīng)時(shí)間超過 5 秒的請求，顯示前20條

統(tǒng)計(jì)蜘蛛抓取次數(shù)

統(tǒng)計(jì)蜘蛛抓取404的次數(shù)

通過本文的介紹，我相信同學(xué)們一定會(huì)發(fā)現(xiàn) linux三劍客強(qiáng)大之處。在命令行中，它還能夠接受，和執(zhí)行外部的 AWK 程序文件，可以對文本信息進(jìn)行非常復(fù)雜的處理，可以說“只有想不到的，沒有它做不到的”。