Linux中“awk”命令的用法,針對(duì)這個(gè)問題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。
10年積累的成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)經(jīng)驗(yàn),可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你,你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)制作后付款的網(wǎng)站建設(shè)流程,更有兗州免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。awk是一個(gè)強(qiáng)大的文本分析工具,簡(jiǎn)單來說awk就是把文件逐行讀入,(空格,制表符)為默認(rèn)分隔符將每行切片,切開的部分再進(jìn)行各種分析處理。 |
0、基本用法
awk是一個(gè)強(qiáng)大的文本分析工具,簡(jiǎn)單來說awk就是把文件逐行讀入,(空格,制表符)為默認(rèn)分隔符將每行切片,切開的部分再進(jìn)行各種分析處理
awk
命令
格式如下
awk [-F field-separator] 'commands' input-file(s)
[-F 分隔符]是可選的,因?yàn)閍wk使用空格,制表符作為缺省的字段分隔符,因此如果要瀏覽字段間有空格,制表符的文本,不必指定這個(gè)選項(xiàng),但如果要瀏覽諸如/etc/passwd文件,此文件各字段以冒號(hào)作為分隔符,則必須指明-F選項(xiàng)
echo "this is a test" | awk '{ print $0 }' ## 輸出為 this is a test
shell
讀取用戶輸入的字符串發(fā)現(xiàn)|,代表有管道。|左右被理解為簡(jiǎn)單
命令
,即前一個(gè)(左邊)簡(jiǎn)單命令的標(biāo)準(zhǔn)輸出指向后一個(gè)(右邊)標(biāo)準(zhǔn)命令的標(biāo)準(zhǔn)輸入awk
會(huì)根據(jù)分隔符將行分成若干個(gè)字段,$0為整行,$1為第一個(gè)字段,$2 為第2個(gè)地段,依此類推…
為打印一個(gè)字段或所有字段,使用print命令。這是一個(gè)awk
動(dòng)作
echo "this is a test" | awk '{ print $1 }' ## 輸出為 this echo "this is a test" | awk '{ print $1, $2 }' ## 輸出為 this is
/etc/passwd
的文件內(nèi)容如下
root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
舉幾個(gè)簡(jiǎn)單的小需求
1、只顯示/etc/passwd的賬戶
awk -F : '{ print $1 }' /etc/passwd ## 輸出為 root bin daemon adm lp
2、顯示/etc/passwd的第1列和第7列,用逗號(hào)分隔顯示,所有行開始前添加列名start1,start7,最后一行添加,end1,end7
awk -F ':' 'BEGIN {print "start1,start7"} {print $1 "," $7} END {print "end1,end7"}' /etc/passwd ## 輸出為 start1,start7 root,/bin/bash bin,/sbin/nologin daemon,/sbin/nologin adm,/sbin/nologin lp,/sbin/nologin end1,end7
BEGIN語句在所有文本處理動(dòng)作執(zhí)行之前被執(zhí)行,END在所有文本處理動(dòng)作執(zhí)行之后被執(zhí)行
3、統(tǒng)計(jì)/etc/passwd文件中,每行的行號(hào),每行的列數(shù),對(duì)應(yīng)的完整行內(nèi)容
awk -F : '{ print NR " " NF " " $0 }' /etc/passwd ## 輸出為 1 7 root:x:0:0:root:/root:/bin/bash 2 7 bin:x:1:1:bin:/bin:/sbin/nologin 3 7 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 7 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 7 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
1、支持內(nèi)置變量
上面示例中NR
,和NF
其實(shí)就是awk
的內(nèi)置變量,一些內(nèi)置變量如下
變量名 解釋 FILENAMEawk瀏覽的文件名 FS設(shè)置輸入字段分隔符,等價(jià)于命令行-F選項(xiàng) NF 瀏覽記錄的字段個(gè)數(shù) NR 已讀的記錄數(shù)
2、支持函數(shù)
輸出字符串的長(zhǎng)度
awk 'BEGIN { print length("this is a text") }'
## 輸出為
14
將/etc/passwd
的用戶名變成大寫輸出
awk -F ':' '{ print toupper($1) }' /etc/passwd
## 輸出為
ROOT BIN DAEMON ADM LP
常用函數(shù)如下
函數(shù)名 作用 toupper(s)返回s的大寫 tolower(s) 返回s的小寫 length(s) 返回s長(zhǎng)度 substr(s,p) 返回字符串s中從p開始的后綴部分
3、支持條件操作,正則表達(dá)式匹配
顯示/etc/passwd中有daemon的行
awk -F ':' '$0 ~ /daemon/' /etc/passwd
## 輸出為
daemon:x:2:2:daemon:/sbin:/sbin/nologin awk條件操作符 操作符 描述< 小于 < = 小于等于 == 等于 != 不等于 ~ 匹配正則表達(dá)式 !~ 不匹配正則表達(dá)式4、支持流程控制語句,類C語言
if while do/while for break continue
輸出第一個(gè)字段的第一個(gè)字符大于d的行
awk -F ':' '{ if ($1 > "d") { print $1 } else { print "-" } }' /etc/passwd
## 輸出為
root - daemon - lp
可以把流程控制語句放到一個(gè) 腳本 中,然后調(diào)用 腳本 執(zhí)行,如test.sh的內(nèi)容如下
{ if ($1 > "d") { print $1 } else { print "-" } }
用如下方式執(zhí)行,效果一樣
awk -F ':' -f test.sh /etc/passwd
## 輸出為
root - daemon - lp
5、應(yīng)用場(chǎng)景
小編用awk進(jìn)行文本分析比較少,主要用來寫腳本
如一個(gè)weibo-interface-1.0.jar應(yīng)用,啟動(dòng)腳本如下
start.sh nohup java -jar weibo-interface-1.0.jar >out 2>&1 &
關(guān)閉腳本如下,kill.sh
kill -9 `jps -l | grep 'weibo-interface-1.0.jar' | awk '{print $1}'`
jps -l的輸出如下
70208 com.st.kmp.main.KmpService 31036 com.st.cis.main.BaiduAnalysisService 66813 weibo-interface-1.0.jar
還有就是關(guān)閉hadoop集群的所有DataNode節(jié)點(diǎn)(不知道hadoop的可以認(rèn)為DataNode是一個(gè)集群應(yīng)用),假如一個(gè)個(gè)機(jī)器jps,查看pid,kill。很麻煩,直接寫了一個(gè)腳本,依次ssh到各個(gè)節(jié)點(diǎn),然后執(zhí)行如下命令即可
kill `jps | grep 'DataNode' | awk '{print $1}'`
jps的輸出為
508 DataNode 31481 JournalNode 31973 NodeManager
關(guān)于Linux中“awk”命令的用法問題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道了解更多相關(guān)知識(shí)。