awk 其實是一門編程語言,它,支持條件判斷、數(shù)組、循環(huán)等功能,我們可以把它理解成一個腳本語言解釋器
它與grep、sed被linux稱為"三劍客"
每個都有它的特長
grep 更適合單純的去查找或者匹配文本
sed 更適合編輯匹配到的文本
awk 更適合格式化文本,對文本進行較復(fù)雜格式處理
成都創(chuàng)新互聯(lián)是網(wǎng)站建設(shè)專家,致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營銷,專業(yè)領(lǐng)域包括網(wǎng)站制作、網(wǎng)站設(shè)計、電商網(wǎng)站制作開發(fā)、微信小程序開發(fā)、微信營銷、系統(tǒng)平臺開發(fā),與其他網(wǎng)站設(shè)計及系統(tǒng)開發(fā)公司不同,我們的整合解決方案結(jié)合了恒基網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗和互聯(lián)網(wǎng)整合營銷的理念,并將策略和執(zhí)行緊密結(jié)合,且不斷評估并優(yōu)化我們的方案,為客戶提供全方位的互聯(lián)網(wǎng)品牌整合方案!
一、AWK基礎(chǔ)
awk的基本用法
格式
awk 動作 文件名/文件名/awk/動作
如果不指定任何參數(shù)直接使用awk
格式是這樣的
awk '{print}' 文件
直接回輸出整個文件,相當(dāng)于shell中的cat命令
示例
[root@zhaocheng ~]# awk '{print}' echo.sh
#!/bin/bash
echo "shucai"\b"niunai"
取free -m文件的第3列,這樣取的話,我們可以直接去使用free -m 先讓它輸出,然后通過管道再去取它的第三列,像取第三列的話,其實中間還是有分隔符的,也就是空格,不指定分隔符,默認(rèn)將空格作為分隔符了
[root@zhaocheng ~]# free -m |awk '{print $3}'
free
115
0
也可以去取多個列,以,分開,比如還是取free -m,取它的第2,3,4列
[root@zhaocheng ~]# free -m |awk '{print $2,$3,$4}'
used free shared
1838 116 339
0 0 0
另外awk還支持對文本的處理,添加字符串,像這個/etc/passwd文件中就是看起來是有列的,但是awk默認(rèn)不加-F是先按空格去提取的,而這個沒有所以添加了一個":"當(dāng)作文本的分隔符
格式
'{print $1,"hello"}'
'{print $1,$2,"hello"}'
'{print $1,"net",$2,"hello"}'
[root@zhaocheng ~]# awk -F ":" '{print $1,$2,"hello"}' test
root x hello
bin x hello
daemon x hello
adm x hello
lp x hello
sync x hello
shutdown x hello
halt x hello
[root@zhaocheng ~]# awk -F ":" '{print $1,"net",$2,"hello"}' test
root net x hello
bin net x hello
daemon net x hello
adm net x hello
lp net x hello
sync net x hello
shutdown net x hello
halt net x hello
而它的格式也是'{print $1}'中間不能加引號,不然會當(dāng)成普通字符給輸出
[root@zhaocheng ~]# awk -F ":" '{print "$1"}' test
$1
$1
$1
$1
$1
$1
$1
$1
[root@zhaocheng ~]# awk -F ":" '{print '$1'}' test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
比如打印文件,也就是相當(dāng)于cat命令一樣去用了,這里awk給出兩個用法,第一個就是可以使用awk '{print $0}'或者可以使用awk '{print}',這兩種都可以打印出來
[root@zhaocheng ~]# echo "Learn awk to improve your Linux skills" |awk '{print}'
Learn awk to improve your Linux skills
[root@zhaocheng ~]# echo "Learn awk to improve your Linux skills" |awk '{print $0}'
Learn awk to improve your Linux skills
而$0表示顯示整行,$NF表示當(dāng)前行分隔后的最后一列($0和$NF均為內(nèi)置變量)
每行的倒數(shù)第二列都可以寫成$(NF-1)
[root@zhaocheng ~]# awk -F: '{print $(NF-1)}' test
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin
/sbin
/sbin
[root@zhaocheng ~]# awk -F: '{print $NF}' test
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
awk包含了兩種特殊的模式:BEGIN和END
BEGIN模式是指定了處理文本之前需要執(zhí)行的操作
END模式指定了處理完所有行之后所需要執(zhí)行的操作
這個BEGIN可以看到,即使我們后面指定了輸出源,但是它還是只打印了前面的字符,這也就是BEGIN的模式
[root@zhaocheng ~]# awk 'BEGIN{print "one","two"}'
one
[root@zhaocheng ~]# cat filetest
root:$1$dDTFylQ3$.vTZKpm7mrra9WMsxvBfW.:18241:0:99999:7
bin:*:17834:0:99999:7:dad
lp:*:17834:0:99999:7ada
sync:*:17834:0:99999:7:::gg
shutdown:*:17834:0:99999:7::da
halt:*:17834:0:99999:7::fsda
nginx:!!:18289::::::daaf
rabbitmq:!!:18297:::::dada
二、AWK的分隔符
awk的分隔符的使用,這里可以使用多種方法
-F 以什么為分隔符,來取第二列和第三列,-F:,-F"",-F''三種辦法都可以使用去取這個值
[root@zhaocheng ~]# awk -F: '{print $2,$3}' test
x 0
x 1
x 2
x 3
x 4
x 5
x 6
x 7
[root@zhaocheng ~]# awk -F ":" '{print $2,$3}' test
x 0
x 1
x 2
x 3
x 4
x 5
x 6
x 7
[root@zhaocheng ~]# awk -F ':' '{print $2,$3}' test
x 0
x 1
x 2
x 3
x 4
x 5
x 6
x 7
除了-F選項,還能通過設(shè)置內(nèi)部變量的方式,指定awk的輸入分隔符,awk內(nèi)置變量FS可以用于指定輸入分隔符,但在使用變量時,需要使用-v選項,這里使用"",''都可以
[root@zhaocheng ~]# awk -v FS=':' '{print $2,$3}' test
x 0
x 1
x 2
x 3
x 4
x 5
x 6
x 7
[root@zhaocheng ~]# awk -v FS=":" '{print $2,$3}' test
x 0
x 1
x 2
x 3
x 4
x 5
x 6
x 7
awk的語法如下
**awk [選項] '模式{動作}' file
而-F 就是選項的一種,一般用于指定分隔符 -v也是選項的一種,用于設(shè)置變量的值
而AWK的分隔符又分為輸入分隔符和輸出分隔符
輸入分隔符:也就是在輸入命令的時候以:,#為分隔符的時候這就是我們輸入的分隔符
輸出分隔符:也就是當(dāng)我們以#為分隔符的時候,輸出的結(jié)果會有空格隔開,這就是我們的輸出分隔符,實際上沒有輸出出來
當(dāng)然我們也可以將我們的輸出分隔符以awk的內(nèi)置變量OFS進行輸出出來顯示,使用變量的時候需要加-v選項,OFS相當(dāng)于以空格為分隔符了**
[root@zhaocheng ~]# cat test1
aaa bbb ooo
cccc dddd eeee
fffff ggggg hhhhh
kkkkk pppppp ssssss
[root@zhaocheng ~]# awk -v OFS="********" '{print $2,$3}' test1
bbb********ooo
dddd********eeee
ggggg********hhhhh
pppppp********ssssss
如果想以中間的符號為分隔符可以以FS=":"當(dāng)分隔符來,同時指定輸入分隔符和輸出分隔符
[root@zhaocheng ~]# cat test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
[root@zhaocheng ~]# awk -v FS=":" -v OFS="********" '{print $2,$3}' test
x********0
x********1
x********2
x********3
x********4
x********5
x********6
x********7
剛才使用的是輸出分隔符想讓中間的空格用指定輸出隔開,如果不使用中間的符號進行隔開,直接進行合并的話,只需要將$1 $2分開,不加,號,一個是連接一起顯示,一個是以分隔符進行顯示
[root@zhaocheng ~]# awk '{print $1 $2}' test1
aaabbb
ccccdddd
fffffggggg
kkkkkpppppp
[root@zhaocheng ~]# awk '{print $1,$2}' test1
aaa bbb
cccc dddd
fffff ggggg
kkkkk pppppp
三、AWK的變量
對于awk來說“變量”又分為‘內(nèi)置變量和’自定義變量“ ,”輸入分隔符FS,和輸出分隔符“OFS都屬于內(nèi)置變量
awk的常用內(nèi)置變量以及作用
FS:輸入字段分隔符,默認(rèn)為空白字符
OFS:輸出字段分隔符,默認(rèn)為空白字符
RS:輸入記錄分隔(輸入換行符)指定輸入時的換行符
ORS:輸入記錄分隔符(輸出換行符),輸出時用指定符號代替換行符
NF:當(dāng)前行的字段的個數(shù)(即當(dāng)前行被分隔成了幾列),字段數(shù)量
NR:行號,當(dāng)前處理的文本行的行號
FNR:各文件分別計數(shù)的行號
FILENAME:當(dāng)前文件名
ARGC:命令行的參數(shù)的個數(shù)
ARGV: 數(shù)組,保存的是命令行所給定的各參數(shù)
剛才的FS和OFS都用過了,F(xiàn)S是輸入分隔符,OFS是輸出分隔符,默認(rèn)都是空白字符,比如FS以什么為分隔符-v FS=":"以:為分隔符,輸出的時候一般不加后門的OFS顯示以空格分隔,如果在輸出格式添加,需要指定-v OFS=""將空格替換成來展示
內(nèi)置變量NR、NF
剛才說到NR,其實就是當(dāng)前文本的行號,一共幾行
NF就是一行中有幾列,一般以空格為分隔符
這里一共4列,使用NR直接顯示了行號
[root@zhaocheng ~]# cat test1
aaa bbb ooo
cccc dddd eeee
fffff ggggg hhhhh
kkkkk pppppp ssssss
[root@zhaocheng ~]# awk '{print NR}' test1
1
2
3
4
這里每行中有3列,所以使用NF就能統(tǒng)計出有多少列
[root@zhaocheng ~]# awk '{print NR,NF}' test1
1 3
2 3
3 3
4 3
統(tǒng)計test文件有多少行,使用行號進行排序
可以使用awk的{print $0 NR}'
[root@zhaocheng ~]# awk '{print NR,$0 }' test
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
或者使用cat -n 也是統(tǒng)計行號的
[root@zhaocheng ~]# awk '{print}' test |cat -n
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
在bash語法中一般使用變量比如打印第一行需要$1,第二行$2,那么在awk中,不管使用內(nèi)置變量還是自定義變量都不需要加$
內(nèi)置變量FNR
這個一般是處理多個文件的同時來記錄行號的內(nèi)置變量,如果匹配多個文件的話,使用NR來記錄行號只會按順序直接排列,使用FNR會分開排列
[root@zhaocheng ~]# awk '{print NR,$0}' test test1
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 aaa bbb ooo
10 cccc dddd eeee
11 fffff ggggg hhhhh
12 kkkkk pppppp ssssss
[root@zhaocheng ~]# awk '{print FNR,$0}' test test1
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
1 aaa bbb ooo
2 cccc dddd eeee
3 fffff ggggg hhhhh
4 kkkkk pppppp ssssss
內(nèi)置變量RS
RS是輸入行分隔符,如果不指定,默認(rèn)的行分隔符就是我們理解的回車換行
[root@zhaocheng ~]# awk -v RS=" " '{print NR,$0}' test1
1 aaa
2 bbb
3 ooo
cccc
4 dddd
5 eeee
fffff
6 ggggg
7 hhhhh
kkkkk
8 pppppp
9 ssssss
內(nèi)置變量ORS
這個和ORS的換行符差不多,只不過在指定輸出行分隔符+++的時候另換一行
[root@zhaocheng ~]# awk -v ORS="++++" '{print NR,$0}' test1
1 aaa bbb ooo++++2 cccc dddd eeee++++3 fffff ggggg hhhhh++++4 kkkkk pppppp ssssss++++[root@zhaocheng ~]#
內(nèi)置變量FILENAME
FILENAME這個內(nèi)置變量從字面上,可以看出是什么意思,就是顯示文件名,使用指定多文件的FNR,統(tǒng)計行號,在前面并打印出這個文件的名稱
[root@zhaocheng ~]# awk '{print FILENAME,FNR,$0}' test1 test
test1 1 aaa bbb ooo
test1 2 cccc dddd eeee
test1 3 fffff ggggg hhhhh
test1 4 kkkkk pppppp ssssss
test 1 root:x:0:0:root:/root:/bin/bash
test 2 bin:x:1:1:bin:/bin:/sbin/nologin
test 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
test 4 adm:x:3:4:adm:/var/adm:/sbin/nologin
test 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
test 6 sync:x:5:0:sync:/sbin:/bin/sync
test 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
test 8 halt:x:7:0:halt:/sbin:/sbin/halt
內(nèi)置變量ARGV與ARGC
ARGV內(nèi)置變量表示的是一個數(shù)組,這個數(shù)組中保存的是命令行所給定的參數(shù)
[root@zhaocheng ~]# awk 'BEGIN{print "aaa"}' test test1
aaa
[root@zhaocheng ~]# awk 'BEGIN{print "aaa",ARGV[1]}' test test1
aaa test
[root@zhaocheng ~]# awk 'BEGIN{print "aaa",ARGV[2]}' test test1
aaa test1
[root@zhaocheng ~]# awk 'BEGIN{print "aaa",ARGV[1],ARGV[2]}' test test1
aaa test test1
從上面看出ARGV內(nèi)置變量表示的是一個數(shù)組,第一個數(shù)組就是test,第二個就是test1這個文件,而ARGV[0]這個就是我們本身的內(nèi)置變量awk
[root@zhaocheng ~]# awk 'BEGIN{print "aaa",ARGV[0],ARGV[1],ARGV[2]}' test test1
aaa awk test test1
而這個ARGC就是統(tǒng)計整個變量的數(shù)量
[root@zhaocheng ~]# awk 'BEGIN{print "aaa",ARGV[0],ARGV[1],ARGV[2],ARGC}' test test1
aaa awk test test1 3
自定義變量
自定義變量就是給用戶定義變量
[root@zhaocheng ~]# awk -v www="1234" 'BEGIN{print www}'
1234
[root@zhaocheng ~]# awk 'BEGIN{www="1234" ; print www}'
1234
一次性定義多個變量
[root@zhaocheng ~]# awk 'BEGIN{www="1234"; baidu="4567" ; print www , baidu}'
1234 4567
四、AWK格式化
對比print 和printf的區(qū)別,可以看出print 可以取$1的內(nèi)容,而printf不會輸出換行符,默認(rèn)會將文本輸出在一行里面
[root@zhaocheng ~]# awk '{print $1}' test1
aaa
cccc
fffff
kkkkk
[root@zhaocheng ~]# awk '{printf $1}' test1
aaaccccfffffkkkkk[root@zhaocheng ~]#
如果使用printf的格式替換符的話也可以將printf的格式打印出來
[root@zhaocheng ~]# awk '{printf "%s\n" ,$1}' test1
aaa
cccc
fffff
kkkkk
使用printf用法的是時候需要格式與列需要用逗號隔開,另外就是打印字符串的時候,可以通過\n,或者%s\n來替換
[root@zhaocheng ~]# printf "helloya\n"
helloya
[root@zhaocheng ~]# printf "%s\n" helloya
helloya
在使用awk中的printf動作的時候需要注意點
1)使用printf動作輸出的文本不會換行,如果需要換行,可以在對應(yīng)的格式替換符后加入\n進行轉(zhuǎn)義
2)使用printf動作時,指定的格式與被格式化的文本之間,需要用逗號隔開
3)使用printf動作時,格式中的格式替換符必須與被格式化的文本 一一對應(yīng)
可以利用格式替換符對文本中的每一列進行格式化
針對空格進行使用awk與printf打印格式化,默認(rèn)不使用輸入分隔符就是空格
[root@zhaocheng ~]# cat test1
aaa bbb ooo
cccc dddd eeee
fffff ggggg hhhhh
kkkkk pppppp ssssss
[root@zhaocheng ~]# awk '{printf "%s\n",$1}' test1
aaa
cccc
fffff
kkkkk
[root@zhaocheng ~]# awk '{printf "第一列 %s\n",$1}' test1
第一列 aaa
第一列 cccc
第一列 fffff
第一列 kkkkk
[root@zhaocheng ~]# awk '{printf " 第一列 %s 第二列 %s\n" ,$1,$2}' test1
第一列 aaa 第二列 bbb
第一列 cccc 第二列 dddd
第一列 fffff 第二列 ggggg
第一列 kkkkk 第二列 pppppp
[root@zhaocheng ~]# awk '{printf " 第二列 %s\n",$2}' test1
第二列 bbb
第二列 dddd
第二列 ggggg
第二列 pppppp
[root@zhaocheng ~]# awk '{printf " 第三列 %s\n",$3}' test1
第三列 ooo
第三列 eeee
第三列 hhhhh
第三列 ssssss
[root@zhaocheng ~]# awk '{printf "第一列 %s 第三列 %s\n",$1,$3}' test1
第一列 aaa 第三列 ooo
第一列 cccc 第三列 eeee
第一列 fffff 第三列 hhhhh
第一列 kkkkk 第三列 ssssss
[root@zhaocheng ~]# awk '{printf "第一列 %s 第二列 %s 第三列 %s\n",$1,$2,$3}' test1
第一列 aaa 第二列 bbb 第三列 ooo
第一列 cccc 第二列 dddd 第三列 eeee
第一列 fffff 第二列 ggggg 第三列 hhhhh
第一列 kkkkk 第二列 pppppp 第三列 ssssss
對于有分隔符的#來實現(xiàn)格式化
[root@zhaocheng ~]# cat test2
aaa#bbb#ooo
cccc#dddd#eeee
fffff#ggggg#hhhhh
kkkkk#pppppp#ssssss
普通使用 -v FS輸入分隔符,以#分隔
[root@zhaocheng ~]# awk -v FS="#" '{print $1,$2}' test2
aaa bbb
cccc dddd
fffff ggggg
kkkkk pppppp
普通使用-v OFS 輸出分隔符
[root@zhaocheng ~]# awk -v FS="#" -v OFS="####" '{print $1,$2}' test2
aaa####bbb
cccc####dddd
fffff####ggggg
kkkkk####pppppp
使用printf格式化輸出
[root@zhaocheng ~]# awk -v FS="#" '{printf "第一列 %s\n" ,$1}' test2
第一列 aaa
第一列 cccc
第一列 fffff
第一列 kkkkk
[root@zhaocheng ~]# awk -v FS="#" '{printf "第一列 %s 第二列 %s \n" ,$1,$2}' test2
第一列 aaa 第二列 bbb
第一列 cccc 第二列 dddd
第一列 fffff 第二列 ggggg
第一列 kkkkk 第二列 pppppp
結(jié)合BEGIN處理文本之前需要執(zhí)行的操作,與printf結(jié)合使用
[root@zhaocheng ~]# awk 'BEGIN{printf "%1s\t %s\n" ,"用戶名稱","用戶ID"}' test1
用戶名稱 用戶ID
[root@zhaocheng ~]# awk 'BEGIN{printf "%1s\t %s\n" ,"用戶名稱","用戶ID"} {printf "%1s\t %10s\n" , $1,$2}' test1
用戶名稱 用戶ID
aaa bbb
cccc dddd
fffff ggggg
kkkkk pppppp
以#為分隔符進行格式化文本
[root@zhaocheng ~]# awk -v FS="#" 'BEGIN{printf "%1s\t %s\n" ,"用戶名稱","用戶ID"} {printf "%1s\t %10s\n" , $1,$2}' test2
用戶名稱 用戶ID
aaa bbb
cccc dddd
fffff ggggg
kkkkk pppppp
五、AWK模式(pattern)
對于awk使用語法
awk [options] 'Pattern {Action}' file1 file2 ...
awk -v FS=":" 'BEGIN{print/printf %1s\t %s\n","x x x", "xxxx"} {xxx}' file
對于options(選項),使用過 -F選項,也使用過 -v選項
對于Acation(動作),使用過print與printf
對于Pattern(模式),使用過BEGIN模式與END模式
下面熟悉一個awk的條件,也就是awk會先處理完當(dāng)前行,在處理下一行,如果我們不指定任何“條件”,awk會一行一行的處理文本中的每一行,如果我們指定來條件,只有滿足條件的的行才會被處理,不滿足條件的行就不會被處理,這就是awk中的模式
其實在當(dāng)awk進行逐行處理的時候,會把pattern(模式)作為條件,判斷將要被處理的行是否滿足條件,是否能跟模式想匹配,如果匹配就處理,如果不匹配,則不進行處理
NF==4之前我們使用NF的時候是統(tǒng)計有多少列每行,NF==4也就是有4列的行,然后打印出來
[root@zhaocheng ~]# awk 'NF==4 {print}' test1
fffff ggggg hhhhh bbbbb
[root@zhaocheng ~]# awk 'NF==5 {print}' test1
kkkkk pppppp ssssss xxxxxx mmmmmmmm
這就是awk使用到的關(guān)系表達式,比如==,<,>,<=,>=,也就是得到的結(jié)果為真時,則滿足條件,與指定模式想匹配,滿足時就會執(zhí)行相應(yīng)的動作。
示例
[root@zhaocheng ~]# cat test1
aaa bbb ooo
cccc dddd eeee
fffff ggggg hhhhh bbbbb
kkkkk pppppp ssssss xxxxxx mmmmmmmm
大于4列的行
[root@zhaocheng ~]# awk 'NF>4 {print $0}' test1
kkkkk pppppp ssssss xxxxxx mmmmmmmm
大于等于4列的行
[root@zhaocheng ~]# awk 'NF>=4 {print $0}' test1
fffff ggggg hhhhh bbbbb
kkkkk pppppp ssssss xxxxxx mmmmmmmm
小于等于4列的行
[root@zhaocheng ~]# awk 'NF<=4 {print $0}' test1
aaa bbb ooo
cccc dddd eeee
fffff ggggg hhhhh bbbbb
實際上awk有四種pattern模式
第一種就是BEGIN,表示在開始處理文本之前,需要執(zhí)行的操作
第二種時END模式,表示將所有行都處理完畢后,需要執(zhí)行的操作
第三種就是關(guān)系運算模式,剛才我們用到的NF==xx
第四種就是空模式,就是相當(dāng)于awk '{print $0}' file,空模式會匹配文本中每一行,所以每一行都滿足條件,每一行都會執(zhí)行動作
熟悉一下END模式,ENGIN就是開始先處理什么,END就是最后處理什么
示例
[root@zhaocheng ~]# awk 'BEGIN{print "開始","開始"} {print $1,$2} END{print "結(jié)束","結(jié)束"}' test1
開始 開始
aaa bbb
cccc dddd
fffff ggggg
kkkkk pppppp
結(jié)束 結(jié)束
六、AWK模式(Pattern) 正則表達式
awk的另外兩種常用模式,正則模式與行范圍模式
正則模式:顧名思義與正則表達式有關(guān),模式可以理解為條件,當(dāng)不指定模式時,文本中的每一行都會執(zhí)行對應(yīng)的動作,當(dāng)有被模式匹配到的,符合條件的行才會執(zhí)行相應(yīng)的動作,正則模式可以理解為,把正則表達式當(dāng)作條件,能與正則匹配的行,就算滿足條件,滿足條件的行才會執(zhí)行相應(yīng)的動作,不能被正則匹配到的行,則不會執(zhí)行對應(yīng)的動作
使用grep/awk找出/etc/passwd山以ftp開頭的行
[root@zhaocheng ~]# grep "^ftp" /etc/passwd
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@zhaocheng ~]# awk '/^ftp/{print $0}' /etc/passwd
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
不管是使用grep命令,還是使用awk命令,都使用了相同的正則表達式^ftp
唯一區(qū)別就是,在grep命令中,直接使用了正則表達式,而在awk中正則表達式被放入到了兩個斜線中
grep "正則表達式" /etc/passwd
awk '/正則表達式'/{print $0}' /etc/passwd
而awk的優(yōu)勢就是格式化輸出
[root@zhaocheng ~]# awk -v FS=":" 'BEGIN{printf "%-10s%-10s\n","用戶名稱","用戶ID"} /^ftp/{printf "%-10s\t%-10s\n",$1,$3}' /etc/passwd
用戶名稱 用戶ID
ftp 14
使用grep的時候利用正則表達式可以$就可以輸出,使用awk輸出的話,就需要添加轉(zhuǎn)義符
[root@zhaocheng ~]# grep "/bin/bash$" /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@zhaocheng ~]# awk '/\/bin\/bash$/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
awk的行匹配模式
[root@zhaocheng ~]# awk '/helm/{print $0}' test6
helm.org
匹配行語法
awk '/正則表達式/{動作}' / file
awk '/正則1/,/正則2/{動作}' / file
可以打印大于=3行,小于等于4行的
[root@zhaocheng ~]# awk 'NR>=3 && NR<=4 {print $0}' test6
rabbitmq.com
zookpeer.com