好程序員大數(shù)據(jù)學(xué)習(xí)路線(xiàn)分享AWK怎詳解，awk是一個(gè)強(qiáng)大的文本分析工具，相對(duì)于grep的查找，sed的編輯，awk在其對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí)，顯得尤為強(qiáng)大。簡(jiǎn)單來(lái)說(shuō)awk就是把文件逐行的讀入，以空格為默認(rèn)分隔符將每行切片，切開(kāi)的部分再進(jìn)行各種分析處理。

站在用戶(hù)的角度思考問(wèn)題，與客戶(hù)深入溝通，找到承留網(wǎng)站設(shè)計(jì)與承留網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶(hù)體驗(yàn)好的作品，建站類(lèi)型包括：成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名申請(qǐng)、網(wǎng)頁(yè)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋承留地區(qū)。

　awk是在文件或者字符串中基于指定規(guī)則瀏覽和抽取信息，awk抽取信息后，才能進(jìn)行其他文本操作。完整的awk腳本通常用來(lái)格式化文本文件中的信息。

　通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然后執(zhí)行相應(yīng)的命令，來(lái)處理文本。

awk操作

有三種方式調(diào)用awk

1.?命令行方式

　awk [-F ?field-separator] ?'commands' ?input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。在awk中，文件的每一行中，由域分隔符分開(kāi)的每一項(xiàng)稱(chēng)為一個(gè)域。通常，在不指名-F域分隔符的情況下，默認(rèn)的域分隔符是空格。

2.shell腳本方式

　將所有的awk命令插入一個(gè)文件，并使awk程序可執(zhí)行，然后awk命令解釋器作為腳本的首行，一遍通過(guò)鍵入腳本名稱(chēng)來(lái)調(diào)用。

　相當(dāng)于shell腳本首行的：#!/bin/sh

　可以換成：#!/bin/awk

3.將所有的awk命令插入一個(gè)單獨(dú)文件，然后調(diào)用：awk -f awk-script-file input-file(s)

　其中，-f選項(xiàng)加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。

?

awk語(yǔ)法

1、awk命令格式

(1) awk [-F 分隔域] 'command' input-file(s)

(2) awk -f awk-script-file input-file(s)

?

模擬文件：

cat employee.txt

100 ?Thomas ?Manager Sales 5000

200 ?Jason ??Developer ?Technology ?5500

300 ?Sanjay ?Sysadmin ??Technology ?7000

400 ?Nisha ??Manager ???Marketing ??9500

500 ?Randy ??DBA ???????Technology ?60002

?

2.awk操作

?

1.輸出文件的每一行：

　awk '{print $0}' ./employee.txt

2.輸出/etc/passwd第一個(gè)字段

　?awk ?-F ":" '{print $1}' /etc/passwd

?

3.打印文件的全部?jī)?nèi)容

　awk '{print $0}' employee.txt

?

4.抽取文件test中的第一列

　awk '{print $1}' employee.txt ?

　或者

　awk -F ' ' '{print $1}' employee.txt

5.列出所有的用戶(hù)名和登陸的shell名

　awk -F ':' '{print $1,$6}' /etc/passwd

　當(dāng)分隔符為多個(gè)符號(hào)時(shí)，如：

　a , b , c , d

　a1 , b1 , c1 , d1

　awk -F ' , ' '{print $1,$2}' 文件名

?

?

6.打印用戶(hù)名為root的那一行

　awk -F ':' '$1=="root" {print $0}' /etc/passwd

　或者

　awk -F ':' '$1=="keke" {print $1}' /etc/passwd

　說(shuō)明:$1=="root"和$1=="keke"都是屬于判斷條件 ?

?

?

awk工作流程是這樣的：讀入有'\n'換行符分割的一條記錄，然后將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個(gè)域,$n表示第n個(gè)域。默認(rèn)域分隔符是"空白鍵" 或 "[tab]鍵"。

?

?

7.給輸出信息加上表頭

awk -F ":" 'BEGIN {print "name\tshell\n--------------------------------"}

　{print $1"\t"$6}' /etc/passwd

8.給輸出信息加上表頭和末尾

awk -F : 'BEGIN {print "name\tshell\n--------------------------------"} {print $1"\t"$6}

　END {print "end-of-report"}' /etc/passwd

awk -F ":" 'BEGIN {print"--BEGIN--"}

???????????$1=="root" { print $1}

???END{print"----END------"}' /etc/passwd

???

awk -F ":" 'BEGIN {print"--BEGIN--"} {if( $1=="root") print $1}

　END{print"----END------"}' /etc/passwd

?

awk工作流程是這樣的：先執(zhí)行BEGING，然后讀取文件，讀入有/n換行符分割的一條記錄，然后將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個(gè)域,$n表示第n個(gè)域,隨后開(kāi)始執(zhí)行模式所對(duì)應(yīng)的動(dòng)作action。接著開(kāi)始讀入第二條記錄······直到所有的記錄都讀完，最后執(zhí)行END操作。

?

awk與mapreduce區(qū)別

?

1.?awk主要用于單機(jī)版文件的操作

2.?mapreduce則可以用于分布式文件系統(tǒng)，可用于對(duì)大量數(shù)據(jù)的操作，缺點(diǎn)是編程比awk復(fù)雜，不過(guò)在框架的支持下，編寫(xiě)mapreducce程序只需要負(fù)責(zé)業(yè)務(wù)邏輯即可。