一、awk命令介紹
除了使用 sed 命令，Linux 系統中還有一個功能更加強大的文本數據處理工具，就是 awk。它誕生於 20 世紀 70 年代末期，這也許是它影響了眾多 Linux 用戶的原因之一。曾有人推測 awk 命令的名字來源於 awkward 這個單詞。其實不然，此命令的設計者有 3 位，他們的姓分別是 Aho、Weingberger 和 Kernighan，awk 就取自這 3 為大師姓的首字母。awk的最基本功能是在文件或字符串中基於指定規則瀏覽和抽取信息，awk抽取信息后，才能進行其他文本操作，完整的awk腳本通常用來格式化文本文件中的信息。awk和 sed 命令類似，awk 命令也是逐行掃描文件（從第 1 行到最后一行），尋找含有目標文本的行，如果匹配成功，則會在該行上執行用戶想要的操作；反之，則不對行做任何處理。
awk 命令的基本格式為：
[root@localhost ~]# awk [選項] '腳本命令' 文件名
此命令常用的選項以及各自的含義，如下表所示：
| 選項 | 含義 |
| -F fs | 指定以 fs 作為輸入行的分隔符，awk 命令默認分隔符為空格或制表符 |
| -f file | 從腳本文件中讀取 awk 腳本指令，以取代直接在命令行中輸入指令 |
| -v var=val | 在執行處理過程之前，設置一個變量 var，並設置初始值為 val |
awk 的強大之處在於腳本命令，它由 2 部分組成，分別為匹配規則和執行命令，如下所示：
'匹配規則{執行命令}'
這里的匹配規則，和 sed 命令中的 address 部分作用相同，用來指定腳本命令可以作用到文本內容中的具體行，可以使用字符串（比如 /demo/，表示查看含有 demo 字符串的行）或者正則表達式指定。另外需要注意的是，整個腳本命令是用單引號（''）括起，而其中的執行命令部分需要用大括號（{}）括起來。在 awk 程序執行時，如果沒有指定執行命令，則默認會把匹配的行輸出；如果不指定匹配規則，則默認匹配文本中所有的行。
舉個簡單的例子：
[root@localhost ~]# awk '/^$/ {print "Blank line"}' test.txt
在此命令中，/^$/ 是一個正則表達式，功能是匹配文本中的空白行，同時可以看到，執行命令使用的是 print 命令，此命令會經常使用，它的作用很簡單，就是將指定的文本進行輸出。因此，整個命令的功能是，如果 test.txt 有 N 個空白行，那么執行此命令會輸出 N 個 Blank line。再次說明， awk 對輸入文件中的每一行都執行這個腳本。
二、awk使用數據字段變量
awk的主要特性之一是處理文本文件中數據的能力，它會自動給每一行中的每個數據元素分配一個變量。
默認情況下，awk 會將如下變量分配給它在文本行中發現的數據字段(或者叫做域)：
- $0 代表整個文本行；
- $1 代表文本行中的第 1 個數據字段(域)；
- $2 代表文本行中的第 2 個數據字段(域)；
- $n 代表文本行中的第 n 個數據字段(域)。
前面說過，在 awk 中，默認的字段分隔符是任意的空白字符（例如空格或制表符）。 在文本行中，每個數據字段都是通過字段分隔符划分的。awk 在讀取一行文本時，會用預定義的字段分隔符划分每個數據字段。所以在下面的例子中，awk 程序讀取文本文件，只顯示第 1 個數據字段的值：
[root@localhost ~]# cat data2.txt One line of test text. Two lines of test text. Three lines of test text. [root@localhost ~]# awk '{print $1}' data2.txt One Two Three
該程序用 $1 字段變量來表示“僅顯示每行文本的第 1 個數據字段”。當然，如果你要讀取采用了其他字段分隔符的文件，可以用 -F 選項手動指定。
三、awk腳本命令使用多個命令
awk 允許將多條命令組合成一個正常的程序。要在命令行上的程序腳本中使用多條命令，只要在命令之間放個分號即可，例如：
[root@localhost ~]# echo "My name is Rich" | awk '{$4="Christine"; print $0}' My name is Christine
第一條命令會給字段變量 $4 賦值。第二條命令會打印整個數據字段。可以看到，awk 程序在輸出中已經將原文本中的第四個數據字段替換成了新值。除此之外，也可以一次一行地輸入程序腳本命令，比如說：
[root@localhost ~]# awk '{ > $4="Christine" > print $0}' My name is Rich My name is Christine
在你用了表示起始的單引號后，bash shell 會使用 > 來提示輸入更多數據，我們可以每次在每行加一條命令，直到輸入了結尾的單引號。注意，此例中因為沒有在命令行中指定文件名，awk 程序需要用戶輸入獲得數據，因此當運行這個程序的時候，它會一直等着用戶輸入文本，此時如果要退出程序，只需按下 Ctrl+C 組合鍵即可。
四、awk從文件中讀取程序
跟 sed 一樣，awk 允許將腳本命令存儲到文件中，然后再在命令行中引用，比如：
[root@localhost ~]# cat awk.sh {print $1 "'s home directory is " $6} [root@localhost ~]# awk -F: -f awk.sh /etc/passwd root's home directory is /root bin's home directory is /bin daemon's home directory is /sbin adm's home directory is /var/adm lp's home directory is /var/spool/lpd ... Christine's home directory is /home/Christine Samantha's home directory is /home/Samantha Timothy's home directory is /home/Timothy
awk.sh 腳本文件會使用 print 命令打印 /etc/passwd 文件的主目錄數據字段（字段變量 $6），以及 userid 數據字段（字段變量 $1）。注意，在程序文件中，也可以指定多條命令，只要一條命令放一行即可，之間不需要用分號。
五、awk BEGIN關鍵字
通常，對於每個輸入行， awk 都會執行腳本代碼塊一次。然而，在許多編程情況中，可能需要在處理數據前運行一些腳本命令，這就需要使用 BEGIN 關鍵字。BEGIN 會強制 awk 在讀取數據前執行該關鍵字后指定的腳本命令(BEGIN后面的命令只執行一次)，例如：
[root@localhost ~]# cat data3.txt Line 1 Line 2 Line 3 [root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"} > {print $0}' data3.txt The data3 File Contents: Line 1 Line 2 Line 3
可以看到，這里的腳本命令中分為 2 個部分，BEGIN 部分的腳本指令會在 awk 命令處理數據前運行，而真正用來處理數據的是第二段腳本命令。
六、awk END關鍵字
和 BEGIN 關鍵字相對應，END 關鍵字允許我們指定一些腳本命令，awk 會在讀完數據后執行它們，例如：
[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"} > {print $0} > END {print "End of File"}' data3.txt The data3 File Contents: Line 1 Line 2 Line 3 End of File
可以看到，當 awk 程序打印完文件內容后，才會執行 END 中的腳本命令。
七、條件操作符
條件操作符有：<、<=、==、!=、>=、~匹配正則表達式、!~不匹配正則表達式
匹配:awk '{if ($4~/ASIMA/) print $0}' temp.txt 表示如果第四個數據字段包含ASIMA，就打印整行數據
精確匹配:awk '$3=="48" {print $0}' temp.txt 表示只打印第3個數據字段等於"48"的記錄
不匹配: awk '$0 !~ /ASIMA/' temp.txt 表示打印整條不包含ASIMA的記錄
不等於: awk '$1 != "asima"' temp.txt 表示打印第1個數據字段不等於"asima"的記錄
小於: awk '{if ($1<$2) print $1 "is smaller"}' temp.txt 表示如果第一個數據字段小於第二個數據字段，則打印第一個數據字段+"is smaller"
設置大小寫: awk '/[Gg]reen/' temp.txt 表示打印整條包含Green，或者green的記錄
任意字符: awk '$1 ~/^...a/' temp.txt 表示打印第1個數據字段中第四個字符是a的記錄，符號’^’代表行首，符合’.’代表任意字符
或關系匹配: awk '$0~/(abc)|(efg)/' temp.txt 表示打印整行數據匹配“abc”或“efg”的記錄，使用|時，語句需要括起來
AND與關系: awk '{if ( $1=="a" && $2=="b" ) print $0}' temp.txt 表示如果第一個數據字段等於“a”並且第二個數據字段等於“b”，則打印該行數據
OR或關系: awk '{if ($1=="a" || $1=="b") print $0}' temp.txt 表示如果第一個數據字段等於“a”或者第二個數據字段等於“b”，則打印該行數據
八、awk內置變量
| ARGC | 命令行參數個數 | NF | 當前行的數據字段個數 |
| AGRV | 命令行參數排列 | NR | 已讀的記錄數，即行號，從1開始(一行就是一個記錄，一個記錄有若干個字段/域) |
| ENVIRON | 支持隊列中系統環境變量的使用 | OFS | 輸出數據字段分隔符(默認為空格) |
| FILENAME | awk瀏覽的文件名 | ORS | 輸出記錄分隔符(默認為換行符) |
| FNR | 瀏覽文件的記錄數 | RS | 記錄分隔符(默認是換行符) |
| FS | 設置輸入域分隔符，同- F選項 |
下圖說明了幾個內置變量的含義：
舉幾個實例：
#實例1：在最后打印文件的行數 ➜ test awk 'END {print NR}' data2.txt 4 #實例2：先輸出行號，再輸出本行有幾個數據字段，再輸出本行，最后輸出文件名 ➜ test awk '{print NR,NF,$0} END {print FILENAME}' data2.txt 1 6 line1:This is the header line 1. 2 7 line2:This is the first data line 2. 3 7 line3:This is the second data line 3. 4 6 line4:This is the last line 4. data2.txt #實例3：行數>0，並且第4個數據字段和/last/正則表達式匹配，就輸出該行 ➜ test awk '{if (NR>0 && $4~/last/) print $0}' data2.txt line4:This is the last line 4. #實例4：顯示當前目錄名 ➜ test echo $PWD /home/baichunyu.bcy/test ➜ test echo $PWD | awk -F / '{print $NF}' test #實例5：修改字段分隔符為\t ➜ test cat test.txt ww CC IDD ➜ test awk 'BEGIN {FS="\t+"} {print $1,$2,$3}' test.txt #把字段分隔符修改為一個或多個制表符 ww CC IDD #實例6：修改字段分隔符的另一種方式 ➜ test cat hello.txt root:x::0 0:root:/root:/bin/bash ➜ test awk -F '[ :/]+' '{print $1,$2,$3,$4} END{print NF}' hello.txt #把字段分隔符修改為1個或多個空格、冒號、斜杠(采用正則表達式) root x 0 0 8
九、awk內置字符串函數
- gsub(r，s) 含義：在整個$0中用s替代r
awk 'gsub(/name/，"xiaoming") {print $0}' temp.txt # 在temp.txt中把每行中的name替換成xiaoming，並打印該行
- gsub(r，s，t) 含義：在整個t中用s替代r
➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'gsub(/line/,"hang",$5) {print $0}' data2.txt # 在data2.txt文件中，把每行的第5個域中的line替換成hang，如果替換成功則打印該行 line1:This is the header hang 1. line4:This is the last hang 4.
- index(s，t) 含義：返回s中字符串t的第一位置(下標從1開始計算)
➜ test awk 'BEGIN {print index("Sunny","ny")}' temp.txt 4
- length(s) 含義：返回s的長度
- match(s，r) 含義：測試s中是否包含匹配r的字符串
➜ test awk '$1="J.Lulu" {print match($1,"u")}' temp.txt # 因為temp.txt中有兩行，遍歷每一行時，都把$1賦值為"J.Lulu"，都包含"u"，因此輸出兩個4，代表"J.Lulu"中包含"u" 4 4
- split(s，a，fs) 含義：用fs把s分割成序列a
➜ test awk 'BEGIN {print split("12#345#6789",arr,"#");print arr[1];print arr[2];print arr[3]}' temp.txt 3 12 345 6789
#上述命令中，print split("12#345#6789"，arr，"#")，輸出3，即arr的長度，同時arr[1]="12"， arr[2]="345"， arr[3]="6789" (該序列下標從1開始計算)
➜ test awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}' 4 1 this 2 is 3 a 4 test
#上述命令中，分割字符串到數組tA中，for循環會自動遍歷數組，其中k是數組下標，會自動增加。
- sprint(fmt，exp) 含義：返回經fmt格式化后的exp
- sub(r，s) 含義：在$0中用s替換第一個r
➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'sub(/line/,"hang") {print $0}' data2.txt # 把每行中第一個line替換成hang，並打印該行 hang1:This is the header line 1. hang2:This is the first data line 2. hang3:This is the second data line 3. hang4:This is the last line 4.
- substr(str,from,[num]) 含義：從str中截取子串，該子串從from下標開始截取(str下標從1開始)，截取的長度為num，若未指定num參數，則截取到str的末尾
➜ test awk 'BEGIN{print substr("abcdef",4)}' data2.txt def ➜ test awk 'BEGIN{print substr("abcdef",3,2)}' data2.txt cd
- tolower(str)、toupper(str) 含義：把str轉為小寫、把str轉為大寫
➜ test awk 'BEGIN{print tolower("abcdefAAA")}' data2.txt abcdefaaa ➜ test awk 'BEGIN{print toupper("abcdefAAA")}' data2.txt ABCDEFAAA
十、printf函數的使用
# 字符轉換: ➜ test echo "65"|awk '{printf "%c\n",$0}' A # 格式化輸出 ➜ test awk 'BEGIN {printf "%f\n",999}' temp.txt 999.000000 # 格式化輸出 ➜ test cat temp.txt my name is bcy. and you? ➜ test awk '{printf "%-15s %s\n",$1,$2}' temp.txt my name and you?
十一、awk的一些其他用法
11.1、給變量賦值
# 以下兩種方法都可以實現給變量AGE賦值
➜ test awk '{if ($6<AGE) print $0}' AGE=10 data2.txt line1:This is the header line 1. line4:This is the last line 4. ➜ test awk -v AGE=10 '{if ($6<AGE) print $0}' data2.txt line1:This is the header line 1. line4:This is the last line 4.
另外，也可以將環境變量的值賦給變量：
➜ test echo $LOGNAME # 輸出登錄名 baichunyu.bcy ➜ test who | awk '{if ($1==user) print $1 " are in " $0}' user=$LOGNAME # 把登錄名賦值給變量user baichunyu.bcy are in baichunyu.bcy pts/1 Sep 17 09:38 (10.78.232.152)
11.2、只列出文件名
ls -l | awk '{print $9}' # 常規情況文件名是第9域
11.3、awk數組
awk的循環結構為：
For (element in array) print array[element]
例如：
➜ test awk 'BEGIN {record="123#456#789";split(record,arr,"#")} END {for (i in arr) {print arr[i]" i="i}}' temp.txt 123 i=1 456 i=2 789 i=3
在上述命令中，在BEGIN中把record分割成數組，保存在arr中，在END中遍歷並輸出數組arr中的每個元素。i從1開始自動遞增，數組的下標也是從1開始。
11.4、awk正則
| 元字符 | 功能 | 示例 | 解釋 |
| ^ | 行首定位符 | /^root/ | 匹配所有以root開頭的行 |
| $ | 行尾定位符 | /root$/ | 匹配所有以root結尾的行 |
| . | 匹配任意單個字符 | /r..t/ | 匹配字母r，然后兩個任意字符，再以t結尾的單詞，比如：root、raat、rabt |
| * | 匹配0個或多個前導字符 | /a*ool/ | 匹配0個或多個a之后緊跟着ool的單詞，比如：ool、aool、aaaool |
| + | 匹配1個或多個前導字符 | /a+b/ | 匹配1個或多個a加b的單詞，比如：ab、aab、aaaab |
| ？ | 匹配0個或1個前導字符 | /a?b/ | 匹配b 或 ab |
| [] | 匹配指定字符組內的任意一個字符 | /^[abc]/ | 匹配以字母a或b或c開頭的單詞 |
| [^] | 匹配不在指定字符組內的任意一個字符 | /^[^abc]/ | 匹配不以字母a或b或c開頭的單詞 |
| () | 子表達式組合 | /(root)+/ | 匹配1個或多個root |
| | | 或者的意思 | /(root)|B/ | 匹配root或者B |
| \ | 轉義字符 | /a\/\// | 匹配a// |
| ~和!~ | 匹配和不匹配的條件語句 | $1~/root/ | 匹配第一個數據字段包含root的行 |
| x{m} x{m,} x{m,n} |
x重復m次 x重復至少m次 x重復至少m次，但不超過n次 |
/(root){3}/ /(root){3,}/ /(root){5,6}/ |
匹配root正好出現3次的情況 匹配root出現至少3次的情況 匹配root出現5到6次的情況 |
舉例說明：
[root@Gin scripts]# awk '/root/{print $0}' passwd #匹配所有包含root的行 root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@Gin scripts]# awk -F: '$5~/root/{print $0}' passwd #以分號作為分隔符，匹配第5個字段是root的行 root:x:0:0:root:/root:/bin/bash
十二、if條件語句
awk中if條件語句的格式為：
if(表達式) {語句1} else if(表達式) {語句2} else {語句3}
每條語句后面要用“;”結尾，例如：
➜ test awk 'BEGIN { quote> test=70; quote> if(test>90) quote> { quote> print "very good!"; quote> } quote> else if(test>60) quote> { quote> print "good~"; quote> } quote> else quote> { quote> print "no pass!!"; quote> } quote> }' good~
十三、循環語句
13.1、while循環語句
awk中while循環語句的格式為：
while(表達式) {語句}
舉個簡單的例子：
➜ test awk 'BEGIN { border=10; sum=0; i=0; while(i<=border){ sum+=i; i++; } print sum; }' 55
13.2、for循環語句
awk中for循環語句有兩種格式，先看格式1：
for(變量 in 數組) {語句}
例子：
➜ test awk 'BEGIN { for (k in ENVIRON){ # ENVIRON 是awk常量，是個數組 print k"="ENVIRON[k]; } }' AWKPATH=.:/usr/share/awk OLDPWD=/home/web97 SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass SELINUX_LEVEL_REQUESTED= SELINUX_ROLE_REQUESTED= LANG=zh_CN.GB2312 ......
for循環的格式2：
for(變量;條件;表達式) {語句}
例子：
➜ test awk 'BEGIN { sum=0; for(i=0;i<=100;i++){ sum+=i; } print sum; }' 5050
13.3、do...while循環語句
awk中do...while循環語句的格式為：
do{
語句
}
while(條件)
例子：
➜ test awk 'BEGIN { sum=0; i=0; do{ sum+=i; i++; }while(i<=100) print sum; }' 5050
除此之外，還有一些關鍵字，例如：
| break | 當 break 語句用於 while 或 for 語句時，導致退出程序循環 |
| continue | 當 continue 語句用於 while 或 for 語句時，使程序循環移動到下一個迭代 |
| next | 使程序讀入下一個輸入行，並返回到腳本的頂部，這可以避免對當前輸入行執行其他的操作 |
| exit | exit關鍵字使主輸入循環退出並移動到END，如果END存在的話。如果沒有定義END規則，或在END中應用exit語句，則終止腳本的執行 |
以上為awk命令的流程控制語句，從語法上面大家可以看到，與大多數語言是一樣的。有了這些語句，其實很多shell程序都可以交給awk，而且性能是非常高的。
十四、awk使用實例
實例1：只查看test.txt文件（100行）內第20到第30行的內容
→ test awk '{if(NR>=20 && NR<=30) print $0}' test.txt 20 21 22 23 24 25 26 27 28 29 30
解釋： NR代表已讀的記錄數(行數)，NR>=20&&NR<=30 代表文件中的第20行到第30行。
實例2：已知test.txt文件內容為：
➜ test cat test.txt
I am Poe,my qq is 33794712
請從該文件中過濾出"Poe"字符串與33794712，最后輸出的結果為：Poe 33794712
方法一：
➜ test awk '{split($3,arr,",");print arr[1]" "$6}' test.txt Poe 33794712
解釋：Poe,my 是$3，用split()內置函數把$3分割成arr，其中arr[1]=Poe，33794712是$6，print 后面拼接字符串進行輸出。
方法二：
➜ test awk -F '[ ,]+' '{print $3" "$7}' test.txt Poe 33794712
解釋：用-F來指定分隔符為1個或多個空格或逗號(,) ，然后Poe和33794712分別是$3和$7，print 后面拼接字符串進行輸出。