Linux awk

【參考文章】：linux awk命令詳解

【參考文章】：awk 入門教程——阮一峰的網絡日志

【參考文章】：awk substr()函數

【傳送門】：awk命令系列學習

1. 簡介

　　awk 是一種處理文本文件的語言，是一個強大的文本分析工具。

　　awk 其實不僅僅是工具軟件，還是一種編程語言。

　　awk 是以文件的一行內容為處理單位的。awk讀取一行內容，然后根據指定條件判斷是否處理此行內容，若此行文本符合條件，則按照動作處理文本，否則跳過此行文本，讀取下一行進行判斷。

2. 基本用法

　　condition：條件。若此行文本符合該條件，則按照 action 處理此行文本。不添加條件時則處理每一行文本；

　　action：動作。按照動作處理符合要求的內容。一般用於打印指定的內容信息；

　　注意下面的引號為英文的單引號

2.1 處理指定文件的內容

　　awk   'condition { action }'   filename

2.2 處理某個命令的執行結果

　　command | awk ' condition { action }'

2.3  常用參數

2.3.1  F（指定字段分隔符）

　　默認使用空格作為分隔符。

[root@localhost awk]# echo "aa bb  cc dd  ee ff" | awk  '{print $1}'
aa
[root@localhost awk]# echo "aa bb l cc dd l ee ff" | awk -F 'l' '{print $1}'
aa bb 
[root@localhost awk]# echo "aa bb  cc : dd  ee ff" | awk -F ':' '{print $1}'
aa bb  cc 

3. 變量

3.1  FS（字段分隔符）　

　　默認是空格和制表符。

　　$0 表示當前整行內容，$1，$2 表示第一個字段，第二個字段

[root@localhost zabbix_agentd.d]# echo "aa bb cc  dd" | awk '{ print $0}'
aa bb cc  dd
[root@localhost zabbix_agentd.d]# echo "aa bb cc  dd" | awk '{ print $1}'
aa
[root@localhost zabbix_agentd.d]# echo "aa bb cc  dd" | awk '{ print $2}'
bb

3.2 NF（當前行的字段個數）

　　$NF就代表最后一個字段，$(NF-1)代表倒數第二個字段

[root@localhost zabbix_agentd.d]# echo "aa bb cc  dd" | awk '{ print $NF}'
dd
[root@localhost zabbix_agentd.d]# echo "aa bb cc  dd" | awk '{ print $(NF-1)}'
cc

3.3  NR (當前處理的是第幾行)

　　打印當前行號和當前文本內容

[root@localhost awk]# cat test.txt 
aa ss
dd ff
gg hh
[root@localhost awk]# cat test.txt | awk '{print NR")", $0}'
1) aa ss
2) dd ff
3) gg hh

　　逗號表示輸出的變量之間用空格分隔；

　　右括號必需使用 雙引號 才可以原樣輸出

　　打印指定行內容：

[root@localhost S17]# java -version 
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
[root@localhost S17]# java -version 2>&1  | awk 'NR==1 {print $0}'
java version "1.8.0_131"
[root@localhost S17]# 

 

3.4 FILENAME(當前文件名)

[root@localhost awk]#  awk '{print FILENAME, NR")", $0}' test.txt 
test.txt 1) aa ss
test.txt 2) dd ff
test.txt 3) gg hh
[root@localhost awk]# cat test.txt | awk '{print FILENAME, NR")", $0}'
- 1) aa ss
- 2) dd ff
- 3) gg hh

　　awk   '{ condition  action }'   filename 這種形式時可以打印文件名；

　通過 |（管道符）讀取內容時打印的是 - 

3.5 其他變量

• RS：行分隔符，用於分割每一行，默認是換行符。
• OFS：輸出字段的分隔符，用於打印時分隔字段，默認為空格。
• ORS：輸出記錄的分隔符，用於打印時分隔記錄，默認為換行符。
• OFMT：數字輸出的格式，默認為％.6g。

4. 函數

4.1 print 和 printf

　　awk中同時提供了print和printf兩種打印輸出的函數。

　　print函數，參數可以是變量、數值或者字符串。字符串必須用雙引號引用，參數用逗號分隔。如果沒有逗號，參數就串聯在一起而無法區分。這里，逗號的作用與輸出文件的分隔符的作用是一樣的，只是后者是空格而已。

　　printf函數，其用法和c語言中printf基本相似,可以格式化字符串,輸出復雜時，printf更加好用，代碼更易懂。

4.2 其他函數

• toupper()：字符轉為大寫。
• tolower()：字符轉為小寫。
• length()：返回字符串長度。
• substr()：返回子字符串。 
• substr($1,2)：返回第一個字段，從第2個字符開始一直到結束。 
• substr($1,2,3)：返回第一個字段，從第2個字符開始開始后的3個字符。 
• sin()：正弦。
• cos()：余弦。
• sqrt()：平方根。
• rand()：隨機數。

4.2.1 示例

[root@localhost awk]# echo "aa bb  cc dd  ee ff" | awk  '{print toupper($1)}'
AA
[root@localhost awk]# echo "aa BB  cc dd  ee ff" | awk  '{print tolower($2)}'
bb
[root@localhost awk]# echo "aa BB  cc dd  ee ff" | awk  '{print length($2)}'
2
[root@localhost awk]# echo "asdfghj" | awk '{print substr($1,2,3)}'
sdf

5. 條件

　　awk 允許指定輸出條件，只輸出符合條件的行。

　　awk  ' 條件 {動作 }' 文件名

　　條件有以下幾種：

5.1 正則表達式

　　特殊字符需要轉義

[root@localhost awk]# cat exp.txt 
/stsvc/fms/conf/application.yml
/stsvc/sms/conf/application.yml
/stsvc/tms/conf/application.yml
/root/home/chenfan
/root/home/jhhuang
[root@localhost awk]# cat exp.txt | awk '/stsvc/ {print $0}'     包含 stsvc 的行
/stsvc/fms/conf/application.yml
/stsvc/sms/conf/application.yml
/stsvc/tms/conf/application.yml
[root@localhost awk]# cat exp.txt | awk '/stsvc\/fms/ {print $0}' 包含 stsvc/fms 的行
/stsvc/fms/conf/application.yml

5.2  布爾值判斷

[root@localhost awk]# cat exp.txt | awk 'NR==2 {print $0}'　　等於第二行
/stsvc/sms/conf/application.yml
[root@localhost awk]# cat exp.txt | awk 'NR>4 {print $0}'　　大於第四行
/root/home/jhhuang
[root@localhost awk]# cat exp.txt | awk 'NR%2==1 {print $0}'　　奇數行
/stsvc/fms/conf/application.yml
/stsvc/tms/conf/application.yml
/root/home/jhhuang

　　某個字段等於具體值

[root@localhost awk]# cat test.txt 
aa ss
dd ff
gg hh
[root@localhost awk]# cat test.txt | awk ' $2=="ff" {print $0}'
dd ff

5.3 if 語句

[root@localhost awk]# echo "aa ss dd" | awk '{ if($3 == "dd") print $0; else print "nothing"}'
aa ss dd
[root@localhost awk]# echo "aa ss dds" | awk '{ if($3 == "dd") print $0; else print "nothing"}'
nothing