目錄
awk概述
awk工作原理
awk命令格式
awk概述
AWK是一種處理文本文件的語言，是一個強大的文本分析工具。
它是專門為文本處理設計的編程語言，也是行處理軟件，通常用於掃描、過濾、統計匯總工作數據可以來自標准輸入也可以是管道或文件
工作原理（1）:
當讀到第一行時，匹配條件，然后執行指定動作，再接着讀取第二行數據處理，不會默認輸出
如果沒有定義匹配條件默認是匹配所有數據行，awk隱含循環，條件匹配多少次動作就會執行多少次
工作原理（2）:
逐行讀取文本，默認以空格或tab鍵為分隔符進行分隔，將分隔所得的各個字段保存到內建變量中，並按模式或者條件執行編輯命令。
sed命令常用於一整行的處理，而awk比較傾向於將一行分成多個""字段"然后再進行處理。awk信息的讀入也是逐行讀取的，執行結果可以通過print的功能將字段數據打印顯示。在使用awk命令的過程中,可以使用邏輯操作符"
&&"表示"與"、"| |"表示"或"、"!."表示非" ;還可以進行簡單的數學運算，如+、一、*、/、%、^分別表示加、減、乘、除、取余和乘方。
awk命令格式
awk選項 '模式或條件{操作}' 文件1文件2 ...
awk -f 腳本文件文件1文件2 ..
格式: awk關鍵字選項命令部分'{xxxx}'文件名
awk包含幾個特殊的內建變量（可直接用)如下所示:
FS:指定每行文本的字段分隔符，默認為空格或制表位（就是tab）。
NF:當前處理的行的字段個數。
NR:當前處理的行的行號(序數) 。
$0:當前處理的行的整行內容。
$n:當前處理行的第n個字段(第n列)。
FILENAME:被處理的文件名。
RS:行分隔符。awk從文件上讀取資料時,將根據Rs的定義把資料切割成許多條記錄，而awk一次僅讀入一條記錄,以進行處理。預設值是' \n'
簡說:數據記錄分隔，默認為\n，即每行為一條記錄
案例
awk常用內置變量:$1、$2、NF、NR、$0
$1:代表第一列
$2:代表第二列以此類推
$0:代表整行
NF:一行的列數
NR:行數
案例：
awk -F: NR==10'{print $1}' zz ##打印第10行第一列
awk -F : '{print $NF}' zz ##打印最后一列
awk 'END{print NR}' zz ##打印總行數
awk 'END{print $0}' zz ##打印最后一整行內容
生產案例：
逐行執行開始之前執行什么任務，結束之后再執行什么任務，用BEGIN、END
BEGIN一般用來做初始化操作，僅在讀取數據記錄之前執行一次
END一般用來做匯總操作，僅在讀取完數據記錄之后執行一次
awk 的運算：
模糊匹配，用~表示包含，!～表示不包含
awk -F: '$1~/root/' zz ##包含root 的所有行
awk -F: '$7!~/nologin$/{print $1 $7}' zz ##打印除了以nologin結尾的 第一列和第七列
關於數值與字符串的比較
比較符號： == ！= <= >= < >
案例：
awk -F: '$3==0' zz ##打印第三列等於0 的行
awk 'NR==5{print}' zz ##打印第五行
awk 'NR<=5{print}' zz ##打印小於5行包含第五行
awk -F: '$1=="root"' zz ##打印第一列有root的行
awk -F: '$3>=1000' /etc/passwd ##打印第三列大於等於1000的行
awk -F: '$3<10 || $3>=1000' /etc/passwd ##打印第三列小於10 或者大於等於1000的所有行
awk -F: '$3>10 && $3<=100' /etc/passwd ##打印第三列大於10小於等於100所有行
awk 'NR>2 && NR<8' zz ##打印3到7行
seq 200 | awk '$1%7==0 && $1~/7/' ##打印200內 被7整除並且 包含7的所有數字
其他內置變量的用法FS、OFS、NR、FNR、RS、ORS
案例：
awk 'BEGIN{FS=":"}{print $1}' zz ##打印之前定義字段分隔符為冒號
awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' zz ##OFS 定義了輸出時以什么分隔，$1$2中間要用逗號分隔，因為逗號默認被映射為OFS變量，而這個變量默認是空格
awk '{print FNR,$0}' /etc/hosts /etc/passwd ##可以看出FNR的行號在追加當有多個文件時
awk 'BEGIN{RS=":"}{print $0}' zz ##打印出以冒號換行輸出
awk 'BEGIN{ORS=" "}{print $0}' zz ##把多行合並成一行輸出，輸出的時候自定義以空格分隔每行，本來默認的是回車鍵
awk高級用法
定義引用變量
a=100
awk -v b="$a" 'BEGIN{print b}' ##將系統的變量a，在awk里賦值為變量b，然后調用變量b
awk 'BEGIN{print "'$a'"}' ##直接調用的話需要先用雙引號再用單引號
awk -v c=50 'BEGIN{print c}' ##awk直接定義變量引用
調用函數getline，讀取一行數據的時候並不是得到當前行而是當前行下一行
案例：
df -h | awk 'BEGIN{getline}/dev\/sda3/{print $0}'
[root@localhost ky17]# seq 12 | awk '{getline;print $0}'
2
4
6
8
10
12
[root@localhost ky17]# seq 12 | awk '{print $0;getline}'
1
3
5
7
9
11
if語句：awk的if語句也分為單分支、雙分支和多分支
單分支為if（）{}
雙分支為if（）{}else{}
多分支為if（）{}else if（）{}else{}
案例:
awk 還支持for循環、while循環、函數、數組等
案例：
awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}' /etc/passwd
#統計以/ bin/ bash結尾的行數，等同於
grep -c "/ bin/ bash$ " /etc/passwd
BEGIN模式表示，在處理指定的文本之前，需要先執行BEGIN模式中指定的動作;
awk再處理指定的文本，之后再執行END模式中指定的動作，END{}語句塊中，往往會放入打印結果等語句
awk -F ":" '! ($3<200){print}' /etc/passwd ##輸出第3個字段的值不小於200的行
awk 'BEGIN {FS=":"}; {if($3>=1000){print}}' /etc/passwd ##先處理完BEGIN的內容，再打印文本里面內容
awk -F ":" '{max=($3>=$4) ？$3:$4; {print max}} ' /etc/passwd (了解)
#($3>$4)?$3:$4三元運算符，如果第3個字段的值大於等於第4個字段的值，則把第3個字段的值賦給max，否則第4個字段的值賦給max
awk -F ":" '$7~"bash"{print $1}' zz ##輸出以冒號分隔且第7個字段中包含/bash行的第一字段
awk -F ":" '($1~"root") && (NF==7) {print $1,$2,$NF}' /etc/passwd ##第1個字段中包含root且有7個字段的行的第1/2個字段
awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin/"){print}' /etc/passwd ##/etc/passwd輸出第7個字段既不為/bin/bash，也不為/sbin/nologin的所有行#輸出第7個字段既不為/bin/bash，也不為/sbin/nologin的所有行
awk -F ":" '($NF !="/bin/bash")&&($NF!="/sbin/nologin"){print NR,$0}' /etc/passwd ##跟上面一樣效果
通過管道、雙引號調用shell 命令:
echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'
#統計以冒號分隔的文本段落數，END{}語句塊中，往往會放入打印結果等語句
echo $PATH | awk 'BEGIN{RS=": " }; iprint NR,$0 }; ENDfprint NR}'
awk -F: '/bash$/{print \ "wc-l"}'/etc/passwd #調用wc -l命令統計使用bash 的用戶個數，
等同於grep -c "bash$" etc/passwd
awk -F: '/bash$/ {print } 'passwd l wc -l