awk命令
基本用法
awk '{print $1, $4}' netstat.txt
單引號中大括號的部分就是awk語句
$1至$n表示第幾列，$0表示整行
格式化輸出的方法
$ awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
過濾記錄
$ awk '$3==0 && $6=="LISTEN" ' netstat.txt
第3列為0，且第6列為LISTEN
其他的運算符有 !=, >, <, >=, <=
需要表頭可以引入內建變量NR
$ awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
內建變量
| 變量 | 意義 |
|---|---|
| $0 | 當前記錄（這個變量中存放着整個行的內容） |
| $1~$n | 當前記錄的第n個字段，字段間由FS分隔 |
| FS | 輸入字段分隔符 默認是空格或Tab |
| NF | 當前記錄中的字段個數，就是有多少列 |
| NR | 已經讀出的記錄數，就是行號，從1開始，如果有多個文件話，這個值也是不斷累加中 |
| FNR | 當前記錄數，與NR不同的是，這個值會是各個文件自己的行號 |
| RS | 輸入的記錄分隔符， 默認為換行符 |
| OFS | 輸出字段分隔符， 默認也是空格 |
| ORS | 輸出的記錄分隔符，默認為換行符 |
| FILENAME | 當前輸入文件的名字 |
指定分隔符
$ awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
BEGIN表示在處理記錄之前的操作
等價於(-F選項)$ awk -F: '{print $1,$3,$6}' /etc/passwd
如果想指定多個分隔符
awk -F '[;:]'
指定輸出分隔符
$ awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
字符串匹配
$ awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
第6列的值包含FIN，/ / 之間是模式
$ awk '/LISTEN/' netstat.txt
可以直接像grep一樣匹配
模式取反
$ awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '!/WAIT/' netstat.txt
拆分文件
$ awk 'NR!=1{print > $6}' netstat.txt
按照第6列分割文件，NR!=1表示不處理第1行
awk 'NR!=1{print $4,$5 > $6}' netstat.txt
根據第6列分割，輸出第4和第5列
再復雜一點
$ awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
else if($6 ~ /LISTEN/) print > "2.txt";
else print > "3.txt" }' netstat.txt
統計
$ ls -l *.cpp *.c *.h | awk '{sum+=$5} END {print sum}'
統計所有c文件的大小總和，END表示處理記錄之后的操作
$ awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
TIME_WAIT, 3
FIN_WAIT1, 1
ESTABLISHED, 6
FIN_WAIT2, 3
LAST_ACK, 1
LISTEN, 4
統計各個connection狀態的用法
$ ps aux | awk 'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'
dbus, 540KB
mysql, 99928KB
www, 3264924KB
root, 63644KB
hchen, 6020KB
統計每個用戶的進程占了多少內存
awk腳本
- BEGIN{執行前的語句}
- END{處理完所有行后執行的語句}
- {處理每一行執行的語句}
$ cat cal.awk
#!/bin/awk -f
#運行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#運行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#運行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
執行
$ awk -f cal.awk score.txt
或者./cal.awk score.txt
環境變量
-v參數或者ENVIRON，其中ENVIRON需要export
$ awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt
幾個例子
#從file文件中找出長度大於80的行
awk 'length>80' file
#按連接數查看客戶端IP
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr
#打印99乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'