功能:
對數據分析並生成報告
把文件逐行的讀入,以空格為默認分隔符將每行切片,切開的部分再進行各種分析處理。
#pattern 表示 AWK 在數據中查找的內容
#action 是在找到匹配內容時所執行的一系列命令。
#花括號({})不需要在程序中始終出現,但它們用於根據特定的模式對一系列指令進行分組,pattern就是要表示的正則表達式,用斜杠括起來。
awk '{pattern + action}' {filenames}
調用方式:
1.命令行方式
awk [-F field-separator] 'commands' input-file(s)
其中,commands 是真正awk命令,[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。
在awk中,文件的每一行中,由域分隔符分開的每一項稱為一個域。
通常,在不指名-F域分隔符的情況下,默認的域分隔符是空格。
2.shell腳本方式
將所有的awk命令插入一個文件,並使awk程序可執行,然后awk命令解釋器作為腳本的首行,一遍通過鍵入腳本名稱來調用。
相當於shell腳本首行的:#!/bin/sh
可以換成:#!/bin/awk
3.將所有的awk命令插入一個單獨文件,然后調用:
awk -f awk-script-file input-file(s)
其中,-f選項加載awk-script-file中的awk腳本,input-file(s)跟上面的是一樣的。
工作流程:
讀入有'\n'換行符分割的一條記錄,然后將記錄按指定的域分隔符划分域,填充域,$0則表示所有域,$1表示第一個域,$n表示第n個域。
默認域分隔符是"空白鍵" 或 "[tab]鍵".
支持類型:
1.內置變量
ARGC 命令行參數個數 ARGV 命令行參數排列 ENVIRON 支持隊列中系統環境變量的使用 FILENAME awk瀏覽的文件名 FNR 瀏覽文件的記錄數 FS 設置輸入域分隔符,等價於命令行 -F選項 NF 瀏覽記錄的域的個數 NR 已讀的記錄數 OFS 輸出域分隔符 ORS 輸出記錄分隔符 RS 控制記錄分隔符
此外,$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推
2.條件類型
條件類型 | 條 件 | 說 明 |
---|---|---|
awk保留字 | BEGIN | 在 awk 程序一開始,尚未讀取任何數據之前執行。BEGIN 后的動作只在程序開始時執行一次 |
awk保留字 | END | 在 awk 程序處理完所有數據,即將結束時執行?END 后的動作只在程序結束時執行一次 |
關系運算符 | > | 大於 |
< | 小於 | |
>= | 大於等於 | |
<= | 小於等於 | |
== | 等於。用於判斷兩個值是否相等。如果是給變童賦值,則使用"=” | |
!= | 不等於 | |
A~B | 判斷字符串 A 中是否包含能匹配 B 表達式的子字符串 | |
A!~B | 判斷字符串 A 中是否不包含能匹配 B 表達式的子字符串 | |
正則表達式 | /正則/ | 如果在“//”中可以寫入字符,則也可以支持正則表達式 |
3.awk中同時提供了print和printf兩種打印輸出的函數。
其中
3.1
print函數
參數可以是變量、數值或者字符串。
字符串必須用雙引號引用,參數用逗號分隔。如果沒有逗號,參數就串聯在一起而無法區分。
這里,逗號的作用與輸出文件的分隔符的作用是一樣的,只是后者是空格而已。
3.2
printf函數
其用法和c語言中printf基本相似,可以格式化字符串,輸出復雜時,printf更加好用,代碼更易懂。
#!/bin/bash
#BEGIN 是 awk 的保留字,是一種特殊的條件類型。BEGIN 的執行時機是"在 awk 程序一開始,尚未讀取任何數據之前"。
awk 'BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}' student.txt
# END 是在 awk 程序處理完所有數據,即將結束時執行的。
awk 'END{printf "The End \n"} {printf $2 "\t" $6 "\n"}' student.txt
#使用cat輸出文件內容,用grep取反包含"Name"的行,判斷第六個字段(平均成績)大於等於87分的行,如果判斷式成立,則打印第六列(學員名)
cat student.txt | grep -v Name |awk'$6 >= 87 {printf $2'\n"}'
#取記錄第第一列
ps -l 5 | awk '{print $1}'
#查看系統中的所有的賬號名稱,並按名稱的字母順序排序。
awk -F: '{print $1}' /etc/passwd | sort
#下面統計/etc/passwd的賬戶人數
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
#列出當前賬號最常使用的 10 個命令。
history | awk '{print $2}' | sort | uniq -c | sort -rn | head
#顯示當前系統的總內存大小,單位為 KB。
free | grep Mem | awk '{print $2}'
#搜索/etc/passwd有root關鍵字的所有行,並顯示對應的shell
awk -F: '/root/{print $7}' /etc/passwd
#統計某個文件夾下的文件占用的字節數
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
#如果以M為單位顯示:
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'