Shell awk命令


功能:
對數據分析並生成報告 
把文件逐行的讀入,以空格為默認分隔符將每行切片,切開的部分再進行各種分析處理。
#pattern 表示 AWK 在數據中查找的內容
#action 是在找到匹配內容時所執行的一系列命令。
#花括號({})不需要在程序中始終出現,但它們用於根據特定的模式對一系列指令進行分組,pattern就是要表示的正則表達式,用斜杠括起來。
awk '{pattern + action}' {filenames}
調用方式:
1.命令行方式
awk [-F  field-separator]  'commands'  input-file(s)
其中,commands 是真正awk命令,[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。
在awk中,文件的每一行中,由域分隔符分開的每一項稱為一個域。
通常,在不指名-F域分隔符的情況下,默認的域分隔符是空格。

2.shell腳本方式
將所有的awk命令插入一個文件,並使awk程序可執行,然后awk命令解釋器作為腳本的首行,一遍通過鍵入腳本名稱來調用。
相當於shell腳本首行的:#!/bin/sh
可以換成:#!/bin/awk

3.將所有的awk命令插入一個單獨文件,然后調用:
awk -f awk-script-file input-file(s)
其中,-f選項加載awk-script-file中的awk腳本,input-file(s)跟上面的是一樣的。

工作流程:
讀入有'\n'換行符分割的一條記錄,然后將記錄按指定的域分隔符划分域,填充域,$0則表示所有域,$1表示第一個域,$n表示第n個域。
默認域分隔符是"空白鍵" 或 "[tab]鍵".
支持類型:
1.內置變量
ARGC               命令行參數個數
ARGV               命令行參數排列
ENVIRON            支持隊列中系統環境變量的使用
FILENAME           awk瀏覽的文件名
FNR                瀏覽文件的記錄數
FS                 設置輸入域分隔符,等價於命令行 -F選項
NF                 瀏覽記錄的域的個數
NR                 已讀的記錄數
OFS                輸出域分隔符
ORS                輸出記錄分隔符
RS                 控制記錄分隔符
此外,$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推
2.條件類型
 awk支持的主要條件類型
條件類型 條 件 說 明
awk保留字 BEGIN 在 awk 程序一開始,尚未讀取任何數據之前執行。BEGIN 后的動作只在程序開始時執行一次
awk保留字 END 在 awk 程序處理完所有數據,即將結束時執行?END 后的動作只在程序結束時執行一次
關系運算符 > 大於
< 小於
>= 大於等於
<= 小於等於
== 等於。用於判斷兩個值是否相等。如果是給變童賦值,則使用"=”
!= 不等於
A~B 判斷字符串 A 中是否包含能匹配 B 表達式的子字符串
A!~B 判斷字符串 A 中是否不包含能匹配 B 表達式的子字符串
正則表達式 /正則/ 如果在“//”中可以寫入字符,則也可以支持正則表達式
3.awk中同時提供了print和printf兩種打印輸出的函數。
其中
3.1  print函數
參數可以是變量、數值或者字符串。
字符串必須用雙引號引用,參數用逗號分隔。如果沒有逗號,參數就串聯在一起而無法區分。
這里,逗號的作用與輸出文件的分隔符的作用是一樣的,只是后者是空格而已。
3.2  printf函數
其用法和c語言中printf基本相似,可以格式化字符串,輸出復雜時,printf更加好用,代碼更易懂。
 #!/bin/bash
 
 #BEGIN 是 awk 的保留字,是一種特殊的條件類型。BEGIN 的執行時機是"在 awk 程序一開始,尚未讀取任何數據之前"。
 awk 'BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}' student.txt
 
 # END 是在 awk 程序處理完所有數據,即將結束時執行的。
 
 awk 'END{printf "The End \n"} {printf $2 "\t" $6 "\n"}' student.txt
 #使用cat輸出文件內容,用grep取反包含"Name"的行,判斷第六個字段(平均成績)大於等於87分的行,如果判斷式成立,則打印第六列(學員名)
 cat student.txt | grep -v Name |awk'$6 >= 87 {printf $2'\n"}'

#取記錄第第一列
ps -l 5 | awk  '{print $1}'

#查看系統中的所有的賬號名稱,並按名稱的字母順序排序。
awk -F: '{print $1}' /etc/passwd | sort
#下面統計/etc/passwd的賬戶人數
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

#列出當前賬號最常使用的 10 個命令。
history | awk '{print $2}' | sort | uniq -c | sort -rn | head

#顯示當前系統的總內存大小,單位為 KB。
free | grep Mem | awk '{print $2}'

#搜索/etc/passwd有root關鍵字的所有行,並顯示對應的shell
awk -F: '/root/{print $7}' /etc/passwd    

#統計某個文件夾下的文件占用的字節數
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
#如果以M為單位顯示:
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM