awk

文本和數據進行處理的編程語言

補充說明

awk 是一種編程語言，用於在linux/unix下對文本和數據進行處理。數據可以來自標准輸入(stdin)、一個或多個文件，或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能，是linux/unix下的一個強大編程工具。它在命令行中使用，但更多是作為腳本來使用。awk有很多內建的功能，比如數組、函數等，這是它和C語言的相同之處，靈活性是awk最大的優勢。

awk命令格式和選項

語法形式

awk [options] 'script' var=value file(s) awk [options] -f scriptfile var=value file(s)

常用命令選項

-F fs fs指定輸入分隔符，fs可以是字符串或正則表達式，如-F:
-v var=value 賦值一個用戶定義變量，將外部變量傳遞給awk
-f scripfile 從腳本文件中讀取awk命令
-m[fr] val 對val值設置內在限制，-mf選項限制分配給val的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標准awk中不適用。

awk模式和操作

awk腳本是由模式和操作組成的。

模式

模式可以是以下任意一個：

/正則表達式/：使用通配符的擴展集。
關系表達式：使用運算符進行操作，可以是字符串或數字的比較測試。
模式匹配表達式：用運算符~（匹配）和~!（不匹配）。
BEGIN語句塊、pattern語句塊、END語句塊：參見awk的工作原理

操作

操作由一個或多個命令、函數、表達式組成，之間由換行符或分號隔開，並位於大括號內，主要部分是：

變量或數組賦值
輸出命令
內置函數
控制流語句

awk腳本基本結構

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file

一個awk腳本通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊3部分組成，這三個部分是可選的。任意一個部分都可以不出現在腳本中，腳本通常是被 單引號 或 雙引號 中，例如：

awk 'BEGIN{ i=0 } { i++ } END{ print i }' filename awk "BEGIN{ i=0 } { i++ } END{ print i }" filename

awk的工作原理

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：執行BEGIN{ commands }語句塊中的語句；
第二步：從文件或標准輸入(stdin)讀取一行，然后執行pattern{ commands }語句塊，它逐行掃描文件，從第一行到最后一行重復這個過程，直到文件全部被讀取完畢。
第三步：當讀至輸入流末尾時，執行END{ commands }語句塊。

BEGIN語句塊 在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如變量初始化、打印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中。

END語句塊 在awk從輸入流中讀取完所有的行之后即被執行，比如打印所有行的分析結果這類信息匯總都是在END語句塊中完成，它也是一個可選語句塊。

pattern語句塊 中的通用命令是最重要的部分，它也是可選的。如果沒有提供pattern語句塊，則默認執行{ print }，即打印每一個讀取到的行，awk讀取的每一行都會執行該語句塊。

示例

echo -e "A line 1nA line 2" | awk 'BEGIN{ print "Start" } { print } END{ print "End" }' Start A line 1 A line 2 End

當使用不帶參數的print時，它就打印當前行，當print的參數是以逗號進行分隔時，打印時則以空格作為定界符。在awk的print語句塊中雙引號是被當作拼接符使用，例如：

echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }' v1 v2 v3

雙引號拼接使用：

echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }' v1=v2=v3

{ }類似一個循環體，會對文件中的每一行進行迭代，通常變量初始化語句（如：i=0）以及打印文件頭部的語句放入BEGIN語句塊中，將打印的結果等語句放在END語句塊中。

awk內置變量（預定義變量）

說明：[A][N][P][G]表示第一個支持變量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

 **$n** 當前記錄的第n個字段，比如n為1表示第一個字段，n為2表示第二個字段。 **$0** 這個變量包含執行過程中當前行的文本內容。 [N] **ARGC** 命令行參數的數目。 [G] **ARGIND** 命令行中當前文件的位置（從0開始算）。 [N] **ARGV** 包含命令行參數的數組。 [G] **CONVFMT** 數字轉換格式（默認值為%.6g）。 [P] **ENVIRON** 環境變量關聯數組。 [N] **ERRNO** 最后一個系統錯誤的描述。 [G] **FIELDWIDTHS** 字段寬度列表（用空格鍵分隔）。 [A] **FILENAME** 當前輸入文件的名。 [P] **FNR** 同NR，但相對於當前文件。 [A] **FS** 字段分隔符（默認是任何空格）。 [G] **IGNORECASE** 如果為真，則進行忽略大小寫的匹配。 [A] **NF** 表示字段數，在執行過程中對應於當前的字段數。 [A] **NR** 表示記錄數，在執行過程中對應於當前的行號。 [A] **OFMT** 數字的輸出格式（默認值是%.6g）。 [A] **OFS** 輸出字段分隔符（默認值是一個空格）。 [A] **ORS** 輸出記錄分隔符（默認值是一個換行符）。 [A] **RS** 記錄分隔符（默認是一個換行符）。 [N] **RSTART** 由match函數所匹配的字符串的第一個位置。 [N] **RLENGTH** 由match函數所匹配的字符串的長度。 [N] **SUBSEP** 數組下標分隔符（默認值是34）。

示例

echo -e "line1 f2 f3nline2 f4 f5nline3 f6 f7" | awk '{print "Line No:"NR", No of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}' Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3 Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5 Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7

使用print $NF可以打印出一行中的最后一個字段，使用$(NF-1)則是打印倒數第二個字段，其他以此類推：

echo -e "line1 f2 f3n line2 f4 f5" | awk '{print $NF}' f3 f5

echo -e "line1 f2 f3n line2 f4 f5" | awk '{print $(NF-1)}' f2 f4

打印每一行的第二和第三個字段：

awk '{ print $2,$3 }' filename

統計文件中的行數：

awk 'END{ print NR }' filename

以上命令只使用了END語句塊，在讀入每一行的時，awk會將NR更新為對應的行號，當到達最后一行NR的值就是最后一行的行號，所以END語句塊中的NR就是文件的行數。

一個每一行中第一個字段值累加的例子：

seq 5 | awk 'BEGIN{ sum=0; print "總和：" } { print $1"+"; sum+=$1 } END{ print "等於"; print sum }' 總和： 1+ 2+ 3+ 4+ 5+ 等於 15

將外部變量值傳遞給awk

借助 -v選項 ，可以將外部值（並非來自stdin）傳遞給awk：

VAR=10000
echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'

另一種傳遞外部變量方法：

var1="aaa" var2="bbb" echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2

當輸入來自於文件時使用：

awk '{ print v1,v2 }' v1=$var1 v2=$var2 filename

以上方法中，變量之間用空格分隔作為awk的命令行參數跟隨在BEGIN、{}和END語句塊之后。

awk運算與判斷

作為一種程序設計語言所應具有的特點之一，awk支持多種運算，這些運算與C語言提供的基本相同。awk還提供了一系列內置的運算函數（如log、sqr、cos、sin等）和一些用於對字符串進行操作（運算）的函數（如length、substr等等）。這些函數的引用大大的提高了awk的運算功能。作為對條件轉移指令的一部分，關系判斷是每種程序設計語言都具備的功能，awk也不例外，awk中允許進行多種測試，作為樣式匹配，還提供了模式匹配表達式~（匹配）和~!（不匹配）。作為對測試的一種擴充，awk也支持用邏輯運算符。

算術運算符

運算符	描述
+ -	加，減
/ &	乘，除與求余
+ - !	一元加，減和邏輯非
^ **	求冪
++ --	增加或減少，作為前綴或后綴

例：

awk 'BEGIN{a="b";print a++,++a;}' 0 2

注意：所有用作算術運算符進行操作，操作數自動轉為數值，所有非數值都變為0

賦值運算符

運算符	描述
= += -= = /= %= ^= *=	賦值語句

例：

a+=5; 等價於：a=a+5; 其它同類

邏輯運算符

運算符	描述
\|\|	邏輯或
&&	邏輯與

例：

awk 'BEGIN{a=1;b=2;print (a>5 && b<=2),(a>5 || b<=2);}' 0 1

正則運算符

運算符	描述
~ ~!	匹配正則表達式和不匹配正則表達式

例：

awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}' ok

關系運算符

運算符	描述
< <= > >= != ==	關系運算符

例：

awk 'BEGIN{a=11;if(a >= 9){print "ok";}}' ok

注意：> < 可以作為字符串比較，也可以用作數值比較，關鍵看操作數如果是字符串就會轉換為字符串比較。兩個都為數字才轉為數值比較。字符串比較：按照ASCII碼順序比較。

其它運算符

運算符	描述
$	字段引用
空格	字符串連接符
?:	C條件表達式
in	數組中是否存在某鍵值

例：

awk 'BEGIN{a="b";print a=="b"?"ok":"err";}' ok

awk 'BEGIN{a="b";arr[0]="b";arr[1]="c";print (a in arr);}' 0

awk 'BEGIN{a="b";arr[0]="b";arr["b"]="c";print (a in arr);}' 1

運算級優先級表

!級別越高越優先
級別越高越優先

awk高級輸入輸出

讀取下一條記錄

awk中next語句使用：在循環逐行匹配，如果遇到next，就會跳過當前行，直接忽略下面語句。而進行下一行匹配。net語句一般用於多行合並：

cat text.txt
a
b
c
d
e

awk 'NR%2==1{next}{print NR,$0;}' text.txt 2 b 4 d

當記錄行號除以2余1，就跳過當前行。下面的print NR,$0也不會執行。下一行開始，程序有開始判斷NR%2值。這個時候記錄行號是：2 ，就會執行下面語句塊：'print NR,$0'

分析發現需要將包含有“web”行進行跳過，然后需要將內容與下面行合並為一行：

cat text.txt
web01[192.168.2.100]
httpd            ok
tomcat               ok
sendmail               ok
web02[192.168.2.101]
httpd            ok
postfix               ok
web03[192.168.2.102]
mysqld            ok
httpd               ok
0
awk '/^web/{T=$0;next;}{print T":t"$0;}' test.txt web01[192.168.2.100]: httpd ok web01[192.168.2.100]: tomcat ok web01[192.168.2.100]: sendmail ok web02[192.168.2.101]: httpd ok web02[192.168.2.101]: postfix ok web03[192.168.2.102]: mysqld ok web03[192.168.2.102]: httpd ok

簡單地讀取一條記錄

awk getline用法：輸出重定向需用到getline函數。getline從標准輸入、管道或者當前正在處理的文件之外的其他輸入文件獲得輸入。它負責從輸入獲得下一行的內容，並給NF,NR和FNR等內建變量賦值。如果得到一條記錄，getline函數返回1，如果到達文件的末尾就返回0，如果出現錯誤，例如打開文件失敗，就返回-1。

getline語法：getline var，變量var包含了特定行的內容。

awk getline從整體上來說，用法說明：

當其左右無重定向符|或<時： getline作用於當前文件，讀入當前文件的第一行給其后跟的變量var或$0（無變量），應該注意到，由於awk在處理getline之前已經讀入了一行，所以getline得到的返回結果是隔行的。
當其左右有重定向符|或<時： getline則作用於定向輸入文件，由於該文件是剛打開，並沒有被awk讀入一行，只是getline讀入，那么getline返回的是該文件的第一行，而不是隔行。

示例：

執行linux的date命令，並通過管道輸出給getline，然后再把輸出賦值給自定義變量out，並打印它：

awk 'BEGIN{ "date" | getline out; print out }' test

執行shell的date命令，並通過管道輸出給getline，然后getline從管道中讀取並將輸入賦值給out，split函數把變量out轉化成數組mon，然后打印數組mon的第二個元素：

awk 'BEGIN{ "date" | getline out; split(out,mon); print mon[2] }' test

命令ls的輸出傳遞給geline作為輸入，循環使getline從ls的輸出中讀取一行，並把它打印到屏幕。這里沒有輸入文件，因為BEGIN塊在打開輸入文件前執行，所以可以忽略輸入文件。

awk 'BEGIN{ while( "ls" | getline) print }'

關閉文件

awk中允許在程序中關閉一個輸入或輸出文件，方法是使用awk的close語句。

close("filename")

filename可以是getline打開的文件，也可以是stdin，包含文件名的變量或者getline使用的確切命令。或一個輸出文件，可以是stdout，包含文件名的變量或使用管道的確切命令。

輸出到一個文件

awk中允許用如下方式將結果輸出到一個文件：

echo | awk '{printf("hello word!n") > "datafile"}' 或 echo | awk '{printf("hello word!n") >> "datafile"}'

設置字段定界符

默認的字段定界符是空格，可以使用-F "定界符" 明確指定一個定界符：

awk -F: '{ print $NF }' /etc/passwd 或 awk 'BEGIN{ FS=":" } { print $NF }' /etc/passwd

在BEGIN語句塊中則可以用OFS=“定界符”設置輸出字段的定界符。

流程控制語句

在linux awk的while、do-while和for語句中允許使用break,continue語句來控制流程走向，也允許使用exit這樣的語句來退出。break中斷當前正在執行的循環並跳到循環外執行下一條語句。if 是流程選擇用法。awk中，流程控制語句，語法結構，與c語言類型。有了這些語句，其實很多shell程序都可以交給awk，而且性能是非常快的。下面是各個語句用法。

條件判斷語句

if(表達式) 語句1 else 語句2

格式中語句1可以是多個語句，為了方便判斷和閱讀，最好將多個語句用{}括起來。awk分枝結構允許嵌套，其格式為：

if(表達式) {語句1} else if(表達式) {語句2} else {語句3}

示例：

awk 'BEGIN{ test=100; if(test>90){ print "very good"; } else if(test>60){ print "good"; } else{ print "no pass"; } }' very good

每條命令語句后面可以用; 分號結尾。

循環語句

while語句

while(表達式) {語句}

示例：

awk 'BEGIN{ test=100; total=0; while(i<=test){ total+=i; i++; } print total; }' 5050

for循環

for循環有兩種格式：

格式1：

for(變量 in 數組) {語句}

示例：

awk 'BEGIN{ for(k in ENVIRON){ print k"="ENVIRON[k]; } }' TERM=linux G_BROKEN_FILENAMES=1 SHLVL=1 pwd=/root/text ... logname=root HOME=/root SSH_CLIENT=192.168.1.21 53087 22

注：ENVIRON是awk常量，是子典型數組。

格式2：

for(變量;條件;表達式) {語句}

示例：

awk 'BEGIN{ total=0; for(i=0;i<=100;i++){ total+=i; } print total; }' 5050

do循環

do {語句} while(條件)

例子：

awk 'BEGIN{ total=0; i=0; do {total+=i;i++;} while(i<=100) print total; }' 5050

其他語句

break 當 break 語句用於 while 或 for 語句時，導致退出程序循環。
continue 當 continue 語句用於 while 或 for 語句時，使程序循環移動到下一個迭代。
next 能能夠導致讀入下一個輸入行，並返回到腳本的頂部。這可以避免對當前輸入行執行其他的操作過程。
exit 語句使主輸入循環退出並將控制轉移到END,如果END存在的話。如果沒有定義END規則，或在END中應用exit語句，則終止腳本的執行。

數組應用

數組是awk的靈魂，處理文本中最不能少的就是它的數組處理。因為數組索引（下標）可以是數字和字符串在awk中數組叫做關聯數組(associative arrays)。awk 中的數組不必提前聲明，也不必聲明大小。數組元素用0或空字符串來初始化，這根據上下文而定。

數組的定義

數字做數組索引（下標）：

Array[1]="sun" Array[2]="kai"

字符串做數組索引（下標）：

Array["first"]="www" Array"[last"]="name" Array["birth"]="1987"

使用中print Array[1]會打印出sun；使用print Array[2]會打印出kai；使用print["birth"]會得到1987。

讀取數組的值

{ for(item in array) {print array[item]}; } #輸出的順序是隨機的 { for(i=1;i<=len;i++) {print array[i]}; } #Len是數組的長度

數組相關函數

得到數組長度：

awk 'BEGIN{info="it is a test";lens=split(info,tA," ");print length(tA),lens;}' 4 4

length返回字符串以及數組長度，split進行分割字符串為數組，也會返回分割得到數組長度。

awk 'BEGIN{info="it is a test";split(info,tA," ");print asort(tA);}' 4

asort對數組進行排序，返回數組長度。

輸出數組內容（無序，有序輸出）：

awk 'BEGIN{info="it is a test";split(info,tA," ");for(k in tA){print k,tA[k];}}' 4 test 1 it 2 is 3 a

for…in輸出，因為數組是關聯數組，默認是無序的。所以通過for…in得到是無序的數組。如果需要得到有序數組，需要通過下標獲得。

awk 'BEGIN{info="it is a test";tlen=split(info,tA," ");for(k=1;k<=tlen;k++){print k,tA[k];}}' 1 it 2 is 3 a 4 test

注意：數組下標是從1開始，與C數組不一樣。

判斷鍵值存在以及刪除鍵值：

#錯誤的判斷方法： awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";if(tB["c"]!="1"){print "no found";};for(k in tB){print k,tB[k];}}' no found a a1 b b1 c

以上出現奇怪問題，tB[“c”]沒有定義，但是循環時候，發現已經存在該鍵值，它的值為空，這里需要注意，awk數組是關聯數組，只要通過數組引用它的key，就會自動創建改序列。

#正確判斷方法： awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";if( "c" in tB){print "ok";};for(k in tB){print k,tB[k];}}' a a1 b b1

if(key in array)通過這種方法判斷數組中是否包含key鍵值。

#刪除鍵值： [chengmo@localhost ~]$ awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";delete tB["a"];for(k in tB){print k,tB[k];}}' b b1

delete array[key]可以刪除，對應數組key的，序列值。

二維、多維數組使用

awk的多維數組在本質上是一維數組，更確切一點，awk在存儲上並不支持多維數組。awk提供了邏輯上模擬二維數組的訪問方式。例如，array[2,4]=1這樣的訪問是允許的。awk使用一個特殊的字符串SUBSEP(�34)作為分割字段，在上面的例子中，關聯數組array存儲的鍵值實際上是2�344。

類似一維數組的成員測試，多維數組可以使用if ( (i,j) in array)這樣的語法，但是下標必須放置在圓括號中。類似一維數組的循環訪問，多維數組使用for ( item in array )這樣的語法遍歷數組。與一維數組不同的是，多維數組必須使用split()函數來訪問單獨的下標分量。

awk 'BEGIN{ for(i=1;i<=9;i++){ for(j=1;j<=9;j++){ tarr[i,j]=i*j; print i,"*",j,"=",tarr[i,j]; } } }' 1 * 1 = 1 1 * 2 = 2 1 * 3 = 3 1 * 4 = 4 1 * 5 = 5 1 * 6 = 6 ... 9 * 6 = 54 9 * 7 = 63 9 * 8 = 72 9 * 9 = 81

可以通過array[k,k2]引用獲得數組內容。

另一種方法：

awk 'BEGIN{ for(i=1;i<=9;i++){ for(j=1;j<=9;j++){ tarr[i,j]=i*j; } } for(m in tarr){ split(m,tarr2,SUBSEP); print tarr2[1],"*",tarr2[2],"=",tarr[m]; } }'

內置函數

awk內置函數，主要分以下3種類似：算數函數、字符串函數、其它一般函數、時間函數。

算術函數

格式	描述
atan2( y, x )	返回 y/x 的反正切。
cos( x )	返回 x 的余弦；x 是弧度。
sin( x )	返回 x 的正弦；x 是弧度。
exp( x )	返回 x 冪函數。
log( x )	返回 x 的自然對數。
sqrt( x )	返回 x 平方根。
int( x )	返回 x 的截斷至整數的值。
rand( )	返回任意數字 n，其中 0 <= n < 1。
srand( [expr] )	將 rand 函數的種子值設置為 Expr 參數的值，或如果省略 Expr 參數則使用某天的時間。返回先前的種子值。

舉例說明：

awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}' 0.841 22026.466 2.303 3

OFMT 設置輸出數據格式是保留3位小數。

獲得隨機數：

awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 78 awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 31 awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 41

字符串函數

格式	描述
gsub( Ere, Repl, [ In ] )	除了正則表達式所有具體值被替代這點，它和 sub 函數完全一樣地執行。
sub( Ere, Repl, [ In ] )	用 Repl 參數指定的字符串替換 In 參數指定的字符串中的由 Ere 參數指定的擴展正則表達式的第一個具體值。sub 函數返回替換的數量。出現在 Repl 參數指定的字符串中的 &（和符號）由 In 參數指定的與 Ere 參數的指定的擴展正則表達式匹配的字符串替換。如果未指定 In 參數，缺省值是整個記錄（$0 記錄變量）。
index( String1, String2 )	在由 String1 參數指定的字符串（其中有出現 String2 指定的參數）中，返回位置，從 1 開始編號。如果 String2 參數不在 String1 參數中出現，則返回 0（零）。
length [(String)]	返回 String 參數指定的字符串的長度（字符形式）。如果未給出 String 參數，則返回整個記錄的長度（$0 記錄變量）。
blength [(String)]	返回 String 參數指定的字符串的長度（以字節為單位）。如果未給出 String 參數，則返回整個記錄的長度（$0 記錄變量）。
substr( String, M, [ N ] )	返回具有 N 參數指定的字符數量子串。子串從 String 參數指定的字符串取得，其字符以 M 參數指定的位置開始。M 參數指定為將 String 參數中的第一個字符作為編號 1。如果未指定 N 參數，則子串的長度將是 M 參數指定的位置到 String 參數的末尾的長度。
match( String, Ere )	在 String 參數指定的字符串（Ere 參數指定的擴展正則表達式出現在其中）中返回位置（字符形式），從 1 開始編號，或如果 Ere 參數不出現，則返回 0（零）。RSTART 特殊變量設置為返回值。RLENGTH 特殊變量設置為匹配的字符串的長度，或如果未找到任何匹配，則設置為 -1（負一）。
split( String, A, [Ere] )	將 String 參數指定的參數分割為數組元素 A[1], A[2], . . ., A[n]，並返回 n 變量的值。此分隔可以通過 Ere 參數指定的擴展正則表達式進行，或用當前字段分隔符（FS 特殊變量）來進行（如果沒有給出 Ere 參數）。除非上下文指明特定的元素還應具有一個數字值，否則 A 數組中的元素用字符串值來創建。
tolower( String )	返回 String 參數指定的字符串，字符串中每個大寫字符將更改為小寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 范疇定義。
toupper( String )	返回 String 參數指定的字符串，字符串中每個小寫字符將更改為大寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 范疇定義。
sprintf(Format, Expr, Expr, . . . )	根據 Format 參數指定的 printf 子例程格式字符串來格式化 Expr 參數指定的表達式並返回最后生成的字符串。

注：Ere都可以是正則表達式。

gsub,sub使用

awk 'BEGIN{info="this is a test2010test!";gsub(/[0-9]+/,"!",info);print info}' this is a test!test!

在 info中查找滿足正則表達式，/[0-9]+/ 用””替換，並且替換后的值，賦值給info 未給info值，默認是$0

查找字符串（index使用）

awk 'BEGIN{info="this is a test2010test!";print index(info,"test")?"ok":"no found";}' ok

未找到，返回0

正則表達式匹配查找(match使用）

awk 'BEGIN{info="this is a test2010test!";print match(info,/[0-9]+/)?"ok":"no found";}' ok

截取字符串(substr使用）

[wangsl@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";print substr(info,4,10);}' s is a tes

從第 4個字符開始，截取10個長度字符串

字符串分割（split使用）

awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}' 4 4 test 1 this 2 is 3 a

分割info，動態創建數組tA，這里比較有意思，awk for …in循環，是一個無序的循環。並不是從數組下標1…n ，因此使用時候需要注意。

格式化字符串輸出（sprintf使用）

格式化字符串格式：

其中格式化字符串包括兩部分內容：一部分是正常字符，這些字符將按原樣輸出; 另一部分是格式化規定字符，以"%"開始，后跟一個或幾個規定字符,用來確定輸出內容格式。

格式	描述
%d	十進制有符號整數
%u	十進制無符號整數
%f	浮點數
%s	字符串
%c	單個字符
%p	指針的值
%e	指數形式的浮點數
%x	%X 無符號以十六進制表示的整數
%o	無符號以八進制表示的整數
%g	自動選擇合適的表示法

awk 'BEGIN{n1=124.113;n2=-1.224;n3=1.2345; printf("%.2f,%.2u,%.2g,%X,%on",n1,n2,n3,n1,n1);}' 124.11,18446744073709551615,1.2,7C,174

一般函數

格式	描述
close( Expression )	用同一個帶字符串值的 Expression 參數來關閉由 print 或 printf 語句打開的或調用 getline 函數打開的文件或管道。如果文件或管道成功關閉，則返回 0；其它情況下返回非零值。如果打算寫一個文件，並稍后在同一個程序中讀取文件，則 close 語句是必需的。
system(command )	執行 Command 參數指定的命令，並返回退出狀態。等同於 system 子例程。
Expression \| getline [ Variable ]	從來自 Expression 參數指定的命令的輸出中通過管道傳送的流中讀取一個輸入記錄，並將該記錄的值指定給 Variable 參數指定的變量。如果當前未打開將 Expression 參數的值作為其命令名稱的流，則創建流。創建的流等同於調用 popen 子例程，此時 Command 參數取 Expression 參數的值且 Mode 參數設置為一個是 r 的值。只要流保留打開且 Expression 參數求得同一個字符串，則對 getline 函數的每次后續調用讀取另一個記錄。如果未指定 Variable 參數，則 $0 記錄變量和 NF 特殊變量設置為從流讀取的記錄。
getline [ Variable ] < Expression	從 Expression 參數指定的文件讀取輸入的下一個記錄，並將 Variable 參數指定的變量設置為該記錄的值。只要流保留打開且 Expression 參數對同一個字符串求值，則對 getline 函數的每次后續調用讀取另一個記錄。如果未指定 Variable 參數，則 $0 記錄變量和 NF 特殊變量設置為從流讀取的記錄。
getline [ Variable ]	將 Variable 參數指定的變量設置為從當前輸入文件讀取的下一個輸入記錄。如果未指定 Variable 參數，則 $0 記錄變量設置為該記錄的值，還將設置 NF、NR 和 FNR 特殊變量。

打開外部文件（close用法）

awk 'BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin

逐行讀取外部文件(getline使用方法）

awk 'BEGIN{while(getline < "/etc/passwd"){print $0;};close("/etc/passwd");}' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin

awk 'BEGIN{print "Enter your name:";getline name;print name;}' Enter your name: chengmo chengmo

調用外部應用程序(system使用方法）

awk 'BEGIN{b=system("ls -al");print b;}' total 42092 drwxr-xr-x 14 chengmo chengmo 4096 09-30 17:47 . drwxr-xr-x 95 root root 4096 10-08 14:01 ..

b返回值，是執行結果。

時間函數

格式	描述
函數名	說明
mktime( YYYY MM dd HH MM ss[ DST])	生成時間格式
strftime([format [, timestamp]])	格式化時間輸出，將時間戳轉為時間字符串具體格式，見下表.
systime()	得到時間戳,返回從1970年1月1日開始到當前時間(不計閏年)的整秒數

建指定時間(mktime使用）

awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}' 2001年01月01日 星期一 12時12分12秒

awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}' 2634468

求2個時間段中間時間差，介紹了strftime使用方法

awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}' 308201392

strftime日期和時間格式說明符

格式	描述
%a	星期幾的縮寫(Sun)
%A	星期幾的完整寫法(Sunday)
%b	月名的縮寫(Oct)
%B	月名的完整寫法(October)
%c	本地日期和時間
%d	十進制日期
%D	日期 08/20/99
%e	日期，如果只有一位會補上一個空格
%H	用十進制表示24小時格式的小時
%I	用十進制表示12小時格式的小時
%j	從1月1日起一年中的第幾天
%m	十進制表示的月份
%M	十進制表示的分鍾
%p	12小時表示法(AM/PM)
%S	十進制表示的秒
%U	十進制表示的一年中的第幾個星期(星期天作為一個星期的開始)
%w	十進制表示的星期幾(星期天是0)
%W	十進制表示的一年中的第幾個星期(星期一作為一個星期的開始)
%x	重新設置本地日期(08/20/99)
%X	重新設置本地時間(12：00：00)
%y	兩位數字表示的年(99)
%Y	當前月份
%Z	時區(PDT)
%%	百分號(%)

awk命令詳解

awk