Linux基礎之-正則表達式（grep，sed，awk）

一. 正則表達式

正則表達式，又稱規則表達式。（英語：Regular Expression，在代碼中常簡寫為regex、regexp或RE），計算機科學的一個概念。正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規則字符串”，這個“規則字符串”用來表達對字符串的一種過濾邏輯。

要想真正的用好正則表達式，正確的理解元字符是最重要的事情。下表列出了所有的元字符和對它們的一個簡短的描述。

元字符	描述
\	將下一個字符標記符、或一個向后引用、或一個八進制轉義符。例如，“\\n”匹配\n。“\n”匹配換行符。序列“\\”匹配“\”而“\(”則匹配“(”。即相當於多種編程語言中都有的“轉義字符”的概念。
^	匹配輸入字符串的開始位置。如果設置了RegExp對象的Multiline屬性，^也匹配“\n”或“\r”之后的位置。
$	匹配輸入字符串的結束位置。如果設置了RegExp對象的Multiline屬性，$也匹配“\n”或“\r”之前的位置。
*	匹配前面的子表達式任意次。例如，zo*能匹配“z”，也能匹配“zo”以及“zoo”。
+	匹配前面的子表達式一次或多次(大於等於1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等價於{1,}。
?	匹配前面的子表達式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等價於{0,1}。
{n}	n是一個非負整數。匹配確定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的兩個o。
{n,}	n是一個非負整數。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。
{n,m}	m和n均為非負整數，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”將匹配“fooooood”中的前三個o為一組，后三個o為一組。“o{0,1}”等價於“o?”。請注意在逗號和兩個數之間不能有空格。
?	當該字符緊跟在任何一個其他限制符（*,+,?，{n}，{n,}，{n,m}）后面時，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如，對於字符串“oooo”，“o+”將盡可能多的匹配“o”，得到結果[“oooo”]，而“o+?”將盡可能少的匹配“o”，得到結果 ['o', 'o', 'o', 'o']
.點	匹配除“\r\n”之外的任何單個字符。要匹配包括“\r\n”在內的任何字符，請使用像“[\s\S]”的模式。
(pattern)	匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中則使用$0…$9屬性。要匹配圓括號字符，請使用“\(”或“\)”。
(?:pattern)	非獲取匹配，匹配pattern但不獲取匹配結果，不進行存儲供以后使用。這在使用或字符“(|)”來組合一個模式的各個部分時很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表達式。
(?=pattern)	非獲取匹配，正向肯定預查，在任何匹配pattern的字符串開始處匹配查找字符串，該匹配不需要獲取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。預查不消耗字符，也就是說，在一個匹配發生后，在最后一次匹配之后立即開始下一次匹配的搜索，而不是從包含預查的字符之后開始。
(?!pattern)	非獲取匹配，正向否定預查，在任何不匹配pattern的字符串開始處匹配查找字符串，該匹配不需要獲取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。
(?<=pattern)	非獲取匹配，反向肯定預查，與正向肯定預查類似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。
(?<!pattern)	非獲取匹配，反向否定預查，與正向否定預查類似，只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。這個地方不正確，有問題 此處用或任意一項都不能超過2位，如“(?<!95|98|NT|20)Windows正確，“(?<!95|980|NT|20)Windows 報錯，若是單獨使用則無限制，如(?<!2000)Windows 正確匹配
x|y	匹配x或y。例如，“z|food”能匹配“z”或“food”(此處請謹慎)。“[z|f]ood”則匹配“zood”或“food”或"|ood"。
[xyz]	字符集合。匹配所包含的任意一個字符。例如，“[abc]”可以匹配“plain”中的“a”。
[^xyz]	負值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。
[a-z]	字符范圍。匹配指定范圍內的任意字符。例如，“[a-z]”可以匹配“a”到“z”范圍內的任意小寫字母字符。 注意:只有連字符在字符組內部時,並且出現在兩個字符之間時,才能表示字符的范圍; 如果出字符組的開頭,則只能表示連字符本身.
[^a-z]	負值字符范圍。匹配任何不在指定范圍內的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范圍內的任意字符。
\b	匹配一個單詞邊界，也就是指單詞和空格間的位置（即正則表達式的“匹配”有兩種概念，一種是匹配字符，一種是匹配位置，這里的\b就是匹配位置的）。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。
\B	匹配非單詞邊界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。
\cx	匹配由x指明的控制字符。例如，\cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則，將c視為一個原義的“c”字符。
\d	匹配一個數字字符。等價於[0-9]。grep 要加上-P，perl正則支持
\D	匹配一個非數字字符。等價於[^0-9]。grep要加上-P，perl正則支持
\f	匹配一個換頁符。等價於\x0c和\cL。
\n	匹配一個換行符。等價於\x0a和\cJ。
\r	匹配一個回車符。等價於\x0d和\cM。
\s	匹配任何不可見字符，包括空格、制表符、換頁符等等。等價於[ \f\n\r\t\v]。
\S	匹配任何可見字符。等價於[^ \f\n\r\t\v]。
\t	匹配一個制表符。等價於\x09和\cI。
\v	匹配一個垂直制表符。等價於\x0b和\cK。
\w	匹配包括下划線的任何單詞字符。類似但不等價於“[A-Za-z0-9_]”，這里的"單詞"字符使用Unicode字符集。
\W	匹配任何非單詞字符。等價於“[^A-Za-z0-9_]”。
\xn	匹配n，其中n為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。例如，“\x41”匹配“A”。“\x041”則等價於“\x04&1”。正則表達式中可以使用ASCII編碼。
\num	匹配num，其中num是一個正整數。對所獲取的匹配的引用。例如，“(.)\1”匹配兩個連續的相同字符。
\n	標識一個八進制轉義值或一個向后引用。如果\n之前至少n個獲取的子表達式，則n為向后引用。否則，如果n為八進制數字（0-7），則n為一個八進制轉義值。
\nm	標識一個八進制轉義值或一個向后引用。如果\nm之前至少有nm個獲得子表達式，則nm為向后引用。如果\nm之前至少有n個獲取，則n為一個后跟文字m的向后引用。如果前面的條件都不滿足，若n和m均為八進制數字（0-7），則\nm將匹配八進制轉義值nm。
\nml	如果n為八進制數字（0-7），且m和l均為八進制數字（0-7），則匹配八進制轉義值nml。
\un	匹配n，其中n是一個用四個十六進制數字表示的Unicode字符。例如，\u00A9匹配版權符號（&copy;）。
\p{P}	小寫 p 是 property 的意思，表示 Unicode 屬性，用於 Unicode 正表達式的前綴。中括號內的“P”表示Unicode 字符集七個字符屬性之一：標點字符。 其他六個屬性： L：字母； M：標記符號（一般不會單獨出現）； Z：分隔符（比如空格、換行等）； S：符號（比如數學符號、貨幣符號等）； N：數字（比如阿拉伯數字、羅馬數字等）； C：其他字符。 *注：此語法部分語言不支持，例：javascript。
\< \>	匹配詞（word）的開始（\<）和結束（\>）。例如正則表達式\<the\>能夠匹配字符串"for the wise"中的"the"，但是不能匹配字符串"otherwise"中的"the"。注意：這個元字符不是所有的軟件都支持的。
( )	將( 和 ) 之間的表達式定義為“組”（group），並且將匹配這個表達式的字符保存到一個臨時區域（一個正則表達式中最多可以保存9個），它們可以用 \1 到\9 的符號來引用。
|	將兩個匹配條件進行邏輯“或”（Or）運算。例如正則表達式(him|her) 匹配"it belongs to him"和"it belongs to her"，但是不能匹配"it belongs to them."。注意：這個元字符不是所有的軟件都支持的。

 

在linux中，通配符是由shell解釋的，而正則表達式則是由命令解釋的，下面我們就為大家介紹三種文本處理工具/命令：grep、sed、awk，它們三者均可以解釋正則。

二. grep

 1. grep指令用於查找內容包含指定的范本樣式的文件，如果發現某文件的內容符合所指定的范本樣式，預設grep指令會把含有范本樣式的那一列顯示出來。若不指定任何文件名稱，或是所給予的文件名為"-"，則grep指令會從標准輸入設備讀取數據。

語法

grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<范本樣式>][-f<范本文件>][--help][范本樣式][文件或目錄...]

 

參數：

• -a或--text 不要忽略二進制的數據。
• -A<顯示列數>或--after-context=<顯示列數> 除了顯示符合范本樣式的那一列之外，並顯示該列之后的內容。
• -b或--byte-offset 在顯示符合范本樣式的那一列之前，標示出該列第一個字符的位編號。
• -B<顯示列數>或--before-context=<顯示列數> 除了顯示符合范本樣式的那一列之外，並顯示該列之前的內容。
• -c或--count 計算符合范本樣式的列數。
• -C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合范本樣式的那一列之外，並顯示該列之前后的內容。
• -d<進行動作>或--directories=<進行動作> 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息並停止動作。
• -e<范本樣式>或--regexp=<范本樣式> 指定字符串做為查找文件內容的范本樣式。
• -E或--extended-regexp 將范本樣式為延伸的普通表示法來使用。
• -f<范本文件>或--file=<范本文件> 指定范本文件，其內容含有一個或多個范本樣式，讓grep查找符合范本條件的文件內容，格式為每列一個范本樣式。
• -F或--fixed-regexp 將范本樣式視為固定字符串的列表。
• -G或--basic-regexp 將范本樣式視為普通的表示法來使用。
• -h或--no-filename 在顯示符合范本樣式的那一列之前，不標示該列所屬的文件名稱。
• -H或--with-filename 在顯示符合范本樣式的那一列之前，表示該列所屬的文件名稱。
• -i或--ignore-case 忽略字符大小寫的差別。
• -l或--file-with-matches 列出文件內容符合指定的范本樣式的文件名稱。
• -L或--files-without-match 列出文件內容不符合指定的范本樣式的文件名稱。
• -n或--line-number 在顯示符合范本樣式的那一列之前，標示出該列的列數編號。
• -q或--quiet或--silent 不顯示任何信息。
• -r或--recursive 此參數的效果和指定"-d recurse"參數相同。
• -s或--no-messages 不顯示錯誤信息。
• -v或--revert-match 反轉查找。
• -V或--version 顯示版本信息。
• -w或--word-regexp 只顯示全字符合的列。
• -x或--line-regexp 只顯示全列符合的列。
• -y 此參數的效果和指定"-i"參數相同。
• --help 在線幫助。

實例1 查找當前目錄下包含”test“內容的所有文件

grep -r 匹配內容 目錄，以遞歸的方式查找此目錄及子目錄下文件的內容

實例2 反向查找（-v）

查找文件中不包含”test“內容的行

2. egrep（擴展正則）

egrep執行效果與"grep-E"相似，使用的語法及參數可參照grep指令，與grep的不同點在於解讀字符串的方法。

egrep是用extended regular expression語法來解讀的，而grep則用basic regular expression 語法解讀，extended regular expression比basic regular expression的表達更規范。

語法

egrep [范本模式] [文件或目錄] 

參數說明：

• [范本模式] ：查找的字符串規則。
• [文件或目錄] ：查找的目標文件或目錄。

實例1 查找當前目錄下包含“Apple”內容的文件，並顯示匹配的行

實例2 匹配用戶配置文件中以“字母+數字+字母”命名的用戶

 

三. sed

Linux sed命令是利用script來處理文本文件。

sed可依照script的指令，來處理、編輯文本文件。

Sed主要用來自動編輯一個或多個文件；簡化對文件的反復操作；編寫轉換程序等。

語法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

參數說明：

• -e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。
• -f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。
• -h或--help 顯示幫助。
• -n或--quiet或--silent 僅顯示script處理后的結果。
• -V或--version 顯示版本信息。

動作說明：

• a ：新增， a 的后面可以接字串，而這些字串會在新的一行出現(目前的下一行)～
• c ：取代， c 的后面可以接字串，這些字串可以取代 n1,n2 之間的行！
• d ：刪除，因為是刪除啊，所以 d 后面通常不接任何咚咚；
• i ：插入， i 的后面可以接字串，而這些字串會在新的一行出現(目前的上一行)；
• p ：列印，亦即將某個選擇的數據印出。通常 p 會與參數 sed -n 一起運行～
• s ：取代，可以直接進行取代的工作哩！通常這個 s 的動作可以搭配正規表示法！例如 1,20s/old/new/g 就是啦！

實例1 在“log.txt"的第4行后添加一行

實例2 將文件中的第2，3行刪除並顯示出來（注意，實際上”log.txt“文件並沒有被修改）

實例3 將文件中的2，3行用”No 2-3 number“取代

實例4 匹配每一行是否有”is“，然后僅輸出匹配的行的內容

實例5 匹配包含”is“的行，並將其中的’a‘替換為’A‘

{}內為執行的命令，每條命令之間用”；“隔開

實例6 多點編輯，將文件中的第3行刪除，並將”test“替換為”TEST“

實例7 直接修改文件內容（危險動作）

sed 可以直接修改文件的內容，不必使用管道命令或數據流重導向！ 不過，由於這個動作會直接修改到原始的文件，所以請你千萬不要隨便拿系統配置來測試！

在文件最后一行插入一行內容”How are you today“，並保存

 

四. awk

之所以叫AWK是因為其取了三位創始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。

語法

• awk [選項參數] 'script' var=value file(s)
• awk [選項參數] -f scriptfile var=value file(s)

選項參數說明：

• -F fs or --field-separator fs
• 指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
• -v var=value or --asign var=value
• 賦值一個用戶定義變量。
• -f scripfile or --file scriptfile
• 從腳本文件中讀取awk命令。
• -mf nnn and -mr nnn
• 對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標准awk中不適用。
• -W compact or --compat, -W traditional or --traditional
• 在兼容模式下運行awk。所以gawk的行為和標准的awk完全一樣，所有的awk擴展都被忽略。
• -W copyleft or --copyleft, -W copyright or --copyright
• 打印簡短的版權信息。
• -W help or --help, -W usage or --usage
• 打印全部awk選項和每個選項的簡短說明。
• -W lint or --lint
• 打印不能向傳統unix平台移植的結構的警告。
• -W lint-old or --lint-old
• 打印關於不能向傳統unix平台移植的結構的警告。
• -W posix
• 打開兼容模式。但有以下限制，不識別：/x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
• -W re-interval or --re-inerval
• 允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
• -W source program-text or --source program-text
• 使用program-text作為源代碼，可與-f命令混用。
• -W version or --version
• 打印bug報告信息的版本。

 

運算符

運算符	描述
= += -= *= /= %= ^= **=	賦值
?:	C條件表達式
||	邏輯或
&&	邏輯與
~ ~!	匹配正則表達式和不匹配正則表達式
< <= > >= != ==	關系運算符
空格	連接
+ -	加，減
* / &	乘，除與求余
+ - !	一元加，減和邏輯非
^ ***	求冪
++ --	增加或減少，作為前綴或后綴
$	字段引用
in	數組成員

 

 

 

 

 

 

 

 

 

 

 

 

 

 

實例1

 

實例2

 

實例3

實例4

 

內建變量

變量	描述
\$n	當前記錄的第n個字段，字段間由FS分隔
\$0	完整的輸入記錄
ARGC	命令行參數的數目
ARGIND	命令行中當前文件的位置(從0開始算)
ARGV	包含命令行參數的數組
CONVFMT	數字轉換格式(默認值為%.6g)ENVIRON環境變量關聯數組
ERRNO	最后一個系統錯誤的描述
FIELDWIDTHS	字段寬度列表(用空格鍵分隔)
FILENAME	當前文件名
FNR	同NR，但相對於當前文件
FS	字段分隔符(默認是任何空格)
IGNORECASE	如果為真，則進行忽略大小寫的匹配
NF	當前記錄中的字段數
NR	當前記錄數
OFMT	數字的輸出格式(默認值是%.6g)
OFS	輸出字段分隔符(默認值是一個空格)
ORS	輸出記錄分隔符(默認值是一個換行符)
RLENGTH	由match函數所匹配的字符串的長度
RS	記錄分隔符(默認是一個換行符)
RSTART	由match函數所匹配的字符串的第一個位置
SUBSEP	數組下標分隔符(默認值是/034)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

實例5

 實例6 awk腳本

關於awk腳本，我們需要注意兩個關鍵詞BEGIN和END。

BEGIN{ 這里面放的是執行前的語句 }

END {這里面放的是處理完所有的行后要執行的語句 }

{這里面放的是處理每一行時要執行的語句}

 

假設有這么一個文件（學生成績表）：

 

我們的awk腳本如下：

我們來看一下執行結果：

實例7 從文件中找出長度大於18的行

 

 

 

 參考資料

1. http://www.cnblogs.com/linhaifeng/p/6596660.html#_label2

2. http://www.w3cschool.cn/linux/linux-command-manual.html