shell常用正則表達式

 

1. NF（number of field）表示一行中的區域（列）數量，$NF取最后一個區域。

2. $符號表示取某個列（區域），$1,$2,$NF

3. NR (number of record) 行號,awk對每一行的記錄號都有一個內置變量NR來保存，每處理完一條記錄NR的值就會自動+1

4. FS（-F）field separator 列分隔符，以什么把行分隔成多列

 

[root@creditease awk]# awk -F "#" '{print $NF}' awk.txt
GKL$123
GKL$213
GKL$321
[root@creditease awk]# awk -F '[#$]' '{print $NF}' awk.txt
123
213
321

　　3.2 條件動作基本的條件和動作

[root@creditease awk]# cat awk.txt
ABC#DEF#GHI#GKL$123
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" 'NR==1{print $1}' awk.txt
ABC

　　awk中$0表示整行

[root@creditease awk]# awk '{print $0}' awk_space.txt
ABC DEF GHI GKL$123
BAC DEF GHI GKL$213
CBA DEF GHI GKL$321

　　

3.7 FNR

FNR與NR類似，不過多文件記錄不遞增，每個文件都從1開始（后邊處理多文件會講到）

 

[root@creditease awk]# awk '{print NR}' awk.txt awk_space.txt
1
2
3
4
5
6
[root@creditease awk]# awk '{print FNR}' awk.txt awk_space.txt
1
2
3
1
2
3

　　awk支持的正則表達式元字符

 

在指定行或者某一列中進行匹配，用下列兩個操作符

正則匹配操作符
~	用於對記錄或區域的表達式進行匹配。
！~	用於表達與~相反的意思。

 

 

awk默認不支持的元字符，和需要添加參數才能支持的元字符

 

 實例：

[root@creditease awk]# cat awk.txt
ABC#DEF#GHI#GKL$123
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

顯示包含321的行

[root@creditease awk]# awk '/321/{print $0}' awk.txt
CBA#DEF#GHI#GKL$321

以#為分隔符，顯示第一列以B開頭或最后一列以1結尾的行

[root@creditease awk]# awk -F "#" '$1~/^B/{print $0}$NF~/1$/{print $0}' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

以#為分隔符，顯示第一列以B或C開頭的行

[root@creditease awk]# awk -F "#" '$1~/^B|^C/{print $0}' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" '$1~/^[BC]/{print $0}' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" '$1~/^(B|C)/{print $0}' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321
[root@creditease awk]# awk -F "#" '$1!~/^A/{print $0}' awk.txt
BAC#DEF#GHI#GKL$213
CBA#DEF#GHI#GKL$321

　　

轉載自：

http://www.cnblogs.com/linhaifeng/p/6596660.html 和 http://www.blogjava.net/jasmine214--love/archive/2011/10/12/361040.html

^ 行首
$ 行尾
. 除了換行符以外的任意單個字符
* 前導字符的零個或多個
.* 所有字符
[] 字符組內的任一字符
[^] 對字符組內的每個字符取反(不匹配字符組內的每個字符)
^[^] 非字符組內的字符開頭的行
[a-z] 小寫字母
[A-Z] 大寫字母
[a-Z] 小寫和大寫字母
[0-9] 數字
\< 單詞頭 單詞一般以空格或特殊字符做分隔,連續的字符串被當做單詞
\> 單詞尾

擴展正則 sed 加 -r 參數 或轉義
grep 加 -E 或 egrep 或轉義
AWK 直接支持 但不包含{n,m}
可以使用--posix支持
[root@MiWiFi-R3-srv ~]#  awk '/ro{1,3}/{print}' /etc/passwd
[root@MiWiFi-R3-srv ~]#  awk --posix '/ro{1,3}/{print}' /etc/passwd

sed -n '/roo\?/p' /etc/passwd 
sed -rn '/roo?/p' /etc/passwd
? 前導字符零個或一個
+ 前導字符一個或多個
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出現m次
x\{m,\} x出現m次至多次(至少m次)
x\{m,n\} x出現m次至n次

元字符及其在正則表達式上下文中的行為：

\ 將下一個字符標記為一個特殊字符、或一個原義字符、或一個后向引用、或一個八進制轉義符。

^ 匹配輸入字符串的開始位置。如果設置了 RegExp 對象的Multiline 屬性，^ 也匹配 ’\n’ 或 ’\r’ 之后的位置。

$ 匹配輸入字符串的結束位置。如果設置了 RegExp 對象的Multiline 屬性，$ 也匹配 ’\n’ 或 ’\r’ 之前的位置。

* 匹配前面的子表達式零次或多次。

+ 匹配前面的子表達式一次或多次。+ 等價於 {1,}。

? 匹配前面的子表達式零次或一次。? 等價於 {0,1}。

{n} n 是一個非負整數，匹配確定的n 次。

{n,} n 是一個非負整數，至少匹配n 次。

{n,m} m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。在逗號和兩個數之間不能有空格。

? 當該字符緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面時，匹配模式是非貪婪的。
　　非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。

. 匹配除 “\n” 之外的任何單個字符。要匹配包括 ’\n’ 在內的任何字符，請使用象 ’[.\n]’ 的模式。 
(pattern) 匹配pattern 並獲取這一匹配。

(?:pattern) 匹配pattern 但不獲取匹配結果，也就是說這是一個非獲取匹配，不進行存儲供以后使用。

(?=pattern) 正向預查，在任何匹配 pattern 的字符串開始處匹配查找字符串。這是一個非獲取匹配，也就是說，該匹配不需要獲取供以后使用。

(?!pattern) 負向預查，與(?=pattern)作用相反

x|y 匹配 x 或 y。

[xyz] 字符集合。

[^xyz] 負值字符集合。

[a-z] 字符范圍，匹配指定范圍內的任意字符。

[^a-z] 負值字符范圍，匹配任何不在指定范圍內的任意字符。

　　

posix定義的字符分類

[:alnum:] #Alphanumeric characters.
#匹配范圍為 [a-zA-Z0-9]  任何字母或數字
[:alpha:] #Alphabetic characters.
#匹配范圍為 [a-zA-Z]      任何字母
[:blank:] #Space or tab characters.
#匹配范圍為 空格或制表符（[\t ]）
[:cntrl:] #Control characters.
#匹配控制鍵 例如 ^M 要按 ctrl+v 再按回車 才能輸出；
#ASCII控制字符（ASCII 0~31 和 ASCII 127）
[:digit:] #Numeric characters.
#匹配所有數字 [0-9]  任何數字
[:graph:] #Characters that are both printable and visible. (A space is print-
able, but not visible, while an a is both.)
#匹配所有可見字符 ，不包含空格和TAB 
[:lower:] #Lower-case alphabetic characters.
#小寫 [a-z]  任何小寫字母
[:print:] #Printable characters (characters that are not control characters.)
#匹配所有可見字符 包括空格和TAB
#能打印到紙上的所有符號
[:punct:] #Punctuation characters (characters that are not letter, digits, con-
trol characters, or space characters).
#特殊輸入符號 +-=)(*&^%$#@!~`|\"'{}[]:;?/>.<,
#注意它不包含空格和TAB
#這個集合不等於^[a-zA-Z0-9]  
#不屬於[:alnum:]和[:cntrl:]的任何字符
[:space:] #Space characters (such as space, tab, and formfeed, to name a few).
#任何空白字符，包括空格（[\f\n\r\t\v ]）
[:upper:] #Upper-case alphabetic characters.
#大寫 [A-Z]   任何大寫字母
[:xdigit:] #Characters that are hexadecimal digits.
#16進制數 [0-f]   任何十六進制數字

　　

使用方法:
[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd

 =============================================

“^\d+$” 　　#非負整數（正整數 + 0） 
“^[0-9]*[1-9][0-9]*$”   #正整數 
“^((-\d+)|(0+))$”   #非正整數（負整數 + 0） 
“^-[0-9]*[1-9][0-9]*$” #負整數 
“^-?\d+$”   #整數 
“^\d+(\.\d+)?$”   #非負浮點數（正浮點數 + 0） 
“^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$” #正浮點數 
“^((-\d+(\.\d+)?)|(0+(\.0+)?))$” #非正浮點數（負浮點數 + 0） 
“^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$” #負浮點數 
“^(-?\d+)(\.\d+)?$” #浮點數 
“^[A-Za-z]+$” #由26個英文字母組成的字符串 
“^[A-Z]+$”   #由26個英文字母的大寫組成的字符串 
“^[a-z]+$”   #由26個英文字母的小寫組成的字符串 
“^[A-Za-z0-9]+$” #由數字和26個英文字母組成的字符串 
“^\w+$”   #由數字、26個英文字母或者下划線組成的字符串 
“^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$” #email地址 
“^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$” #url 
/^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/   #  年-月-日 
/^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/   # 月/日/年 
“^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$”   #Emil 
/^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/     #電話號碼 
“^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$”   #IP地址

　　

28、提取信息中的IP地址：(\d+)\.(\d+)\.(\d+)\.(\d+)

35、IP：(\d+)\.(\d+)\.(\d+)\.(\d+)

7、正浮點數：^((0-9)+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)| ([0-9]*[1-9][0-9]*))$

8、非正浮點數：^((-\d+\.\d+)?)|(0+(\.0+)?))$

9、負浮點數：^(-((正浮點數正則式)))$

或：^http:\/\/[A-Za-z0-9]+\.[A-Za-z0-9]+[\/=\?%\-&_~`@[\]\’:+!]*([^& lt;>\"\"])*$

 

匹配中文字符的正則表達式： [\u4e00-\u9fa5] 

匹配中文字符的正則表達式： [u4e00-u9fa5]

18、中文：^[\u0391-\uFFE5]+$

匹配雙字節字符(包括漢字在內)：[^\x00-\xff] 
匹配空行的正則表達式：\n[\s| ]*\r 
匹配HTML標記的正則表達式：/<(.*)>.*<\/\1>|<(.*) \/>/ 
匹配首尾空格的正則表達式：(^\s*)|(\s*$) 
匹配網址URL的正則表達式：^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$ 
匹配帳號是否合法(字母開頭，允許5-16字節，允許字母數字下划線)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$ 
匹配國內電話號碼：

(\d{3}-|\d{4}-)?(\d{8}|\d{7})? 

19、電話號碼：^((\(\d{2,3}\))|(\d{3}\-))?(\(0\d{2,3}\)|0\d{2,3}-)?[1-9] \d{6,7}(\-\d{1,4})?$

29、提取信息中的中國手機號碼：(86)*0*13\d{9}

30、提取信息中的中國固定電話號碼：(\(\d{3,4}\)|\d{3,4}-|\s)?\d{8}

31、提取信息中的中國電話號碼（包括移動和固定電話）：(\(\d{3,4}\)|\d{3,4}-|\s)?\d{7,14}

20、手機號碼：^((\(\d{2,3}\))|(\d{3}\-))?13\d{9}$

36、電話區號：/^0\d{2,3}$/

匹配騰訊QQ號：^[1-9]*[1-9][0-9]*$ 

匹配雙字節字符(包括漢字在內)：[^x00-xff]

匹配空行的正則表達式：n[s| ]*r

匹配HTML標記的正則表達式：/<(.*)>.*</1>|<(.*) />/

匹配首尾空格的正則表達式：(^s*)|(s*$)

利用正則表達式限制網頁表單里的文本框輸入內容：

用正則表達式限制只能輸入中文：onkeyup=”value=value.replace(/[^u4E00-u9FA5]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^u4E00-u9FA5]/g,”))”

用正則表達式限制只能輸入全角字符： onkeyup=”value=value.replace(/[^uFF00-uFFFF]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^uFF00-uFFFF]/g,”))”

用正則表達式限制只能輸入數字：onkeyup=”value=value.replace(/[^d]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

用正則表達式限制只能輸入數字和英文：onkeyup=”value=value.replace(/[W]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”

=========常用正則表達式

匹配網址URL的正則表達式：http://(/[\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?

sql語句：^(select|drop|delete|create|update|insert).*$

 

 

元字符（meta character）是一種Perl風格的正則表達式，只有一部分文本處理工具支持它，並不是所有的文本處理工具都支持。

\b 匹配一個單詞邊界，也就是指單詞和空格間的位置。

\B 匹配非單詞邊界。

\cx 匹配由x指明的控制字符。

\d 匹配一個數字字符。等價於 [0-9]。

\D 匹配一個非數字字符。等價於 [^0-9]。

\f 匹配一個換頁符。等價於 \x0c 和 \cL。

\n 匹配一個換行符。等價於 \x0a 和 \cJ。

\r 匹配一個回車符。等價於 \x0d 和 \cM。

\s 匹配任何空白字符，包括空格、制表符、換頁符等等。等價於[ \f\n\r\t\v]。

\S 匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。

\t 匹配一個制表符。等價於 \x09 和 \cI。

\v 匹配一個垂直制表符。等價於 \x0b 和 \cK。

\w 匹配包括下划線的任何單詞字符。等價於’[A-Za-z0-9_]’。

\W 匹配任何非單詞字符。等價於 ’[^A-Za-z0-9_]’。

\xn 匹配 n，其中 n 為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。

\num 匹配 num，其中num是一個正整數。對所獲取的匹配的引用。

\n 標識一個八進制轉義值或一個后向引用。如果 \n 之前至少 n 個獲取的子表達式，則 n 為后向引用。否則，如果 n 為八進制數字 (0-7)，則 n 為一個八進制轉義值。

\nm 標識一個八進制轉義值或一個后向引用。
　　如果 \nm 之前至少有is preceded by at least nm 個獲取得子表達式，則 nm 為后向引用。
　　如果 \nm 之前至少有 n 個獲取，則 n 為一個后跟文字 m 的后向引用。
　　如果前面的條件都不滿足，若 n 和 m 均為八進制數字 (0-7)，則 \nm 將匹配八進制轉義值 nm。

\nml 如果 n 為八進制數字 (0-3)，且 m 和 l 均為八進制數字 (0-7)，則匹配八進制轉義值 nml。

\un 匹配 n，其中 n 是一個用四個十六進制數字表示的Unicode字符。

　　

 

17、郵政編碼：^[1-9]\d{5}$

22、匹配首尾空格：(^\s*)|(\s*$)（像vbscript那樣的trim函數）

23、匹配HTML標記：<(.*)>.*<\/\1>|<(.*) \/>

24、匹配空行：\n[\s| ]*\r

25、提取信息中的網絡鏈接：(h|H)(r|R)(e|E)(f|F) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?

26、提取信息中的郵件地址：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

27、提取信息中的圖片鏈接：(s|S)(r|R)(c|C) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?

32、提取信息中的中國郵政編碼：[1-9]{1}(\d+){5}

33、提取信息中的浮點數（即小數）：(-?\d*)\.?\d+

34、提取信息中的任何數字 ：(-?\d*)(\.\d+)?

37、騰訊QQ號：^[1-9]*[1-9][0-9]*$

38、帳號(字母開頭，允許5-16字節，允許字母數字下划線)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$

39、中文、英文、數字及下划線：^[\u4e00-\u9fa5_a-zA-Z0-9]+$