一、說明
我曾經看過無數的正則表達式文章,然而每當我再次需要書寫仍然感覺無從下手,一如既往需要百度“IP正則表達式”、“URL正則表達式”。
反思這種現像的原因,一是很多文章都是授之以魚的比如直接告訴你URL的正則表達式是“[a-zA-z]+://[^\s]*”,而且同一個表達式(比如都是URL正則表達式)不同的文章給出的經常是不一樣的(其原因一是有的考濾比較全有的考濾沒有那么全二是正則表達式確實就是有很多等價寫法)。這沒法記。
二是授之以漁的教程大多都只是把官方文檔搬過來,大而全沒突出關鍵點,這也沒法記。
二、正則書寫關鍵點
正則書寫的關鍵點只有三個:一是所有基礎表達式默認都能且只能匹配一個字符,二是除非其后給出限定符另外指出匹配次數,三是限定符只限定在其前面的那一個表達式(^定位符只對其后一個表達式生效,$定位符只對其前一個表達式生效)。
2.1 基礎表達式
可打印字符基礎表達式:
基礎表達式 | 說明 |
a | 單個字符。a這里只是個代表,可以是任意非特殊字符 |
a|b | 匹配a或b。a和b只是個代表,a和b可以是任意非特殊字符 |
[abc] | 匹配a或b或c。a、b和c只是個代表,a、b和c可以是任意非特殊字符 |
[^abc] | 匹配不是a或b或c以外的所有字符。 |
[a-z] | 匹配a到z的任意一個字符 |
\d | 匹配一個數字字符。等價於 [0-9]。 |
\D | 匹配一個非數字字符。等價於 [^0-9]。 |
\w | 匹配字母、數字、下划線。等價於'[A-Za-z0-9_]'。 |
\W | 匹配非字母、數字、下划線。等價於 '[^A-Za-z0-9_]'。 |
\s | 匹配任何空白字符,包括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v] |
\S | 匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。 |
非打印字符基礎表達式:
基礎表達式 | 說明 |
\cx | 匹配由x指明的控制字符。例如, \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則,將 c 視為一個原義的 'c' 字符。 |
\f | 匹配一個換頁符。等價於 \x0c 和 \cL。 |
\n | 匹配一個換行符。等價於 \x0a 和 \cJ。 |
\r | 匹配一個回車符。等價於 \x0d 和 \cM。 |
\s | 匹配任何空白字符,包括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v]。注意 Unicode 正則表達式會匹配全角空格符。 |
\S | 匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。 |
\t | 匹配一個制表符。等價於 \x09 和 \cI。 |
\v | 匹配一個垂直制表符。等價於 \x0b 和 \cK。 |
特殊字符基礎表達式(特殊字符是指正則中用他來做別的功能他不能是他自己的字符):
特殊字符 | 特殊字符基礎表達式 |
$ | 匹配輸入字符串的結尾位置。如果設置了 RegExp 對象的 Multiline 屬性,則 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身,請使用 \$。 |
( ) | 標記一個子表達式的開始和結束位置。子表達式可以獲取供以后使用。要匹配這些字符,請使用 \( 和 \)。 |
* | 匹配前面的子表達式零次或多次。要匹配 * 字符,請使用 \*。 |
+ | 匹配前面的子表達式一次或多次。要匹配 + 字符,請使用 \+。 |
. | 匹配除換行符 \n 之外的任何單字符。要匹配 . ,請使用 \. 。 |
[ | 標記一個中括號表達式的開始。要匹配 [,請使用 \[。 |
? | 匹配前面的子表達式零次或一次,或指明一個非貪婪限定符。要匹配 ? 字符,請使用 \?。 |
\ | 將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉義符。例如, 'n' 匹配字符 'n'。'\n' 匹配換行符。序列 '\\' 匹配 "\",而 '\(' 則匹配 "("。 |
^ | 匹配輸入字符串的開始位置,除非在方括號表達式中使用,此時它表示除了該字符以外的所有字符的集合。要匹配 ^ 字符本身,請使用 \^。 |
{ | 標記限定符表達式的開始。要匹配 {,請使用 \{。 |
| | 指明兩項之間的一個選擇。要匹配 |,請使用 \|。 |
- | 表示字符范圍是從其前邊的那個字符到其后邊的那個字符。要匹配-請使用\-。 |
2.2 限定符
限定符 | 說明 |
* | 匹配前面的子表達式零次或多次。例如,zo* 能匹配 "z" 以及 "zoo"。* 等價於{0,}。 |
+ | 匹配前面的子表達式一次或多次。例如,'zo+' 能匹配 "zo" 以及 "zoo",但不能匹配 "z"。+ 等價於 {1,}。 |
? | 匹配前面的子表達式零次或一次。例如,"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等價於 {0,1}。 |
{n} | n 是一個非負整數。匹配確定的 n 次。例如,'o{2}' 不能匹配 "Bob" 中的 'o',但是能匹配 "food" 中的兩個 o。 |
{n,} | n 是一個非負整數。至少匹配n 次。例如,'o{2,}' 不能匹配 "Bob" 中的 'o',但能匹配 "foooood" 中的所有 o。'o{1,}' 等價於 'o+'。'o{0,}' 則等價於 'o*'。 |
{n,m} | m 和 n 均為非負整數,其中n <= m。最少匹配 n 次且最多匹配 m 次。例如,"o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價於 'o?'。請注意在逗號和兩個數之間不能有空格。 |
2.3 一些說明
[]和()的區別是,[]中只能是匹配單個字符而不能是匹配多個字符的表達式,更不能是子表達式。
正則表達示一用於查找符合某種模式的字符串,而不擅長查找不符合某種模式的字符串;在shell腳本中如果要查找不匹配的字符串,那可以使用grep -v。
三、正則表達式示例
理解別人的正則表式比自己寫正則表達式更能代表對表代式的掌握程度,我們以這個網站生成的幾個表達式進行解析。抓住上面說的三大關鍵點基本都能夠理解。
3.1 URL正則表達式
表達式:[a-zA-z]+://[^\s]*
[a-zA-z]+----[a-zA-z]是一個基礎表達式,意思是匹配任意小寫或大寫字母(A-z的z應該是錯的應該大寫才是其本意)。+是其限定符,所以他不再是只能匹配一次而是一次或多次。
://----這是三個基礎表達式(:和/和/),由於他們都沒有限定符,所以他們各自都能且只能匹配一次。
[^\s]*----[^\s]是一個基礎表達式表示所有非空白字符。*是其限定符,所以他不再是只能匹配一次而是可以是任意次。
總的來看這個表達式是一個很不嚴謹的URL表達式。
3.2 身份證正則表達式
表達式:^(\d{6})(\d{4})(\d{2})(\d{2})(\d{3})([0-9]|X)$
^(\d{6})----^表示(\d{6})在開頭匹配,\d表示數字,{6}表示\d要且只要匹配6次。(省市縣)
(\d{4})----\d表示數字,{4}表示\d要且只要匹配4次。(年)
(\d{2})----\d表示數字,{2}表示\d要且只要匹配2次。(月)
(\d{2})----\d表示數字,{2}表示\d要且只要匹配2次。(日)
(\d{3})----\d表示數字,{3}表示\d要且只要匹配3次。(編號)
([0-9]|X)$----$表示([0-9]|X)在末尾匹配,沒有限定符所以([0-9]|X)能且只能匹配一個字符,該字符要么是0到9中的一個要么是字母“X”。(校驗碼)
3.3 ip正則表達式
表達式:^([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])(\.(([1-9]|[1-9][0-9])|1[0-9][0-9]|2[0-4][0-9]|25[0-5])){3}$
四、正則在線生成及測試工具
站長之家:http://tool.chinaz.com/regex/
菜鳥教程:https://c.runoob.com/front-end/854
開源中國:http://tool.oschina.net/regex/#
五、GNU正則表達式
5.1 linux為什么不使用標准正則
linux的很多文本編緝命令支持正則表達式,比如grep、sed等。但有時我們可能會發現在第四大點能匹配出結果的正則,放到grep中卻匹配不出來。
這是因為grep等命令使用的正則和廣泛使用的正則不一樣,若要問“linux為什么不使用標准正則”這類問題,那就要從正則表達式的歷史說起。
正則表達示的概念最早由美國數學家 Stephen Cole Kleene在1951年提出,其后正則的形式不斷豐富,UNIX實現時其攜帶的vi、sed、awk等命令都支持正則表達式。
UNIX命令本身支持的正則表達式是一致的,且1992年被標准化到POSIX中;Linux遵從POSIX所以正則也基本依照UNIX實現。
然而在操作系統之外,正則表達式還是在不斷發展的並不依照POSIX去實現,其中影響最廣泛的就是Perl的PCRE(Perl Compatible Regular Expressions),Java、JavaScript、Python、Ruby、Qt、 .NET及 XML Schema等大量語言都基於PCRE實現。PCRE也因此成為了“標准正則”,而UNIX/Linux命令使用的正則就淪為了“非標准正則”。
5.2 GNU BRE和ERE的區別
分類:基本正則表達式(Basic Regular Expressions or BRE)和擴展正則表達式(Extended Regular Expressions or ERE)。
使用:ed、grep、sed等命令使用BRE(但grep可通過-E、sed可通過-r使用ERE);egrep、awk、emacs、find等工具使用ERE,MySQL也使用ERE。(find的man手冊中說默認是emacs但實際發現似乎並不是ere,可用-regextype posix-extended來啟用ere;另外find是整行匹配才會列出來,所以開頭一般總需要加.*)
區別:BRE中單獨的?+|(){}不是特殊字符,如果要想表示特殊含義需要在其前面加反斜杠;ERE則正好相反,單獨的?+(){}這幾個符號是特殊字符(和“標准正則”一樣),在其前加反斜框則表示字符本身。ERE較BRE更類似“標准正則”類似,但ERE和“標准正則”也不是完全一樣。
5.3 GUN ERE和Perl PCRE的區別
GUN ERE和Perl PCRE在基本使用上,最主要的區別是ERE不支持\d和\D,需要用[[:digit:]]和[^[:digit:]]代替(但\w、\W、\s、\S等ERE是支的)。(所以特別要注意別在find等命令中使用了\d等PCRE的寫法,然后沒查找到預想的文件,以為正則表達式不生效。)
更多區別可查看:https://remram44.github.io/regex-cheatsheet/regex.html
參考:
http://www.runoob.com/regexp/regexp-syntax.html