1、正則表達式的作用
正則表達式是很繁瑣的，但也相當有用。學會正則表達式，可以讓你做很多工作時都成倍地提高效率。正則表達式的作用可以概括為三個方面測試字符串內模式、替換文本、基於模式匹配從字符串中提取子字符串。
它的應用領域也相當廣泛，C#, java, python等等語言中都有應用。這里主要說明python中的正則表達式。
2、正則表達式語法
正則表達式是由普通字符（如a-z）以及特殊字符（“元字符"）組成的文字模式。模式描述在搜索文本時要匹配的一個或多個字符串。正則表達式作為一個模板，將字符串模式與搜索資源進行匹配。
構造正則表達式的方法實際上跟構造數學公式相似。即用多種元字符與運算符將小的表達式結合在一起來創建更大的表達式。正則表達式的組建可以是單個字符、字符集合、字符范圍、字符間的選擇或者所有這些組建的任意組合。
3、字符種類
字符一般分為普通字符、非打印字符、特殊字符、限定符、定位符等。
1）普通字符：包括沒有顯示指定為元字符的所有可打印和不可打印字符。這包括所有大寫和小寫字母，所有數字、所有標點符號和一些其他符號。
2）非打印字符，如下表所示：
| 字符 |
概述 |
| \cx |
匹配由x指明的控制字符。如\cM匹配一個Control-M1或者回車符。X值必須為A-Z或a-z之一。否則，將c是為一個原義的’c’字符。 |
| \f |
匹配一個換頁符。等價於\x0c和\cL。 |
| \n |
匹配一個換行符。等價於\x0d和\cJ。 |
| \r |
匹配一個回車符。等價於\x0d和\cM。 |
| \s |
匹配任何空白字符，包括空格、制表符、換頁符等等。等價於[\f\v\r\t\v] |
| \S |
匹配任何空白字符。等價於[^\f\v\r\t\v]。 |
| \t |
匹配一個制表符。等價於\x09和\cl。 |
| \v |
匹配垂直制表符。等價於\x0b和\cK。 |
3）特殊字符，有特殊含義的字符。如要匹配這些元素需要在字符前面加轉義符，即反斜杠字符(\)。
| 特殊字符 |
概述 |
| $ |
匹配輸入字符串的結尾位置。 |
| () |
標記一個子表達式的開始和結束位置。子表達式可以獲取供以后使用。 |
| * |
匹配前面的子表達式0次或多次。 |
| + |
匹配前面的自表達式1次或多次。 |
| . |
匹配除換行符\n之外的任何單個字符。 |
| [ |
標記一個中括號表達式的開始 |
| ? |
匹配前面的子表達式0次或1次，或指明一個非貪婪限定符。 |
| \ |
將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉義符。 |
| ^ |
匹配輸入字符串的開始位置、除非在方括號表達式中使用，此時它表示排除該字符的集合。 |
| { |
標記限定符表達式的開始。 |
| | |
指明兩項之間的一個選擇。 |
4）限定符：用來指定正則表達式的一個給定組件必須要出現多少次才能滿足匹配。如下表所示：
| 限定符 |
概述 |
| * |
匹配前面的子表達式0次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等價於{0,}。 |
| + |
匹配前面的子表達式1次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價於 {1,}。 |
| ? |
匹配前面的子表達式0次或1次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價於 {0,1}。 |
| {n} |
n 是一個非負整數。匹配確定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的兩個 o。 |
| {n,} |
n 是一個非負整數。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等價於 'o+'。'o{0,}' 則等價於 'o*'。 |
| {n,m} |
m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價於 'o?'。請注意在逗號和兩個數之間不能有空格。 |
5）定位符：定位符用來描述字符串或單詞的邊界，^和$分別指字符串的開始與結束，\b描述單詞的前或后邊界，\B表示非單詞邊界。
TIPS：不能將限定符與定位點一起使用。由於在緊靠換行或者字邊界的前面或后面不能有一個以上位置，因此不允許諸如 ^* 之類的表達式。
若要匹配一行文本開始處的文本，請在正則表達式的開始使用 ^ 字符。不要將 ^ 的這種用法與中括號表達式內的用法混淆。
若要匹配一行文本的結束處的文本，請在正則表達式的結束處使用 $ 字符。
4、非捕獲元素與反向引用
用圓括號將所有選擇項括起來，相鄰的選擇項之間用|分隔。但用圓括號會有一個副作用，相匹配的項會被緩存，用?:放在第一個選項前就可消除這一副作用。
這是一個非捕獲元，其他還有?=與?!。前者為正向預查，在任何開始匹配圓括號內的正則表達式模式的位置搜索字符串，后者為負向預查，在任何不匹配該正則表達式的位置來匹配搜索字符串。
反向引用最簡單、最有用的應用之一是提供查找文本中相同的相鄰單詞的匹配項的能力。
5、元字符
所有元字符如下表所示：
| \ |
^ |
$ |
* |
+ |
? |
| {n} |
{n,} |
{n,m} |
? |
(pattern) |
(?:pattern) |
| (?=pattern) |
(?!pattern) |
x|y |
[xyz] |
[^xyz] |
[a-z] |
| [^a-z] |
\b |
\B |
\cx |
\d |
\D |
| \f |
\n |
\r |
\s |
\S |
\t |
| \v |
\w |
\W |
\xn |
\num |
\n |
| \nm |
\nml |
\un |
. |
|
|
其在正則表達式上下文中的行為如下表：
| 元字符 |
概述 |
| ? |
當該字符緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面時，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如，對於字符串 "oooo"，'o+?' 將匹配單個 "o"，而 'o+' 將匹配所有 'o'。 |
| . |
匹配除 "\n" 之外的任何單個字符。要匹配包括 '\n' 在內的任何字符，請使用象 '[.\n]' 的模式。 |
| (pattern) |
匹配 pattern 並獲取這一匹配。所獲取的匹配可以從產生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中則使用 $0…$9 屬性。要匹配圓括號字符，請使用 '\(' 或 '\)'。 |
| (?:pattern) |
匹配 pattern 但不獲取匹配結果，也就是說這是一個非獲取匹配，不進行存儲供以后使用。這在使用 "或" 字符 (|) 來組合一個模式的各個部分是很有用。例如， 'industr(?:y|ies) 就是一個比 'industry|industries' 更簡略的表達式。 |
| (?=pattern) |
正向預查，在任何匹配 pattern 的字符串開始處匹配查找字符串。這是一個非獲取匹配，也就是說，該匹配不需要獲取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。預查不消耗字符，也就是說，在一個匹配發生后，在最后一次匹配之后立即開始下一次匹配的搜索，而不是從包含預查的字符之后開始。 |
| (?!pattern) |
負向預查，在任何不匹配 pattern 的字符串開始處匹配查找字符串。這是一個非獲取匹配，也就是說，該匹配不需要獲取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。預查不消耗字符，也就是說，在一個匹配發生后，在最后一次匹配之后立即開始下一次匹配的搜索，而不是從包含預查的字符之后開始。 |
| x|y |
匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 則匹配 "zood" 或 "food"。 |
| [xyz] |
字符集合。匹配所包含的任意一個字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。 |
| [^xyz] |
負值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。 |
| [a-z] |
字符范圍。匹配指定范圍內的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范圍內的任意小寫字母字符。 |
| [^a-z] |
負值字符范圍。匹配任何不在指定范圍內的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范圍內的任意字符。 |
| \b |
匹配一個單詞邊界，也就是指單詞和空格間的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。 |
| \B |
匹配非單詞邊界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。 |
| \cx |
匹配由 x 指明的控制字符。例如， \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 'c' 字符。 |
| \d |
匹配一個數字字符。等價於 [0-9]。 |
| \D |
匹配一個非數字字符。等價於 [^0-9]。 |
| \f |
匹配一個換頁符。等價於 \x0c 和 \cL。 |
| \n |
匹配一個換行符。等價於 \x0a 和 \cJ。 |
| \r |
匹配一個回車符。等價於 \x0d 和 \cM。 |
| \s |
匹配任何空白字符，包括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v]。 |
| \S |
匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。 |
| \t |
匹配一個制表符。等價於 \x09 和 \cI。 |
| \v |
匹配一個垂直制表符。等價於 \x0b 和 \cK。 |
| \w |
匹配包括下划線的任何單詞字符。等價於'[A-Za-z0-9_]'。 |
| \W |
匹配任何非單詞字符。等價於 '[^A-Za-z0-9_]'。 |
| \xn |
匹配 n，其中 n 為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。例如，'\x41' 匹配 "A"。'\x041' 則等價於 '\x04' & "1"。正則表達式中可以使用 ASCII 編碼。 |
| \num |
匹配 num，其中 num 是一個正整數。對所獲取的匹配的引用。例如，'(.)\1' 匹配兩個連續的相同字符。 |
| \n |
標識一個八進制轉義值或一個向后引用。如果 \n 之前至少 n 個獲取的子表達式，則 n 為向后引用。否則，如果 n 為八進制數字 (0-7)，則 n 為一個八進制轉義值。 |
| \nm |
標識一個八進制轉義值或一個向后引用。如果 \nm 之前至少有 nm 個獲得子表達式，則 nm 為向后引用。如果 \nm 之前至少有 n 個獲取，則 n 為一個后跟文字 m 的向后引用。如果前面的條件都不滿足，若 n 和 m 均為八進制數字 (0-7)，則 \nm 將匹配八進制轉義值 nm。 |
| \nml |
如果 n 為八進制數字 (0-3)，且 m 和 l 均為八進制數字 (0-7)，則匹配八進制轉義值 nml。 |
| \un |
匹配 n，其中 n 是一個用四個十六進制數字表示的 Unicode 字符。例如， \u00A9 匹配版權符號 (?)。 |
6、運算符優先級
| 運算符 |
概述 |
| \ |
轉義符 |
| (),(?:),(?=),[] |
圓括號，方括號 |
| *,+,?,{n},{n,},{n,m} |
限定符 |
| ^,$,\任何字符,任何字符 |
定位點和序列 |
| | |
|替換，"或"操作 字符具有高於替換運算符的優先級，使得"m|food"匹配"m"或"food"。若要匹配"mood"或"food"，請使用括號創建子表達式，從而產生"(m|f)ood"。 |
7、匹配規則
這里主要包括一個常用的模式，如字符簇、重復出現等。具體如下表所示：
| 字符簇 |
概述 |
| [a-z] |
匹配所有小寫字母 |
| [A-Z] |
匹配所有大寫字母 |
| [a-zA-Z] |
匹配所有字母 |
| [0-9] |
匹配所有數字 |
| [0-9\.\-] |
匹配所有數字、句號、減號 |
| [ \f\r\t\n] |
匹配所有白字符 |
| [[:alpha]] |
任何字母（以下為PHP通用字符簇） |
| [[:digit]] |
任何數字 |
| [[:alnum]] |
任何字母和數字 |
| [[:space]] |
任何空白字符 |
| [[:upper]] |
任何大寫字母 |
| [[:lower]] |
任何小寫字母 |
| [[:punct]] |
任何標點符號 |
| [[:xidigit]] |
任何16進制的數字，等價於[0-9a-fA-F] |
8、python正則表達式常用函數
.*：貪心算法，可以包括符合正則表達式的所有字符包括' '、'\n'、'\t'等
.*?：非貪心算法，包括符合正則表達式的連續的字段。
python中的re庫包括的幾乎所有的正則表達式功能。compile函數根據一個模式字符串和可選的標志參數生成一個正則表達式對象。該對象具有一系列用於正則表達式匹配和替換。
1）re.match方法，從字符串的起始位置匹配一個模式，如果不是起始位置匹配成功的話，返回none。
用法及參數為：
re.match(pattern,string, flags=0
pattern是正則表達式，string是要匹配的字符串，flags是標志位，用於控制正則表達式的匹配方式，如區分大小寫，多行匹配等等。
匹配成功返回一個匹配對象，這里用group(num)或groups()匹配對象函數來獲取匹配表達式。
2）re.search方法：掃描整個字符串並返回第一個成功的匹配，其他與match相同。
3）re.findall方法：匹配所有符合規律的內容，返回結果列表。
4）re.sub方法：替換符合規律的內容，返回替換后的值。