Python3 如何優雅地使用正則表達式(詳解一)


注:本文翻譯自 Regular Expression HOWTO,小甲魚童鞋對此做了一些注釋和修改。


正則表達式介紹

正則表達式(Regular expressions 也稱為 REs,或 regexes 或 regex patterns)本質上是一個微小的且高度專業化的編程語言。它被嵌入到 Python 中,並通過 re 模塊提供給程序猿使用。使用正則表達式,你需要指定一些規則來描述那些你希望匹配的字符串集合。這些字符串集合可能包含英語句子、 e-mail 地址、TeX 命令,或任何你想要的東東。

正則表達式模式被編譯成一系列的字節碼,然后由一個 C 語言寫的匹配引擎所執行。對於高級的使用,你可能需要更關注匹配引擎是如何執行給定的 RE,並通過一定的方式來編寫 RE,以便產生一個可以運行得更快的字節碼。本文暫不講解優化的細節,因為這需要你對匹配引擎的內部機制有一個很好的理解。但本文的例子均是符合標准的正則表達式語法。

小甲魚注釋:Python 的正則表達式引擎是用 C 語言寫的,所以效率是極高的。另,所謂的正則表達式,這里說的 RE,就是上文我們提到的“一些規則”。

正則表達式語言相對較小,並且受到限制,所以不是所有可能的字符串處理任務都可以使用正則表達式來完成。還有一些特殊的任務,可以使用正則表達式來完成,但是表達式會因此而變得非常復雜。在這種情況下,你可能通過自己編寫 Python 代碼來處理會更好些;盡管 Python 代碼比一個精巧的正則表達式執行起來會慢一些,但可能會更容易理解。

小甲魚注釋:這可能是大家常說的“丑話說在前”吧,大家別管他,正則表達式非常優秀,她可以處理你 98.3% 的文本任務,一定要好好學哦~~~~~


簡單的模式

我們將從最簡單的正則表達式學習開始。由於正則表達式常用於操作字符串的,因此我們從最常見的任務下手:字符匹配。


字符匹配

大多數字母和字符會匹配它們自身。舉個例子,正則表達式 FishC 將完全匹配字符串 "FishC"。(你可以啟用不區分大小寫模式,這將使得 FishC 可以匹配 "FISHC" 或 "fishc",我們會在后邊討論這個話題。)

當然這個規則也有例外。有少數特殊的字符我們稱之為元字符(metacharacter),它們並不能匹配自身,它們定義了字符類、子組匹配和模式重復次數等。本文用很大的篇幅專門討論了各種元字符及其作用。

下邊是元字符的完整列表(我們將在后邊逐一講解):

.   ^   $   *   +   ?   { }   [ ]   \   |   ( )

小甲魚注釋:如果沒有這些元字符,正則表達式就變得跟字符串的 find() 方法一樣平庸了......


我們先來看下方括號 [ ],它們指定一個字符類用於存放你需要匹配的字符集合。可以單獨列出需要匹配的字符,也可以通過兩個字符和一個橫桿 - 指定匹配的范圍。例如 [abc] 會匹配字符 ab 或 c[a-c] 可以實現相同的功能。后者使用范圍來表示與前者相同的字符集合。如果你想只匹配小寫字母,你的 RE 可以寫成 [a-z]

需要注意的一點是:元字符在方括號中不會觸發“特殊功能”,在字符類中,它們只匹配自身。例如 [akm$] 會匹配任何字符 'a''k''m' 或 '$''$' 是一個元字符,但在方括號中它不表示特殊含義,它只匹配 '$' 字符本身。

你還可以匹配方括號中未列出的所有其他字符。做法是在類的開頭添加一個脫字符號 ^ ,例如 [^5] 會匹配除了 '5' 之外的任何字符。


或許最重要的元字符當屬反斜杠 \ 了。跟 Python 的字符串規則一樣,如果在反斜杠后邊緊跟着一個元字符,那么元字符的“特殊功能”也不會被觸發。例如你需要匹配符號 [ 或 \,你可以在它們前面加上一個反斜杠,以消除它們的特殊功能:\[\\

反斜杠后邊跟一些字符還可以表示特殊的意義,例如表示十進制數字,表示所有的字母或者表示非空白的字符集合。

小甲魚解釋:反斜杠真牛逼,反斜杠后邊跟元字符去除特殊功能,反斜杠后邊跟普通字符實現特殊功能。

讓我們來舉個例子:\w 匹配任何字符。如果正則表達式以字節的形式表示,這相當於字符類 [a-zA-Z0-9_];如果正則表達式是一個字符串,\w 會匹配所有 Unicode 數據庫(unicodedata 模塊提供)中標記為字母的字符。你可以在編譯正則表達式的時候,通過提供 re.ASCII 表示進一步限制 \w 的定義。

小甲魚解釋:re.ASCII 標志使得 \w 只能匹配 ASCII 字符,不要忘了,Python3 是 Unicode 的。

下邊列舉一些反斜杠加字符構成的特殊含義:

特殊字符 含義
\d 匹配任何十進制數字;相當於類 [0-9]
\D 與 \d 相反,匹配任何非十進制數字的字符;相當於類 [^0-9]
\s 匹配任何空白字符(包含空格、換行符、制表符等);相當於類 [ \t\n\r\f\v]
\S 與 \s 相反,匹配任何非空白字符;相當於類 [^ \t\n\r\f\v]
\w 匹配任何字符,見上方解釋
\W 於 \w 相反
\b 匹配單詞的開始或結束
\B 與 \b 相反


它們可以包含在一個字符類中,並且一樣擁有特殊含義。例如 [\s,.] 是一個字符類,它將匹配任何空白字符(/s 的特殊含義),',' 或 '.'。 

最后我們要講的一個元字符是 .,它匹配除了換行符以外的任何字符。如果設置了 re.DOTALL 標志,. 將匹配包括換行符在內的任何字符。


重復的事情

使用正則表達式能夠輕松的匹配不同的字符集合,但 Python 字符串現有的方法卻無法實現。然而,如果你認為這是正則表達式的唯一優勢,那你就 too young too native 了。正則表達式有另一個強大的功能,就是你可以指定 RE 部分被重復的次數。


我們來看看 * 這個元字符,當然它不是匹配 '*' 字符本身(我們說過元字符都是有特殊能力的),它用於指定前一個字符匹配零次或者多次。

例如 ca*t 將匹配 ct(0 個字符 a),cat(1 個字符 a),caaat(3 個字符 a),等等。需要注意的是,由於受到 C 語言的 int 類型大小的內部限制,正則表達式引擎會限制字符 'a' 的重復個數不超過 20 億個;不過,通常我們工作中也用不到那么大的數據。


正則表達式默認的重復規則是貪婪的,當你重復匹配一個 RE 時,匹配引擎會嘗試盡可能多的去匹配。直到 RE 不匹配或者到了結尾,匹配引擎就會回退一個字符,然后再繼續嘗試匹配。

我們通過例子一步步的給大家講解什么叫“貪婪”:先考慮一下表達式 a[bcd]*b,首先需要匹配字符 'a',然后是零個到多個 [bcd],最后以 'b' 結尾。那現在想象一下,這個 RE 匹配字符串 abcbd 會怎樣?

步驟 匹配 說明
1 a 匹配 RE 的第一個字符 'a'
2 abcbd 引擎在符合規則的情況下盡可能地匹配 [bcd]*,直到該字符串的結尾
3 失敗 引擎嘗試匹配 RE 最后一個字符 'b',但當前位置已經是字符串的結尾,所以失敗告終
4 abcb 回退,所以 [bcd]* 匹配少一個字符
5 失敗 再一次嘗試匹配 RE 最后一個字符 'b',但字符串最后一個字符是 'd',所以失敗告終
6 abc 再次回退,所以 [bcd]* 這次只匹配 'bc'
7 abcb 再一次嘗試匹配字符 'b',這一次字符串當前位置指向的字符正好是 'b',匹配成功


最終,RE 匹配的結果是 abcb

小甲魚解釋:正則表達式默認的匹配規則是貪婪的,后邊有教你如何使用非貪婪的方法匹配。


另一個實現重復的元字符是 +,用於指定前一個字符匹配一次或者多次。

要特別注意 * 和 + 的區別:* 匹配的是零次或者多次,所以被重復的內容可能壓根兒不會出現;+ 至少需要出現一次。例如 ca+t 會匹配 cat 和 caaat,但不會匹配 ct


還有兩個表示重復的元字符,其中一個是問號 ?,用於指定前一個字符匹配零次或者一次。你可以這么想,它的作用就是把某種東西標志位可選的。例如 小?甲魚 可以匹配 小甲魚,也可以匹配 甲魚


最靈活的應該是元字符 {m, n}(m 和 n 都是十進制整數),上邊講到的幾個元字符都可以使用它來表達,它的含義是前一個字符必須匹配 m 次到 n 次之間。例如 a/{1, 3}b 會匹配 a/ba//b 和 a///b。但不會匹配 ab(沒有斜杠);也不會匹配a////b(斜杠超過三個)。

你可以省略 m 或者 n,這樣的話,引擎會假定一個合理的值代替。省略 m,將被解釋為下限 0;省略 n 則會被解釋為無窮大(事實上是上邊我們提到的 20 億)。

小甲魚解釋:如果是 {, n} 相當於 {0, n};如果是 {m, } 相當於 {m, +無窮};如果是 {n},則是重復前一個字符 n 次。


聰明的魚油應該已經發現了,其實 *+ 和 ? 都可以使用 {m, n} 來代替。{0,} 跟 * 是一樣的;{1, } 跟 + 是一樣的;{0, 1}跟 ? 是一樣的。不過還是鼓勵大家記住並使用 *+ 和 ?,因為這些字符更短並且更容易閱讀。

小甲魚解釋:還有一個原因是匹配引擎對 * + ? 做了優化,效率要更高些。




免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM