簡介
正則表達式（regular expression）是可以匹配文本片段的模式。最簡單的正則表達式就是普通字符串，可以匹配其自身。比如，正則表達式 ‘hello’ 可以匹配字符串 ‘hello’。
要注意的是，正則表達式並不是一個程序，而是用於處理字符串的一種模式，如果你想用它來處理字符串，就必須使用支持正則表達式的工具，比如 Linux 中的 awk, sed, grep，或者編程語言 Perl, Python, Java 等等。
正則表達式本身也和python沒有什么關系，就是匹配字符串內容的一種規則。
官方定義：正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規則字符串”，這個“規則字符串”用來表達對字符串的一種過濾邏輯。
正則表達式
一個在線測試工具:http://tool.chinaz.com/regex/
首先你要知道的是，談到正則，就只和字符串相關了。在我給你提供的工具中，你輸入的每一個字都是一個字符串。
其次，如果在一個位置的一個值，不會出現什么變化，那么是不需要規則的。
比如你要用"1"去匹配"1"，或者用"2"去匹配"2"，直接就可以匹配上。這連python的字符串操作都可以輕松做到。
那么在之后我們更多要考慮的是在同一個位置上可以出現的字符的范圍。
字符組 ： [字符組] 在同一個位置可能出現的各種字符組成了一個字符組，在正則表達式中用[]表示 字符分為很多類，比如數字、字母、標點等等。 假如你現在要求一個位置"只能出現一個數字",那么這個位置上的字符只能是0、1、2...9這10個數之一。
正則 |
待匹配字符 |
匹配 |
說明 |
[0123456789] |
8 |
True |
在一個字符組里枚舉合法的所有字符，字符組里的任意一個字符 |
[0123456789] |
a |
False |
由於字符組中沒有"a"字符，所以不能匹配 |
[0-9] |
7 |
True |
也可以用-表示范圍,[0-9]就和[0123456789]是一個意思 |
[a-z] |
s |
True |
同樣的如果要匹配所有的小寫字母，直接用[a-z]就可以表示 |
[A-Z] |
B |
True |
[A-Z]就表示所有的大寫字母 |
[0-9a-fA-F] |
e |
True |
可以匹配數字，大小寫形式的a～f，用來驗證十六進制字符 |
字符:
元字符 |
匹配內容 |
| . | 匹配除換行符以外的任意字符 |
| \w | 匹配字母或數字或下划線 |
| \s | 匹配任意的空白符 |
| \d | 匹配數字 |
| \n | 匹配一個換行符 |
| \t | 匹配一個制表符 |
| \b | 匹配一個單詞的結尾 |
| ^ | 匹配字符串的開始 |
| $ | 匹配字符串的結尾 |
| \W | 匹配非字母或數字或下划線 |
| \D | 匹配非數字 |
| \S | 匹配非空白符 |
| a|b | 匹配字符a或字符b |
| () | 匹配括號內的表達式，也表示一個組 |
| [...] | 匹配字符組中的字符 |
| [^...] | 匹配除了字符組中字符的所有字符 |
量詞:
量詞 |
用法說明 |
| * | 重復零次或更多次 |
| + | 重復一次或更多次 |
| ? | 重復零次或一次 |
| {n} | 重復n次 |
| {n,} | 重復n次或更多次 |
| {n,m} | 重復n到m次 |
.^$
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 海. | 海燕海嬌海東 | 海燕海嬌海東 | 匹配所有"海."的字符 |
| ^海. | 海燕海嬌海東 | 海燕 | 只從開頭匹配"海." |
| 海.$ | 海燕海嬌海東 | 海東 | 只匹配結尾的"海.$" |
*+?{}
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| 李.? | 李傑和李蓮英和李二棍子 | 李傑 |
?表示重復零次或一次，即只匹配"李"后面一個任意字符 |
| 李.* | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 | *表示重復零次或多次，即匹配"李"后面0或多個任意字符 |
| 李.+ | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 | +表示重復一次或多次，即只匹配"李"后面1個或多個任意字符 |
| 李.{1,2} | 李傑和李蓮英和李二棍子 | 李傑和 |
{1,2}匹配1到2次任意字符 |
注意：前面的*,+,?等都是貪婪匹配，也就是盡可能匹配，后面加?號使其變成惰性匹配
正則待匹配字符匹配
| 正則 | 待匹配字符 | 匹配結果 | 說明 |
| 李.*? | 李傑和李蓮英和李二棍子 | 李 李 李 |
惰性匹配 |
字符集 [] [^]
| 則 | 待匹配字符 | 匹配 結果 |
說明 |
| 李[傑蓮英二棍子]* | 李傑和李蓮英和李二棍子 | 李傑 |
表示匹配"李"字后面[傑蓮英二棍子]的字符任意次 |
| 李[^和]* | 李傑和李蓮英和李二棍子 | 李傑 |
表示匹配一個不是"和"的字符任意次 |
| [\d] | 456bdha3 | 4 |
表示匹配任意一個數字，匹配到4個結果 |
| [\d]+ | 456bdha3 | 456 |
表示匹配任意個數字，匹配到2個結果 |
分組() 與 或 | [^]
身份證號碼是一個長度為15或18個字符的字符串，如果是15位則全部由數字組成，首位不能為0；如果是18位，則前17位全部是數字，末位可能是數字或x，下面我們嘗試用正則來表示：
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 |
表示可以匹配一個正確的身份證號 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 |
表示也可以匹配這串數字，但這並不是一個正確的身份證號碼，它是一個16位的數字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False |
現在不會匹配錯誤的身份證號了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 | 110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果沒有匹配上就匹配[1-9]\d{14} |
轉義符
在正則表達式中，有很多有特殊意義的是元字符，比如\n和\s等，如果要在正則中匹配正常的"\n"而不是"換行符"就需要對"\"進行轉義，變成'\\'。
在python中，無論是正則表達式，還是待匹配的內容，都是以字符串的形式出現的，在字符串中\也有特殊的含義，本身還需要轉義。所以如果匹配一次"\n",字符串中要寫成'\\n'，那么正則里就要寫成"\\\\n",這樣就太麻煩了。這個時候我們就用到了r'\n'這個概念，此時的正則是r'\\n'就可以了。
| 正則 | 待匹配字符 | 匹配 結果 |
說明 |
| \n | \n | False | 因為在正則表達式中\是有特殊意義的字符，所以要匹配\n本身，用表達式\n無法匹配 |
| \\n | \n | True | 轉義\之后變成\\，即可匹配 |
| "\\\\n" | '\\n' | True | 如果在python中，字符串中的'\'也需要轉義，所以每一個字符串'\'又需要轉義一次 |
| r'\\n' | r'\n' | True | 在字符串之前加r，讓整個字符串不轉義 |
貪婪匹配
貪婪匹配: 在滿足匹配時,匹配盡可能長的字符串,默認情況下,采用貪婪匹配
| 正則 | 待匹配字符 | 匹配結果 | 說明 |
| <.*> | <script>...<script> | <script>...<script> | 默認為貪婪匹配模式，會匹配盡量長的字符串 |
| <.*?>
|
<script>...<script> | <script> <script> |
加上？為將貪婪匹配模式轉為非貪婪匹配模式，會匹配盡量短的字符串 |
幾個常用的非貪婪匹配Pattern
*? 重復任意次，但盡可能少重復 +? 重復1次或更多次，但盡可能少重復 ?? 重復0次或1次，但盡可能少重復 {n,m}? 重復n到m次，但盡可能少重復 {n,}? 重復n次以上，但盡可能少重復
. * ? 的用法
. 是任意字符 * 是取 0 至 無限長度 ? 是非貪婪模式。 何在一起就是 取盡量少的任意字符，一般不會這么單獨寫，他大多用在： .*?x 就是取前面任意長度的字符，直到一個x出現
re模塊下的常用方法
import re ret = re.findall('a', 'eva egon yuan') # 返回所有滿足匹配條件的結果,放在列表里 print(ret) #結果 : ['a', 'a'] ret = re.search('a', 'eva egon yuan').group() print(ret) #結果 : 'a' # 函數會在字符串內查找模式匹配,只到找到第一個匹配然后返回一個包含匹配信息的對象,該對象可以 # 通過調用group()方法得到匹配的字符串,如果字符串沒有匹配，則返回None。 ret = re.match('a', 'abc').group() # 同search,不過盡在字符串開始處進行匹配 print(ret) #結果 : 'a' ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在對''和'bcd'分別按'b'分割 print(ret) # ['', '', 'cd'] ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#將數字替換成'H'，參數1表示只替換1個 print(ret) #evaHegon4yuan4 ret = re.subn('\d', 'H', 'eva3egon4yuan4')#將數字替換成'H'，返回元組(替換的結果,替換了多少次) print(ret) obj = re.compile('\d{3}') #將正則表達式編譯成為一個 正則表達式對象，規則要匹配的是3個數字 ret = obj.search('abc123eeee') #正則表達式對象調用search，參數為待匹配的字符串 print(ret.group()) #結果 ： 123 import re ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一個存放匹配結果的迭代器 print(ret) # <callable_iterator object at 0x10195f940> print(next(ret).group()) #查看第一個結果 print(next(ret).group()) #查看第二個結果 print([i.group() for i in ret]) #查看剩余的左右結果
注意:
1, findall 的優先級查詢:
import re ret = re.findall('www.(baidu|google).com', 'www.google.com') print(ret) # ['google'] 這是因為findall會優先把匹配結果組里內容返回,如果想要匹配結果,取消權限即可 ret = re.findall('www.(?:baidu|google).com', 'www.google.com') print(ret) # ['www.google.com']
2, split 的優先級查詢
ret=re.split("\d+","eva3egon4yuan") print(ret) #結果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之后所切出的結果是不同的， #沒有（）的沒有保留所匹配的項，但是有（）的卻能夠保留了匹配的項， #這個在某些需要保留匹配部分的使用過程是非常重要的。
綜合練習與擴展
1, 標簽匹配
import re ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>") #還可以在分組中利用?<name>的形式給分組起名字 #獲取的匹配結果可以直接用group('名字')拿到對應的值 print(ret.group('tag_name')) #結果 ：h1 print(ret.group()) #結果 ：<h1>hello</h1> ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>") #如果不給組起名字，也可以用\序號來找到對應的組，表示要找的內容和前面的組內容一致 #獲取的匹配結果可以直接用group(序號)拿到對應的值 print(ret.group(1)) print(ret.group()) #結果 ：<h1>hello</h1>
2, 整數匹配
import re ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '2', '60', '40', '35', '5', '4', '3'] ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))") print(ret) #['1', '-2', '60', '', '5', '-4', '3'] ret.remove("") print(ret) #['1', '-2', '60', '5', '-4', '3']
3, 數字匹配
1、 匹配一段文本中的每行的郵箱 http://blog.csdn.net/make164492212/article/details/51656638 2、 匹配一段文本中的每行的時間字符串，比如：‘1990-07-12’； 分別取出1年的12個月（^(0?[1-9]|1[0-2])$）、 一個月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$ 3、 匹配qq號。(騰訊QQ號從10000開始) ［1,9］[0,9]{4,} 4、 匹配一個浮點數。 ^(-?\d+)(\.\d+)?$ 或者 -?\d+\.?\d* 5、 匹配漢字。 ^[\u4e00-\u9fa5]{0,}$ 6、 匹配出所有整數
4, 爬蟲練習
import requests import re import json def getPage(url): response=requests.get(url) return response.text def parsePage(s): com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>',re.S) ret=com.finditer(s) for i in ret: yield { "id":i.group("id"), "title":i.group("title"), "rating_num":i.group("rating_num"), "comment_num":i.group("comment_num"), } def main(num): url='https://movie.douban.com/top250?start=%s&filter='%num response_html=getPage(url) ret=parsePage(response_html) print(ret) f=open("move_info7","a",encoding="utf8") for obj in ret: print(obj) data=json.dumps(obj,ensure_ascii=False) f.write(data+"\n") if __name__ == '__main__': count=0 for i in range(10): main(count) count+=25
import re import json from urllib.request import urlopen def getPage(url): response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): com = re.compile( '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>', re.S) ret = com.finditer(s) for i in ret: yield { "id": i.group("id"), "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): url = 'https://movie.douban.com/top250?start=%s&filter=' % num response_html = getPage(url) ret = parsePage(response_html) print(ret) f = open("move_info7", "a", encoding="utf8") for obj in ret: print(obj) data = str(obj) f.write(data + "\n") count = 0 for i in range(10): main(count) count += 25
flags有很多可選值： re.I(IGNORECASE)忽略大小寫，括號內是完整的寫法 re.M(MULTILINE)多行模式，改變^和$的行為 re.S(DOTALL)點可以匹配任意字符，包括換行符 re.L(LOCALE)做本地化識別的匹配，表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴於當前環境，不推薦使用 re.U(UNICODE) 使用\w \W \s \S \d \D使用取決於unicode定義的字符屬性。在python3中默認使用該flag re.X(VERBOSE)冗長模式，該模式下pattern字符串可以是多行的，忽略空白字符，並可以添加注釋