1. 正則表達式常用匹配規則
1.1 匹配某個字符串
text = 'hello' ret = re.match('he',text)#math從字符串起始位置開始匹配，起始位置未匹配返回None print(ret.group()) >> he
以上便可以在hello中，匹配出he。
1.2 點（.）匹配任意的字符
text = "ab" ret = re.match('.',text) print(ret.group()) >> a
但是點（.）不能匹配換行符。示例代碼如下：
text = "\n" ret = re.match('.',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute 'group'
ret = re.match('.', text, re.DOTALL)#加參數re.DOTALL，點(.)就可以匹配包換換行符的任意字符
print(ret.group())
1.3 \d匹配任意的數字
text = "123" ret = re.match('\d',text) print(ret.group()) >> 1
1.4 \D匹配任意的非數字
text = "a" ret = re.match('\D',text) print(ret.group()) >> a
而如果text是等於一個數字，那么就匹配不成功了。示例代碼如下：
text = "1" ret = re.match('\D',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute 'group'
1.5 \s匹配的是空白字符（包括：\n，\t，\r和空格）
text = "\t" ret = re.match('\s',text) print(ret.group()) >> 空白
1.6 \w匹配的是a-z和A-Z以及數字和下划線
text = "_" ret = re.match('\w',text) print(ret.group()) >> _
而如果要匹配一個其他的字符，那么就匹配不到。示例代碼如下：
text = "+" ret = re.match('\w',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
1.7 \W匹配的是和\w相反的
text = "+" ret = re.match('\W',text) print(ret.group()) >> +
而如果你的text是一個下划線或者英文字符，那么就匹配不到了。示例代碼如下：
text = "_" ret = re.match('\W',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
1.8 []組合的方式，只要滿足中括號中的某一項都算匹配成功
text = "0731-88888888" ret = re.match('[\d\-]+',text) print(ret.group()) >> 0731-88888888
之前講到的幾種匹配規則，其實可以使用中括號的形式來進行替代：
1.9 匹配多個字符
-
*：可以匹配0或者任意多個字符。示例代碼如下：text = "0731" ret = re.match('\d*',text) print(ret.group()) >> 0731
以上因為匹配的要求是
\d，那么就要求是數字，后面跟了一個星號，就可以匹配到0731這四個字符。 -
+：可以匹配1個或者多個字符。最少一個。示例代碼如下：text = "abc" ret = re.match('\w+',text) print(ret.group()) >> abc
因為匹配的是
\w，那么就要求是英文字符，后面跟了一個加號，意味着最少要有一個滿足\w的字符才能夠匹配到。如果text是一個空白字符或者是一個不滿足\w的字符，那么就會報錯。示例代碼如下：text = "" ret = re.match('\w+',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
-
?：匹配的字符可以出現一次或者不出現（0或者1）。示例代碼如下：text = "123" ret = re.match('\d?',text) print(ret.group()) >> 1
-
{m}：匹配m個字符。示例代碼如下：text = "123" ret = re.match('\d{2}',text) print(ret.group()) >> 12
-
{m,n}：匹配m-n個字符。在這中間的字符都可以匹配到。示例代碼如下：text = "123" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 12
如果text只有一個字符，那么也可以匹配出來。示例代碼如下：
text = "1" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 1
驗證手機號碼：手機號碼的規則是以1開頭，第二位可以是34587，后面那9位就可以隨意了。示例代碼如下： text = "18570631587" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> 18570631587 而如果是個不滿足條件的手機號碼。那么就匹配不到了。示例代碼如下： text = "1857063158" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute 驗證郵箱：郵箱的規則是郵箱名稱是用數字、數字、下划線組成的，然后是@符號，后面就是域名了。示例代碼如下： text = "hynever@163.com" ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text) print(ret.group()) 驗證URL：URL的規則是前面是http或者https或者是ftp然后再加上一個冒號，再加上一個斜杠，再后面就是可以出現任意非空白字符了。示例代碼如下： text = "http://www.baidu.com/" ret = re.match('(http|https|ftp)://[^\s]+',text) print(ret.group()) 驗證身份證：身份證的規則是，總共有18位，前面17位都是數字，后面一位可以是數字，也可以是小寫的x，也可以是大寫的X。示例代碼如下： text = "31131118908123231X" ret = re.match('\d{17}[\dxX]',text) print(ret.group())
1.10 ^（脫字號）：表示以...開始
text = "hello" ret = re.match('^h',text) print(ret.group())
如果是在中括號中，那么代表的是取反操作.
1.11 $：表示以...結束
# 匹配163.com的郵箱 text = "xxx@163.com" ret = re.search('\w+@163\.com$',text) print(ret.group()) >> xxx@163.com
1.12 |：匹配多個表達式或者字符串
text = "hello|world" ret = re.search('hello',text) print(ret.group()) >> hello
1.13 貪婪模式和非貪婪模式
貪婪模式：正則表達式會匹配盡量多的字符。默認是貪婪模式。
非貪婪模式：正則表達式會盡量少的匹配字符。
示例代碼如下：
text = "0123456" ret = re.match('\d+',text) print(ret.group()) # 因為默認采用貪婪模式，所以會輸出0123456 >> 0123456
可以改成非貪婪模式，那么就只會匹配到0。示例代碼如下：
text = "0123456" ret = re.match('\d+?',text) print(ret.group())
案例：匹配0-100之間的數字： text = '99' ret = re.match('[1-9]?\d$|100$',text) print(ret.group()) >> 99 而如果text=101，那么就會拋出一個異常。示例代碼如下： text = '101' ret = re.match('[1-9]?\d$|100$',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute 'group'
1.14 轉義字符和原生字符串
在正則表達式中，有些字符是有特殊意義的字符。因此如果想要匹配這些字符，那么就必須使用反斜杠進行轉義。比如$代表的是以...結尾，如果想要匹配$，那么就必須使用\$。示例代碼如下：
text = "apple price is \$99,orange paice is $88" ret = re.search('\$(\d+)',text) print(ret.group()) >> $99
原生字符串：#r=raw=原生的
在正則表達式中，\是專門用來做轉義的。在Python中\也是用來做轉義的。因此如果想要在普通的字符串中匹配出\，那么要給出四個\。示例代碼如下：
text = "apple \c" ret = re.search('\\\\c',text) print(ret.group())
因此要使用原生字符串就可以解決這個問題：
text = "apple \c" ret = re.search(r'\\c',text) print(ret.group()) #說明：python中re.match(pattern,srting) #中代表匹配規則的字符串pattern具有兩層意義,其一是正則表達式，其中\是專門用來做轉義的。 #其二也是python字符串，在Python中\也是用來做轉義的。 #故python字符串'\\\\c'轉義后為'\\c' -> 傳給正則表達式，正則表達式轉義后為'\c'，故要在普通的字符串中匹配出\，那么要給出四個\。
2. re模塊中常用函數
2.1 match
從開始的位置進行匹配。如果開始的位置沒有匹配到。就直接失敗了。示例代碼如下：
text = 'hello' ret = re.match('h',text) print(ret.group()) >> h
如果第一個字母不是h，那么就會失敗。示例代碼如下：
text = 'ahello' ret = re.match('h',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute 'group'
如果想要匹配換行的數據，那么就要傳入一個flag=re.DOTALL，就可以匹配換行符了。示例代碼如下：
text = "abc\nabc" ret = re.match('abc.*abc',text,re.DOTALL) print(ret.group())
2.2 search
在字符串中找滿足條件的字符。如果找到，就返回。說白了，就是只會找到第一個滿足條件的。
text = 'apple price $99 orange price $88' ret = re.search('\d+',text) print(ret.group()) >> 99
2.3 分組
在正則表達式中，可以對過濾到的字符串進行分組。分組使用圓括號的方式。
group：和group(0)是等價的，返回的是整個滿足條件的字符串。 groups：返回的是里面的子組。索引從1開始。 group(1)：返回的是第一個子組，可以傳入多個。 示例代碼如下： text = "apple price is $99,orange price is $10" ret = re.search(r".*(\$\d+).*(\$\d+)",text) print(ret.group()) print(ret.group(0))#提取整個分組=ret.group() print(ret.group(1))#提取第一個分組 print(ret.group(1,2))#提取第一個和第二個分組 print(ret.groups())#提取多個子分組
2.4 findall
找出所有滿足條件的，返回的是一個列表。
text = 'apple price $99 orange price $88' ret = re.findall('\d+',text) print(ret) >> ['99', '88']
2.5 sub
用來替換字符串。將匹配到的字符串替換為其他字符串。
text = 'apple price $99 orange price $88' ret = re.sub('\d+','0',text) print(ret) >> apple price $0 orange price $0
sub函數的案例，獲取拉勾網中的數據：
html = """ <div> <p>基本要求：</p> <p>1、精通HTML5、CSS3、 JavaScript等Web前端開發技術，對html5頁面適配充分了解，熟悉不同瀏覽器間的差異，熟練寫出兼容各種瀏覽器的代碼；</p> <p>2、熟悉運用常見JS開發框架，如JQuery、vue、angular，能快速高效實現各種交互效果；</p> <p>3、熟悉編寫能夠自動適應HTML5界面，能讓網頁格式自動適應各款各大小的手機；</p> <p>4、利用HTML5相關技術開發移動平台、PC終端的前端頁面，實現HTML5模板化；</p> <p>5、熟悉手機端和PC端web實現的差異，有移動平台web前端開發經驗，了解移動互聯網產品和行業，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移動JS框架）開發經驗者優先考慮；6、良好的溝通能力和團隊協作精神，對移動互聯網行業有濃厚興趣，有較強的研究能力和學習能力；</p> <p>7、能夠承擔公司前端培訓工作，對公司各業務線的前端（HTML5\CSS3）工作進行支撐和指導。</p> <p><br></p> <p>崗位職責：</p> <p>1、利用html5及相關技術開發移動平台、微信、APP等前端頁面，各類交互的實現；</p> <p>2、持續的優化前端體驗和頁面響應速度，並保證兼容性和執行效率；</p> <p>3、根據產品需求，分析並給出最優的頁面前端結構解決方案；</p> <p>4、協助后台及客戶端開發人員完成功能開發和調試；</p> <p>5、移動端主流瀏覽器的適配、移動端界面自適應研發。</p> </div> """ ret = re.sub('</?[a-zA-Z0-9]+>',"",html) print(ret)
2.6 split
使用正則表達式來分割字符串。
text = "hello world ni hao" ret = re.split('\W',text) print(ret) >> ["hello","world","ni","hao"]
2.7 compile
對於一些經常要用到的正則表達式，可以使用compile進行編譯，后期再使用的時候可以直接拿過來用，執行效率會更快。而且compile還可以指定flag=re.VERBOSE，在寫正則表達式的時候可以做好注釋。示例代碼如下：
text = "the number is 20.50" r = re.compile(r""" \d+ # 小數點前面的數字 \.? # 小數點 \d* # 小數點后面的數字 """,re.VERBOSE) ret = re.search(r,text) print(ret.group())
#-*-coding = utf-8 -*- import re import requests def parse_page(url): headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} response = requests.get(url,headers=headers) text = response.text titles = re.findall(r'<div class="cont">.*?<b>(.*?)</b>',text,re.DOTALL) dynasties = re.findall(r'<p class="source".*?<a.*?>(.*?)</a>',text,re.DOTALL) authors = re.findall(r'<p class="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text) contents = re.findall(r'<div class="contson".*?>(.*?)</div>',text,re.DOTALL) poems = [] data = [] for poem in contents: x = re.sub(r'<.*?>',"",poem) poems.append(x.strip()) for title,dynasty,author,poem in zip(titles,dynasties,authors,poems): data.append({ 'title':title, 'dynasty':dynasty, 'author':author, 'poem':poem }) return data if __name__=='__main__': url = 'https://www.gushiwen.org/default_1.aspx' data = parse_page(url) print(data)
>>>>>待續