常用模塊:re模塊下的常用方法

載入模塊:import re

要求:永遠不要起一個py文件的名字,這個名字和你已知的模塊同名

一.模塊的應用:

1.查找:

(1).findall:匹配所有,每一項都是列表中的一個元素

ret = re.findall('\d+','sjkhk172按實際花費928') # 正則表達式,帶匹配的字符串,flag
print(ret)

結果:
['172', '928']


ret = re.findall('\d','sjkhk172按實際花費928') # 正則表達式,帶匹配的字符串,flag
print(ret)

結果:
['1', '7', '2', '9', '2', '8']

 

(2).search:只匹配從左到右的第一個,得到的不是直接的結果,而是一個變量,

通過這個變量的group方法來獲取結果,如果沒有匹配到就返回None,使用

group會報錯

ret = re.search('\d+','sjkhk172按實際花費928')
print(ret)  # 內存地址,這是一個正則匹配的結果
print(ret.group()) # 通過ret.group()獲取真正的結果

結果:
<_sre.SRE_Match object; span=(5, 8), match='172'>
172

ret = re.search('\d','owghabDJLBNdgv')
print(ret)
print(ret.group())

結果:
None
Traceback (most recent call last): File "F:/python/python kecheng/day17/code/day17/3.re模塊.py", line 20, in <module>
    print(ret.group())
AttributeError: 'NoneType' object has no attribute 'group'

 

ret = re.search('\d+','sjkhk172按實際花費928')
if ret :   # 內存地址,這是一個正則匹配的結果
    print(ret.group()) # 通過ret.group()獲取真正的結果

結果:
172

 

(3):match:從頭開始匹配,相當於search中的正則表達式加上一個^

ret = re.match('\d+','172sjkhk按實際花費928')
print(ret.group())

結果:
172

 

 

2.字符串處理的擴展:split切割;sub/subn替換

(1).split切割:

s = 'alex|taibai|egon|'
print(s.split('|'))
s = 'alex83taibai40egon25'
ret = re.split('\d+',s)
print(ret)

結果:
['alex', 'taibai', 'egon', '']
['alex', 'taibai', 'egon', '']

 

(2).sub:替換,誰 舊的 新的 替換次數

ret = re.sub('\d+','H','alex83taibai40egon25')
print(ret)

結果:
alexHtaibaiHegonH


ret = re.sub('\d+','H','alex83taibai40egon25',1)
print(ret)

結果:
alexHtaibai40egon25

 

(3).subn:返回一個元組,第二個元素是替換的次數

ret = re.subn('\d+','H','alex83taibai40egon25')
print(ret)

結果:
('alexHtaibaiHegonH', 3)

 

 

3.re模塊的進階:時間/空間

(1).compile:節省你使用正則表達式解決問題的時間

編譯 正則表達式 編譯成 字節碼

作用:在多次使用的過程中,不會多次編譯

ret = re.compile('\d+')   # 已經完成編譯了
print(ret)
res = ret.findall('alex83taibai40egon25')
print(res)
res = ret.search('sjkhk172按實際花費928')
print(res.group())

結果:
re.compile('\\d+')
['83', '40', '25']
172

 

(2).finditer:節省你使用正則表達式解決問題的空間/內存

ret = re.finditer('\d+','alex83taibai40egon25')
for i in ret:
    print(i.group())

結果:
83
40
25

 

 

4.小結:

(1).findall:返回列表,找所有的匹配項

(2).search:匹配就返回一個變量,通過group取匹配到的第一個值,不匹配就返回None,group會報錯

(3).match:相當於search的正則表達式中加了個'^'

 

(4).spilt:返回列表,按照正常規則切割,默認匹配到的內容會被切掉

(5)sub/subn:替換,按照正則規則去尋找要被替換掉的內容,subn返回元組,第二個值是替換的次數

 

(6).compile:編譯一個正則表達式,用這個結果去search,match,findall,finditer能夠節省時間

(7).finditer:返回一個迭代器,所有的結果都在這個迭代器中,需要通過循環+group的形式取值,能夠節省內存

 

二.分組在re模塊中的使用:

s = '<a>wahaha</a>'  # 標簽語言 html 網頁
ret = re.search('<(\w+)>(\w+)</(\w+)>',s)
print(ret.group())  # 所有的結果
print(ret.group(1)) # 數字參數代表的是取對應分組中的內容
print(ret.group(2))
print(ret.group(3))

結果:
<a>wahaha</a>
a
wahaha
a

 

 

1.為了findall也可以順利取到分組中的內容,有一個特殊的語法,就是優先顯示分組中的內容

s = '<a>wahaha</a>'
ret = re.findall('(\w+)',s)
print(ret)
ret = re.findall('>(\w+)<',s)
print(ret)

結果:
['a', 'wahaha', 'a']
['wahaha']

 

 

2.取消分組優先(?:正則表達式)

ret = re.findall('\d+(?:\.\d+)?','1.234*4')
print(ret)

結果:
['1.234', '4']

 

 

3.關於分組:

對於正則表達式來說 有些時候我們需要進行分組,來整體約束某一組字符出現的次數
(\.[\w]+)?

對於python語言來說 分組可以幫助你更好更精准的找到你真正需要的內容
<(\w+)>(\w+)</(\w+)>

 

 

4.切割split:

ret = re.split('\d+','alex83taibai40egon25')
print(ret)
ret = re.split('(\d+)','alex83taibai40egon25aa')
print(ret)

結果:
['alex', 'taibai', 'egon', '']
['alex', '83', 'taibai', '40', 'egon', '25', '']

 

 

5.分組命名(?P<這個組的名字>正則表達式):

s = '<a>wahaha</a>'
ret = re.search('>(?P<con>\w+)<',s)
print(ret.group(1))
print(ret.group('con'))

結果:
wahaha
wahaha

 

 

6.使用前面的分組,要求使用這個名字的分組和前面同名分組中的內容匹配的必須一致

s = '<a>wahaha</a>'
pattern = '<(\w+)>(\w+)</(\w+)>'
ret = re.search(pattern,s)
print(ret.group(1) == ret.group(3))

結果:
True

s = '<a>wahaha</b>'
pattern = '<(?P<tab>\w+)>(\w+)</(?P=tab)>'
ret = re.search(pattern,s)
print(ret)

結果:
None


s = '<a>wahaha</a>'
pattern = '<(?P<tab>\w+)>(\w+)</(?P=tab)>'
ret = re.search(pattern,s)
print(ret)

結果:
<_sre.SRE_Match object; span=(0, 13), match='<a>wahaha</a>'>

 

 

三.使用正則表達式的技巧:

1.用法:你要匹配的內容太沒有特點,容易和你不想匹配的內容混在一起

# 精准的取到整數 過濾掉小數
ret=re.findall(r"\d+\.\d+|\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret)
ret=re.findall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove('')
print(ret)

結果:
['1', '2', '60', '40.35', '5', '4', '3']
['1', '2', '60', '5', '4', '3']

 

正則表達式如果寫的足夠好的話,能夠最大限度的簡化我們的操作

2.正則表達式的重要程度:

(1).掌握練習中的所有內容

(2).能夠看懂常用的正則表達式

(3).並且能夠做出一些公司特異性要求的修改

 

四.預備知識:

from urllib import request
ret = request.urlopen('https://movie.douban.com/top250?start=50&filter=')
res = ret.read().decode('utf-8')
print(res)

 

1.爬蟲實例:

import re
from urllib.request import urlopen

def getPage(url):   # 獲取網頁的字符串
    response = urlopen(url)
    return response.read().decode('utf-8')

def parsePage(s):
    ret = com.finditer(s)  # 從s這個網頁源碼中 找到所有符合com正則表達式規則的內容 並且以迭代器的形式返回
    for i in ret:
        yield {
            "id": i.group("id"),
            "title": i.group("title"),
            "rating_num": i.group("rating_num"),
            "comment_num": i.group("comment_num"),
        }

def main(num):  # 0  25 50  # 這個函數執行10次,每次爬取一頁的內容
    url = 'https://movie.douban.com/top250?start=%s&filter=' % num
    response_html = getPage(url)   # response_html就是這個url對應的html代碼 就是 str
    ret = parsePage(response_html) # ret是一個生成器
    print(ret)
    f = open("move_info7", "a", encoding="utf8")
    for obj in ret:
        print(obj)
        data = str(obj)
        f.write(data + "\n")
    f.close()

com = re.compile(
        '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
        '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>', re.S)

count = 0
for i in range(10):
    main(count)
    count += 25