python爬蟲——數據爬取和具體解析

關於正則表達式的更多用法，可參考鏈接：https://blog.csdn.net/weixin_40040404/article/details/81027081

 

一、正則表達式：

1.常用正則匹配：

URL：^https?://[a-zA-Z0-9\.\?=&]*$ (re.S模式，匹配 https://www.baidu.com 類似URL )
常用Email地址：[0-9a-zA-Z_-]+@[0-9a-zA-Z_-]+\.[0-9a-zA-Z_-]+ 或者 [\w-]+@[\w-]+\.[\w-]+
中文字符匹配：[\u4e00-\u9fa5]+ 或者 [^\x00-\xff]+
QQ號：[1-9][0-9]{4,} ({4，}表示[0-9]的數字個數不低於4個)
ID：^[1-9]\d{5}(18|19|([23]\d))\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{3}[0-9Xx]$

2.特殊組合：

([\s\S]*?) == ([.\n]*?) == re.findall(‘.*?‘, re.S)

萬能正則表達式 （加‘？’表示懶惰模式，盡可能最小長度匹配； 不加‘？’表示貪婪模式，盡可能最大長度匹配）
\s\S : 空白字符+非空白字符，即表示所有字符 all, == ’ .\n ‘(.表示除換行符之外的任意字符，\n表示換行符)
re.S: 即DOTAALL 點匹配任意模式，改變.的行為，可以匹配換行符

二、例子

獲取博客園的其中一篇文章的內容，保存至文檔中。（具體解析在代碼注釋中可見）

1.源代碼

import requests
import re
import json

def request_blog(url):
    # 異常處理代碼塊
    try:
        #同步請求
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
    except requests.RequestException:
         return None

def parse_result(html):
   # re正則表達式,re.compile是對匹配符的封裝，直接用re.match(匹配符，要匹配的原文本)可以達到相同的效果, 
   # 當然，這里沒有用re.match來執行匹配，而是用了re.findall，這是因為后者可以適用於多行文本的匹配。
   # 另外，re.compile后面的第2個參數，re.S是用來應對換行的，.匹配的單個字符不包括\n和\r，當遇到換行時，我們需要用到re.S

   # 獲取網頁中的<p>標簽中的內容，遇到換行符時，自動跳出循環
   # 格式：標簽加.*？，.*?表示取標簽中的所有數據
    pattern = re.compile('<p>.*?</p>',re.S)
    items = re.findall(pattern, html)
    return items

def write_item_to_file(item):
    print('寫入數據:' + str(item))
    # 保存的文件名blog.txt，寫入文件的格式a追加，寫入文件的中文格式化UTF-8
    with open('blog.txt', 'a', encoding='UTF-8') as f:
        # 遇到換行符時，自動換行
        f.write(json.dumps(item, ensure_ascii=False) + '\n')

def main(page):
    # 網址
    url = 'https://www.cnblogs.com/chenting123456789/p/11840740.html' + str(page)
    # 調用獲取網頁數據的函數
    html = request_blog(url)
    # 調用解析已獲取的網頁數據的函數
    items = parse_result(html)
    # 循環寫入文件
    for item in items:
        write_item_to_file(item)

if __name__ == "__main__":
    for i in range(1,5):
        main(i)

2.運行結果

 

 3.原文文章截圖

 

 4.寫入文件內容

 

三、小結

強化爬蟲爬取網頁信息的技術，以及解析數據時的邏輯順序。