Python 爬蟲從入門到進階之路（九）

之前的文章我們介紹了一下 Python 中的正則表達式和與爬蟲正則相關的 re 模塊，本章我們就利用正則表達式和 re 模塊來做一個案例，爬取《糗事百科》的糗事並存儲到本地。

我們要爬取的網站鏈接是 https://www.qiushibaike.com/text/page/1/ 。

我們要爬取的是里面的糗事，在之前的文章中我們已經可以爬取整個 url 鏈接里的 html 內容，那么我們就可以根據爬取到的 html 代碼，再通過 re 模塊匹配我們想要的內容即可。

我們通過調用開發者工具檢查 HTML 元素發現我們想要的內容在  <div class="content"> ...... </div>  內，根據這個我們可以寫出代碼如下：

import urllib.request
import re
import ssl

# 取消代理驗證
ssl._create_default_https_context = ssl._create_unverified_context

url = "https://www.qiushibaike.com/text/page/1/"
# User-Agent頭
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
headers = {'User-Agent': user_agent}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
# 獲取每頁的HTML源碼字符串
html = response.read().decode('utf-8')
# 創建正則表達式規則對象，匹配每頁里的糗事內容，re.S 表示匹配全部字符串內容
# re.S 如果沒有re.S 則是只匹配一行有沒有符合規則的字符串，如果沒有則下一行重新匹配
# 如果加上re.S 則是將所有的字符串將一個整體進行匹配
pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
# 將正則匹配對象應用到html源碼字符串里，返回這個頁面里的所有糗事的列表
content_list = pattern.findall(html)
# 調用dealPage() 處理糗事里的雜七雜八
print(content_list)

最終我們打印結果如下：

從上面的打印結果可以看出我們已經拿到了我們想要的數據，並且存儲在了一個列表里，那么接下來我們只需要再處理一下列表，叫列表內雜七雜八的內容，如上圖中的 \n <span>標簽等去掉，就是我們想要的內容了。

for item in item_list:
    item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
    print(item)
    self.writePage(item)

上面的代碼中 item_list 即為我們上面所獲取到的 content_list 列表，通過對列表的內容分析，我們發現有 <span> ，<span class="contentForAll">查看全文，</span>，<br/>，\n 等多余內容，我們通過 replace 方法將其轉為空，剩下的就是我們想要的內容了，接下來就是存儲到本地即可了。

上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是只能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的代碼如下：

import urllib.request
import re
import ssl

# 取消代理驗證
ssl._create_default_https_context = ssl._create_unverified_context


class Spider:
    def __init__(self):
        # 初始化起始頁位置
        self.page = 1
        # 爬取開關，如果為True繼續爬取
        self.switch = True

    def loadPage(self):
        """
           作用：打開頁面
        """
        url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
        # User-Agent頭
        user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
        headers = {'User-Agent': user_agent}
        req = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(req)
        # 獲取每頁的HTML源碼字符串
        html = response.read().decode('utf-8')
        # 創建正則表達式規則對象，匹配每頁里的糗事內容，re.S 表示匹配全部字符串內容
        # re.S 如果沒有re.S 則是只匹配一行有沒有符合規則的字符串，如果沒有則下一行重新匹配
        # 如果加上re.S 則是將所有的字符串將一個整體進行匹配
        pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
        # 將正則匹配對象應用到html源碼字符串里，返回這個頁面里的所有糗事的列表
        content_list = pattern.findall(html)
        # 調用dealPage() 處理糗事里的雜七雜八
        self.dealPage(content_list)

    def dealPage(self, item_list):
        """
            @brief 處理得到的糗事列表
            @param item_list 得到的糗事列表
            @param page 處理第幾頁
        """
        for item in item_list:
            item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
            self.writePage(item)

    def writePage(self, text):
        """
            @brief 將數據追加寫進文件中
            @param text 文件內容
        """
        myFile = open("./duanzi.txt", 'a')  # 追加形式打開文件
        myFile.write(text + "\n\n")
        myFile.close()

    def startWork(self):
        """
            控制爬蟲運行
        """
        # 循環執行，直到 self.switch == False
        while self.switch:
            # 用戶確定爬取的次數
            self.loadPage()
            command = input("如果繼續爬取，請按回車（退出輸入quit)")
            if command == "quit":
                # 如果停止爬取，則輸入 quit
                self.switch = False
            # 每次循環，page頁碼自增1
            self.page += 1
        print("爬取結束！")


if __name__ == '__main__':
    # 定義一個Spider對象
    qiushiSpider = Spider()
    qiushiSpider.startWork()

最終會在本地添加一個 qiushi.txt 的文件，結果如下：