Python 爬蟲從入門到進階之路（十三）

之前的文章我們介紹了一下 BeautifulSoup4 模塊，接下來我們就利用 BeautifulSoup4 模塊爬取《糗事百科》的糗事。

之前我們已經分別利用 re 模塊和 Xpath 模塊爬取過糗百，我們只需要在其基礎上做一些修改就可以了，為了保證項目的完整性，我們重新再來一遍。

我們要爬取的網站鏈接是 https://www.qiushibaike.com/text/page/1/ 。

我們通過瀏覽器開發者工具的控制台發現我們想要的數據在  <div class="content">......</div>  內：

根據上面的分析我們可以寫出代碼如下：

import urllib.request
from bs4 import BeautifulSoup
import ssl

# 取消代理驗證
ssl._create_default_https_context = ssl._create_unverified_context


url = "https://www.qiushibaike.com/text/page/1/"
# User-Agent頭
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
headers = {'User-Agent': user_agent}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
# 獲取每頁的HTML源碼字符串
html = response.read().decode('utf-8')
# 解析html 為 Beautiful Soup 對象
soup = BeautifulSoup(html, "lxml")
content_list = soup.select('div.content')
print(content_list)

最終我們打印結果如下：

從上面的輸出結果可以看出我們已經拿到了我們想要的數據，並且是一個列表類型，我們對列表進行操作扥別拿到糗事再存儲到本地即可。

for item in item_list:
    item = item.get_text().replace("\n", "")
    self.writePage(item)

上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是只能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的代碼如下：

import urllib.request
from bs4 import BeautifulSoup
import ssl

# 取消代理驗證
ssl._create_default_https_context = ssl._create_unverified_context


class Spider:
    def __init__(self):
        # 初始化起始頁位置
        self.page = 1
        # 爬取開關，如果為True繼續爬取
        self.switch = True

    def loadPage(self):
        """
           作用：打開頁面
        """
        url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
        # User-Agent頭
        user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
        headers = {'User-Agent': user_agent}
        req = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(req)
        # 獲取每頁的HTML源碼字符串
        html = response.read().decode('utf-8')
        # 解析html 為 Beautiful Soup 對象
        soup = BeautifulSoup(html, "lxml")
        content_list = soup.select('div.content')
        # 調用dealPage() 處理糗事里的雜七雜八
        self.dealPage(content_list)

    def dealPage(self, item_list):
        """
            @brief 處理得到的糗事列表
            @param item_list 得到的糗事列表
            @param page 處理第幾頁
        """
        for item in item_list:
            item = item.get_text().replace("\n", "")
            self.writePage(item)

    def writePage(self, text):
        """
            @brief 將數據追加寫進文件中
            @param text 文件內容
        """
        myFile = open("./qiushi.txt", 'a')  # 追加形式打開文件
        myFile.write(text + "\n\n")
        myFile.close()

    def startWork(self):
        """
            控制爬蟲運行
        """
        # 循環執行，直到 self.switch == False
        while self.switch:
            # 用戶確定爬取的次數
            self.loadPage()
            command = input("如果繼續爬取，請按回車（退出輸入quit)")
            if command == "quit":
                # 如果停止爬取，則輸入 quit
                self.switch = False
            # 每次循環，page頁碼自增1
            self.page += 1
        print("爬取結束！")


if __name__ == '__main__':
    # 定義一個Spider對象
    qiushiSpider = Spider()
    qiushiSpider.startWork()

最終會在本地添加一個 qiushi.txt 的文件，結果如下：