之前的文章我們介紹了一下 Python 的 json 模塊，本章我們就介紹一下之前根據 Xpath 模塊做的爬取《糗事百科》的糗事進行豐富和完善。
在 Xpath 模塊的爬取糗百的案例中我們只是爬取了其中的糗事，然后存儲到本地，並沒有作者姓名，頭像等信息，所有我們通過之前介紹的 path 模塊講獲取到的完整信息以 json 的形式存儲到本地。
我們要爬取的網站鏈接是 https://www.qiushibaike.com/text/page/1/ 。
我們通過 Xpath Helper 的谷歌插件經過分析獲取到我們想要的內容為： //div[contains(@id,"qiushi_tag")]
1 import urllib.request 2 from lxml import etree 3 import ssl 4 5 # 取消代理驗證 6 ssl._create_default_https_context = ssl._create_unverified_context 7 8 url = "https://www.qiushibaike.com/text/page/1/" 9 # User-Agent頭 10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' 11 headers = {'User-Agent': user_agent} 12 req = urllib.request.Request(url, headers=headers) 13 response = urllib.request.urlopen(req) 14 # 獲取每頁的HTML源碼字符串 15 html = response.read().decode('utf-8') 16 # 解析html 為 HTML 文檔 17 selector = etree.HTML(html) 18 content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]') 19 print(content_list)
輸出結果為：
從上面的輸出結果可以看出我們已經拿到了我們想要的數據，並且是一個列表類型，我們對列表進行操作扥別拿到糗事再存儲到本地即可。
1 items = {} 2 for site in content_list: 3 imgUrl = site.xpath('./div/a/img/@src')[0] # 頭像 4 username = site.xpath('./div/a/img/@alt')[0] # 作者 5 content = site.xpath('.//div[@class="content"]/span[1]/text()') 6 items = { 7 "imgUrl": imgUrl, 8 "username": username, 9 "content": content, 10 } 11 12 with open("qiushi.json", "a") as f: 13 f.write(json.dumps(items, ensure_ascii=False) + ",\n")
上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是只能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的代碼如下：
1 import urllib.request 2 from lxml import etree 3 import json 4 import ssl 5 6 # 取消代理驗證 7 ssl._create_default_https_context = ssl._create_unverified_context 8 9 10 class Spider: 11 def __init__(self): 12 # 初始化起始頁位置 13 self.page = 2 14 # 爬取開關，如果為True繼續爬取 15 self.switch = True 16 17 def loadPage(self): 18 """ 19 作用：打開頁面 20 """ 21 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/" 22 # User-Agent頭 23 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' 24 headers = {'User-Agent': user_agent} 25 req = urllib.request.Request(url, headers=headers) 26 response = urllib.request.urlopen(req) 27 # 獲取每頁的HTML源碼字符串 28 html = response.read().decode('utf-8') 29 # 解析html 為 HTML 文檔 30 selector = etree.HTML(html) 31 content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]') 32 # 調用dealPage() 處理糗事里的雜七雜八 33 self.dealPage(content_list) 34 35 def dealPage(self, item_list): 36 """ 37 @brief 處理得到的糗事列表 38 @param item_list 得到的糗事列表 39 @param page 處理第幾頁 40 """ 41 for site in item_list: 42 # 根據查詢發現匿名用戶和非匿名用戶的標簽不一樣 43 try: 44 # 非匿名用戶 45 imgUrl = site.xpath('./div/a/img/@src')[0] # 頭像 46 username = site.xpath('./div/a/img/@alt')[0] # 作者 47 except Exception: 48 # 匿名用戶 49 imgUrl = site.xpath('./div/span/img/@src')[0] # 頭像 50 username = site.xpath('./div/span/img/@alt')[0] # 作者 51 content = site.xpath('.//div[@class="content"]/span[1]/text()') 52 items = { 53 "imgUrl": "https:" + imgUrl, 54 "username": username, 55 "content": content, 56 } 57 58 self.writePage(items) 59 60 def writePage(self, items): 61 """ 62 @brief 將數據追加寫進文件中 63 @param text 文件內容 64 """ 65 myFile = open("./qiushi.json", 'a') # 追加形式打開文件 66 myFile.write(json.dumps(items, ensure_ascii=False) + ",\n") 67 myFile.close() 68 69 def startWork(self): 70 """ 71 控制爬蟲運行 72 """ 73 # 循環執行，直到 self.switch == False 74 while self.switch: 75 # 用戶確定爬取的次數 76 self.loadPage() 77 command = input("如果繼續爬取，請按回車（退出輸入quit)") 78 if command == "quit": 79 # 如果停止爬取，則輸入 quit 80 self.switch = False 81 # 每次循環，page頁碼自增1 82 self.page += 1 83 print("爬取結束！") 84 85 86 if __name__ == '__main__': 87 # 定義一個Spider對象 88 qiushiSpider = Spider() 89 qiushiSpider.startWork()
程序啟動后會在本地生成一個 city.json 的文件，結果如下：
