最近學了一點點python爬蟲的知識，面向百度編程爬了一本小說之后感覺有點不滿足，於是突發奇想嘗試爬一本漫畫下來看看。
一、效果展示
首先是我們想要爬取的漫畫網頁： http://www.manhuadao.cn/
網頁截圖：
其次是爬取下來的效果：
每一回的文件夾里面是這樣的： (因為網站圖片的問題...所以就成了這個鬼樣子)
二、分析原理
1、准備：需要vscode或者其他能夠編譯運行python的軟件，推薦python版本3.X ，否則有可能出現編譯問題。
下載所需模塊：win+R 進入命令行， 輸入 pip install <模塊名> 即可下載。例如：
pip install beautifulsoup4
2、原理： 模擬瀏覽器點擊->打開漫畫網頁鏈接->獲取網頁源碼->定位每一章漫畫的鏈接->模擬點擊->獲取圖片頁面源碼->定位圖片鏈接->下載圖片
三、實際操作（代碼附在最后）
1、引入模塊 （這里不再詳述）
2、模擬瀏覽器訪問網頁
(1)、 這里我們打開漫畫的目錄頁，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此鏈接就是目錄頁鏈接。
(2)、按F12打開此網頁的源碼（谷歌瀏覽器），選中上方NetWork，Ctrl+R刷新。
(3)、找到加載網頁的源碼文件，點擊Headers，如下圖： Status Code表示網頁返回的代碼，值為200時表示訪問成功。
(4)、headers中的參數為下面紅框User-Agent。
response = requests.get(url=url, headers=headers) # 模擬訪問網頁
print(response) # 此處應輸出 <Response [200]>
print(response.text) # 輸出網頁源碼
兩個輸出分別輸出：
輸出返回200表示訪問成功。
（節選）
(5)、將html代碼存入 data 中，xpath定位每一章鏈接。點擊上方Element，點擊：
將鼠標移至目錄處：
右邊代碼區域出現每一章鏈接：
data = etree.HTML(response.text) # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
tp = data.xpath('//*[@class="yesReader"]/@href') zhang_list = tp # tp為鏈接列表
輸出zhang_list，結果如下：
(6)、獲取圖片鏈接（獲取方式同上一步）
點進第一章，同上一步，尋找到圖片鏈接：
1 i=1
2 for next_zhang in zhang_list: # 在章節列表中循環 3 i=i+1
4 j=0 5 hui_url = r_url+next_zhang 6 name1 = "第"+str(i)+"回"
7 file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) # 創建文件夾 8 if not os.path.exists(file): 9 os.makedirs(file) 10 print('創建文件夾：', file) 11 response = requests.get(url=hui_url, headers=headers) # 模擬訪問每一章鏈接 12 data = etree.HTML(response.text) 13 # tp = data.xpath('//div[@class="no-pic"]//img/@src')
14 tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') # 定位 15 ye_list = tp
(7)、下載圖片
1 for k in ye_list: # 在每一章的圖片鏈接列表中循環
2 download_url = tp[j] 3 print(download_url) 4 j=j+1
5 file_name="第"+str(j)+"頁"
6 response = requests.get(url=download_url) # 模擬訪問圖片鏈接
7 with open(file+file_name+".jpg","wb") as f: 8 f.write(response.content)
五、代碼
1 '''
2 用於爬取非人哉漫畫 3 目標網址：http://www.manhuadao.cn/ 4 開始時間：2019/8/14 20:01:26 5 完成時間：2019/8/15 11:04:56 6 作者：kong_gu 7 '''
8 import requests 9 import json 10 import time 11 import os 12 from lxml import etree 13 from bs4 import BeautifulSoup 14
15
16 def main(): 17 keyword="非人哉"
18 file = 'E:/{}'.format(keyword) 19 if not os.path.exists(file): 20 os.mkdir(file) 21 print('創建文件夾：',file) 22 r_url="http://www.manhuadao.cn/"
23 url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
24 headers = { # 模擬瀏覽器訪問網頁
25 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36'} 26 response = requests.get(url=url, headers=headers) 27 # print(response.text) # 輸出網頁源碼
28 data = etree.HTML(response.text) 29 # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
30 tp = data.xpath('//*[@class="yesReader"]/@href') 31 zhang_list = tp 32 i=1
33 for next_zhang in zhang_list: 34 i=i+1
35 j=0 36 hui_url = r_url+next_zhang 37 name1 = "第"+str(i)+"回"
38 file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) # 這里需要自己設置路徑
39 if not os.path.exists(file): 40 os.makedirs(file) 41 print('創建文件夾：', file) 42 response = requests.get(url=hui_url, headers=headers) 43 data = etree.HTML(response.text) 44 # tp = data.xpath('//div[@class="no-pic"]//img/@src')
45 tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') 46 ye_list = tp 47 for k in ye_list: 48 download_url = tp[j] 49 print(download_url) 50 j=j+1
51 file_name="第"+str(j)+"頁"
52 response = requests.get(url=download_url) 53 with open(file+file_name+".jpg","wb") as f: 54 f.write(response.content) 55
56
57 if __name__ == '__main__': 58 main()
第一次寫博客，如果有寫的不對的地方，請大佬指正，謝謝！ _(:з」∠)_
原創文章，轉載請注明出處：https://www.cnblogs.com/kong-gu/p/11360308.html