Python爬蟲學習之爬美女圖片

學習python可能最先入手的就是爬蟲了，閑來沒事就找了找爬點什么內容比較好。突然發現最近很流行爬去美女圖片啊！！！！二話不說，搞起來。

    先來看看網站長啥樣。

 

再看看網站的Html結構。

 

    好了，知道了網站html結構，name就開干吧。先創建py文件，引入第三方包urllib.request、BeautifulSoup和os。

    1、創建文件保存方法

2、定義請求頭

3、網頁分析

4、主函數

5、結果

6、程序源碼

import urllib.request
from bs4 import BeautifulSoup
import os


def Download(url, picAlt, name):
    path = 'D:\\tupian\\' + picAlt + '\\'
    # 判斷系統是否存在該路徑，不存在則創建
    if not os.path.exists(path):
        os.makedirs(path)
    # 下載圖片並保存在本地
    urllib.request.urlretrieve(url, '{0}{1}.jpg'.format(path, name))

#定義請求頭
header = {
    "User-Agent": 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
    'Accept': '*/*',
    'Accept-Language': 'en-US,en;q=0.8',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive'
}

#網頁分析
def run(targetUrl, beginNUM, endNUM):
    #創建網絡請求對象
    req = urllib.request.Request(url=targetUrl, headers=header)
    response = urllib.request.urlopen(req)  # 這里的req可看成一種更為高級的URL
    #設置請求參數
    html = response.read().decode('gb2312', 'ignore')  # 解碼 得到這個網頁的html源代碼：這個網站的編碼使用的是GB2312格式，更常見的網站編碼格式應該是UTF-8了吧
    soup = BeautifulSoup(html, 'html.parser')  # 將得到的HTML代碼使用python自帶的解析器（也可以使用lxml解析器，性能會更好，本代碼從簡
    # 獲取圖片div
    Divs = soup.find_all('div', attrs={'id': 'big-pic'})
    #當前頁
    nowpage = soup.find('span', attrs={'class': 'nowpage'}).get_text()
    #所有頁
    totalpage = soup.find('span', attrs={'class': 'totalpage'}).get_text()
    if beginNUM == endNUM:  # 跳出條件
        return
    for div in Divs:
        beginNUM = beginNUM + 1
        #判斷是否存在圖片
        if div.find("a") is None:  # 如果這張圖片沒有下一張圖片的鏈接
            print("沒有圖片")
            return
        # 有鏈接，但是是 空鏈接
        elif div.find("a")['href'] is None or div.find("a")['href'] == "":
            print("沒有圖片")
            return
        #展示進度
        print("下載信息：總進度：", beginNUM, "/", endNUM, " ，正在下載組圖：(",nowpage, "/", totalpage, ")")

        # 變換成下一頁
        if int(nowpage) < int(totalpage):
            #獲取下一張圖片鏈接
            nextPageLink = "http://www.mmonly.cc/mmtp/qcmn/" + (div.find('a')['href'])
        elif int(nowpage) == int(totalpage):
            #獲取下一組圖片鏈接
            nextPageLink = (div.find('a')['href'])
        #獲取圖片鏈接
        picLink = (div.find('a').find('img')['src'])  # 本網站大圖的SRC屬性是下一張圖片的鏈接
        picAlt = (div.find('a').find('img'))['alt']  # 圖片的名字alt屬性
        print('下載的圖片鏈接:', picLink)
        print('組圖名：[ ', picAlt, ' ] ')
        print('開始下載...........')
        Download(picLink, picAlt, nowpage)
        print("下載成功！")
        print('下一頁鏈接:', nextPageLink)
        # 遞歸
        run(nextPageLink, beginNUM, endNUM)
        return


#主函數
if __name__ == '__main__':
    # http://www.mmonly.cc/mmtp/qcmn任意一個網址開始爬取，是爬取的起點（）
    targetUrl ="http://www.mmonly.cc/mmtp/qcmn/237273_10.html"
    run(targetUrl, beginNUM=0, endNUM=200)  # 設置下載圖片數量：endNUM-beginNUM 數字相減為總數量