使用python編寫一個壁紙網站的簡單爬蟲

目標網站：http://www.netbian.com/

目的：實現對壁紙各分類的第一頁壁紙的獲取

 一：分析網站，編寫代碼：

（ps：源代碼在文章的最后）

1.獲取網站目錄部分的一大段代碼，下一步再進行仔細匹配網址與標題.

#coding=gbk
#目標：下載各目錄的壁紙（大圖）
__author__ = 'CQC'
import urllib2
import urllib
import re
import os

#創建壁紙下載文件夾
path = 'd:\\彼岸壁紙'
if not os.path.isdir(path):
    os.makedirs(path)
#目錄
big_title = []

#首頁打開
url = 'http://www.netbian.com/' 
headers = {'User-agent' : 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'}
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)

#首頁目錄源代碼獲取
pat_menu = re.compile('<ul class="menu">(.*?)</a></div>',re.S)
code_menu = re.search(pat_menu,response.read())

 如圖：

2.進行分類的標題與鏈接的匹配。

#目錄標題
pat_menu_title = re.compile('<a href=".*?" title="(.*?)">',re.S)
menu_title = re.findall(pat_menu_title,code_menu.group(1))
for a_item in menu_title:
    big_title.append(a_item)
    print a_item
    
#目錄鏈接
pat_menu_link = re.compile('<a href="(.*?)" title=".*?">',re.S)
menu_link = re.findall(pat_menu_link,code_menu.group(1))

 如下圖所示：

3.從爬取到的目錄進入，獲得該目錄下所有壁紙的標題與鏈接.

#進入目錄
j = 0
for b_item in menu_link:
    url_menu = 'http://www.netbian.com/' + b_item
    request_son = urllib2.Request(url_menu,headers = headers)
    response_son = urllib2.urlopen(request_son)
    #獲得每個目錄的圖片標題，鏈接
    
    #獲得子目錄標題
    title_son = []
    pat_title_son = re.compile('<img src=".*?" data-src=".*?" alt="(.*?)"/>',re.S)
    res_title = re.findall(pat_title_son,response_son.read())
    for c_item in res_title:
        title_son.append(c_item)

    #篩選出子目錄代碼
    pat_code_son = re.compile('<ul>(.*?)</ul>',re.S)
    middle_pattern = urllib2.Request(url_menu,headers = headers)
    middle_response = urllib2.urlopen(middle_pattern)
    res_code_son = re.search(pat_code_son,middle_response.read())
    
    #獲得子目錄鏈接，合成大圖網頁鏈接
    pat_link_son = re.compile('<li><a href="(.*?)" target="_blank"><img',re.S)
    res_link = re.findall(pat_link_son,res_code_son.group(1))

 如下圖所示：

4.根據上一步爬取到的鏈接，合成真正的1080p壁紙鏈接.

因為我們從上圖標題點進去后是這樣：

還需要點擊下載按鈕才能打開1080p壁紙的鏈接。為了方便，我們直接合成1080p壁紙的鏈接.

例如： http://www.netbian.com/desk/9805.htm

對應的1080p網址：http://www.netbian.com/desk/9805-1920x1080.htm

代碼：

    i = 0
    #顯示進度
    print big_title[j]
    for d_item in res_link:
        #獲得大圖下載鏈接
        if d_item == 'http://www.mmmwu.com/':
            pass
        else:
            new_link = 'http://www.netbian.com/' + d_item[:-4] + '-1920x1080.htm'
            print new_link

（ps：由於‘美女’分類中的第一個標題鏈接到了其他網站，為了簡單一點，所以我直接跳過了）

5.進入1080p壁紙鏈接，下載壁紙.

request_real = urllib2.Request(new_link,headers = headers)
            response_real = urllib2.urlopen(request_real)
            pat_real = re.compile('<img src="(.*?)" alt=".*?"/></td></tr>')
            
            link_real = re.search(pat_real,response_real.read())
            #跳過vip壁紙
            if link_real:
                fina_link = link_real.group(1)
                #創建下載目錄
                path_final = 'd:\\彼岸壁紙\\' + big_title[j] + '\\'
                if not os.path.isdir(path_final):
                    os.makedirs(path_final)
                path_pic = path_final + title_son[i] + '.jpg'
                f = open(path_pic,'wb')
                data = urllib.urlopen(fina_link)
                f.write(data.read())
                f.close()
                if not data:
                    print "Download Failed."
            i += 1
    print 'One menu download OK.'
    j += 1

6.下載完成.

二、所有的源代碼。

#coding=gbk
#目標：下載各目錄的壁紙（大圖）
__author__ = 'CQC'
import urllib2
import urllib
import re
import os

#創建壁紙下載文件夾
path = 'd:\\彼岸壁紙'
if not os.path.isdir(path):
    os.makedirs(path)
#目錄
big_title = []

#首頁打開
url = 'http://www.netbian.com/' 
headers = {'User-agent' : 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'}
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)

#首頁目錄源代碼獲取
pat_menu = re.compile('<ul class="menu">(.*?)</a></div>',re.S)
code_menu = re.search(pat_menu,response.read())

#目錄標題
pat_menu_title = re.compile('<a href=".*?" title="(.*?)">',re.S)
menu_title = re.findall(pat_menu_title,code_menu.group(1))
for a_item in menu_title:
    big_title.append(a_item)
    print a_item
    
#目錄鏈接
pat_menu_link = re.compile('<a href="(.*?)" title=".*?">',re.S)
menu_link = re.findall(pat_menu_link,code_menu.group(1))

#進入目錄
j = 0
for b_item in menu_link:
    url_menu = 'http://www.netbian.com/' + b_item
    request_son = urllib2.Request(url_menu,headers = headers)
    response_son = urllib2.urlopen(request_son)
    #獲得每個目錄的圖片標題，鏈接
    
    #獲得子目錄標題
    title_son = []
    pat_title_son = re.compile('<img src=".*?" data-src=".*?" alt="(.*?)"/>',re.S)
    res_title = re.findall(pat_title_son,response_son.read())
    for c_item in res_title:
        title_son.append(c_item)

    #篩選出子目錄代碼
    pat_code_son = re.compile('<ul>(.*?)</ul>',re.S)
    middle_pattern = urllib2.Request(url_menu,headers = headers)
    middle_response = urllib2.urlopen(middle_pattern)
    res_code_son = re.search(pat_code_son,middle_response.read())
    
    #獲得子目錄鏈接，合成大圖網頁鏈接
    pat_link_son = re.compile('<li><a href="(.*?)" target="_blank"><img',re.S)
    res_link = re.findall(pat_link_son,res_code_son.group(1))
    i = 0
    #顯示進度
    print big_title[j]
    for d_item in res_link:
        #獲得大圖下載鏈接
        if d_item == 'http://www.mmmwu.com/':
            pass
        else:
            new_link = 'http://www.netbian.com/' + d_item[:-4] + '-1920x1080.htm'
            print new_link
            request_real = urllib2.Request(new_link,headers = headers)
            response_real = urllib2.urlopen(request_real)
            pat_real = re.compile('<img src="(.*?)" alt=".*?"/></td></tr>')
            
            link_real = re.search(pat_real,response_real.read())
            #跳過vip壁紙
            if link_real:
                fina_link = link_real.group(1)
                #創建下載目錄
                path_final = 'd:\\彼岸壁紙\\' + big_title[j] + '\\'
                if not os.path.isdir(path_final):
                    os.makedirs(path_final)
                path_pic = path_final + title_son[i] + '.jpg'
                f = open(path_pic,'wb')
                data = urllib.urlopen(fina_link)
                f.write(data.read())
                f.close()
                if not data:
                    print "Download Failed."
            i += 1
    print 'One menu download OK.'
    j += 1