爬蟲-批量獲取圖片

python版本：3.0

使用庫： import urllib.request  #打開網頁的庫

            import os                  #創建文件夾有關

程序作用：批量爬取煎蛋網上圖片

 

視頻鏈接：鏈接：http://pan.baidu.com/s/1mhLBwWo 密碼：1n51

有一點與視頻不同：視頻中圖片鏈接為http:打頭，實際煎蛋網目前沒有http:，會導致無法識別網頁類型，不能正確下載，在保存是補上http:即可

 

基礎知識：

1.對於某個網站，網址一般是按順序編碼的比如：http://jandan.net/ooxx/

使用瀏覽器的審查元素，可以發現網址<a href="http://jandan.net/ooxx/page-2366#comments">

2366 </a>

第一頁，第十頁，第二十頁改變的就是page-后面的數字，改變每次打開網頁的這個數字就可以達到刷網頁的目的，大家可以依次打開下面的網址，可以發現其規律

http://jandan.net/ooxx/page-2366#comments

http://jandan.net/ooxx/page-2365#comments

http://jandan.net/ooxx/page-2364#comments

2.網頁上圖片點擊，可以發現圖片的地址都有如下規律：

http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc8.jpg

http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc7.jpg

我們可以從一個網頁的代碼中篩選出這個格式的鏈接，利用python帶的函數下載即可

 

程序思路：批量獲取含有圖片的網頁，獲取網頁上包含的圖片鏈接，下載圖片

 

程序框架：

def test1(folder ='OOXX',pages=2):       //00XX為文件夾，程序運行時將創建，pages為抓取的網頁數
    os.mkdir(folder)  #創建文件夾
    os.chdir(folder)  
    url="http://jandan.net/ooxx/"       //要抓取的網頁
    page_num=int(get_page(url))         //獲取第一個網址

    for i in range(pages):              
        page_num -=i        
        page_url= url +'page-' +str(page_num) +'#comments'   //批量獲取網址
        img_addrs = find_imgs(page_url)    //獲取圖片鏈接
        save_imgs(folder,img_addrs)       //保存圖片
if __name__=='__main__':
        test1()

完整代碼：

import urllib.request     #打開網頁的庫
import os                 #創建文件夾有關


def url_open(url):        #打開網頁
    req=urllib.request.Request(url)     #
    req.add_header('User-Agent','Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ')     #看起來像瀏覽器訪問
    response = urllib.request.urlopen(url)
    html = response.read()
    print(url)
    return html

def get_page(url):             
    html=url_open(url).decode('utf-8')  #解碼
    a=html.find('current-comment-page')+23
    b=html.find(']',a)
    return html[a:b]
   
   


def find_imgs(url):        #尋找圖片地址
    html=url_open(url).decode('utf-8')
    img_addrs=[]
    a=html.find('img src=')
    while a!=-1:
        
        b =  html.find('.jpg',a,a+255)       #找不到返回-1，255限定結束范圍
        if b!=-1:                            #找到了
            img_addrs.append('http:'+html[a+9:b+4])  #列表添加地址  實際地址缺少http:  
        else:
            b=a+9
        a=html.find('img src=',b)
    for each in img_addrs:
        print(each)
    return img_addrs
def save_imgs(folder,img_addrs):             #保存圖片
    for each in img_addrs:
        filename =  each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def test1(folder ='OOXX',pages=2):
    os.mkdir(folder)  #創建文件夾
    os.chdir(folder)
    url="http://jandan.net/ooxx/"
    page_num=int(get_page(url))

    for i in range(pages):
        page_num -=i        
        page_url= url +'page-' +str(page_num) +'#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)
if __name__=='__main__':
        test1()