Python爬蟲抓取糗百的圖片，並存儲在本地文件夾

思路：

1.觀察網頁，找到img標簽

2.通過requests和BS庫來提取網頁中的img標簽

3.抓取img標簽后，再把里面的src給提取出來，接下來就可以下載圖片了

4.通過urllib的urllib.urlretrieve來下載圖片並且放進文件夾里面（第一之前的准備工作就是獲取當前路徑然后新建一個文件夾）

5.如果有多張圖片，不斷的重復3-4

 

由於爬蟲寫得少，通過自己的調試，終於寫了出來了

下面直接上代碼：

#coding = 'utf-8'
import requests
from bs4 import BeautifulSoup
import urllib
import os
import sys
reload(sys)
sys.setdefaultencoding("utf-8")

if __name__ == '__main__':
    url = 'http://www.qiushibaike.com/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    imgs = soup.find_all("img")

    _path = os.getcwd()
    new_path = os.path.join(_path , 'pictures')
    if not os.path.isdir(new_path):
        os.mkdir(new_path)
    new_path += '\ '

    try:
        x = 1
        if imgs == []:
            print "Done!"
        for img in imgs:
            link = img.get('src')
            if 'http' in link:
                print "It's downloading %s" %x + "th's piture"
                urllib.urlretrieve(link, new_path + '%s.jpg' %x)
                x += 1

    except Exception, e:
        print e
    else:
        pass
    finally:
        if x :
            print "It's Done!!!"

接下來上結果：

 

 

python3中的版本，略有有一點點不同，就是下載圖片的方法需要加上request，然后才能使用urlretrieve方法進行下載

#!/usr/bin/python3
#coding = 'utf-8'

import requests
from bs4 import BeautifulSoup
import urllib 
import os
import sys
#reload(sys)
#sys.setdefaultencoding("utf_8")

if __name__ == '__main__':
    url = 'http://www.qiushibaike.com/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    print (res)
    soup = BeautifulSoup(res.text,'html.parser')
    #imgs = soup.find_all('img', attrs={'class': 'item_img'})
    imgs = soup.find_all('img')

    _path = os.getcwd()
    new_path = os.path.join(_path,'pictures\\')#需要添加斜杠，才能將圖片放進單獨的文件夾里面
    print(new_path)

    if not os.path.isdir(new_path):
        os.mkdir(new_path)

    #new_path = new_path + '\'
    #print (str(new_path))

    try:
        x = 1
        if imgs == []:
            print ("Done!")
            print (len(imgs))
        for img in imgs:
            link = img.get('src')
            link = 'http:' + link
            #print (link)
            if True:
                print ("It's downloading %s" %x + "th's piture")
                #python3如下使用urlretrieve
                #_new111 = new_path + '%s.jpg'%5
                #print (_new111)
                urllib.request.urlretrieve(link,new_path + '%s.jpg' %x)
                x += 1

    except Exception:
        pass
#    else:
#        pass
    finally:
        if x:
            print ("It's Done!")

結果都是一樣，就不再另外貼結果截圖了

 

總結：

雖然一開始思路不清晰，而且對怎樣把圖片保存下來，都不是很熟

但是經過自己的思考，只要思路清楚了，確定了方向就好辦了，至於函數不會用的話，可以直接百度查，很方便的

總而言之，寫程序之前一定要有思路，邊寫邊想思路是不行的，那樣容易返工

不過最后還是寫出來了，哈哈

也請大家來共同學習和指正

 

----------------------

轉載的話請大家注明出處哦，謝謝了