python3.5爬蟲基礎urllib實例

python3.5不同於python2.7，在python3.5中，編寫爬蟲小程序，需要安裝模塊urllib下的request和parse類

小程序1：編寫腳本，用來實現抓取百度貼吧指定頁面

import urllib.parse     #主要用來解析url
import urllib.request    #主要用於打開和閱讀url
import os,re
import urllib.error      #用於錯誤處理

print("模擬抓取百度貼吧python和java頁面,並寫入指定路徑文件")

def tieba_baidu(url,l):
    #偽裝成瀏覽器
    header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}
    for i in range(len(l)):
        file_name="G:/test/"+l[i]+".html"
        print("正在下載"+l[i]+"頁面，並保存為"+file_name)
        m=urllib.request.urlopen(url+l[i],headers=header).read()
        with open(file_name,"wb") as file:
            file.write(m)

if __name__=="__main__":
    url="http://tieba.baidu.com/f?kw="
    l_tieba=["python","java","c#"]
    tieba_baidu(url,l_tieba)

小程序二：爬取指定頁面指定格式的文件（本例子爬取指定頁面的jpg文件）

print("爬取指定頁面的jp格式的文件")
def baidu_tieba(url,l):
    """
    根據傳入的地址和關鍵字列表進行圖片抓取
    """
    for i in range(len(l)):
        count=1
        file_name="G:/test/"+l[i]+".html"
        print("正在下載"+l[i]+"頁面，並保存為"+file_name)
        m=urllib.request.urlopen(url+l[i]).read()
        #創建目錄保存每個網頁上的圖片
        dirpath="G:/test/"
        dirname=l[i]
        new_path=os.path.join(dirpath,dirname)
        if not os.path.isdir(new_path):
            os.makedirs(new_path)

        page_data=m.decode()
        page_image=re.compile('<img src=\"(.+?)\"')    #匹配圖片的pattern
        for image in page_image.findall(page_data):#page_image.findall(page_data)用正則表達式匹配所有的圖片
            pattern=re.compile(r'http://.*.jpg$')   #匹配jpg格式的文件
            if pattern.match(image):      #如果匹配，則獲取圖片信息，若不匹配，進行下一個頁面的匹配
                try:
                    image_data=urllib.request.urlopen(image).read()    #獲取圖片信息
                    image_path=dirpath+dirname+"/"+str(count)+".jpg"   #給圖片命名
                    count+=1
                    print(image_path)   #打印圖片路徑
                    with open(image_path,"wb") as image_file:
                        image_file.write(image_data)                     #將圖片寫入文件
                except urllib.error.URLError as e:
                    print("Download failed")
            with open(file_name,"wb") as file:    #將頁面寫入文件
                file.write(m)

if __name__=="__main__":
    url="http://tieba.baidu.com/f?kw="
    l_tieba=["python","java","c#"]
    baidu_tieba(url,l_tieba)

 注：

1、要爬取某個頁面的文件，必須用urllib.request.urlopen打開頁面的連接，並用read方法讀取頁面的html內容

2、要爬取某些具體內容，必須分析該頁面對應的html代碼，找到需爬取內容所在位置的標簽，利用正則表達式獲取標簽

3、瀏覽器偽裝：為了防止有些網站拒絕爬蟲，我們需要偽裝成瀏覽器來實現頁面的爬取，即需要添加頭部文件來偽裝成瀏覽器

header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}

4、規范：爬取的內容盡量寫入到某個文件，如果直接打印在控制台，影響閱讀效果；

5、致謝：上文小例子親測通過，但具體思路借鑒某位大神，但是地址找不到了，無法分享給大家~