Python-使用requests庫和正則表達式爬取淘寶商品信息

〇、環境

　　語言版本：python 3.8.3

　　編輯器：IDLE（python自帶）

　　操作系統：win10

 

一、需求

　　1、獲取taobao指定商品頁面中的 價格和名稱，這里以書包為例子。

　　

 

 

 

　　2、格式化輸出

　　

 

 

 

二、分析

　　1、taobao商品頁面的源代碼組織形式

　　　　在商品頁右鍵查看源代碼，然后根據商品價格和商品名搜索，會發現 商品名前有“raw_title”鍵，價格前有“view_price”鍵；

　　　　依此，獲取本頁面的html之后，我們可以很方便的用正則表達式獲取想要信息。

　　　　

 

 

 

　　2、障礙及其解決

　　　　淘寶的反爬蟲機制，會使得未登錄則不可訪問，所以我們得先登錄，並獲取cookie

　　　　

 

 

 

三、編碼實現

　　0、引入需要的庫

　　　　import requests

　　　　import re

　　　　#requests庫是網絡請求庫，需要提前安裝（在命令行窗口以：pip install requests）

 

　　1、獲取商品頁的html代碼

def getHTMLText(url):
    try:
        #本header中需要有cookie和user-agent字段
        #cookie是為了模擬登錄，user-agent是為了模擬某些瀏覽器發起的請求
        
        header = {'cookie':'剛剛獲取的cookie復制到此','user-agent':'Mozilla/5.0'}
        r = requests.get(url,timeout=30,headers = header)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

 

　　2、處理html代碼，獲取商品信息

def parsePage(ilt,html):
    try:
        #使用正則表達式獲取價格和商品名
        
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price,title])
    except:
        print("")

 

　　3、格式化打印輸出

def printGoodsList(ilt):
    #使用format()函數，格式話打印
    
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序號","價格","商品名稱"))
    count = 0
    for g in ilt:
        count = count+1
        print(tplt.format(count,g[0],g[1]))