功能描述
目標：獲取淘寶搜索頁面的信息，提取其中商品名稱和價格
理解：淘寶的搜索接口
遇到的困難
正則表達式的書寫
直接爬取cookie值過期，輸出結果為空，所以需要header
解決：在所需爬取頁面中，按F12， 點擊network，刷新頁面， 點擊出現的search?q=，向下翻可以看見cookie與user-agent
頁面間距值的查找
代碼部分
# =============================================
# --*-- coding: utf-8 --*--
# @Time : 2021-02-14
# @Author : Oraer
# @CSDN : https://blog.csdn.net/Oraer
# @FileName: 淘寶商品比價定向爬蟲.py
# @Software: PyCharm
# =============================================
import re
import requests
def getHTMLText(url, header):
try:
r = requests.get(url, headers=header, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html) # 價格
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html) # 商品名稱
for i in range(len(plt)):
price = eval(plt[i].split(':')[1]) # 將價格從字符串中分開
title = eval(tlt[i].split(':')[1]) # eval()
ilt.append([price, title]) # 將每一對價格和商品名稱 添加進列表ilt
except:
print("...")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}" # 表頭
print(tplt.format("序號", "價格", "商品名稱"))
count = 0
for g in ilt:
count = count + 1
print(tplt.format(count, g[0], g[1]))
def main():
goods = '華為' # 爬取商品
depth = 2 # 爬取深度
start_url = 'https://s.taobao.com/search?q=' + goods
header = {
"Cookie": 'thw=cn; cna=l4qWGUADnlsCAdpNONov0COS; sgcookie=E100amQ%2FAqzHrAWNxy6h4p2Pjb8E4ps5AMe5dY7LTxvY5u78KCAW52HbJyHBByU7qNOtGW%2BIgHtGXv6vpAL71HifU1yFtej6bQezPELhj7XDCOU%3D; tracknick=tb956885452; _cc_=UtASsssmfA%3D%3D; enc=IgiMy3EBqFA9uaISLYfat5cWOuCoWLTHbC8TLE9Rn5v5Ev%2Bgjsi10obFxjMaKoCYmDwApXjgWF4ni9XWrwe%2FNXGKL69AShbXmuWlLvXFM80%3D; hng=CN%7Czh-CN%7CCNY%7C156; miid=3845148332138405182; _m_h5_tk=8f22d821383d7a5ea68960d13c500f93_1644847346926; _m_h5_tk_enc=497b6b19efc8a329b36db37d929954ca; xlly_s=1; alitrackid=www.taobao.com; lastalitrackid=www.taobao.com; cookie2=1f09b4a01bff2126f0a64239b78b39ba; t=c81afa8b8c905660e9138e49e7735d8b; _tb_token_=faae5d4ef43f4; JSESSIONID=90DC4AD7D51644F3EEAC9AB890CC322F; tfstk=ceJdBQbK7V0nOOs90BhMNv9s3LJdZIZdrk_8ecovmfY7JayRi8vDHrKoOg7VJcC..; l=eBMZ8HgggLfBS9DBBOfZlurza77O9IRbouPzaNbMiOCPOz5e5pnNW6caISYwCnGVHsK2R3uqBzNwBf8GlyCq0-Y3L3k_J_VsndC..; isg=BGBg3Ct1FqnH86moFMsBh4k3MW4yaUQzqWf6HtpxEXsO1QH_gnphw2GnaX3V4_wL',
"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763'
} # 發送Headers的請求 且 需要cookie信息
infoList = [] # 商品名稱和價格
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i) # 對爬取頁面連接 每頁間距44
html = getHTMLText(url, header) # 獲取頁面文本信息
parsePage(infoList, html) # 把商品名稱 價格 提取到infoList
except:
continue
printGoodsList(infoList) # 打印爬取結果
if __name__ == '__main__':
main()
運行結果
序號 價格 商品名稱
1 6699.00 華為MateBook14s 512G銳炬顯卡14.2英寸觸控屏智慧性能輕薄本
2 17799.00 華為折疊屏手機 Mate X2 折疊手機 華為x2 華為5G手機
3 888.00 Huawei/華為 暢享20 Pro官方正品旗艦手機
4 2379.00 順豐當天發+可減400 HONOR/榮耀60 5G手機官方旗艦店官網全網通新款正品智能曲面50pro非華為手機榮耀60pro
5 2799.00 24期免息 送碎屏寶 Huawei/華為nova 9手機 華為手機 華為nova9 華為nova9手機 華為nova9pro 華為官方旗艦店
6 4499.00 華為HUAWEI MatePad Pro 12.6英寸鴻蒙HarmonyOS系統OLED屏幕平板電腦學習8GB12GB內存
7 11588.00 當天發【贈碎屏保24期免息】華為/HUAWEI Mate 40 RS 5G手機官方旗艦店正品保時捷版新品Pro官網典藏版
8 19088.00 24期免息【當天發】HUAWEI/華為 Mate X2 5G手機官方正品官網新款旗艦店mate30e折疊屏matex2典藏版PU素皮
9 2099.00 HUAWEI/華為nova 8 SE華為手機大屏4G全網通6400萬高清四攝66W超級快充OLED華為官方旗艦店
10 5188.00 24期免息花唄分期付款0首付 HUAWEI/華為Mate 40E 5G智能手機官方旗艦店正品麒麟旗艦芯片曲面屏新款mate40e
11 2099.00 送碎屏寶【優惠200元】Huawei/華為Nova8 SE 官方旗艦店官網正品新款全網通手機直降66W快充學生游戲大屏華為
12 1299.00 vivo WATCH 2新品獨立通訊超長續航智能運動藍牙健康手表官方旗艦正品防水兼容華為
13 2699.00 可減150元 花唄24期分期免息 HONOR/榮耀60 Pro 手機5G官方旗艦店官網新款正品龔俊同款50pro非華為榮耀60pro
14 10088.00 當天發【24期免息/可減1200】HUAWEI/華為P50 Pocket寶盒折疊手機官方旗艦店正品p50pro鴻蒙新款折疊屏定制版
15 1379.00 可減160元+順豐當天發 honor/榮耀X30i 5G手機榮耀官方旗艦店官網新品上市正品榮耀x20智能非華為新榮耀x30i
16 2799.00 當天發【24期免息送碎屏寶】Huawei/華為nova 9手機官方旗艦店正品nova9pro曲面屏7鴻蒙官網新款p50系統nova8
17 2099.00 Huawei/華為nova 8 SE4G手機全網通正品學生拍照游戲手機nova8se
18 2499.00 Huawei/華為MatePad 11平板電腦10.95英寸matepad鴻蒙辦公學習
19 1488.00 Huawei/華為手表WATCH GT3/GT典藏版運動智能gt3血氧監測藍牙通話
20 6188.00 Huawei/華為P50手機4G全網通官方旗艦店正品搭載鴻蒙p50智能手機
21 3499.00 Huawei/華為nova9pro 4G手機驍龍鴻蒙HarmonyOS新品智能Nova9Pro
22 2999.00 【移動用戶專享】HONOR/榮耀60 5G手機官方旗艦店官網全網通新款正品智能曲面50pro非華為手機榮耀60pro
23 6199.00 【24期免息 領劵88劵省100元】Huawei/華為 Mate 40 pro 5G手機正品mate40pro新品mate40pro手機直降mate40
24 2599.00 【24期免息下單減150 】華為平板MatePad11平板電腦二合一10.95英寸2021新款pad全網通話pro學生平板游戲辦公
25 4649.00 【M40pro+黑閃送】Huawei/華為 Mate 40 Pro+ MATE40 pro mate40
26 3799.00 【咨詢減600】華為MatePadPro平板電腦10.8英寸2021新款pad二合一辦公學生ipad pro官方旗艦店正品matepad11
27 3799.00 【咨詢減600】華為平板MatePadPro 10.8寸2021新款pad平板電腦二合一Pro學生辦公iPad官方旗艦正品matepad11
28 2899.00 華為Matebook14/13 i7輕薄榮耀銳龍觸屏i5學生游戲新款筆記本電腦
29 2780.00 華為HUAWEI Huawei Mate30Pro 5G官方正品旗艦手機mate30原廠封裝
30 3288.00 分期免息Huawei/華為 p40 pro 5G新款官方旗艦豪禮 P40pro+手機
31 5999.00 新品Huawei/華為 P50 Pro手機官方旗艦店官網正品華為P50鴻蒙系統
32 2889.00 華為Matebook13/14s新品i5/7銳龍版學生辦公超薄全面屏筆記本電腦
33 2599.00 【咨詢領大額優惠！】華為手表Watch 3 pro智能eSIM獨立通話心率血糖血氧檢測男女運動手環官方旗艦正品鴻蒙
34 1899.00 當天發貨【24期分期】HONOR/榮耀50 手機系列v50新款5G十直降pro正品SE曲屏40華為手機官方旗艦店官網全網通
35 228.00 【2022新款】華強北s7手表可接打電話DT7MAX智能PD7MAX+藍牙測心率血壓運動商務DT7proMAX NFC適用蘋果華為
36 2599.00 華為手表Watch 3 pro智能esim獨立通電話男女藍牙運動手環心率血氧檢測官方旗艦正品現貨鴻蒙[966]
37 1988.00 HUAWEI Huawei Mate 30 Pro 5G麒麟990 曲面屏E 徠卡40相機5G手機
38 6499.00 Huawei/華為MateBook 14十一代I5學生輕薄辦公商務筆記本2021款
39 5258.00 新品Huawei/華為 Mate 40 5G手機 mate40PRO+ 保時捷設計mate40e
40 1299.00 【順豐當天發+送榮耀耳機】HONOR/榮耀X20 5G手機華為手機官方旗艦店官網x20se老人學生千元智能手機暢玩20se
41 2628.00 HUAWEI Mate30 mate30pro 5G全網通直屏曲屏防水華為官方正品手機
42 898.00 【順豐當天發+送碎屏保】HUAWEI/華為暢享20 SE手機官方旗艦正品店官網暢享20se直降新款華為學生游戲手機
43 1528.00 Huawei/華為 nova 7 5G全網通麒麟985官方正品曲面屏nova7pro手機
44 917.00 honor 榮耀 榮耀9x 原裝正品升降攝像頭4G智能學生華為手機包郵
45 699.00 華為HUAWEI 暢享9 PLUS暢想9S正品10s老人智能手機官方旗艦店官網
46 3199.00 現貨速發Huawei/華為 p40 pro 5G手機P40官方旗艦全面屏P40新款
47 1899.00 官網honor/榮耀 榮耀60 Pro手機5G官方旗艦店華為榮耀60驍龍778G+
48 2504.00 【咨詢更優惠】華為平板MatePad11新款平板電腦10.95英寸HUAWEI鴻蒙學習辦公繪畫2網課Pro學生全面屏ipad官方
49 2504.00 【咨詢更優惠】華為平板MatePad11新款平板電腦10.95英寸HUAWEI鴻蒙學習辦公繪畫2網課Pro學生全面屏ipad官方
50 2599.00 新款Huawei/華為 NOVA 9手機官方旗艦店官網正品鴻蒙Hi Nova9Pro
51 13088.00 新品華為Mate X2典藏折疊屏Huawei/華為 Mate X2代5G麒麟9000旗艦
52 8999.00 新品Huawei/華為 P50 pocket折疊屏麒麟9000 華為p50寶盒折疊手機
53 1388.00 【太空人表盤!】華為手表Watch GT2運動智能電話手表3pro藍牙通話液晶商務男女手環血氧官方正品旗艦現貨46mm
54 3199.00 Huawei/華為 p40 pro 鴻蒙系統官方旗艦手機5G全網通華為p40新款
55 2383.00 現貨 Huawei/華為 nova 9官方正品旗艦店新品nova9 Pro驍龍手機
56 1999.00 【送禮】華為平板MatePad10.4英寸平板電腦2021鴻蒙二合一學生學習專用11官方旗艦10新款全網通pro全面屏ipad
57 1899.00 【現貨速發】華為平板MatePad平板電腦10.4英寸2021新款鴻蒙OS教育ipad11二合一手機全網通話學生Pro官方旗艦
58 5988.00 24期免息【送碎屏險當天發貨】Huawei/華為P50Pro手機全網通 華為p50寶盒 華為p50 pro 華為官方旗艦店官網
59 7738.00 【現貨發】Huawei/華為Mate 40 Pro 5G手機官方旗艦店mate40pro官網P50正品40e 華為mate40
60 5499.00 華為/HUAWEI MateBook 13 11代酷睿8GB/16GB+512GB銳炬顯卡筆記本電腦2K觸控護眼輕薄辦公全面屏wifi 6
61 6499.00 華為筆記本電腦HUAWEI MateBook 13s 第11代intel酷睿處理器 16GB+512GB銳炬顯卡13.4英寸2.5K性能輕薄本
62 2699.00 順豐速發送碎屏寶新品上市Huawei/華為nova 9手機官方旗艦店官網正品新款nova9pro系列直降120Hz鴻蒙nova8
63 2699.00 當天發【24期免息】Huawei/華為nova 9手機新款官方nova8pro旗艦店nova8se系列5G鴻蒙p官網直降40正品
64 2799.00 順豐速發5G新品送碎屏寶Huawei/華為nova 8 Pro手機官方旗艦店正品曲面屏新款nove8直降9官網nova8系列pro
65 2469.00 【可減350元+花唄24期分期】HONOR/榮耀60 5G手機官方旗艦店官網正品新款榮耀50系列曲面屏非華為榮耀60pro
66 6688.00 當天發可減720元[24期免息]Huawei/華為 P50 Pro手機官方旗艦官網p40pro新款5g直降典藏版寶盒pocket正品
67 1319.00 可減70元+順豐當天發 HONOR/榮耀X30 5G手機官方旗艦店官網正品新款x30i智能學生非華為榮耀x30手機max 30i
68 1488.00 當天發【24期分期送禮】華為手表Watch GT3智能電話手表通心率血氧監測男女運動藍牙手環2p官方旗艦正品46mm
69 5088.00 當天發【24期免息可減750】Huawei/華為Mate 40 pro 5G手機官方旗艦店正品mate50鴻蒙40e官網直降p50 60 M40
70 6099.00 HUAWEI/華為Mate 40 Pro 4G手機智能系統mate40pro 4g曲面屏鴻蒙
71 2599.00 華為手表Watch3/Pro智能esim獨立通話電話運動男女藍牙watch3/pro
72 999.00 Huawei/華為暢享20E手機4G全網通新品20e官方4g正品老人學生暢想
73 10988.00 Huawei/華為P50 Pocket新款寶盒折疊屏手機鴻蒙系統官方自營店p50
74 2988.00 華為血壓手表WATCH D運動智能腕部心電記錄儀旗艦手環官方watch d
75 6399.00 官方正品Huawei/華為Mate40 pro+全網通5G手機mate40秋日夏日胡楊
76 3738.00 官方原裝Huawei/華為P40旗艦5GP40pro麒麟990全網通手機正品現貨
77 2499.00 華為MatePad 11平板電腦10.95英寸2021新款HarmonyOS鴻蒙120Hz高刷新率pad學習辦公游戲二合一官方旗艦店ipad
78 1569.00 華為HUAWEI HUAWEI P30 PRO手機曲面屏P30官方正品鴻蒙手機P40
79 1388.00 Huawei/華為 Mate 20 Pro官方原裝正品智能手機華為手機Mate20
80 2699.00 華為筆記本電腦Matebook13/D14輕薄便捷學生手提辦公2022新款榮耀
81 9299.00 現貨順豐包郵Huawei/華為 P50 Pocket折疊屏手機P50寶盒P50pocket
82 369.00 【官方正品】華為手機通用學生電話手表初高中生專用男女孩插卡4G全網通視頻通話兒童智能手表防水定位多功能
83 12688.00 mate X2典藏版Huawei/華為 Mate X2麒麟9000官方旗艦5G二代折疊屏
84 2988.00 華為手表 WATCHD華為腕部心電血壓記錄儀華為watch d華為手表智能
85 2318.00 Huawei/華為 華為MatePad11平板電腦鴻蒙系統2021款學生學習專用
86 5509.00 【正常發貨】Huawei/華為 MateBook E 2022款 筆記本電腦平板2合1
87 4448.00 現貨Huawei/華為 P50 Pro手機官方正品P50Pocket折疊屏4G麒麟9000
88 1278.00 現貨 honor/榮耀 榮耀X30 5G手機榮耀官方旗艦店正品智能華為X30i
89 2099.00 分期免息/送豪華禮! Huawei/Nova8Pro 8+256G 6.72曲面屏快充5g為手機官方正品旗艦手機店官網正品50pro 9
90 1299.00 當天發!送豪華禮 Huawei/華為暢享20Pro 8+128G 6.5英寸4800W像素 5g華為手機官方旗艦手機店官網正品優暢享
91 1899.00 【咨詢送禮】華為平板MatePad平板電腦10.4英寸2021新款鴻蒙教育11學習全面屏全網通Huawei手機ipad二合一Pro
92 855.00 順豐速發+送碎屏險 HONOR/榮耀暢玩20 手機官網旗艦店暢享20新款學生老人千元機榮耀20Pro智能非華為手機
進程已結束，退出代碼為 0