讓瀏覽器全自動下載你想要的數據，程序員才知道的小技巧，太實用

 

Python爬蟲、數據分析、網站開發等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542 

 

Python學習交流群：1039649593

前言

現在電商平台有很多商品數據，采集到的數據對電商價格戰很有優勢

今天帶大家采集京東這個電商平台的數據

環境介紹：

python 3.6
pycharm
selenium
csv
time

首先配置好開發環境

先要找到你Google瀏覽器的版本

 

 

 

 

復制地址，隨便在一個文件夾內粘貼打開

 

 

 

然后就可以看見你Google瀏覽器的版本

 

 

在百度上搜索瀏覽器驅動，第一個就是

 

 

 

找一個和你版本一樣或者差不多的版本下載

 

 

 

現在可以敲代碼了

安裝selenium模塊

pip install selenium

 

再導入模塊，創建瀏覽器對象

# 瀏覽器功能
from selenium import webdriver   

driver = webdriver.Chrome()
driver.get('https://www.jd.com/')

 

運行代碼，可以操控瀏覽器自動打開你輸入的網址

 

 

 

 

 

既然能自動的打開網頁，那干脆來個全自動的搜索商品好了

def get_product(key):
    """商品搜索"""
    driver.find_element_by_css_selector('#key').send_keys(key)
    driver.find_element_by_css_selector('#search > div > div.form > button').click()

keyword = input('請輸入商品搜索的關鍵字:')

 

解析搜索商品的網頁數據

def parse_data():
    """頁面的數據解析"""
    lis = driver.find_elements_by_css_selector('.gl-item')  # 所有li標簽

    for li in lis:
        try:
            name = li.find_element_by_css_selector('div.p-name a em').text  # 商品的名字
            name = name.replace('京東超市', "").replace('"', '').replace('\n', '')
            price = li.find_element_by_css_selector('div.p-price strong i').text + '元'  # 商品的價格
            deal = li.find_element_by_css_selector('div.p-commit strong a').text  # 商品的評價數量
            title = li.find_element_by_css_selector('span.J_im_icon a').get_attribute('title')  # 商品的店鋪名字
            print(name, price, deal, title, sep=' | ')

 

最后一步，就是保存數據了

import csv # 數據保存模塊, 內置

with open('京東數據.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)
    csv_write.writerow([name, price, deal, title])

 

運行代碼，效果如下圖