selenium五十行代碼自動化爬取淘寶

先看一下代碼，真的只是五十行：

# coding=gbk

from selenium import webdriver
import time

options = webdriver.ChromeOptions()
options.add_argument(r'--user-data-dir=C:\Users\lwy\AppData\Local\Google\Chrome\User Data\Default')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = webdriver.Chrome(options=options)
driver.get('https://www.taobao.com/')


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
           'Referer': 'https://www.taobao.com/'}


def request_page():
    driver.find_element_by_xpath('//*[@id="q"]').send_keys('男裝')
    time.sleep(3)
    driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
    time.sleep(5)
    # 控制頁數
    for i in range(5):
        # 獲取每頁存放所有商品的div
        all_thing_div = driver.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]')
        # 獲取每個商品的div列表
        thing_div_list = all_thing_div.find_elements_by_xpath('./div')
        # 依次獲取每個商品的信息
        for thing_div in thing_div_list:
            info_div_list = thing_div.find_element_by_css_selector('.ctx-box').find_elements_by_xpath(
                './div')  # 獲取每個商品下面信息的4個div
            price = info_div_list[0].find_element_by_xpath('./div[1]/strong').text  # 單價
            customer = info_div_list[0].find_element_by_xpath('./div[@class="deal-cnt"]').text  # 購買數量
            thing_name = info_div_list[1].find_element_by_xpath('./a').text
            thing_lianjie = info_div_list[1].find_element_by_xpath('./a').get_attribute('href')
            store_name = info_div_list[2].find_element_by_xpath('./div[1]/a/span[2]').text
            store_where = info_div_list[2].find_element_by_xpath('./div[2]').text
            print("單價：", price, "購買數量：", customer, '商品名稱:', thing_name, '店鋪名稱：', store_name, '店鋪所在地', store_where,
                  '鏈接:', thing_lianjie)
        print('第{0}頁爬取完成'.format(i+1))
        if i+1 == 5:
            break
        driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/ul/li[8]/a/span[1]').click()
        time.sleep(10)


if __name__ == '__main__':
    request_page()
    driver.close()

第七行用來加載chrome的配置文件，需要改成自己的路徑，可以再chrome的地址欄里輸入chrome://version查看，第八行用來繞過淘寶對selenium的檢測，request_page是自定義的爬蟲函數，主要是利用xpath語法，真的不要太方便，第一個for循環用來控制爬取的頁數，第二個for循環用來爬取每一個商品。

（ps：還是正在努力的小菜雞，希望大佬執教，，xixiiixi。。。。）

**********不積跬步無以至千里**********