10、Python Selenium爬取國家葯品監督管理局動態加載數據

from  selenium import webdriver
from lxml import etree
import time

bro = webdriver.Chrome(executable_path='./chromedriver')
bro.get('http://125.35.6.84:81/xk/')

time.sleep(1)

# 獲取頁面源碼內容
page_text = bro.page_source

# 存放每頁數據
all_page_text = [page_text,]

# 爬取兩頁數據
for i in range(1,3):
    # 定位下一頁標簽屬性
    next_page_btn = bro.find_element_by_xpath('//*[@id="pageIto_next"]')
    # 點擊下一頁
    next_page_btn.click()
    time.sleep(1)
    # 每頁數據存放到列表中
    all_page_text.append(bro.page_source)

for page_text in all_page_text:
    tree = etree.HTML(page_text)
    # 定位標題屬性
    li_list = tree.xpath('//*[@id="gzlist"]/li')
    # 循環拿到標題
    for li in li_list:
        title = li.xpath('./dl/@title')[0]
        print(title)

#關閉瀏覽器
bro.quit()

>>>
廣東天姿化妝品科技有限公司
惠州市多美日用品有限公司
江蘇漢和日用品有限公司
江蘇欣怡美生物科技有限公司
揚州市萬紫千紅酒店用品有限公司
廣州她她生物科技有限公司
廣州傑奧斯精細化工有限公司
廣州市唯納化妝品有限公司
廣州市高維化妝品有限公司
廣州智尚生物科技有限公司
廣州榮大生物科技有限公司
湖南大三湘茶油股份有限公司
國源國葯（廣東）科技有限公司
東莞市美雅化妝品有限公司
廣州姿采化妝品廠
東莞市伊美化妝品有限公司
廣州壹美化妝品有限公司
諾斯貝爾化妝品股份有限公司
福建歐柏亞日化有限公司
浙江清科健康科技有限公司
廣州協和高新科技有限公司
廣州市禾雅生物科技有限公司
廣州茂葉化妝品技術有限公司
廣州市名色生物科技有限公司
廣州市碧姿化妝品有限公司
廣州市派德生物科技有限公司
廣州非誠勿擾化妝品有限公司
廣州歐慕生物科技有限公司
蘇州珍妮健康科技有限公司
浙江源敏科技有限公司
廣東省澳潔生物科技有限公司
廣東尚柔生物科技有限公司
廣東雅玥生物科技有限公司
廣東審美生物科技有限公司
安徽樂美達生物科技有限公司
洛塔生物科技（武漢）有限公司
廣州源肽生物科技有限公司
珠海市傲詩美化妝品有限公司
廣東福克葯業科技有限公司
廣東尚品匯生物科技有限公司
廣州市慶余化妝品有限公司
廣州派莎化妝品有限公司
珠海諾氏化妝品有限公司
廣州名妝化妝品制造有限公司
廣州美頌生物科技有限公司