使用Python自動填寫問卷星(pyppeteer反爬蟲版)

寫此文的目的是為了方便寒假自己忘記填問卷星

一開始的想法和去年一樣，去年就寫過一版，想着今年不過就是改改數據，換換id而已，另外沒想到的事情發生了。。。

滿懷信心的寫完代碼

from selenium import webdriver import time import random def run(): browser = webdriver.Chrome() browser.get("網址") # 1
    js = "document.getElementById(\"q1\").click()" browser.execute_script(js) browser.switch_to.frame("__calendarIframe") js2 = "document.getElementById(\"selectTodayButton\").click()" browser.execute_script(js2) browser.switch_to.parent_frame() # 2
    js = "document.getElementById(\"q2\").click()" browser.execute_script(js) browser.switch_to.frame("__calendarIframe") js2 = "document.getElementById(\"selectTodayButton\").click()" browser.execute_script(js2) browser.switch_to.parent_frame() # 3
    js = "document.getElementById(\"q3_1\").click()" browser.execute_script(js) # 4
    browser.find_element_by_id("q4").send_keys("學號") # 5
    browser.find_element_by_id("q5").send_keys("姓名") # 6
    js = "document.getElementById(\"q6_1\").click()" browser.execute_script(js) # 7
    js = "document.getElementById(\"q7_3\").click()" browser.execute_script(js) # 8
    js = "document.getElementById(\"q8_1\").click()" browser.execute_script(js) browser.find_element_by_class_name("underline").send_keys("第一次1月9日陰性") # 9
    js = "document.getElementById(\"q9_2\").click()" browser.execute_script(js) # 10
    js = "document.getElementById(\"q10_2\").click()" browser.execute_script(js) # 11
    js = "document.getElementById(\"q12_2\").click()" browser.execute_script(js) # 12
    browser.find_element_by_id("q14").send_keys("36."+str(random.randint(0,5))+"/36."+str(random.randint(0,5))) #13
    js = "document.getElementById(\"q15_2\").click()" browser.execute_script(js) #14
    js = "document.getElementById(\"q17_2\").click()" browser.execute_script(js) #15
    browser.find_element_by_id("q19").click() time.sleep(1) browser.switch_to.frame("PDF_i_chezchenz") browser.find_element_by_id("txtInput").send_keys("地址") js3="document.getElementById(\"btnSearch\").click()" browser.execute_script(js3) time.sleep(1) browser.find_element_by_css_selector("a.ensure_btn").click() time.sleep(1) browser.switch_to.default_content() # 16
    js = "document.getElementById(\"q20_2\").click()" browser.execute_script(js) # 17
    browser.find_element_by_id("q22").send_keys("無") # 18
    browser.find_element_by_id('select2-q23-container').click() # js = "document.getElementById('select2-q23-container').click()"
    # browser.execute_script(js)
    browser.find_element_by_xpath("//li[@class='select2-results__option'][1]").click() # js = "document.getElementById(\"select2-q23-result-ei9q-1\").click()"
    # browser.execute_script(js)

    # submit
    js = "document.getElementById(\"submit_button\").click()" browser.execute_script(js) if __name__ == "__main__": while True: run() time.sleep(4) break

數據都填上了，可他來了一個這玩意

 

 然后

 

 之后了解到用用pyppeteer解決反爬的方法，安裝python第三方庫asyncio、pyppeteer和pyppeteer_stealth

完整代碼如下：

import asyncio from pyppeteer import launch from pyppeteer_stealth import stealth #反爬
import random import time async def run(): driver = await launch({ # 谷歌瀏覽器的安裝路徑
        'executablePath': 'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe', # Pyppeteer 默認使用的是無頭瀏覽器
        'headless': False, # 設置Windows-size和Viewport大小來實現網頁完整顯示
        'args': ['--no-sandbox', '--window-size=1024,768'] }) page = await driver.newPage() await page.setViewport({'width': 1024, 'height': 768}) # 反爬蟲跳入網頁
 await stealth(page) await page.goto('網址') time.sleep(1) #1 問卷填報日期
    date=await page.querySelector('#q1') await date.click() frame =page.frames date2= await frame[1].querySelector('#selectTodayButton') await date2.click() #2 體溫測量日期
    date = await page.querySelector('#q2') await date.click() frame = page.frames date2 = await frame[1].querySelector('#selectTodayButton') await date2.click() #3 班級
    await page.click('#divquestion3 > ul > li > a') #4 學號
    await page.type('#q4','學號') #5 姓名
    await page.type('#q5','姓名') # 6 性別
    await page.click('#divquestion6 > ul:nth-child(2) > li:nth-child(1) > a') #7 所在地區
    await page.click('#divquestion7 > ul > li:nth-child(3) > a') #8 核酸
    await page.click('#divquestion8 > ul > li:nth-child(1) > a') await page.type('#divquestion8 > ul > li:nth-child(1) > input.underline','第一次1月9日陰性') #9 隔離情況
    await page.click('#divquestion9 > ul > li:nth-child(2) > a') #10 密切接觸
    await page.click('#divquestion10 > ul:nth-child(2) > li:nth-child(2) > a') #12 病例
    await page.click('#divquestion12 > ul:nth-child(2) > li:nth-child(2) > a') #14 體溫
    temperature="36."+str(random.randint(2,6))+'/'+"36."+str(random.randint(2,6)) print(temperature) await page.type('#q14',temperature) #15 同住人員密切接觸
    await page.click('#divquestion15 > ul:nth-child(2) > li:nth-child(2) > a') #17 同住人員病例
    await page.click('#divquestion17 > ul:nth-child(2) > li:nth-child(2) > a') #19 地理位置
    address= await page.querySelector('#q19') await address.click() time.sleep(5) frame=page.frames await frame[2].type('#txtInput','地址') time.sleep(1) await frame[2].click('#btnSearch') time.sleep(1) await frame[2].click('.ensure_btn') #20 居住地變化
    await page.click('#divquestion20 > ul:nth-child(2) > li:nth-child(2) > a') # 22 異常情況
    await page.type('#q22','無') #23 同住人員
    await page.click('#select2-q23-container') persion=await page.xpath("//li[@class='select2-results__option'][1]") await persion[0].click() time.sleep(2) #提交
    await page.click('#submit_button') if __name__ == '__main__': asyncio.get_event_loop().run_until_complete(run())

就提交成功了！！！