Python + Selenium +Chrome 批量下載網頁代碼修改
主要修改以下代碼可以調用 本地的 user-agent.txt 和 cookie.txt
來達到在登陸狀態下 批量打開並下載網頁，以網頁 ID 來保存為網頁文件名
PS:很多人在學習Python的過程中，往往因為遇問題解決不了或者沒好的教程從而導致自己放棄，為此我建了個Python全棧開發交流.裙 ：一久武其而而流一思（數字的諧音）轉換下可以找到了，里面有最新Python教程項目可拿,不懂的問題有老司機解決哦，一起相互監督共同進步
導入 webdriver
from selenium import webdriver
讀取本地文件中的 URL 鏈接
address = ‘./url.txt’
fp = open(address, ‘r’)
lines = fp.readlines()
print (‘【URL 鏈接】:% s’, lines)
調用環境變量指定的 PhantomJS 瀏覽器創建瀏覽器對象
driver = webdriver.PhantomJS()
driver = webdriver.Chrome()
如果沒有在環境變量指定 PhantomJS 位置
driver = webdriver.PhantomJS(executable_path=”./phantomjs”))
for data in lines:
get 方法會一直等到頁面被完全加載，然后才會繼續程序，通常測試會在這里選擇 time.sleep (2)
driver.get(data)
向下滾動 10000 像素
js = “document.body.scrollTop=10000”
js=”var q=document.documentElement.scrollTop=10000”
執行 JS 語句
driver.execute_script(js)
查看頁面快照
driver.save_screenshot(“csdn.png”)
print (‘執行中。。。’)
關閉瀏覽器
driver.quit()
print (‘執行結束。。。’)
關閉文件流
fp.close()
總結：有很多人在學習Python的過程中，往往因為遇問題解決不了或者沒好的教程從而導致自己放棄，為此我建了個Python全棧開發交流.裙 ：一久武其而而流一思（數字的諧音）轉換下可以找到了，里面有最新Python教程項目可拿,不懂的問題有老司機解決哦，一起相互監督共同進步
本文的文字及圖片來源於網絡加上自己的想法,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。