爬蟲需要登陸怎么辦？這份python登陸代碼請收下

模擬登陸思路

 

通過selenium中的webdriver控制瀏覽器登錄目標網站，然后獲取模擬登陸需要的Cookie，再利用此Cookie來達到登錄的效果。本次我們使用webdriver來驅動火狐瀏覽器插件。在登錄網站時，cookie保存在發起請求的客戶端中，網站服務器利用cookie來區分不同的客戶端。cookie里面記錄了“訪問登錄后才能看到的頁面”這一行為的信息，含有能夠向服務器證明：“我剛才登錄過”。因此cookie可以用來標識客戶端的身份，以存儲它的信息。

登錄步驟

導入模塊

 

from selenium import webdriver
import requests
import json

 

啟動瀏覽器

通過webdriver驅動火狐瀏覽器，然后在加載將要訪問的目標網站

 

driver = webdriver.Firefox()
driver.get('目標網站')

 

點擊登錄

找到網頁中登錄按鈕所在的位置，通過瀏覽器模擬點擊打開登錄框，然后找到用戶名和密碼框的位置，輸入用戶名及密碼，在尋找按鈕以及密碼輸入框時可鼠標右鍵然后找到“查看元素”選項，點擊之后可在網頁源碼中尋找。

代碼如下：

 

#清空登錄框
driver.find_element_by_xpath("./*//input[@name='username']").clear()
#自動填入登錄用戶名
driver.find_element_by_xpath("./*//input[@name='username']").send_keys(user)
#清空密碼框
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自動填入登錄密碼
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)
time.sleep(8)
#點擊登錄按鈕進行登錄
driver.find_element_by_xpath("./*//button[@name='loginsubmit']").click()
time.sleep(10)

 

記錄cookie

經過上面幾步，如果沒有報錯的話就說明已經登錄成功了，接下來我們再次加載網頁獲取登錄cookie。

代碼如下：

driver.get('目標網站')
#獲取cookies
cookie_items = driver.get_cookies()
for cookie_item in cookie_items:
    post[cookie_item['name']] = cookie_item['value']
cookie_str = json.dumps(post)
with open('cookie.txt', 'w', encoding='utf-8') as f:
    f.write(cookie_str)
f.close()

通過cookie登錄

獲得cookie之后，模擬登陸就跟之前一樣用requests請求網站，只需要將cookie內容加到請求中即可。

代碼如下：

 

header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64;rv:53.0) Gecko/20100101 Firefox/53.0"}
with open('cookie.txt', 'r', encoding='utf-8') as f:
    cookie = f.read()
cookies = json.loads(cookie)
res = requests.get(url=url, cookies=cookies, headers=header)

 

對於有些網站來說，cookie的生命期較長，所以在第一次登陸獲取cookie后，在以后模擬登陸時只需要調用此cookie即可，十分方便。

具體代碼如下：

 

from selenium import webdriver
import time
import json
 
user="用戶名"
password="密碼"
 
driver = webdriver.Firefox()
driver.get('目標網站')
time.sleep(5)
driver.find_element_by_xpath("./*//button[@type='submit']").click()
print("正在輸入用戶名和密碼")
#清空登錄框
driver.find_element_by_xpath("./*//input[@name='username']").clear()
#自動填入登錄用戶名
driver.find_element_by_xpath("./*//input[@name='username']").send_keys(user)
#清空密碼框
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自動填入登錄密碼
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)
 
time.sleep(8)
#點擊登錄按鈕進行登錄
driver.find_element_by_xpath("./*//button[@name='loginsubmit']").click()
time.sleep(10)
driver.get('目標網站')
#獲取cookies
cookie_items = driver.get_cookies()
 
#獲取到的cookies是列表形式，將cookies轉成json形式並存入本地名為cookie的文本中
for cookie_item in cookie_items:
    post[cookie_item['name']] = cookie_item['value']
cookie_str = json.dumps(post)
with open('cookie.txt', 'w', encoding='utf-8') as f:
    f.write(cookie_str)
f.close()
print("登錄完成")