使用已有cookie登陸
使用瀏覽器登陸，獲取瀏覽器中的cookie信息，來進行登陸。
我們以博客園為例，先登錄博客園賬號。我們訪問隨筆列表，在控制台我們可以看到我們登陸后瀏覽器的cookie
剔除一些數據統計及分析的cookie，剩下的就是登陸可能需要的.CNBlogsCookie和.Cnblogs.AspNetCore.Cookies
# _ga google分析 cookie
# UM_distinctid 友盟cookie
# CNZZxxx CNZZcookie
# __utma,__utmc,__utmz google統計網站
# Hm_lvt_xxx 百度統計網站
import urllib.request
url = 'https://i.cnblogs.com/posts'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
#瀏覽器登錄后得到的cookie，也就是剛才復制的字符串
cookie_str = '.CNBlogsCookie=xxx; .Cnblogs.AspNetCore.Cookies=xxx'
headers = {
'User-Agent': user_agent,
'cookie':cookie_str
}
req = urllib.request.Request(url,headers=headers)
resp = urllib.request.urlopen(req).read().decode('utf-8')
print(resp)
登陸獲取cookie
登陸的表單一般是使用的form data，現在也有些表單使用request payload使用json格式傳參。
form data如葯智網
request payload如博客園
form data
博客園的登陸需要拖動驗證所以略過。我們以葯智網為例，我們打開控制台可以看到登陸需要傳的表單參數，這里是使用的form data表單。我們模擬登陸后獲取到登陸后的cookie，然后訪問登錄后的個人中心頁面。
import urllib.request
import http.cookiejar
url = 'https://www.yaozh.com/login'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
# formData數據
data = {'username': '用戶名',
'pwd': '密碼',
'formhash': 'C3086BBA84',
'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'}
post_data = urllib.parse.urlencode(data).encode('utf-8')
# 請求頭設置
headers = {
'User-Agent': user_agent
}
# 構造登陸請求
req = urllib.request.Request(url, headers=headers, data=post_data)
# cookie
cookie = http.cookiejar.CookieJar()
# 構造一個opener攜帶登錄后的cookie
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
# 發送登陸請求
resp = opener.open(req)
print(resp)
# 登錄后個人中心
url = 'https://www.yaozh.com/member/'
# 構造訪問請求
req = urllib.request.Request(url, headers=headers)
resp = opener.open(req).read().decode('utf-8')
print(resp)
request payload
如果登陸需要request payload我們需要將參數轉為json字符串並在頭部設置Content-Type
import json
...
data = {'loginType': '1',
'pwdOrVerifyCode': '密碼',
'userIdentification': '賬號',
'uaToken': '',
'webUmidToken':''}
headers = {
'Content-Type': 'application/json;charset=UTF-8',
'User-Agent': user_agent
}
req = urllib.request.Request(url, headers=headers, data=json.dumps(data))
...
登陸后用session保持登陸狀態
我們用requests模塊的Session對象來保存回話信息
import requests
url = 'https://www.yaozh.com/login'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
# formData數據
data = {'username': 'chenjy1225',
'pwd': '19931225yjy',
'formhash': 'C3086BBA84',
'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'}
#構造Session
session = requests.Session()
# 發送post請求
resp = session.post(url, data)
# 登錄后個人中心
url = 'https://www.yaozh.com/member/'
# 發送請求訪問個人中心
resp = session.get(url).content.decode('utf-8')
print(resp)
調用瀏覽器登陸
我們也可以在程序中調用一個瀏覽器來訪問登陸網站。在python中使用Selenium庫就能輕松實現調用瀏覽器，被控制的瀏覽器可以是chrome、firefox等。
以前較常用的還是PhantomJS但是PhantomJS被python棄用了。
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
1.下載Selenium、firefox瀏覽器及firefox驅動。
2.將下載的firefox驅動geckodriver放在firefox瀏覽器安裝目錄
3.將firefox瀏覽器安裝目錄添加到path中
4.重啟ide
我們找到需要登陸時候輸入的元素id及登陸button id。
from selenium import webdriver
import time
# 新建selenium瀏覽器對象，后面是geckodriver.exe下載后本地路徑
browser = webdriver.Firefox()
url = 'https://www.yaozh.com/login'
# 瀏覽器訪問登錄頁面
browser.get(url)
# 等待3s用於加載腳本文件
browser.implicitly_wait(3)
# 輸入用戶名
username = browser.find_element_by_id('username')
username.send_keys('chenjy1225')
# 輸入密碼
password = browser.find_element_by_id('pwd')
password.send_keys('19931225yjy')
# 點擊登錄按鈕
login_button = browser.find_element_by_id('button')
login_button.submit()
# 網頁截圖
browser.save_screenshot('screenshot.png')
# 強制等待5s，等待登錄后的跳轉
time.sleep(5)
url = 'https://www.yaozh.com/member/'
browser.get(url)
# 網頁截圖個人中心
browser.save_screenshot('screenshot1.png')
# 關閉瀏覽器
browser.quit()
screenshot.png：
screenshot1.png：
