Selenium獲取動態圖片驗證碼
關於圖片驗證碼的文章,我想大家都有一定的了解了。
在我們做UI自動化的時候,經常會遇到圖片驗證碼的問題。

當開發不給咱們提供萬能驗證碼,或者測試第三方網站比如知乎的時候,我們就需要自己去識別驗證碼。
OCR
OCR是一種圖像文字識別的技術,例如圖中的驗證碼,我們用肉眼識別就是c5s3,但機器可不比咱們肉眼。所以我們要利用ocr技術,讓我們的Python腳本自動通過圖片識別出對應的文字。
常見的識別類庫
在Python中其實有許多識別類庫,這里只介紹博主自己實踐過的成功率還不錯的: 百度ocr。
簡單的說,就是百度提供了一個SDK,讓我們傳入圖片數據,從而拿到識別的結果。ocr的細節我們不需要關心。
申請開通OCR
首先我們得有一個百度賬號,這個相信大家都有,沒有的可以申請一個。
-
登錄百度控制台
-
選擇文字識別

- 創建應用

- 填寫相關應用信息


創建好了之后可以看到具體的應用信息,記住這3個關鍵信息。待會會用到。
- appid
- apikey
- secret key
熟悉OCR文檔
官方文檔地址: https://cloud.baidu.com/doc/OCR/s/wkibizyjk
文檔會寫的比較清楚,簡單的說就是通過你的appid,api key和secret key獲取一個client,接着你就可以調用client的api去獲取圖片中的文字了。官方的SDK還是比較貼心的。
- 安裝SDK
pip install baidu-aip
講完了文字怎么識別,接着就來說說標題中的動態圖片驗證碼。
動態圖片驗證碼
這個概念是我自己命名的,一般來說,我們的一張圖片都是對應唯一一個url的,比如:
https://yuque.com?image=dshqadiau
(這個地址是我編的)
一般來說image字段的值不同,圖片也就不同,都是一串隨機的或者規律的不重復數據,確保圖片不會重復。
但是博主最近遇到了這樣一種情況:
輸入一個url,每次輸入,拿到的圖片都不一樣。
這樣就會帶來一個很嚴重的問題,頁面上你雖然讀取了圖片的信息。我們把圖片的url傳遞給百度sdk的時候,url由於再次調用,導致圖片發生了變化。
比如網站上顯示的是: c5s3,調用百度sdk的時候,百度會通過url讀取圖片,但再次讀取,圖片可能變成了lfew。
不信大家可以看看這個圖片地址:

怎么解決呢?
好在百度sdk,他不僅僅支持url,還支持圖片文件和base64的圖片數據。我們看看官方文檔:

再回到Selenium里面,我們怎么才能獲取到驗證碼那張圖片呢?
思考一下:
- 讀取img標簽的src,然后下載圖片,保存圖片文件再轉為base64
很顯然這個方法行不通,為什么呢?
因為img的src屬性就是剛才這個url,你去獲取一遍url,它同樣會變化。
- 截圖,裁剪出驗證碼部分,扔給百度去識別
可行是可行,但是會不會太復雜了??
如果我只對驗證碼的img元素進行截圖,生成base64的數據是不是更方便?
其實呢,selenium作為一款老牌的自動化測試工具,很多方法供大於求了。所以它是有這樣的功能的!
Selenium對指定區域截圖
我們都知道,selenium有一些截圖方法。
driver.get_screenshot_as_file(filename)
但其實,針對元素,也是有截圖方法的。
偽代碼如下:
# 通過id獲取到圖片
img = driver.find_element_by_id("image")
# 調用WebElement的screenshot_as_png屬性方法,獲取到png的數據,因為百度需要png
data = img.screenshot_as_png
接着我們就可以用這個獲取到的圖片數據去找百度要答案了!
完整版代碼:
from aip import AipOcr
from selenium import webdriver
client = AipOcr("你的appid", "你的app_key", "你的secret_key")
driver = webdriver.Chrome()
driver.get("https://iam.pt.ouchn.cn/am/UI/Login")
img = driver.find_element_by_id("kaptchaImage")
data = img.screenshot_as_png
res = client.basicGeneral(data, {})
print(res)

可以看到,只識別到了CFX,而且圖片沒有繼續變化了。
畢竟文字識別是從圖片里面找文字,而且文字會有一些橫線這樣的干擾,所以如果一次不行,可以多試幾次。
思路就是寫一個while循環,不斷嘗試去識別驗證碼並登錄,接着判斷是否登錄成功,沒成功則重復上一個步驟。
以我個人的經驗,一般1-10次就可以成功。
好了,以上是博主簡單替大家嘗試一下UI自動化過程中對於驗證碼的識別。主要重點在於驗證碼的識別和對部分區域截圖。
有興趣的同學可以聯系博主探討哦。上一篇給點工們的進階教程好像漏發了一些人,這里補發一下,希望大家都能夠取得進步!~
