opencv 識別微信登錄驗證滑動塊位置

opencv識別微信登錄滑動驗證目標位置

---

目標

識別微信登錄新賬號，需要拖動滑塊驗證時，目標塊相對於圖片的位置

---

前提相關信息:

• 滑塊與目標位置的距離是隨機的，且在一定范圍內，設其最大最小值為[min, max]
• 滑塊滑到距離目標左右10個單位的誤差內也可以通過驗證
• 每次的滑塊驗證碼有三次重試的機會，如果三次驗證不過，微信會自動換驗證碼
• 可以無限次數刷新驗證碼
• 應用機器學習應該能達到出色的識別率，但考慮到時間+學習成本，不采用機器學習的方式

---

相關圖片信息

• 截圖 - 通過android自帶的截圖工具截取驗證的界面，在代碼中為screenshot.jpg
  
• 微信刷新驗證碼時，抓包的驗證圖，在代碼中為captcha.jpg
  
• 微信刷新驗證碼時，抓包的滑塊圖，在代碼中為block.jpg
  

---

三種方案

1. 隨機拖動

   • 基本思路:
     • 每次驗證碼的三次重試機會，分別采用min + 10, (min + max)/2, max - 10三個位置進行拖動。
     • 若不通過，則刷新驗證碼，重復上述過程
   • 優點：
     • 單張驗證碼通過率下等
     • 不用截圖、下載圖片與滑塊圖
     • 不需要加入python-opencv層
     • 因為可以無限重試，試的次數多了就能過
   • 缺點:
     • 判斷的位置是根據min、max推斷出來的大致范圍
     • min、max的值如果變化得很明顯，那么程序也要響應修改min與max的值

2. 根據顏色識別圖片目標位置 (我打算采用這個方案)

   • 基本思路:
     • 根據目標位置的顏色的規律性(一般都是灰黑灰黑的)，制定一個顏色范圍
       
     • 從圖片中用inRange將圖片轉換成黑白圖，白色部分為原圖中符合顏色范圍的區域
     • 用findContours找出所有輪廓，根據輪廓所涉及的元素點的最多的幾項判斷目標位置的大致范圍
   • 代碼實現

   # 讀取截圖
   screenshot = cv2.imread('screenshot.jpg')
   # 篩選出符合顏色區間的區域
   inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
   # 從圖中找出所有的輪廓
   _, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
   # 對所有輪廓做排序，排序依據是每個輪廓包含的點的數量
   cnts.sort(key=len, reverse=True)
   
   # 取前兩個輪廓(有些圖片目標位置不一定是第一個輪廓)
   for cnt in cnts[0: 2]:
       xSum = 0
       xCounter = 0
       for position in cnt:
           xCounter += 1
           xSum += position[0][0]
       # 算出所有點的X坐標平均值，並在此基礎上做一個60像素的偏移，這個偏移可以根據自己手機進行調整
       x = int(xSum / xCounter - 60)
       # 在截圖上畫一條紅線，表示識別的x坐標位置
       cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
   
   cv2.imshow("screenshot", screenshot)
   cv2.waitKey(0)
   

   • 優點:
     • 單張驗證碼通過率中等
     • 不用下載圖片與滑塊圖
   • 缺點:
     • 判斷的位置仍然是大致范圍，較第一種隨機位置范圍精確性有較大提升
     • 需要加入python-opencv層
     • 需要截圖

3. 根據滑塊識別目標位置

   • 基本思路:
     • 滑塊與目標位置的區別在於，目標位置加了一層灰黑色透明前景色，圖片處理時先給滑塊圖片加上相同的灰黑色透明前景色
       
       
     • 用處理過的滑塊去匹配目標位置
   • 代碼實現:

   # 讀取滑塊圖片，並給其加上相同的灰黑色透明前景色，再進行灰化
   block = cv2.imread('block.jpg')
   blockCopy = block.copy()
   w, h = block.shape[:-1]
   cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
   cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
   block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
   
   # 讀取驗證碼圖片，並灰化
   captcha = cv2.imread('captcha.jpg')
   captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
   
   # 尋找captcha中匹配block的位置
   res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
   min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
   
   # 在最符合的畫一個矩形
   cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
   
   cv2.imshow('block', block)
   cv2.imshow("captcha", captcha)
   cv2.waitKey(0);
   

   • 優點:
     • 單張驗證碼通過率高
     • 如果判斷成功，位置一般很精確
   • 缺點:
     • 需要加入python-opencv層
     • 需要下載原圖、滑塊圖(原圖、滑塊圖的下載還沒研究)
     • 判斷不成功的時候，判斷的位置一般偏離目標位置較大

---

總結

三種方案中第二種擁有不錯的驗證率，且較第三種只需要對驗證界面進行截圖，開發較容易。
綜上所述，第二種方案是我認為較好的方法。