【pyautogui】利用Python進行windows系統上的圖像識別與點擊(Mac OS系統也可以)

 系統環境：

1、安裝了python

2、安裝了pyautogui模塊

windows系統：無需安裝依賴模塊，在cmd中直接輸入pip install pyautogui即可完成安裝

Mac OS系統：需要先安裝pyobjc模塊，最后安裝pyautogui

pip install pyobjc-core
pip install pyobjc
pip install pyautogui

首先為python安裝pyautogui模塊

Windows系統直接在cmd下輸入pip install pyautogui

驗證是否安裝成功

在cmd下輸入python，之后輸入import pyautogui，再輸入pyautogui.__version__

 

操作步驟：

第一步：將需要識別的圖像用截圖軟件進行截圖，例如截取windows系統上自帶計算器上的數字8，保存文件命名為target.png

第二步：書寫代碼，將代碼與target.png放置在同一路徑下

import pyautogui
#判定目標截圖在系統上的位置
location=pyautogui.locateOnScreen(image='target.png')
#輸出坐標
print(location)

#利用center()函數獲取目標圖像在系統中的中心坐標位置
x,y=pyautogui.center(location)
print('center()',x,y)

#對識別出的目標圖像進行點擊
#參數x,y代表坐標位置，clicks代表點擊次數,button可以設置為左鍵或者右鍵
pyautogui.click(x=x,y=y,clicks=1,button='left')

 

 第三步：執行，需要注意的是，計算器必須在最上層，否則會導致無法識別。

 如下圖，運行程序后直接點擊了計算器上的8

 ps:若屏幕上有多個計算器的按鈕8需要識別，需要將

location=pyautogui.locateOnScreen(image='target.png')改為

location=pyautogui.locateAllOnScreen(image='target.png')
再利用循環點擊

import pyautogui
#判定目標截圖在系統上的位置
location=pyautogui.locateAllOnScreen(image='target.png')
#輸出坐標

for i in location:

    print(i)

    #利用center()函數獲取目標圖像在系統中的中心坐標位置
    x,y=pyautogui.center(i)
    print('center()',x,y)

    #對識別出的目標圖像進行點擊
    #參數x,y代表坐標位置，clicks代表點擊次數,button可以設置為左鍵或者右鍵
    pyautogui.click(x=x,y=y,clicks=1,button='left')