[Python] 用python做一個游戲輔助腳本，完整思路

一、說明

　　簡述：本文將以4399小游戲《寵物連連看經典版2》作為測試案例，通過識別小圖標，模擬鼠標點擊，快速完成配對。對於有興趣學習游戲腳本的同學有一定的幫助。

　　運行環境：Win10/Python3.5。

　　主要模塊：win32gui（識別窗口、窗口置頂等操作）、PIL（屏幕截圖）、numpy（創建矩陣）、operator（比較值）、pymouse（模擬鼠標點擊）。

　　注意點：

　　　　　　1、如果安裝pymouse不成功或者運行報錯，可以考慮先通過whl 安裝pyHook、然后再通過pip安裝pyuserinput。

　　　　　　2、如果報錯 [ImportError: No module named 'windows' ]，可以修改__init__.py相應的行 為 windows => pymouse.windows。

 

　　本文主要參考：https://baijiahao.baidu.com/s?id=1618385402903335091&wfr=spider&for=pc。

　　　　

 

二、開發前景（隨便嘮叨一哈，可跳過）

　　游戲輔助腳本在當前環境也算是比較流行了，對於經常玩游戲人來說，適當的游戲輔助還是很有幫助的，讓計算機做一些繁瑣乏味的操作。當然還有更加高大上的其他操作，這里就不贅述了。對於游戲輔助腳本，能想到基本有以下兩種：一是讀取游戲在內存中的數據，理想的話可以做到更改游戲一些基本屬性，原理和很多的外掛或破解游戲類似；二是模擬用戶用戶行為，模擬鼠標點擊、鍵盤操作等。當然，由於本人從未涉及游戲輔助腳本這一領域，出於個人興趣，學習研究一下，本文例子則是第二種，主要還是模擬用戶行為，讓程序代替用戶操作。

 

三、開發流程

　　先看看程序運行圖吧：

　　

 

　　瀏覽器打開游戲窗口（單個一個窗口），游戲界面如下圖所示，游戲主要界面截圖需要兩個坐標（左上角坐標和右下角坐標）來確定，原點一般是屏幕左上角，不確定坐標點值的同學，可以全屏截圖，用編輯圖片軟件查看坐標值。獲取窗口句柄，這里就是瀏覽器標題欄的標題了（右鍵-查看源代碼-title，加上軟件名）比如：“寵物連連看經典2,寵物連連看經典版2小游戲,4399小游戲 www.4399.com - Google Chrome“。獲取窗口句柄就可以開始了。

　　總體開發思路：截取游戲主圖 ---> 分割成小圖 ---> 對比每個小圖，對比圖片相識度，編號存入矩陣 ---> 對矩陣進行可連計算 ---> 模擬點擊。

　　

 

　　3.1、獲取窗口句柄，把窗口置頂

　　　　python可以使用win32gui模塊調用Windows API實現對窗口的操作，使用FindWindow()方法可以獲取窗口的句柄（handle），需要傳入兩個參數，第一個為父窗口句柄（這里填0即可），第二個參數是窗口的名稱（標簽title - Google Chrome）。獲取句柄之后然后通過SetForegroundWindows() 設置窗口在前面，這里傳入游戲窗口的舉報即可，代碼如下：

import win32gui  2 
class GameAssist:  4 
    def __init__(self, wdname):  6         """初始化"""

        # 取得窗口句柄
        self.hwnd = win32gui.FindWindow(0, wdname) 10         if not self.hwnd: 11             print("窗口找不到，請確認窗口句柄名稱：【%s】" % wdname ) 12  exit() 13         # 窗口顯示最前面
 win32gui.SetForegroundWindow(self.hwnd) 15 

if __name__ == "__main__": 18     # wdname 為連連看窗口的名稱，必須寫完整
    wdname = u'寵物連連看經典版2,寵物連連看經典版2小游戲,4399小游戲 www.4399.com - Google Chrome'

    demo = GameAssist(wdname) 22     demo.start()

　　　　　

　　3.2、截取游戲界面，分割圖標，圖片比較

　　　　這里需要花費一些時間來校驗程序，如果截取的圖片不好，則會影響后續操作，所以比較主要的是確認游戲左上角和右下角這兩個坐標值，以及每個小圖標的寬高。如下圖所示，先截取整個游戲界面圖，然后分割小圖標，接着對每個圖標進行比較，然后以編號代替圖標存入矩陣（這里的編號矩陣和游戲圖不一致，原理一樣）。

　　　　

　　　　

　　　　根據初始化設定的左上角和右下角兩個坐標，使用ImageGrab.grab()方法進行截圖，傳入一個元組即可，然后對這個大圖進行分割，切割成一個個小圖標存入到images_list數組中。　　　

    def screenshot(self):  2         """屏幕截圖"""

        # 1、用grab函數截圖，參數為左上角和右下角左標
        # image = ImageGrab.grab((417, 257, 885, 569))
        image = ImageGrab.grab(self.scree_left_and_right_point)  7 
        # 2、分切小圖
        # exit()
        image_list = {} 11         offset = self.im_width  # 39

        # 8行12列
        for x in range(8): 15             image_list[x] = {} 16             for y in range(12): 17                 # print("show",x, y)
                # exit()
                top = x * offset 20                 left = y * offset 21                 right = (y + 1) * offset 22                 bottom = (x + 1) * offset 23 
                # 用crop函數切割成小圖標，參數為圖標的左上角和右下角左邊
                im = image.crop((left, top, right, bottom)) 26                 # 將切割好的圖標存入對應的位置
                image_list[x][y] = im 28 
        return image_list

　　　　

　　　　通過上面代碼切割的小圖標，轉成數字矩陣，如果圖標已經存入image_type_list則返回這個索引，如果不存在，則在追加進去，然后當前長度就是這個新加入圖標的編號，代碼如下所示：

    def image2num(self, image_list):  2         """將圖標矩陣轉換成數字矩陣"""

        # 1、創建全零矩陣和空的一維數組
        arr = np.zeros((10, 14), dtype=np.int32)    # 以數字代替圖片
        image_type_list = []  7 
        # 2、識別出不同的圖片，將圖片矩陣轉換成數字矩陣
        for i in range(len(image_list)): 10             for j in range(len(image_list[0])): 11                 im = image_list[i][j] 12                 
                # 驗證當前圖標是否已存入
                index = self.getIndex(im, image_type_list) 15 
                # 不存在image_type_list
                if index < 0: 18  image_type_list.append(im) 19                     arr[i + 1][j + 1] = len(image_type_list) 20                 else: 21                     arr[i + 1][j + 1] = index + 1

        print("圖標數：", len(image_type_list)) 24 
        self.im2num_arr = arr 26         return arr

 

　　　　

　　　　上面的getIndex就是對比圖片，判斷圖標是否出現過（是否已存在image_type_list中，沒出現則追加進去），這里使用漢明距離判斷兩個圖片的相識度，設置閥值10，當小於閥值則認為是同一個圖片，具體代碼如下：　　

    # 檢查數組中是否有圖標,如果有則返回索引下表
    def getIndex(self,im, im_list):  3         for i in range(len(im_list)):  4             if self.isMatch(im, im_list[i]):  5                 return i  6 
        return -1

    # 漢明距離判斷兩個圖標是否一樣
    def isMatch(self, im1, im2): 11 
        # 縮小圖標，轉成灰度
        image1 = im1.resize((20, 20), Image.ANTIALIAS).convert("L") 14         image2 = im2.resize((20, 20), Image.ANTIALIAS).convert("L") 15 
        # 將灰度圖標轉成01串,即系二進制數據
        pixels1 = list(image1.getdata()) 18         pixels2 = list(image2.getdata()) 19 
        avg1 = sum(pixels1) / len(pixels1) 21         avg2 = sum(pixels2) / len(pixels2) 22         hash1 = "".join(map(lambda p: "1" if p > avg1 else "0", pixels1)) 23         hash2 = "".join(map(lambda p: "1" if p > avg2 else "0", pixels2)) 24 
        # 統計兩個01串不同數字的個數
        match = sum(map(operator.ne, hash1, hash2)) 27 
        # 閥值設為10
        return match < 10

　　　　　

 

四、程序核心-圖標連接算法（路徑尋找）

　　這里僅對算法代碼進行簡單分析，如果對程序不好理解，可以留言，后續可以圖文分析。

　　通過上面的開發流程，基本獲取如下這樣的矩陣，只要比較兩個編號相同的值進行可連路徑尋找，如果找到即進行模擬點擊操作。這里簡單介紹下游戲規則：8行乘12列游戲圖標區域，外圍的0其實表示尋找路徑的時候可以通過，例如坐標（1, 1）可以與（1,10）進行連接、（7, 1）和（7,2）進行連接。

arr = [  2  [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],  3     [ 0,  1,  2,  3,  4,  5,  4,  6,  7,  2,  1,  1,  8, 0],  4     [ 0,  9,  3,  3, 10,  4,  7, 11,  7,  2,  3,  1,  6, 0],  5     [ 0,  6,  7,  4, 11,  5,  8,  1,  6,  5,  4,  2,  8, 0],  6     [ 0,  6,  2,  9,  6,  8,  9,  7, 12, 11,  3, 11, 11, 0],  7     [ 0,  5,  9,  8,  9,  2,  6, 11, 11,  3,  9,  2, 12, 0],  8     [ 0, 12,  5, 12,  5, 10,  5,  6,  5,  7, 12,  4,  3, 0],  9     [ 0,  1,  8, 10, 12,  9, 10,  4,  3,  7,  2,  1, 10, 0], 10     [ 0,  1,  4, 10,  8, 12, 10, 10,  9, 12,  8,  7, 11, 0], 11  [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 12 ]

　　

　　算法的思路：路徑的尋找首先是尋找一個坐標的橫向豎向可以直接相連的坐標集合，比如坐標p1（1,1）這樣的集合有[ （0,1）, （1,0） ]，另外一個坐標p2（1,10）的可連集合為[ （0,10） ]，然后再對p1和p2的可連坐標集合進行比較，如果集合中坐標也有可連，則表示p1和p2可連，很明顯，（0,1）和（0,10）為同一行且可連，這樣就表示p1和p2兩點存在可連路徑了，代碼如下所示：

　　簡單分析下代碼實現過程：在isReachable()傳入兩個需要比較的坐標值，然后分別獲取兩個點橫豎向（isRowConnect()、isColConnect()）可以連接的坐標集合，最后再對集合進行遍歷比較是否存在可連的，如果存在則表示傳入的兩個坐標是可以連接的。

    # 是否為同行或同列且可連
    def isReachable(self, x1, y1, x2, y2):  3         # 1、先判斷值是否相同
        if self.im2num_arr[x1][y1] != self.im2num_arr[x2][y2]:  5             return False  6 
        # 1、分別獲取兩個坐標同行或同列可連的坐標數組
        list1 = self.getDirectConnectList(x1, y1)  9         list2 = self.getDirectConnectList(x2, y2) 10         # print(x1, y1, list1)
        # print(x2, y2, list2)

        # exit()

        # 2、比較坐標數組中是否可連
        for x1, y1 in list1: 17             for x2, y2 in list2: 18                 if self.isDirectConnect(x1, y1, x2, y2): 19                     return True 20         return False 21 
    # 獲取同行或同列可連的坐標數組
    def getDirectConnectList(self, x, y): 24 
        plist = [] 26         for px in range(0, 10): 27             for py in range(0, 14): 28                 # 獲取同行或同列且為0的坐標
                if self.im2num_arr[px][py] == 0 and self.isDirectConnect(x, y, px, py): 30  plist.append([px, py]) 31 
        return plist 33 
    # 是否為同行或同列且可連
    def isDirectConnect(self, x1, y1, x2, y2): 36         # 1、位置完全相同
        if x1 == x2 and y1 == y2: 38             return False 39 
        # 2、行列都不同的
        if x1 != x2 and y1 != y2: 42             return False 43 
        # 3、同行
        if x1 == x2 and self.isRowConnect(x1, y1, y2): 46             return True 47 
        # 4、同列
        if y1 == y2 and self.isColConnect(y1, x1, x2): 50             return True 51 
        return False 53 
    # 判斷同行是否可連
    def isRowConnect(self, x, y1, y2): 56         minY = min(y1, y2) 57         maxY = max(y1, y2) 58 
        # 相鄰直接可連
        if maxY - minY == 1: 61             return True 62 
        # 判斷兩個坐標之間是否全為0
        for y0 in range(minY + 1, maxY): 65             if self.im2num_arr[x][y0] != 0: 66                 return False 67         return True 68 
    # 判斷同列是否可連
    def isColConnect(self, y, x1, x2): 71         minX = min(x1, x2) 72         maxX = max(x1, x2) 73 
        # 相鄰直接可連
        if maxX - minX == 1: 76             return True 77 
        # 判斷兩個坐標之間是否全為0
        for x0 in range(minX + 1, maxX): 80             if self.im2num_arr[x0][y] != 0: 81                 return False 82         return True

　　

 

五、開發總結

　　學習這樣一個游戲輔助腳本，對於個人培養編程興趣也是有很多幫助的，在工作之余不失為一個好的消遣方式，以后會多向這些方向研究學習。本案例僅僅是截圖、比較圖片和模擬鼠標點擊，我覺得還可以更加強大，而且還不局限於游戲這樣一個領域，相信大家應該見過自動發QQ消息的軟件吧，我覺得這完全可以做。還有很多模擬操作可以實現：鼠標滾輪，左右鍵、鍵盤輸入等。

 

六、附件-源碼

　　注意：源碼僅供學習，轉發注明出處，謝謝！

# -*- coding:utf-8 -*-

import win32gui
import time
from PIL import ImageGrab, Image
import numpy as np
import operator
from pymouse import PyMouse


class GameAssist:

    def __init__(self, wdname):
        """初始化"""

        # 取得窗口句柄
        self.hwnd = win32gui.FindWindow(0, wdname)
        if not self.hwnd:
            print("窗口找不到，請確認窗口句柄名稱：【%s】" % wdname )
            exit()

        # 窗口顯示最前面
        win32gui.SetForegroundWindow(self.hwnd)

        # 小圖標編號矩陣
        self.im2num_arr = []

        # 主截圖的左上角坐標和右下角坐標
        self.scree_left_and_right_point = (299, 251, 768, 564)
        # 小圖標寬高
        self.im_width = 39

        # PyMouse對象，鼠標點擊
        self.mouse = PyMouse()

    def screenshot(self):
        """屏幕截圖"""

        # 1、用grab函數截圖，參數為左上角和右下角左標
        # image = ImageGrab.grab((417, 257, 885, 569))
        image = ImageGrab.grab(self.scree_left_and_right_point)

        # 2、分切小圖
        # exit()
        image_list = {}
        offset = self.im_width  # 39

        # 8行12列
        for x in range(8):
            image_list[x] = {}
            for y in range(12):
                # print("show",x, y)
                # exit()
                top = x * offset
                left = y * offset
                right = (y + 1) * offset
                bottom = (x + 1) * offset

                # 用crop函數切割成小圖標，參數為圖標的左上角和右下角左邊
                im = image.crop((left, top, right, bottom))
                # 將切割好的圖標存入對應的位置
                image_list[x][y] = im

        return image_list

    def image2num(self, image_list):
        """將圖標矩陣轉換成數字矩陣"""

        # 1、創建全零矩陣和空的一維數組
        arr = np.zeros((10, 14), dtype=np.int32)    # 以數字代替圖片
        image_type_list = []

        # 2、識別出不同的圖片，將圖片矩陣轉換成數字矩陣
        for i in range(len(image_list)):
            for j in range(len(image_list[0])):
                im = image_list[i][j]

                # 驗證當前圖標是否已存入
                index = self.getIndex(im, image_type_list)

                # 不存在image_type_list
                if index < 0:
                    image_type_list.append(im)
                    arr[i + 1][j + 1] = len(image_type_list)
                else:
                    arr[i + 1][j + 1] = index + 1

        print("圖標數：", len(image_type_list))

        self.im2num_arr = arr
        return arr

    # 檢查數組中是否有圖標,如果有則返回索引下表
    def getIndex(self,im, im_list):
        for i in range(len(im_list)):
            if self.isMatch(im, im_list[i]):
                return i

        return -1

    # 漢明距離判斷兩個圖標是否一樣
    def isMatch(self, im1, im2):

        # 縮小圖標，轉成灰度
        image1 = im1.resize((20, 20), Image.ANTIALIAS).convert("L")
        image2 = im2.resize((20, 20), Image.ANTIALIAS).convert("L")

        # 將灰度圖標轉成01串,即系二進制數據
        pixels1 = list(image1.getdata())
        pixels2 = list(image2.getdata())

        avg1 = sum(pixels1) / len(pixels1)
        avg2 = sum(pixels2) / len(pixels2)
        hash1 = "".join(map(lambda p: "1" if p > avg1 else "0", pixels1))
        hash2 = "".join(map(lambda p: "1" if p > avg2 else "0", pixels2))

        # 統計兩個01串不同數字的個數
        match = sum(map(operator.ne, hash1, hash2))

        # 閥值設為10
        return match < 10

    # 判斷矩陣是否全為0
    def isAllZero(self, arr):
        for i in range(1, 9):
            for j in range(1, 13):
                if arr[i][j] != 0:
                    return False
        return True

    # 是否為同行或同列且可連
    def isReachable(self, x1, y1, x2, y2):
        # 1、先判斷值是否相同
        if self.im2num_arr[x1][y1] != self.im2num_arr[x2][y2]:
            return False

        # 1、分別獲取兩個坐標同行或同列可連的坐標數組
        list1 = self.getDirectConnectList(x1, y1)
        list2 = self.getDirectConnectList(x2, y2)
        # print(x1, y1, list1)
        # print(x2, y2, list2)

        # exit()

        # 2、比較坐標數組中是否可連
        for x1, y1 in list1:
            for x2, y2 in list2:
                if self.isDirectConnect(x1, y1, x2, y2):
                    return True
        return False

    # 獲取同行或同列可連的坐標數組
    def getDirectConnectList(self, x, y):

        plist = []
        for px in range(0, 10):
            for py in range(0, 14):
                # 獲取同行或同列且為0的坐標
                if self.im2num_arr[px][py] == 0 and self.isDirectConnect(x, y, px, py):
                    plist.append([px, py])

        return plist

    # 是否為同行或同列且可連
    def isDirectConnect(self, x1, y1, x2, y2):
        # 1、位置完全相同
        if x1 == x2 and y1 == y2:
            return False

        # 2、行列都不同的
        if x1 != x2 and y1 != y2:
            return False

        # 3、同行
        if x1 == x2 and self.isRowConnect(x1, y1, y2):
            return True

        # 4、同列
        if y1 == y2 and self.isColConnect(y1, x1, x2):
            return True

        return False

    # 判斷同行是否可連
    def isRowConnect(self, x, y1, y2):
        minY = min(y1, y2)
        maxY = max(y1, y2)

        # 相鄰直接可連
        if maxY - minY == 1:
            return True

        # 判斷兩個坐標之間是否全為0
        for y0 in range(minY + 1, maxY):
            if self.im2num_arr[x][y0] != 0:
                return False
        return True

    # 判斷同列是否可連
    def isColConnect(self, y, x1, x2):
        minX = min(x1, x2)
        maxX = max(x1, x2)

        # 相鄰直接可連
        if maxX - minX == 1:
            return True

        # 判斷兩個坐標之間是否全為0
        for x0 in range(minX + 1, maxX):
            if self.im2num_arr[x0][y] != 0:
                return False
        return True

    # 點擊事件並設置數組為0
    def clickAndSetZero(self, x1, y1, x2, y2):
        # print("click", x1, y1, x2, y2)

        # (299, 251, 768, 564)
        # 原理：左上角圖標中點 + 偏移量
        p1_x = int(self.scree_left_and_right_point[0] + (y1 - 1)*self.im_width + (self.im_width / 2))
        p1_y = int(self.scree_left_and_right_point[1] + (x1 - 1)*self.im_width + (self.im_width / 2))

        p2_x = int(self.scree_left_and_right_point[0] + (y2 - 1)*self.im_width + (self.im_width / 2))
        p2_y = int(self.scree_left_and_right_point[1] + (x2 - 1)*self.im_width + (self.im_width / 2))

        time.sleep(0.2)
        self.mouse.click(p1_x, p1_y)
        time.sleep(0.2)
        self.mouse.click(p2_x, p2_y)

        # 設置矩陣值為0
        self.im2num_arr[x1][y1] = 0
        self.im2num_arr[x2][y2] = 0

        print("消除：(%d, %d) (%d, %d)" % (x1, y1, x2, y2))
        # exit()

    # 程序入口、控制中心
    def start(self):

        # 1、先截取游戲區域大圖，然后分切每個小圖
        image_list = self.screenshot()

        # 2、識別小圖標，收集編號
        self.image2num(image_list)

        print(self.im2num_arr)

        # 3、遍歷查找可以相連的坐標
        while not self.isAllZero(self.im2num_arr):
            for x1 in range(1, 9):
                for y1 in range(1, 13):
                    if self.im2num_arr[x1][y1] == 0:
                        continue

                    for x2 in range(1, 9):
                        for y2 in range(1, 13):
                            # 跳過為0 或者同一個
                            if self.im2num_arr[x2][y2] == 0 or (x1 == x2 and y1 == y2):
                                continue
                            if self.isReachable(x1, y1, x2, y2):
                                self.clickAndSetZero(x1, y1, x2, y2)


if __name__ == "__main__":
    # wdname 為連連看窗口的名稱，必須寫完整
    wdname = u'寵物連連看經典版2,寵物連連看經典版2小游戲,4399小游戲 www.4399.com - Google Chrome'

    demo = GameAssist(wdname)
    demo.start()