驗證碼識別

1、前言

工作關系，在做自動化測試的時候，不可避免要碰到驗證碼，如果中途暫停手動輸入的話，未免太繁瑣，所以我在這里總結了自己搜索到的資料，結合實踐經驗，與各位分享。

---

 

2、解決的問題

本次我解決的問題主要是比較傳統的圖片驗證碼識別，類似下圖這樣的：

      

滑塊驗證和順序點擊圖片那種逆天的驗證碼本次不涉及。

---

 

3、方法

我這里有java和python的不同實現，背后的思路大體一致：

① 圖片二值化

② 去噪點

③ 識別

下面通過代碼給大家講解，相關代碼已上傳至github，可在文末查看。

---

 

4、java實現

首先列出工程目錄：

 

 

 Entrance是程序入口，DT是一些配置信息，PictureOcr是識別用到的一些方法。

① 去噪點 

    /**
     * 圖片去噪點
     * @param picPath
     * @return
     * @throws IOException
     */
    public static void removeBackground(String picPath) throws IOException {
        BufferedImage bufferedImage = ImageIO.read(new File(picPath));
        int width = bufferedImage.getWidth();
        int height = bufferedImage.getHeight();
        for (int x = 0; x < width; ++x) {
            for (int y = 0; y < height; ++y) {
                if (isWrite(bufferedImage.getRGB(x, y)) == 1) {
                    bufferedImage.setRGB(x, y, Color.white.getRGB());
                } else {
                    bufferedImage.setRGB(x, y, Color.black.getRGB());
                }
            }
        }
        ImageIO.write(bufferedImage, picType, new File(picPath));
    }

    /**
     * 如果某個像素的三原色值大於所設定的閾值，就將此像素設為白色，即為背景
     * @param colorInt
     * @return
     */
    public static int isWrite(int colorInt) {

        Color color = new Color(colorInt);
        if (color.getRed() + color.getGreen() + color.getBlue() > DT.DictOfOcr.threshold) {
            return 1;
        }
        return 0;
    }

 先取得圖片的分辨率（長 * 寬），然后設定一個閾值，閾值就是某個像素的R，G，B三原色值的和，大家可以使用截圖工具來分析要識別圖像的驗證碼閾值是多少，以微信為例，驗證碼待識別區域的RGB值即可設定為閾值，大於此閾值的像素均設為白色，否則即設為黑色，這樣便可以有效去除噪點。

② 裁剪邊框

裁剪邊框是為了盡可能大的保留圖片特征，提高識別率

    /**
     * 裁剪邊角
     * @param picPath
     * @throws IOException
     */
    public static void cutPic(String picPath) throws IOException {

        BufferedImage bufferedimage=ImageIO.read(new File(picPath));
        int width = bufferedimage.getWidth();
        int height = bufferedimage.getHeight();


        bufferedimage = cropPic(bufferedimage, (cutWidth / 2),0, (width - cutWidth / 2), height);
        bufferedimage = cropPic(bufferedimage,0, (cutHeight / 2),(width - cutWidth), (height - cutHeight / 2));
        ImageIO.write(bufferedimage, picType, new File(picPath));
    }

    /**
     * 根據參數裁剪圖片
     * @param bufferedImage
     * @param startX
     * @param startY
     * @param endX
     * @param endY
     * @return
     */
    public static BufferedImage cropPic(BufferedImage bufferedImage, int startX, int startY, int endX, int endY) {
        int width = bufferedImage.getWidth();
        int height = bufferedImage.getHeight();
        if (startX == -1) {
            startX = 0;
        }
        if (startY == -1) {
            startY = 0;
        }
        if (endX == -1) {
            endX = width - 1;
        }
        if (endY == -1) {
            endY = height - 1;
        }
        BufferedImage result = new BufferedImage(endX - startX, endY - startY, 4);
        for (int x = startX; x < endX; ++x) {
            for (int y = startY; y < endY; ++y) {
                int rgb = bufferedImage.getRGB(x, y);
                result.setRGB(x - startX, y - startY, rgb);
            }
        }
        return result;
    }

③ 執行OCR識別

    /**
     * 執行Ocr識別
     * @param picPath
     * @return
     * @throws TesseractException
     */
    public static String executeOcr(String picPath) throws TesseractException {

        ITesseract iTesseract = new Tesseract();
        iTesseract.setDatapath(tessdataPath);
        //iTesseract.setLanguage("eng");
        //可根據需要引入相關的訓練集
        String ocrResult = iTesseract.doOCR(new File(picPath));
        return ocrResult;
    }

用到了tessdata數據包

④ 效果

對於規范的驗證碼來說，識別率還是很不錯的，80%左右。我在工程resources路徑下建立了一個image文件夾，里面有些圖片，大家可以自行嘗試。

---

 

 

5、python實現

思路如下：

構建一定數量的數據集（被打上標簽的驗證碼圖片），然后進行模型的訓練：

1、二值化圖片

2、分割並保存每一張圖片中的字符

3、“提取分割出的中的特征值”

4、生成訓練集

5、定義分類模型

6、測試分類效果

 

def capt_process(capt):
    """
    圖像預處理，將驗證碼圖片轉為二值型圖片，按字符切割
    :param capt: image
    :return: 一個數組包含四個元素，每個元素是一張包含單個字符的二值型圖片
    """
    # 轉為灰度圖
    capt_gray = capt.convert("L")
    # 取得圖片閾值
    threshold = get_threshold(capt_gray)
    # 二值化圖片
    table = get_bin_table(threshold)
    capt_bw = capt_gray.point(table, "1")
    capt_per_char_list = []
    for i in range(4):
        x = 5 + i * 15
        y = 2
        capt_per_char = capt_bw.crop((x, y, x + 13, y + 24))
        capt_per_char_list.append(capt_per_char)

    return capt_per_char_list

 

def get_threshold(capt):
    """
    獲取一張圖片中，像素出現次數最多的像素，作為閾值
    :param capt:
    :return:
    """
    pixel_dict = defaultdict(int)
    # 取得圖片長、寬
    rows, cols = capt.size
    for i in range(rows):
        for j in range(cols):
            # 取得這一點的(r,g,b)
            pixel = capt.getpixel((i, j))
            # 以像素做key，出現的次數做value
            pixel_dict[pixel] += 1
    # 取得字典中像素出現最多的次數
    count_max = max(pixel_dict.values())
    # 反轉字典，改為以出現次數做key，方便后面取得像素
    pixel_dict_reverse = {v: k for k, v in pixel_dict.items()}
    # 取得出現次數最多的像素
    threshold = pixel_dict_reverse[count_max]
    return threshold

def get_bin_table(threshold):
    """
    按照閾值進行二值化處理
    :param threshold:
    :return:
    """
    table = []
    rate = 0.1
    for i in range(256):
        if threshold * (1 - rate) <= i <= threshold * (1 + rate):
            table.append(1)
        else:
            table.append(0)
    return table

 

代碼里都有注釋，就不詳細解釋了。

本人python實現大量參考了這篇博文：

https://blog.csdn.net/weixin_38641983/article/details/80899354

具體每一步怎么做的，為什么這么做，都有清楚地解釋，我在這里不再贅述，感謝這位博主。

我要說明的是，訓練集可能每個人都不一樣，圖片切割尺寸也可能都不一樣，這些需要在使用時隨機應變。

---

 

6、結語

以上提供的方法只能識別簡單的驗證碼，但是它為我們提供了一種問題解決范式，今后遇到類似的問題，不至於手忙腳亂。

相關代碼還參考了以下博文：

https://segmentfault.com/a/1190000015240294?utm_source=tag-newest

 

https://blog.csdn.net/problc/article/details/5794460

 

再次感謝以上博主。

本文相關代碼已上傳至github，有問題歡迎與我交流。

https://github.com/Thinker-Mars/Demo/tree/master/picture-ocr