基於Tesseract實現圖片文字識別

一.簡介

　　 Tesseract是一個開源的文本識別【OCR】引擎，可通過Apache 2.0許可獲得。它可以直接使用，或者使用API從圖像中提取打印的文本，支持多種語言。該軟件包包含一個ORC引擎【libtesseract】和一個命令行程序【tesseract】。Tesseract4添加了一個新的基於LSTM的OCR引擎，該引擎專注於行識別，但仍支持Tesseract 3的傳統Tesseract OCR引擎，該引擎通過識別字符模式進行工作。通過使用傳統OCR引擎模式【--oem 0】，可以與Tesseract 3兼容。它還需要訓練好的數據文件對舊引擎進行支持，例如tessdata目錄下的數據文件。

　　特點：

　　　　1.具有Unicode【UTF-8】支持，並且可以“開箱即用”地識別100多種語言。

　　　　2.支持各種輸出格式，純文本，hOCR【HTML】，PDF，僅不可見文本的PDF，TSV。Master分支還對ALTO【XML】輸出提供實驗性支持。

　　　　3.在許多情況下，要想獲得更好的OCR結果，需要提高提供給Tesseract的圖像的質量。

二.在python環境中安裝pytesseract

　　

　　安裝成功！

三.在Windows系統下安裝Tesseract

　　

　　配置環境變量：

　　

　　備注：最新的為4.1.0，建議安裝4.x版本，根據一可知，版本4有重大升級，系統性能顯著提升，特別是在對中文的識別上更是明顯！

四.python代碼實現　

# -*- coding: utf-8 -*-
"""
Spyder Editor

This is a temporary script file.
"""

import  pytesseract
from PIL import Image

#打開驗證碼圖片
image = Image.open('E:\\testData\\tess\\1.png')
#加載一下圖片防止報錯，此處可以省略
#image.load()
#調用show來展示圖片，調試用此處可以省略
#image.show()
text = pytesseract.image_to_string(image,lang='chi_sim')
print(text)

五.Python環境執行結果【無數據清洗】　

20
a
志
口
吳
吊
5
達
吊
園

康 阮 隨 阮 隨 隨 阮 隆 隨 阮 阮 龐
應 阮 院 阮 阮 際 阮 阮 院 院 阮 龐

宇
B
B
B
B
B
B
B
B
B
B
E

 

胡
胡
胡
胡
胡
胡
胡
胡
胡
胡
脫 醫

劇 澈 剖 剖 亨 亨 定 亨 宣 河

  

宇
B
B
B
B
E
E
E
E
E
E
振

產 蓮

主
主
主
主
主
主
主
主
主
主
生 交

E
E
E
E
E
E
E
E
E
E
E35653

職
職
職
職
職
職
職
職
職
職
E

E
E
E
E
E
E
E
E
E
E
093

　　部分示例：
　　

　　可知對中文的識別一塌糊塗，因此建議還是使用版本4進行識別！

　　

六.使用Java程序調用ImageIO進行數據預處理　

package zhen;
import java.awt.Color;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

import javax.imageio.ImageIO;
 
 
public class LineMark{
    public static void clean(String fromPath,String toPath) throws IOException{
        File file1 = new File(fromPath);
        BufferedImage image = ImageIO.read(file1);
        
        BufferedImage sourceImg =ImageIO.read(new FileInputStream(file1));  // 獲取圖片的長寬
        int width = sourceImg.getWidth();
        int height = sourceImg.getHeight();
        
        /**
         * 創建3維數組用於保存圖片rgb數據
         */
        int[][][] array = new int[width][height][3];
        for(int i=0;i<width;i++){ // 獲取圖片中所有像素點的rgb
            for(int j=0;j<height;j++){
                int pixel = image.getRGB(i, j); //獲得坐標(i,j)的像素
                int red = (pixel & 0xff0000) >> 16; 
                int green = (pixel & 0xff00) >> 8;
                int blue = (pixel & 0xff);  //通過坐標(i,j)的像素值獲得r,g,b的值   
                array[i][j][0] = red;
                array[i][j][1] = green;
                array[i][j][2] = blue;
            }
        }
        
        /**
         * 清除表格線：
         * 豎線：絕大多數點的x值都為255
         */
        for(int i=0;i<width;i++){
            int nums = 0;
            for(int j=0;j<height;j++){
                if(array[i][j][0]<128 && array[i][j][1]<128 && array[i][j][2]<128){
                    nums += 1;
                }
            }
            if(nums > height * 0.8){
                for(int n=0;n<height;n++){
                    array[i][n][0] = 255;
                    array[i][n][1] = 255;
                    array[i][n][2] = 255;
                }
            }
        }
        /**
         * 清除表格線：
         *     橫線：絕大多數點的y值都為255
         */
        for(int j=0;j<height;j++){
            int nums = 0;
            for(int i=0;i<width;i++){
                if(array[i][j][0]<128 && array[i][j][1]<128 && array[i][j][2]<128){
                    nums += 1;
                }
            }
            if(nums > height * 0.8){
                for(int n=0;n<width;n++){
                    array[n][j][0] = 255;
                    array[n][j][1] = 255;
                    array[n][j][2] = 255;
                }
            }
        }
        /**
         * 大點
         */
        for(int i=0;i<width;i++){
            for(int j=0;j<height;j++){
                int cover = new Color(array[i][j][0],array[i][j][1],array[i][j][2]).getRGB();
                image.setRGB(i,j,cover);
            }
        }
        File file2 = new File(toPath);
        ImageIO.write(image, "png", file2);
    }
    
    /**
     * 測試
     * @param args
     */
    public static void main(String[] args){
        String fromPath = "E:\\testData\\tess\\111.png";
        String toPath = "E:\\testData\\tess\\112.png";
        try {
            LineMark.clean(fromPath,toPath);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

七.執行結果

　　處理之前：

　　　　

　　處理之后：

　　　　

　　

八.使用Tesseract 4 API進行文字識別

package zhen;
import java.awt.Rectangle;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import javax.imageio.ImageIO;
import net.sourceforge.tess4j.*;
import org.apache.poi.xssf.usermodel.*;
 
public class RP {
    private String a0="";

        public void toExcel(int i,XSSFWorkbook wb,XSSFSheet sheet,int len)  //將文字信息做成表格
        {            
            for(int j=0;j<len;j++){
                String[] array = this.a0.split("\n"); // 分行
                for(int k=0;k<array.length;k++){
                    XSSFRow row = sheet.createRow(k);  // 創建一行
                    String[] array2 = array[k].split(" ");
                    for(int m=0;m<array2.length;m++){
                        row.createCell(m).setCellValue(array2[m]);      
                    }
                }                  
            }
        }
    public static void main(String[] args) throws IOException {
        RP rp = new RP();
        int num = 1;
        
        File root = new File("E:\\testData\\tess2");//存放處理后的圖片，imgs文件夾
        File res = new File("E:\\testData\\tess");//源圖片位置，res文件夾下
        
        ITesseract instance = new Tesseract();
        instance.setLanguage("chi_sim");              //使用訓練好中文字庫識別
        
        XSSFWorkbook wb = new XSSFWorkbook();
        XSSFSheet sheet = wb.createSheet("信息匯總");        
        try {
            File[] ress = res.listFiles();
            int i=0;
            for(File file : ress){
                i++;
                LineMark.clean(file.getAbsolutePath(),"E:\\testData\\tess2\\"+i+".png");
            }        //去除源圖片表格線，處理后的圖片放到img文件夾
                        
            File[] files = root.listFiles();
            for (File file : files) { //對去除水印后的圖片逐個處理
                BufferedImage sourceImg =ImageIO.read(new FileInputStream(file));  // 獲取圖片的長寬
                int width = sourceImg.getWidth();
                int height = sourceImg.getHeight();
                Rectangle ret = new Rectangle(0,0,width,height); //識別全部數據
                
                String result = instance.doOCR(file, ret);  //開始采用doOCR(file)效率很低，因為圖片內容太多
                int len = 0;
                if(result != null){
                    len = result.split(" ").length;
                    rp.a0 = result;
                }
                System.out.print(result);
                rp.toExcel(num,wb,sheet,len);      //調用toExcel函數，將提取到的信息寫入
                num++;
            }
        } catch (TesseractException e) {
            System.err.println(e.getMessage());
        }

         try {  
                FileOutputStream fout = new FileOutputStream("D:\\software\\company.xlsx");  
                wb.write(fout);  
                fout.close();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }                 //把寫好信息的表輸出
    }
    
}

九.不數據清洗執行結果

　　

十.數據清洗執行結果

　　

　　經過對比可以明顯看出，表格線對識別的影響很大【其它形式的干擾也同樣如此，例如：驗證碼上的干擾線、圖案等】，因此，數據清洗必不可少！

　　

十一.分析

　　從上面的執行結果可知，在使用Tesseract 4時，在數據盡可能的清晰的情況下，大部分漢字還是能識別出來的，只是在【數字0】和【標點符號。】，【英語g】和【數字9】等外形相識的地方識別不清楚！當然，模型還有提升的空間，下一步將提升對存在格式傾斜或拍照的圖片進行識別的能力！