iOS身份證號碼識別

一、前言

  身份證識別，又稱OCR技術。OCR技術是光學字符識別的縮寫，是通過掃描等光學輸入方式將各種票據、報刊、書籍、文稿及其它印刷品的文字轉化為圖像信息，再利用文字識別技術將圖像信息轉化為可以使用的計算機輸入技術。

  因為項目需要，所以這些天查閱了相關資料，想在網上看看有沒有大神封裝的現成的demo可以用。但是無果，網上關於ocr這一塊的資料很少，比較靠譜的都是要收費的，而且價格也不便宜。但是在天朝，收費感覺心里不爽，所以就決定自己研究一番。

  先上一個最終實現的效果（如果mac不是retain屏幕的，分辨率會有影響，需要在真機上調試）

最終實現的效果.gif

二、需要用到的技術

搜了很多資料，發現要進行身份證號碼的識別，需要用到以下幾種技術:

• 圖像處理技術

  包括灰度化處理，二值化，腐蝕，輪廊檢測等等。

  1. 灰度化處理：圖片灰度化處理就是將指定圖片每個像素點的RGB三個分量通過一定的算法計算出該像素點的灰度值，使圖像只含亮度而不含色彩信息。
     
     
     

     灰度圖.png
  2. 二值化：二值化處理就是將經過灰度化處理的圖片轉換為只包含黑色和白色兩種顏色的圖像，他們之間沒有其他灰度的變化。在二值圖中用255便是白色，0表示黑色。
     
     
     

     二值圖.png
  3. 腐蝕：圖片的腐蝕就是將得到的二值圖中的黑色塊進行放大。即連接圖片中相鄰黑色像素點的元素。通過腐蝕可以把身份證上的身份證號碼連接在一起形成一個矩形區域。
     
     
     

     腐蝕圖.png
  4. 輪廊檢測：圖片經過腐蝕操作后相鄰點會連接在一起形成一個大的區域，這個時候通過輪廊檢測就可以把每個大的區域找出來，這樣就可以定位到身份證上面號碼的區域。
     
     
     

     輪廊圖.png

• 文字識別技術

  通過識別圖像，將圖像信息轉化為可以使用的計算機輸入技術。比如下面這張包含一串數字的圖片，通過ocr識別技術可以將圖片中包含的數字信息以字符串的方式輸出。

包含數字的圖片.png

三、開源框架OpenCV和TesseractOCRiOS

• OpenCV（完成圖像處理技術）

    OpenCV是一個開源的跨平台計算機視覺和機器學習庫，通俗點的說，就是他給計算機提供了一雙眼睛，一雙可以從圖片中獲取信息的眼鏡，從而完成人臉識別、身份證識別、去紅眼、追蹤移動物體等等的圖像相關的功能。opencv官網

• TesseractOCRiOS（完成文字識別技術）

    Tesseract是目前可用的最准確的開源OCR引擎，可以讀取各種格式的圖片並將他們轉換成各種語言文本。而TesseractOCRiOS則是針對iOS平台封裝的Tesseract引擎庫。

四、實戰演示

• 創建一個iOS項目

• 用CocoPods導入上面兩個庫

  由於OpenCV庫文件比較大，所以時間會稍微久一點，耐心等待就是。

podfile文件.png

• 導入完成之后運行項目，會發現報如下錯誤

Bitode報錯.png

由於導入的庫不支持Bitcode機制，需要關掉，在工程->TARGETS->Build Setting-> Enable Bitcode設置為NO就ok。

關掉Bitcode.png

• 導入TesseractOCRiOS需要的語言包

    TesseractOCRiOS庫中沒有自帶的語言包，需要我們自己手動導入，我們這里直接到tesseract-ocr網站，tessdata即是我們需要用到的語言包。下載下來的語言包有400多兆。這里我們只需要用到英語語言包，所以就只導入eng.traineddata就ok，其他的都刪掉。

導入語言包種需要注意幾點：

1. 語言包需要放在tessdata目錄下。TesseractOCRiOS中查找語言包是在tessdata目錄下進行查找的，所以我們不能單獨把eng.traineddata導入項目中，而需要放在tessdata目錄下導入項目中。
2. 將tessdata導入xcode項目，需要勾選Create folder refrences。上面已經提到了語言包需要放在tessdata目錄下，所以導入文件到xcode的時候需要創建文件夾的形式，而不是創建組的形式。如下圖：

導入tessdata文件夾的方式.png

• 創建一個RecogizeCardManager用來管理身份證識別相關的代碼。

  由於OpenCV和TesseractOCRiOS庫都是基於c++編寫的，所以需要把RecogizeCardManager.m后綴的.m改成.mm

RecogizeCardManager.png

• RecogizeCardManager中的代碼

.h文件

#import <Foundation/Foundation.h> @class UIImage; typedef void (^CompleateBlock)(NSString *text); @interface RecogizeCardManager : NSObject /** * 初始化一個單例 * * @return 返回一個RecogizeCardManager的實例對象 */ + (instancetype)recognizeCardManager; /** * 根據身份證照片得到身份證號碼 * * @param cardImage 傳入的身份證照片 * @param compleate 識別完成后的回調 */ - (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate; @end

.m文件

#import "RecogizeCardManager.h" #import <opencv2/opencv.hpp> #import <opencv2/imgproc/types_c.h> #import <opencv2/imgcodecs/ios.h> #import <TesseractOCR/TesseractOCR.h> @implementation RecogizeCardManager + (instancetype)recognizeCardManager { static RecogizeCardManager *recognizeCardManager = nil; static dispatch_once_t onceToken; dispatch_once(&onceToken, ^{ recognizeCardManager = [[RecogizeCardManager alloc] init]; }); return recognizeCardManager; } - (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate { //掃描身份證圖片，並進行預處理，定位號碼區域圖片並返回 UIImage *numberImage = [self opencvScanCard:cardImage]; if (numberImage == nil) { compleate(nil); } //利用TesseractOCR識別文字 [self tesseractRecognizeImage:numberImage compleate:^(NSString *numbaerText) { compleate(numbaerText); }]; } //掃描身份證圖片，並進行預處理，定位號碼區域圖片並返回 - (UIImage *)opencvScanCard:(UIImage *)image { //將UIImage轉換成Mat cv::Mat resultImage; UIImageToMat(image, resultImage); //轉為灰度圖 cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); //利用閾值二值化 cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY); //腐蝕，填充（腐蝕是讓黑色點變大） cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26)); cv::erode(resultImage, resultImage, erodeElement); //輪廊檢測 std::vector<std::vector<cv::Point>> contours;//定義一個容器來存儲所有檢測到的輪廊 cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0)); //取出身份證號碼區域 std::vector<cv::Rect> rects; cv::Rect numberRect = cv::Rect(0,0,0,0); std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin(); for ( ; itContours != contours.end(); ++itContours) { cv::Rect rect = cv::boundingRect(*itContours); rects.push_back(rect); //算法原理 if (rect.width > numberRect.width && rect.width > rect.height * 5) { numberRect = rect; } } //身份證號碼定位失敗 if (numberRect.width == 0 || numberRect.height == 0) { return nil; } //定位成功成功，去原圖截取身份證號碼區域，並轉換成灰度圖、進行二值化處理 cv::Mat matImage; UIImageToMat(image, matImage); resultImage = matImage(numberRect); cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY); //將Mat轉換成UIImage UIImage *numberImage = MatToUIImage(resultImage); return numberImage; } //利用TesseractOCR識別文字 - (void)tesseractRecognizeImage:(UIImage *)image compleate:(CompleateBlock)compleate { dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{ G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"]; tesseract.image = [image g8_blackAndWhite]; tesseract.image = image; // Start the recognition [tesseract recognize]; //執行回調 compleate(tesseract.recognizedText); }); }

• RecognizeCardViewController代碼

故事版布局界面

故事版布局界面.png

.m文件

#import "RecognizeCardViewController.h" #import "RecogizeCardManager.h" @interface RecognizeCardViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>{ UIImagePickerController *imgagePickController; } @property (weak, nonatomic) IBOutlet UIImageView *imgView; @property (weak, nonatomic) IBOutlet UILabel *textLabel; - (IBAction)cameraAction:(id)sender; - (IBAction)photoAction:(id)sender; @end @implementation RecognizeCardViewController - (void)viewDidLoad { [super viewDidLoad]; self.imgView.contentMode = UIViewContentModeScaleAspectFit; imgagePickController = [[UIImagePickerController alloc] init]; imgagePickController.delegate = self; imgagePickController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal; imgagePickController.allowsEditing = YES; } - (void)didReceiveMemoryWarning { [super didReceiveMemoryWarning]; // Dispose of any resources that can be recreated. } //拍照 - (IBAction)cameraAction:(id)sender { //判斷是否可以打開照相機 if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) { imgagePickController.sourceType = UIImagePickerControllerSourceTypeCamera; //設置攝像頭模式（拍照，錄制視頻）為拍照 imgagePickController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto; [self presentViewController:imgagePickController animated:YES completion:nil]; } else { UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"設備不能打開相機" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; } } //相冊 - (IBAction)photoAction:(id)sender { imgagePickController.sourceType = UIImagePickerControllerSourceTypePhotoLibrary; [self presentViewController:imgagePickController animated:YES completion:nil]; } #pragma mark - UIImagePickerControllerDelegate //適用獲取所有媒體資源，只需判斷資源類型 - (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{ NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType]; UIImage *srcImage = nil; //判斷資源類型 if ([mediaType isEqualToString:@"public.image"]){ srcImage = info[UIImagePickerControllerEditedImage]; self.imgView.image = srcImage; //識別身份證 self.textLabel.text = @"圖片插入成功，正在識別中..."; [[RecogizeCardManager recognizeCardManager] recognizeCardWithImage:srcImage compleate:^(NSString *text) { if (text != nil) { self.textLabel.text = [NSString stringWithFormat:@"識別結果：%@",text]; }else { self.textLabel.text = @"請選擇照片"; UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"照片識別失敗，請選擇清晰、沒有復雜背景的身份證照片重試！" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; } }]; } [self dismissViewControllerAnimated:YES completion:nil]; } //進入拍攝頁面點擊取消按鈕 - (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker { [self dismissViewControllerAnimated:YES completion:nil]; } @end

總結

  通過上面的實驗，該程序對身份證識別的正確率幾乎可以達到90%，剩下的10%主要取決於圖像的預處理，預處理程序是整個識別系統的關鍵所在。該系統的原理同樣也適用於獲取身份證上其他的信息，也可以應用於銀行卡、車牌號等的識別。最后針對實現的效果進行一步總結。

• 識別的正確率

  主要取決於腐蝕、取出身份證號碼區域（輪廊提取）的算法這幾個關鍵點。
  1. 腐蝕： 腐蝕的參數很重要，關於腐蝕的一些介紹，可以參考這篇文章 腐蝕與膨脹(Eroding and Dilating)
  2. 取出身份證號碼區域的算法（輪廊提取）： 所有的處理都是為了在圖片中定位到身份證號碼的區域，輪廊提取就是這樣一個操作。篩選輪廊圖的算法很重要但是也是個難點。我從這篇博客iOS身份證號碼識別中找到了思路。要提取身份證號碼區域的輪廊，算法的原理就是該輪廊的寬度是所有中最寬的，且寬度的長度必須大於高度的5倍。
     不過這個算法還是存在不少問題。有的時候可能圖片背景比較復雜會影響到輪廊的檢測，基於這個問題：
     • 一方面可以通過對圖片的預處理來進行優化，減少對檢測身份證號碼區域的干擾
     • 第二個方面就是優化算法。

• 識別速度

  使用TesseractOCRiOS對比較清晰的文字進行識別速度是比較快的，我試過用一張未經處理的寫着數字的圖片來處理，識別速度小於5s。但經過二值圖處理之后識別的速度就降低了，我認為可以對二值化處理后的圖片進一步處理，比如對二值圖進行細化描出骨架，然后在對骨架做均勻的膨脹處理，這樣得到的身份證號碼可能會清晰很多。

這里貼上幾個關於OpenCV的學習網站
OpenCV官方學習文檔
OpenCV入門指南
OPEN CV for iOS