通過利用keras以及一些自定義函數進行數據增強, CTPN進行文字定位，CRNN進行文字識別以及Flask Web實現銀行卡號碼識別
Github地址
由於我並不是機器學習方向，完成此項目只是學校課程需要
所以文章可能只是如何開始並完成這個項目，至於深層次的原理，推薦兩篇中文博文
【OCR技術系列之五】自然場景文本檢測技術綜述（CTPN, SegLink, EAST）
【OCR技術系列之七】端到端不定長文字識別CRNN算法詳解
構建基礎運行環境
硬件設備以及部分驅動和依賴如下：
Ubuntu18.04 + CUDA 8.0.61 + GeForce GTX 960M + NVIDIA Driver 430.14 + Python3.6 + Tensorflow-gpu
（CUDA10.0 可參考文章末尾colab google配置）
安裝完成后，可以通過下面命令在你的設備中檢查
克隆源代碼，並生成Python3虛擬環境
git clone https://github.com/bay1/card-crnn-ctpn.git
python3 -m virtualenv venv
source venv/bin/activate # 激活虛擬環境
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package # 安裝項目依賴，指定清華源
配置warpctc-pytorch
項目中用到了warpctc-pytorch，需要我們手動安裝
注意這里的命令需要在Python虛擬環境中執行
git clone https://github.com/SeanNaren/warp-ctc.git
cd warp-ctc
mkdir build; cd build
cmake ..
make
你可能會遇到如下錯誤，這是因為你的gcc版本過高，需要低於5.0版本
/usr/local/cuda-8.0/include/host_config.h:119:2: error: #error -- unsupported GNU version! gcc versions later than 5 are not supported!
#error -- unsupported GNU version! gcc versions later than 5 are not supported!
^~~~~
如果你系統中有多個gcc版本，你可以執行下面的命令指定"gcc"命令鏈接的具體指令
比如我指定我系統中存在的另一個gcc版本： gcc-4.9
sudo rm /usr/bin/gcc
sudo ln -s /usr/bin/gcc-4.9 /usr/bin/gcc
你也可能會遇到如下錯誤
/usr/bin/ld: CMakeFiles/test_gpu.dir/tests/test_gpu_generated_test_gpu.cu.o: relocation R_X86_64_32S against `.bss' can not be used when making a PIE object; recompile with -fPIC
/usr/bin/ld: 最后的鏈結失敗: 輸出不可表示的節
collect2: error: ld returned 1 exit status
CMakeFiles/test_gpu.dir/build.make:98: recipe for target 'test_gpu' failed
make[2]: *** [test_gpu] Error 1
CMakeFiles/Makefile2:146: recipe for target 'CMakeFiles/test_gpu.dir/all' failed
make[1]: *** [CMakeFiles/test_gpu.dir/all] Error 2
Makefile:129: recipe for target 'all' failed
make: *** [all] Error 2
根據報錯內容，我們可以直接修改目錄下的CMakeCache.txt
CMAKE_CXX_FLAGS:STRING=-fPIC # 39 行
然后我們根據warp-ctc說明，執行下面命令
cd ../pytorch_binding
python setup.py install
此時你可能會遇到如下錯誤
src/binding.cpp:6:10: fatal error: torch/extension.h: 沒有那個文件或目錄
#include <torch/extension.h>
^~~~~~~~~~~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
根據前人的經驗，https://github.com/SeanNaren/warp-ctc/issues/101
我們直接切換以前的版本即可
git checkout ac045b6
CTPN
文本位置定位，我直接借用的此項目以及其訓練的模型text-detection-ctpn
其實作者訓練的模型效果不算很好，不過我手里並沒有模型數據，自己訓練還是需要下載這位作者的訓練數據
所以干脆直接使用作者訓練好的模型數據即可，可以從下面兩種方式下載作者的ckpt file
將此文件夾放到ctpn/，然后執行如下命令
cd ctpn/utils/bbox
chmod +x make.sh
./make.sh
PS： 如果你想要自己訓練CTPN模型數據，你可以執行ctpn文件夾下的train.py文件
其中text-detection-ctpn只是針對文本進行位置的定位
而我們針對銀行卡號進行具體定位，所以還是需要進行一些自定義的處理
我的思路是對選取出來的所有Box進行長寬的計算，然后根據長寬的比例來進行截取卡號區域
當然這種效果的前提是，我們能夠將卡號部分檢測出來，不過這樣實現的效果還是相當不錯的
def get_wh(box_coordinate):
"""
計算box坐標寬高
box格式： [xmin, ymin, xmax, ymin, xmax, ymax, xmin, ymax, score]
"""
xmin = box_coordinate[0]
xmax = box_coordinate[2]
ymin = box_coordinate[1]
ymax = box_coordinate[5]
width = xmax - xmin
height = ymax - ymin
return width, height
CRNN
此時需要回到項目根目錄，首先對我得到的圖片數據進行簡單的處理
即將原始圖片數據，即data/images的圖片，轉化為生成lmdb需要的形式
python crnn/handle_images.py # 后續優化后，在此命令前需要執行數據增強
圖片路徑以及正確標簽文本:
- crnn/to_lmdb/train.txt
- crnn/to_lmdb/test.txt
處理后的圖片新路徑:
- crnn/to_lmdb/train_images
- crnn/to_lmdb/test_images
然后我們就需要將我們手中的數據轉換成train所需要的lmdb文件
執行下面命令
python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/train_images -l crnn/to_lmdb/train.txt -s crnn/to_lmdb/train_lmdb/
python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/test_images -l crnn/to_lmdb/test.txt -s crnn/to_lmdb/test_lmdb/
生成的lmdb文件目錄:
- crnn/to_lmdb/train_lmdb
- crnn/to_lmdb/test_lmdb
這時候我們就可以具體訓練我們手中的數據
python crnn/train.py
模型保存目錄: crnn/expr
本地訓練模型分享了一份在百度雲盤： https://pan.baidu.com/s/1TXuewaVgGzXjT0EPCj47Bg 提取碼: 7we3
自定義參數
這個項目有各種自定義的數據目錄，以及訓練模型的參數
如果你想修改這些參數或者數據路徑,你可以到下面兩個文件中
- ctpn/params.py
- crnn/params.py
其中crnn訓練模型的參數詳解
--random_sample 是否使用隨機采樣器對數據集進行采樣, action='store_true'
--keep_ratio 設置圖片保持橫縱比縮放, action='store_true'
--adam 使用adma優化器, action='store_true'
--adadelta 使用adadelta優化器, action='store_true'
--saveInterval 設置多少次迭代保存一次模型
--valInterval 設置多少次迭代驗證一次
--n_test_disp 每次驗證顯示的個數
--displayInterval 設置多少次迭代顯示一次
--experiment 模型保存目錄
--alphabet 設置檢測分類
--crnn 選擇預訓練模型
--beta1
--lr 學習率
--niter 訓練回合數
--nh LSTM隱藏層數
--imgW 圖片寬度
--imgH 圖片高度, default=32
--batchSize 設置batchSize大小, default=64
--workers 工作核數, default=2
--trainroot 訓練集路徑
--valroot 驗證集路徑
--cuda 使用GPU, action='store_true'
可視化
訓練CRNN完成之后，crnn測試加載模型路徑默認是: crnn/trained_models/crnn_Rec_done.pth
即我們需要把我們訓練好的模型重命名放到這個目錄
然后我們就可以在項目根目錄執行如下命令
python run.py
瀏覽器打開鏈接：http://127.0.0.1:5000
效果展示
這是本地迭代了300次的效果,有待繼續改進
測試集圖片, 識別其中的一張銀行卡號
后續
數據增強
百度百科-數據增強
深度學習與計算機視覺(PB-02)-數據增強
數據增強模塊，將數據集中的每一張圖片使用數據增強方式拓展為n張圖片(n,設置crnn/params.py中的total_num)
這樣做的好處還可以為之后的圖像識別訓練提供充足的數據樣本
而我們要做的目的是識別銀行卡卡號，對於現有數據和實際識別中卡號的樣式
個人認為，我們需要做的數據增強方式不應該包括角度旋轉，水平翻轉，大幅度平移
同時銀行卡較不容易識別的是帶有復雜背景圖的卡面，所以雜色，噪點的增加是必要的
所以在keras的基礎上我們自定義一些其他函數
完成上述設置之后，在handle_images.py之前執行下面的命令
python crnn/augmentation.py
生成的數據文件夾如下，理論上會生成86720項(猜測是文件名重復導致)
效果
data文件夾中的測試圖片，幾乎能夠識別所有的銀行卡號，預估測試正確率達85%+
訓練過程中170多次迭代的acc，最高升至0.77
colab google免費訓練
后來發現了，google提供的一種免費線上訓練網站，GPU環境是K80配置，速度比本地快多了
而且可以省去很多配置環境的麻煩，這種線上環境的cuda版本是10.0，還是需要進行稍微調整
首先我們在colab中添加如下的單元格
!git clone https://github.com/bay1/card-crnn-ctpn.git
%cd /content/card-crnn-ctpn
!pip install -r requirements.txt
!pip install --upgrade tensorflow-gpu
!pip install https://download.pytorch.org/whl/cu100/torch-1.0.1.post2-cp36-cp36m-linux_x86_64.whl
!cp /content/train.py /content/card-crnn-ctpn/crnn
!python crnn/augmentation.py
!python crnn/handle_images.py
!python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/train_images -l crnn/to_lmdb/train.txt -s crnn/to_lmdb/train_lmdb/
!python crnn/to_lmdb/to_lmdb.py -i crnn/to_lmdb/test_images -l crnn/to_lmdb/test.txt -s crnn/to_lmdb/test_lmdb/
!python /content/card-crnn-ctpn/crnn/train.py
你可能注意到了這里升級了tensorflow-gpu和tourch版本以適配線上環境的硬件
pytorch.org在這里你可以找到相應的tourch對應的cuda版本安裝方法
然后手動下載 card-crnn-ctpn/crnn/train.py 文件
由於tourch1.0版本直接支持CTCLoss,所以我們就不需要安裝warpctc_pytorch,修改train.py文件如下
即注釋warpctc引用的CTCLoss，直接改為torch中的CTCLoss
10 # from warpctc_pytorch import CTCLoss
158 # criterion = CTCLoss()
159 criterion = torch.nn.CTCLoss()
此時如果你想修改params.py文件，也可以像train.py一樣修改
修改完成后上傳到目錄，在單元格代碼中添加相應的替換命令即可
最后執行代碼執行程序，享受速度
最終在colab訓練90次的模型，測試網上找來的10+張圖片
准確率大致可以達到95%+
（對於iter和准確率，每次數據增強的圖片是隨機的，生成的訓練效果可能不同.....准確率升到95%+，有種瞎貓碰死耗子的感覺）