摘要
在機器視覺中，對於圖像的處理有時候因為放置的原因導致ROI區域傾斜，這個時候我們會想辦法把它糾正為正確的角度視角來，方便下一步的布局分析與文字識別，這個時候通過透視變換就可以取得比較好的裁剪效果。
本次實戰，對於圖像的矯正使用了兩種矯正思路：
- 針對邊緣比較明顯的圖像，使用基於輪廓提取的矯正算法。
- 針對邊緣不明顯，但是排列整齊的文本圖像，使用了基於霍夫直線探測的矯正算法。
基於輪廓提取的矯正算法
🧡整體思路：
- 圖片灰度化，二值化
- 檢測輪廓,並篩選出目標輪廓（通過橫縱比或面積去除干擾輪廓)
- 獲取目標輪廓的最小外接矩形
- 獲取最小外接矩形的四頂點，並定義矯正圖像后的四頂點
- 透視變換（四點變換）
opencv實現（分解步驟）：
（一）圖片灰度化，二值化（開運算，消除噪點）
Mat src = imread("D:/opencv練習圖片/圖片矯正.png"); imshow("原圖片", src); // 二值圖像 Mat gray, binary; cvtColor(src, gray, COLOR_BGR2GRAY); threshold(gray, binary, 0, 255, THRESH_BINARY_INV| THRESH_OTSU); imshow("二值化", binary); // 定義結構元素 Mat se = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1)); morphologyEx(binary, binary, MORPH_OPEN, se); imshow("開運算", binary);
注意：由於原圖像背景是白色，因此二值化時候要用 THRESH_BINARY_INV
（二）提取輪廓，篩選輪廓
// 尋找最大輪廓 vector<vector<Point>> contours; findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE); int index = -1; int max = 0; for (size_t i = 0; i < contours.size(); i++) { double area = contourArea(contours[i]); if (area > max) { max = area; index = i; } }
（三）求取最小外接矩形以及四頂點坐標，並定義變換后的四頂點坐標
// 尋找最小外接矩形 RotatedRect rect = minAreaRect(contours[index]); Point2f srcpoint[4];//存放變換前四頂點 Point2f dstpoint[4];//存放變換后四頂點 rect.points(srcpoint);//獲取最小外接矩形四頂點坐標 //顯示頂點 for (size_t i = 0; i < 4; i++) { circle(src, srcpoint[i], 5, Scalar(0, 0, 255),-1);//-1表示填充 } imshow("頂點坐標", src); //獲取外接矩形寬高 float width = rect.size.width; float height = rect.size.height; //定義矯正后四頂點 dstpoint[0]= Point2f(0, height); dstpoint[1] = Point2f(0, 0); dstpoint[2] = Point2f(width, 0); dstpoint[3] = Point2f(width, height);
😄 這里需要注意的是：
1️⃣RotatedRect 類的矩形返回的是矩形的中心坐標，傾斜角度。
Rect類的矩形返回的是矩形的左上角坐標，寬，高。 因此要獲取RotatedRect 類的矩形的寬，高就要用：
//獲取外接矩形寬高 float width = rect.size.width; float height = rect.size.height;
2️⃣獲取RotatedRect 類四頂點坐標的順序依次是：左下-左上-右上-右下（可通過顯示頂點依次查看）
對應矯正后的四頂點就是：(0，height)-(0，0)-(width，0)-(width，height）
（四）透視變換
// 透視變換 Mat M = getPerspectiveTransform(srcpoint, dstpoint); Mat result = Mat::zeros(Size(width, height), CV_8UC3); warpPerspective(src, result, M, result.size()); imshow("矯正結果", result);
基於霍夫直線探測的矯正算法
對於文本圖像（如圖），它沒有明顯的輪廓邊緣去求四頂點。但是經過深入分析，可以發現：文本的每一行文字都是呈一條直線，而且這些直線都是平行的！
利用這個特征就可以實現基於霍夫直線探測的矯正算法：
- 用霍夫線變換探測出圖像中的所有直線
- 計算出每條直線的傾斜角，求他們的平均值
- 根據傾斜角旋轉矯正
💙先來看看什么是霍夫變換：
霍夫變換在檢測各種形狀的的技術中非常流行，如果你要檢測的形狀可以用數學表達式寫出，你就可以是使用霍夫變換檢測它。
霍夫變換的直線檢測簡單來說就是在空間坐標系和映射到另外一個參數空間，將空間坐標系中的每一個點映射到另外一個參數空間中的線，通過該參數空間中所有線的交叉次數得到實際空間坐標系中的直線。
在OpenCV中，使用Hough變換的直線檢測在函數HoughLines和HoughLinesP中實現。
- HoughLines函數（標准霍夫變換）
從平面坐標轉換到霍夫空間，最終輸出是找到直線的極坐標（r，θ）
HoughLines( InputArray src, // 輸入圖像，必須CV_8U的二值圖像（常用canny處理后的二值圖像） OutputArray lines, // 輸出的極坐標來表示直線 double rho, // 步長(常為1） double theta, //角度，（一般是CV_PI/180） int threshold, // 閾值，只有獲得足夠交點的極坐標點才被看成是直線 double min_theta=0， // 表示角度掃描范圍 0 ~180之間， 默認即可 double max_theta=CV_PI) // 一般情況是有經驗的開發者使用，需要自己反變換到平面空間
- HoughLinesP函數（霍夫變換直線概率)
從平面坐標轉換到霍夫空間，最終輸出是找到直線的起點和終點（直角坐標系）
HoughLinesP( InputArray src, // 輸入圖像，必須CV_8U的二值圖像 OutputArray lines, // 輸出找到直線的兩點 double rho, // 步長（半徑，常設為1） double theta, //角度，一般取值CV_PI/180 Int threshold, // 閾值，累計次數必須達到的值,一般為150 double minLineLength=0，// 最小直線長度，一般為50 double maxLineGap=0）// 最大間隔，一般為10
🧡opencv實現（分解步驟）：
（一）圖片灰度化，Canny邊緣提取
Mat src, src_edge, src_gray,src_rotate; double angle; src = imread("D:/opencv練習圖片/文本矯正.png"); imshow("文本圖片", src); cvtColor(src, src_gray, COLOR_RGB2GRAY); Canny(src_gray, src_edge, 50, 200, 3); imshow("canny", src_edge);
（二） 霍夫直線檢測（HoughLines函數）並顯示
//通過霍夫變換檢測直線 vector<Vec2f> plines; //第5個參數就是閾值，閾值越大，檢測精度越高 HoughLines(src_edge, plines, 1, CV_PI / 180, 200, 0, 0); cout << plines.size() << endl; //由於圖像不同，閾值不好設定，因為閾值設定過高導致無法檢測直線，閾值過低直線太多，速度很慢 //所以根據閾值由大到小設置了三個閾值，如果經過大量試驗后，可以固定一個適合的閾值。 float sum = 0; //依次畫出每條線段 for (size_t i = 0; i < plines.size(); i++) { float rho = plines[i][0]; float theta = plines[i][1]; Point pt1, pt2; double a = cos(theta), b = sin(theta); double x0 = a * rho, y0 = b * rho; pt1.x = cvRound(x0 + 1000 * (-b));//cvRound四舍五入 pt1.y = cvRound(y0 + 1000 * (a)); pt2.x = cvRound(x0 - 1000 * (-b)); pt2.y = cvRound(y0 - 1000 * (a)); sum += theta; line(src_gray, pt1, pt2, Scalar(55, 100, 195), 1, LINE_AA);//Scalar函數用於調節線段顏色 imshow("直線探測效果圖", src_gray); float average = sum / plines.size(); //對所有角度求平均，這樣做旋轉效果會更好 angle = DegreeTrans(average) - 90; }
😊核心代碼分析：
由於需要求解直線的傾斜角度，因此這里使用了HoughLines函數，返回的是直線的步長和弧度（極坐標系下）
通過極坐標系下的步長和弧度，可以轉換到直接坐標系下的兩點坐標，然后顯示。（原理如圖）
（三）根據傾斜角度，進行放射變換（逆時針旋轉矯正）
//旋轉中心為圖像中心 Point2f center; center.x = float(src.cols / 2.0); center.y = float(src.rows / 2.0); int length = 0; length = sqrt(src.cols*src.cols + src.rows*src.rows); Mat M = getRotationMatrix2D(center, angle, 1); warpAffine(src, src_rotate, M, Size(length, length), 1, 0, Scalar(255, 255, 255));//仿射變換，背景色填充為白色 imshow("矯正后", src_rotate);
