拼接算法
OpenCV中從2.4.x版本之后多出來一個新的模型 圖像拼接,該模塊通過簡單的高級API設置,可以獲得比較好的圖像拼接效果,OpenCV官方提供了一個高度集成的API函數 Stitcher,只要兩行代碼就可以得到一個很好的拼接圖像。
1 Ptr<Stitcher> stitcher = Stitcher::create(mode); 2 Stitcher::Status status = stitcher->stitch(imgs, pano);
其中第一行代碼是創建拼接Stitcher的指針,第二行代碼是調用拼接算法,
- imgs表示的輸入參數,是一系列Mat對象的vector。
- pano表示的輸出結果,是拼接之后的Mat對象
官方的例子得到效果是非常的好,輸入的images如下:
拼接結果如下:
但是很多人按照官方的例子開始拼接自己的圖像,就是各種掉坑,各種拼接都不出結果,想跟跟上面一樣簡單的調用兩句代碼完成幾乎是個夢,其實這個API里面有很多參數設置,這個在官方的演示當中都沒有詳細交代,stitching拼接算法 流程圖示如下:
可見圖像拼接是一個很復雜的算法,是由一系列的基礎算法構成,這些基礎算法如果你不是很了解,其實很難實現自己的圖像拼接,這其中影響拼接算法stitch工作最常見幾個算法子模塊為:
- 特征發現與描述子 常見的特征可以選擇SIFT、SURF、AKAZE、ORB等特征算子進行匹配
- 相機參數 不同的相機參數與設置會導致不同的結果
- 融合方式(blender) 不同的融合方式,也會導致不同結果
- 各種閾值設置,特別是config threshold,如果無法特征匹配,記得把這個閾值調小點
其它參數可以如何設置可以參考OpenCV的官方文檔,總之無法拼接就去調參數,一般最后都會拼接成功,此外該算法速度比較慢,但是支持GPU執行,所以想要實時的可以嘗試如何GPU下執行,我這里沒有嘗試 ,誰嘗試過的可以留言分享,我負責置頂。
代碼演示
另外在拼接的時候可以設置不同warper,這樣會對拼接之后的圖像生成不同效果,常見的效果包括
- 魚眼相機
- 環視(平面曲翹)
- 默認
圖示分別如下:
演示代碼如下:
1 #include<opencv2/opencv.hpp>
2 #include<iostream>
3
4 usingnamespacecv; 5 usingnamespacestd; 6
7 intmain(intargc, char** argv) 8 { 9 vector< string> files; 10 glob( "D:/images/zsxq/1", files); 11 vector<Mat> images; 12 for( inti = 0; i < files.size; i++) 13 { 14 printf( "image file : %s n", files[i].c_str); 15 images.push_back(imread(files[i])); 16 } 17
18 // 設置拼接模式與參數
19 Mat result1, result2, result3; 20 Stitcher::Mode mode = Stitcher::PANORAMA; 21 Ptr<Stitcher> stitcher = Stitcher::create(mode); 22
23 // 拼接方式-多通道融合
24 autoblender = detail::Blender::createDefault(detail::Blender::MULTI_BAND); 25 stitcher->setBlender(blender); 26
27 // 拼接
28 Stitcher::Status status = stitcher->stitch(images, result1); 29
30 // 平面曲翹拼接
31 autoplane_warper = makePtr<cv::PlaneWarper>; 32 stitcher->setWarper(plane_warper); 33 status = stitcher->stitch(images, result2); 34
35 // 魚眼拼接
36 autofisheye_warper = makePtr<cv::FisheyeWarper>; 37 stitcher->setWarper(fisheye_warper); 38 status = stitcher->stitch(images, result3); 39
40 // 檢查返回
41 if(status != Stitcher::OK) 42 { 43 cout<< "Can't stitch images, error code = "<< int(status) << endl; 44 returnEXIT_FAILURE; 45 } 46 imwrite( "D:/result1.png", result1); 47 imwrite( "D:/result2.png", result2); 48 imwrite( "D:/result3.png", result3); 49 waitKey( 0); 50 return0; 51 }
注意:一起運行速度比較慢!是真的比較慢!