1. 正向映射：

簡單的利用左視點原圖和視差圖進行視點合成，取每一個像素點處的視差值，然后計算新圖像中像素點位置，然后賦值。前向映射，單點賦值代碼如下。配置完Opencv可以直接跑，如下圖：

 1 #include <iostream>
 2 #include <string>
 3 #include <opencv.hpp>
 4 
 5 using namespace std;
 6 using namespace cv;
 7 
 8 void main()
 9 {
10     string imgPath="data/source_images/teddy/";
11     Mat srcImgL=imread(imgPath+"imgL.png");
12     Mat dispL=imread(imgPath+"dispL.png",0);
13     dispL=dispL/4;
14 
15     int imgHeight=srcImgL.rows;
16     int imgWidth=srcImgL.cols;
17     int channels=srcImgL.channels();
18 
19     Mat dstImgL=Mat::zeros(imgHeight,imgWidth, CV_8UC3);
20 
21     uchar* pImgDataL=(uchar*)srcImgL.data;
22     uchar* pDispDataL=(uchar*)dispL.data;
23     uchar* pDstDataL=(uchar*)dstImgL.data;
24 
25     VideoWriter writer("video.avi", CV_FOURCC('D','I','V','X'), 30, Size(imgWidth, imgHeight), 1);
26     int cnt=0;
27     int viewCnt=50;
28     while (cnt !=4)
29     {
30         for (int k=0; k<viewCnt; k++)
31         {
32             dstImgL.setTo(0);
33             float interp;
34             if (cnt%2==0)    interp=(float)k/viewCnt;
35             else  interp=float(viewCnt-k)/viewCnt;
36             for (int j=0; j<imgHeight; j++)
37             {
38                 for (int i=0; i<imgWidth; i++)
39                 {
40                     uchar dispL=pDispDataL[j*imgWidth+i];
41                     float offsetL=dispL* interp;
42                     int idL=(int)(offsetL+0.5);  //計算視差值
43 
44                     if (idL+i>=imgWidth) continue;
45                     //插值結果
46                     int idxResult=(j*imgWidth+i)*channels;
47                     int idx=(j*imgWidth+i+idL)*channels;
48                     for (int chan=0; chan<channels; chan++)
49                     {
50                          pDstDataL[idxResult+chan]=pImgDataL[idx+chan];
51                     }
52                 }
53             }
54             namedWindow("show");
55             imshow("show", dstImgL);
56             waitKey(10); 
57             writer<<dstImgL;
58         }
59         cnt++;
60     }
61     writer.release();
62 }

View Code

邊緣有鋸齒，隨后找時間加上反向映射以及雙線性插值的版本。

2. 反向映射

先根據左視點視差圖生成虛擬視點的視差圖，然后反向映射得到每一個像素點在原圖像中的浮點位置，利用線性插值獲取最終顏色值。（虛擬視點位置視差圖沒有填充空洞版本），可見有很多裂紋。

  1 #include <iostream>
  2 #include <string>
  3 #include <opencv.hpp>
  4 
  5 using namespace std;
  6 using namespace cv;
  7 
  8 int index(int m, int n)
  9 {
 10     if (m>=0 && m<n)
 11         return m;
 12     else if (m<0)
 13         return 0;
 14     else if (m>=n)
 15         return n-1;
 16 }
 17 
 18 void obtainNewDispMap(const Mat &refDisp, Mat &dstDisp, float value)
 19 {
 20     int height=refDisp.rows;
 21     int width=refDisp.cols;
 22     uchar* pSrcDispData=(uchar*) refDisp.data;
 23     float* pDstDispData=(float*) dstDisp.data;
 24     for (int j=0; j<height; j++)
 25     {
 26         for (int i=0; i<width; i++)
 27         {
 28             int disp=(int)pSrcDispData[j*width+i];
 29             float newDisp=disp*(value);
 30             int inew=(int)(i-newDisp);
 31             inew=index(inew, width);
 32             pDstDispData[j*width+inew]=newDisp;
 33         } 
 34     }
 35 }
 36 
 37 void main(void)
 38 {
 39     string imgPath="data/source_images/teddy/";
 40     Mat srcImgL=imread(imgPath+"imgL.png");
 41     Mat dispL=imread(imgPath+"dispL.png",0);
 42     dispL=dispL/4;
 43 
 44     int imgHeight=srcImgL.rows;
 45     int imgWidth=srcImgL.cols;
 46 
 47     Mat dstImgL=Mat::zeros(imgHeight,imgWidth, CV_8UC3);
 48     Mat dstImg=Mat::zeros(imgHeight,imgWidth, CV_8UC3);
 49     Mat dstNewDispImg=Mat::zeros(imgHeight,imgWidth, CV_32FC1);
 50 
 51     uchar* pImgDataL=(uchar*)srcImgL.data;
 52     uchar* pDispDataL=(uchar*)dispL.data;
 53     uchar* pDstDataL=(uchar*)dstImgL.data;
 54 
 55     VideoWriter writer("video.avi", CV_FOURCC('D','I','V','X'), 30, Size(imgWidth, imgHeight), 1); 
 56     int cnt=0;
 57     int viewCnt=50;
 58     while (cnt!=4)
 59     {
 60         float interp;
 61         for (int k=0; k<viewCnt; k++)
 62         {
 63             dstNewDispImg.setTo(255);
 64             dstImgL.setTo(0);
 65             if (cnt%2==0)   interp=(float)k/viewCnt;
 66             else interp=(float)(viewCnt-k)/viewCnt;
 67 
 68             obtainNewDispMap(dispL, dstNewDispImg, interp);
 69 
 70             float* pNewDispData=(float*)dstNewDispImg.data;
 71             for (int j=0; j<imgHeight; j++)
 72             {
 73                 for (int i=0; i<imgWidth; i++)
 74                 {
 75                     float disp=pNewDispData[j*imgWidth+i];
 76                     float id=i+disp;
 77 
 78                     int id0=floor(id);
 79                     int id1=floor(id+1);
 80                 
 81                     float weight1=1-(id-id0);
 82                     float weight2=id-id0;
 83 
 84                     id0=index(id0, imgWidth);
 85                     id1=index(id1, imgWidth);
 86 
 87                     //插值結果
 88                     pDstDataL[j*imgWidth*3+i*3+0]=weight1*pImgDataL[j*imgWidth*3+id0*3+0]+weight2*pImgDataL[j*imgWidth*3+id1*3+0];
 89                     pDstDataL[j*imgWidth*3+i*3+1]=weight1*pImgDataL[j*imgWidth*3+id0*3+1]+weight2*pImgDataL[j*imgWidth*3+id1*3+1];
 90                     pDstDataL[j*imgWidth*3+i*3+2]=weight1*pImgDataL[j*imgWidth*3+id0*3+2]+weight2*pImgDataL[j*imgWidth*3+id1*3+2];
 91                 }
 92             }
 93             namedWindow("virImg");
 94             imshow("virImg", dstImgL);
 95             waitKey(10);
 96             writer<<dstImgL;
 97         }
 98         cnt++;
 99     }
100    writer.release();
101 }

View Code

3.反向映射+空洞填充+雙線性插值

上面生成虛擬視點位置的視差圖時沒有填充空洞，生成的虛擬視點會有很多裂紋存在。加上空洞填充能夠有效消除裂紋。如下：

填充空洞后生的虛擬視點圖如下，可見空洞裂紋得到有效消除：

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 視差圖獲取真實場景的虛擬視點合成（View Synthsis）詳解利用gulp 插件gulp.spritesmith 完成小圖合成精靈圖，並自動輸出樣式文件不同方法獲得視差圖比較立體視覺—計算視差圖七牛合成動圖 python+openCV實現雙目視差圖及測距利用background-attachment做視差滾動效果關於canvas合成分享圖 PHP實現圖片合成新圖片