學習了幾天,發現mat比IplImage,cvmat 好用太多了。
不知道確切的原文出處,我是轉自新浪的一篇博文:http://blog.sina.com.cn/s/blog_534497fd01015k7z.html(原創作者如果看到,請提醒我,我會寫明原作者)
opencv中常見的與圖像操作有關的數據容器有Mat,cvMat和IplImage,這三種類型都可以代表和顯示圖像,但是,Mat類型側重於計算,數學性較高,openCV對Mat類型的計算也進行了優化。而CvMat和IplImage類型更側重於“圖像”,opencv對其中的圖像操作(縮放、單通道提取、圖像閾值操作等)進行了優化。在opencv2.0之前,opencv是完全用C實現的,但是,IplImage類型與CvMat類型的關系類似於面向對象中的繼承關系。實際上,CvMat之上還有一個更抽象的基類----CvArr,這在源代碼中會常見。
1. IplImage
opencv中的圖像信息頭,該結構體定義:
typedef struct _IplImage
{ int nSize;
int ID; int nChannels;
int alphaChannel;
int depth;
char colorModel[4];
char channelSeq[4];
int dataOrder;
int origin;
int align;
int width;
int height;
struct _IplROI *roi;
struct _IplImage *maskROI;
void *imageId;
struct _IplTileInfo *tileInfo;
int imageSize;
char *imageData;
int widthStep;
int BorderMode[4];
int BorderConst[4];
char *imageDataOrigin;
}
IplImage;
dataOrder中的兩個取值:交叉存取顏色通道是顏色數據排列將會是BGRBGR...的交錯排列。分開的顏色通道是有幾個顏色通道就分幾個顏色平面存儲。roi是IplROI結構體,該結構體包含了xOffset,yOffset,height,width,coi成員變量,其中xOffset,yOffset是x,y坐標,coi代表channel of interest(感興趣的通道),非0的時候才有效。訪問圖像中的數據元素,分間接存儲和直接存儲,當圖像元素為浮點型時,(uchar *) 改為 (float *):
IplImage* img=cvLoadImage("lena.jpg", 1); CvScalar s; s=cvGet2D(img,i,j); cvSet2D(img,i,j,s); IplImage* img; //malloc memory by cvLoadImage or cvCreateImage for(int row = 0;row < img->height; row++) { for (int col = 0; col < img->width; col++) {
b = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 0); g = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 1); r = CV_IMAGE_ELEM(img, UCHAR, row, col * img->nChannels + 2); } } IplImage* img; //malloc memory by cvLoadImage orcvCreateImage uchar b, g, r; // 3 channels for(int row = 0; row < img->height; row++) { for (int col = 0; col < img->width; col++) {
b = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 0]; g = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 1]; r = ((uchar *)(img->imageData + row * img->widthStep))[col * img->nChannels + 2]; } }
初始化使用IplImage *,是一個指向結構體IplImage的指針:
IplImage * cvLoadImage(const char * filename, int iscolor CV_DEFAULT(CV_LOAD_IMAGE_COLOR)); //load images from specified image IplImage * cvCreateImage(CvSize size, int depth, int channels); //allocate memory
2.CvMat
首先,我們需要知道,第一,在OpenCV中沒有向量(vector)結構。任何時候需要向量,都只需要一個列矩陣(如果需要一個轉置或者共軛向量,則需要一個行矩陣)。第二,OpenCV矩陣的概念與我們在線性代數課上學習的概念相比,更抽象,尤其是矩陣的元素,並非只能取簡單的數值類型,可以是多通道的值。CvMat 的結構:
typedef struct CvMat { int type; int step; int* refcount; union { uchar* ptr; short* s; int* i; float* fl; double* db; } data; union { int rows; int height; }; union { int cols; int width; }; } CvMat;
創建CvMat數據:
CvMat * cvCreateMat(int rows, int cols, int type); CV_INLine CvMat cvMat((int rows, int cols, int type, void* data CV_DEFAULT); CvMat * cvInitMatHeader(CvMat * mat, int rows, int cols, int type, void * data CV_DEFAULT(NULL), int step CV_DEFAULT(CV_AUTOSTEP));
對矩陣數據進行訪問:
cvmSet( CvMat* mat, int row, int col, double value); cvmGet( const CvMat* mat, int row, int col ); CvScalar cvGet2D(const CvArr * arr, int idx0, int idx1); //CvArr只作為函數的形參 void cvSet2D(CvArr* arr, int idx0, int idx1, CvScalar value); CvMat * cvmat = cvCreateMat(4, 4, CV_32FC1); cvmat->data.fl[row * cvmat->cols + col] = (float)3.0; CvMat * cvmat = cvCreateMat(4, 4, CV_64FC1); cvmat->data.db[row * cvmat->cols + col] = 3.0; CvMat * cvmat = cvCreateMat(4, 4, CV_64FC1); CV_MAT_ELEM(*cvmat, double, row, col) = 3.0; if (CV_MAT_DEPTH(cvmat->type) == CV_32F)
CV_MAT_ELEM_CN(*cvmat, float, row, col * CV_MAT_CN(cvmat->type) + ch) = (float)3.0; // ch為通道值 if (CV_MAT_DEPTH(cvmat->type) == CV_64F)
CV_MAT_ELEM_CN(*cvmat, double, row, col * CV_MAT_CN(cvmat->type) + ch) = 3.0; // ch為通道值 for (int row = 0; row < cvmat->rows; row++) { p = cvmat ->data.fl + row * (cvmat->step / 4); for (int col = 0; col < cvmat->cols; col++) { *p = (float) row + col; *(p+1) = (float)row + col + 1; *(p+2) = (float)row + col + 2; p += 3; } } CvMat * vector = cvCreateMat(1,3, CV_32SC2); CV_MAT_ELEM(*vector, CvPoint, 0, 0) = cvPoint(100,100); CvMat * vector = cvCreateMat(1,3, CV_64FC4); CV_MAT_ELEM(*vector, CvScalar, 0, 0) = CvScalar(0, 0, 0, 0);
復制矩陣操作:
CvMat* M1 = cvCreateMat(4,4,CV_32FC1); CvMat* M2; M2=cvCloneMat(M1);
3.Mat
Mat是opencv2.0推出的處理圖像的新的數據結構,現在越來越有趨勢取代之前的cvMat和lplImage,相比之下Mat最大的好處就是能夠更加方便的進行內存管理,不再需要程序員手動管理內存的釋放。opencv2.3中提到Mat是一個多維的密集數據數組,可以用來處理向量和矩陣、圖像、直方圖等等常見的多維數據。
class CV_EXPORTS Mat { public: int flags;//(Note :目前還不知道flags做什么用的) int dims;
int rows,cols; uchar *data; int * refcount; ...
};
從以上結構體可以看出Mat也是一個矩陣頭,默認不分配內存,只是指向一塊內存(注意讀寫保護)。初始化使用create函數或者Mat構造函數,以下整理自opencv2.3.1 Manual:
Mat(nrows, ncols, type, fillValue]);
M.create(nrows, ncols, type);
Mat M(7,7,CV_32FC2,Scalar(1,3)); M.create(100, 60, CV_8UC(15)); int sz[] = {100, 100, 100}; Mat bigCube(3, sz, CV_8U, Scalar:all(0)); double m[3][3] = {{a, b, c}, {d, e, f}, {g, h, i}}; Mat M = Mat(3, 3, CV_64F, m).inv(); Mat img(Size(320,240),CV_8UC3); Mat img(height, width, CV_8UC3, pixels, step);
IplImage* img = cvLoadImage("greatwave.jpg", 1); Mat mtx(img,0); // convert IplImage* -> Mat;
訪問Mat的數據元素:
Mat M; M.row(3) = M.row(3) + M.row(5) * 3; Mat M1 = M.col(1); M.col(7).copyTo(M1); Mat M; M.at<double>(i,j); M.at(uchar)(i,j); Vec3i bgr1 = M.at(Vec3b)(i,j);
Vec3s bgr2 = M.at(Vec3s)(i,j) ;
Vec3w bgr3 = M.at(Vec3w)(i,j) ;
double sum = 0.0f; for(int row = 0; row < M.rows; row++) { onst double * Mi = M.ptr<double>(row); for (int col = 0; col < M.cols; col++) sum += std::max(Mi[j], 0.0); } double sum=0; MatConstIterator<double> it = M.begin<double>(), it_end = M.end<double>(); for(; it != it_end; ++it) sum += std::max(*it, 0.);
Mat可進行Matlab風格的矩陣操作,如初始化的時候可以用initializers,zeros(), ones(), eye(). 除以上內容之外,Mat還有有3個重要的方法:
Mat mat = imread(const String* filename); // 讀取圖像 imshow(const string frameName, InputArray mat); // 顯示圖像 imwrite (const string& filename, InputArray img); //儲存圖像
4. CvMat, Mat, IplImage之間的互相轉換
//IpIImage -> CvMat CvMat matheader; CvMat * mat = cvGetMat(img, &matheader); CvMat * mat = cvCreateMat(img->height, img->width, CV_64FC3); cvConvert(img, mat) //IplImage -> Mat Mat::Mat(const IplImage* img, bool copyData=false); IplImage* iplImg = cvLoadImage("greatwave.jpg", 1); Mat mtx(iplImg);
//Mat -> IplImage Mat M IplImage iplimage = M; //CvMat -> Mat Mat::Mat(const CvMat* m, bool copyData=false); //Mat -> CvMat //例子(假設Mat類型的imgMat圖像數據存在): CvMat cvMat = imgMat;/*Mat -> CvMat, 類似轉換到IplImage,不復制數據只創建矩陣頭
在openCV中,Mat是一個多維的密集數據數組。可以用來處理向量和矩陣、圖像、直方圖等等常見的多維數據。
Mat有3個重要的方法:
1、Mat mat = imread(const String* filename); 讀取圖像
2、imshow(const string frameName, InputArray mat); 顯示圖像
3、imwrite (const string& filename, InputArray img); 儲存圖像
Mat類型較CvMat與IplImage類型來說,有更強的矩陣運算能力,支持常見的矩陣運算。在計算密集型的應用當中,將CvMat與IplImage類型轉化為Mat類型將大大減少計算時間花費。
A.Mat -> IplImage
同樣只是創建圖像頭,而沒有復制數據。
例: // 假設Mat類型的imgMat圖像數據存在
IplImage pImg= IplImage(imgMat);
B.Mat -> CvMat
與IplImage的轉換類似,不復制數據,只創建矩陣頭。
例: // 假設Mat類型的imgMat圖像數據存在
CvMat cvMat = imgMat;
二、CvMat類型與IplImage類型:“圖像”類型
在openCV中,Mat類型與CvMat和IplImage類型都可以代表和顯示圖像,但是,Mat類型側重於計算,數學性較高,openCV對Mat類型的計算也進行了優化。而CvMat和IplImage類型更側重於“圖像”,openCV對其中的圖像操作(縮放、單通道提取、圖像閾值操作等)進行了優化。
補充:IplImage由CvMat派生,而CvMat由CvArr派生即CvArr -> CvMat -> IplImage
CvArr用作函數的參數,無論傳入的是CvMat或IplImage,內部都是按CvMat處理。
1.CvMat
A.CvMat-> IplImage
IplImage* img = cvCreateImage(cvGetSize(mat),8,1);
cvGetImage(matI,img);
cvSaveImage("rice1.bmp",img);
B.CvMat->Mat
與IplImage的轉換類似,可以選擇是否復制數據。
Mat::Mat(const CvMat* m, bool copyData=false);
在openCV中,沒有向量(vector)的數據結構。任何時候,但我們要表示向量時,用矩陣數據表示即可。
但是,CvMat類型與我們在線性代數課程上學的向量概念相比,更抽象,比如CvMat的元素數據類型並不僅限於基礎數據類型,比如,下面創建一個二維數據矩陣:
CvMat* cvCreatMat(int rows ,int cols , int type);
這里的type可以是任意的預定義數據類型,比如RGB或者別的多通道數據。這樣我們便可以在一個CvMat矩陣上表示豐富多彩的圖像了。
2.IplImage
在類型關系上,我們可以說IplImage類型繼承自CvMat類型,當然還包括其他的變量將之解析成圖像數據。
IplImage類型較之CvMat多了很多參數,比如depth和nChannels。在普通的矩陣類型當中,通常深度和通道數被同時表示,如用32位表示RGB+Alpha.但是,在圖像處理中,我們往往將深度與通道數分開處理,這樣做是OpenCV對圖像表示的一種優化方案。
IplImage的對圖像的另一種優化是變量origin----原點。在計算機視覺處理上,一個重要的不便是對原點的定義不清楚,圖像來源,編碼格式,甚至操作系統都會對原地的選取產生影響。為了彌補這一點,openCV允許用戶定義自己的原點設置。取值0表示原點位於圖片左上角,1表示左下角。
dataOrder參數定義數據的格式。有IPL_DATA_ORDER_PIXEL和IPL_DATA_ORDER_PLANE兩種取值,前者便是對於像素,不同的通道的數據交叉排列,后者表示所有通道按順序平行排列。
IplImage類型的所有額外變量都是對“圖像”的表示與計算能力的優化。
A.IplImage -> Mat
IplImage* pImg = cvLoadImage("lena.jpg");
Mat img(pImg,0); // 0是不複製影像,也就是pImg與img的data共用同個記憶體位置,header各自有
B.IplImage -> CvMat
法1:CvMat mathdr, *mat = cvGetMat( img, &mathdr );
法2:CvMat *mat = cvCreateMat( img->height, img->width, CV_64FC3 );
cvConvert( img, mat );
C.IplImage*-> BYTE*
BYTE* data= img->imageData;
CvMat和IplImage創建時的一個小區別:
1、建立矩陣時,第一個參數為行數,第二個參數為列數。
CvMat* cvCreateMat( int rows, int cols, int type );
2、建立圖像時,CvSize第一個參數為寬度,即列數;第二個參數為高度,即行數。這 個和CvMat矩陣正好相反。
IplImage* cvCreateImage(CvSize size, int depth, int channels );
CvSize cvSize( int width, int height );
IplImage內部buffer每行是按4字節對齊的,CvMat沒有這個限制
補充:
A.BYTE*-> IplImage*
img= cvCreateImageHeader(cvSize(width,height),depth,channels);
cvSetData(img,data,step);
//首先由cvCreateImageHeader()創建IplImage圖像頭,制定圖像的尺寸,深度和通道數;
//然后由cvSetData()根據BYTE*圖像數據指針設置IplImage圖像頭的數據數據,
//其中step指定該IplImage圖像每行占的字節數,對於1通道的IPL_DEPTH_8U圖像,step可以等於width。