opencv MAT與tensorflow tensor相互轉化

 

在tensorflow中，輸入數據格式為Tensor格式，但是使用opencv讀入的圖片是Mat格式，需要對其進行轉換。

1 Mat轉Tensor

1.1 方法一

使用循環進行賦值，輸入的image為3通道彩色圖片，所以對應的Tensor大小為1*Size*Size*3，同時image為BGR格式，轉化為RGB格式。

void mat2Tensor(Mat &image, Tensor &t) {
   resize(image, image, Size(IMAGE_SIZE, IMAGE_SIZE)); //對圖片進行縮放
   auto output = t.shaped<float, 4>({ 1, IMAGE_SIZE, IMAGE_SIZE, 3});
   for (int i = 0; i < image.rows; ++i) {
       for (int j = 0; j < image.cols; ++j) {
           for (int k = 0; k < 3; ++k) {
               output(0, i, j, k) = image.at<Vec3b>(i, j)[2-k];    
           }
       }
    }
}

1.2 方法二

首先將圖片由BGR轉化為RGB格式，然后創建一個指向Tensor變量數據的指針，以這個指針來創建fake_mat對象，然后將image復制給fake_mat，這樣就將數據放到Tensor的數據地址中了。

cvtColor(image, image, cv::COLOR_BGR2RGB);      
float *tensor_data_ptr = t.flat<float>().data();              
cv::Mat fake_mat(image.rows, image.cols, CV_32FC(image.channels()), tensor_data_ptr); 
image.convertTo(fake_mat, CV_32FC(image.channels()));

2 Tensor轉Mat

2.1 方法一

也是使用循環，對其一個一個進行賦值。

void tensor2Mat(Tensor &t, Mat &image) {
    auto output = t.tensor<int, 3>();  // (1,512,512)
    for (int i = 0; i < IMAGE_SIZE; ++i) {
        for (int j = 0; j < IMAGE_SIZE; ++j) {
            image.at<uchar>(i, j) = output(0, i, j);
        }
    }
}

2.2 方法二

拷貝地址，分別使用指向Mat和Tensor的數據存放地址的指針，然后使用memcpy函數進行復制數據。

void tensor2Mat(Tensor &t, Mat &image) {
    image.convertTo(image, CV_32FC1);
    tensorflow::StringPiece tmp_data = t.tensor_data();
    memcpy(image.data,const_cast<char*>(tmp_data.data()),IMAGE_SIZE * IMAGE_SIZE * sizeof(float));
    image.convertTo(image, CV_8UC1);
}

2.3 方法三

這個方法我覺得是最高效且優雅的，使用指針指向Tensor的數據地址，然后使用Mat的構造函數，將這個地址傳進去，就直接得到了Mat變量。

void tensor2Mat(Tensor &t, Mat &image) {
    int *p = t.flat<int>().data();
    image = Mat(IMAGE_SIZE, IMAGE_SIZE, CV_32SC1, p);
    image.convertTo(image, CV_8UC1);

}

為防止找不到原作者的內容，所以我把上面的內容拷貝到這里了。

 

 

 

參考：https://www.jianshu.com/p/dd827e7f7a24