pytorch圖像處理的問題

 

有段時間讀取數據的時候都是用下面的命令：

img = cv2.imread(os.path.join(path, file, pic))
img = Image.fromarray(img.astype(np.uint8))

突然有一天突然反應過來為什么要搞這么麻煩，直接使用：

img = Image.open(os.path.join(path, file, pic))

就好了呀

要在pytorch中使用transform等操作就是要用Image.open讀入數據才行，這也是為什么上面還要用Image.fromarray轉換的原因

 

補充一點知識：

• 使用 scipy.misc.imread 讀取的圖片數據是 RGB 格式；
• 使用 cv2.imread 讀取的圖片數據是 BGR 格式；
• 使用 PIL.Image.open 讀取的圖片數據是RGB格式；

 

所以做小波變換的時候就出了問題：

#coding:utf-8
import torch.nn as nn
import torch

def dwt_init(x):

    x01 = x[:, :, 0::2, :] / 2
    x02 = x[:, :, 1::2, :] / 2
    x1 = x01[:, :, :, 0::2]
    x2 = x02[:, :, :, 0::2]
    x3 = x01[:, :, :, 1::2]
    x4 = x02[:, :, :, 1::2]
    x_LL = x1 + x2 + x3 + x4
    x_HL = -x1 - x2 + x3 + x4
    x_LH = -x1 + x2 - x3 + x4
    x_HH = x1 - x2 - x3 + x4

    return torch.cat((x_LL, x_HL, x_LH, x_HH), 1)


# 使用哈爾 haar 小波變換來實現二維逆向離散小波
def iwt_init(x):
    r = 2
    in_batch, in_channel, in_height, in_width = x.size()
    #print([in_batch, in_channel, in_height, in_width])
    out_batch, out_channel, out_height, out_width = in_batch, int(
        in_channel / (r**2)), r * in_height, r * in_width
    print(out_batch, out_channel, out_height, out_width)
    x1 = x[:, 0:out_channel, :, :] / 2
    x2 = x[:, out_channel:out_channel * 2, :, :] / 2
    x3 = x[:, out_channel * 2:out_channel * 3, :, :] / 2
    x4 = x[:, out_channel * 3:out_channel * 4, :, :] / 2
    print(x1.shape)
    print(x2.shape)
    print(x3.shape)
    print(x4.shape)
    # h = torch.zeros([out_batch, out_channel, out_height, out_width]).float().cuda()
    h = torch.zeros([out_batch, out_channel, out_height, out_width]).float()

    h[:, :, 0::2, 0::2] = x1 - x2 - x3 + x4
    h[:, :, 1::2, 0::2] = x1 - x2 + x3 - x4
    h[:, :, 0::2, 1::2] = x1 + x2 - x3 - x4
    h[:, :, 1::2, 1::2] = x1 + x2 + x3 + x4

    return h


# 二維離散小波
class DWT(nn.Module):
    def __init__(self):
        super(DWT, self).__init__()
        self.requires_grad = False  # 信號處理，非卷積運算，不需要進行梯度求導

    def forward(self, x):
        return dwt_init(x)


# 逆向二維離散小波
class IWT(nn.Module):
    def __init__(self):
        super(IWT, self).__init__()
        self.requires_grad = False

    def forward(self, x):
        return iwt_init(x)

if __name__ == '__main__':
    import os, cv2, torchvision
    from PIL import Image
    import numpy as np
    from torchvision import transforms as trans
    # img = cv2.imread('./1.jpg')
    # print(img.shape)
    # img = Image.fromarray(img.astype(np.uint8))
    img = Image.open('./1.jpg')
    transform = trans.Compose([
        trans.ToTensor()
    ])
    img = transform(img).unsqueeze(0)
    dwt = DWT()
    change_img_tensor = dwt(img)
    print(change_img_tensor.shape)

    for i in range(change_img_tensor.size(1)//3):
        print(i*3,i*3+3)
        torchvision.utils.save_image(change_img_tensor[:,i*3:i*3+3:,:], os.path.join('./', 'change_{}.jpg'.format(i)))

只用第一種方法得到的數據為：

 

 

用第二種方法得到的數據是：

 這是因為第一種方法讀進來的是BGR格式，但是實際要的是下面這種RGB格式，正常情況下存儲也是RGB格式

 

 

為什么深度學習中普遍用BRG描述圖像，而非RGB通道？

 因為caffe，作為最早最流行的一批庫的代表，用了opencv，而opencv默認通道是bgr的。這是opencv的入門大坑之一，bgr是個歷史遺留問題，為了兼容早年的某些硬件。其實你自己訓練完全可以用rgb，新庫也基本沒了bgr還是rgb這個問題，就是切換下順序。但如果你要用一些老的訓練好的模型，就得兼容老模型的bgr。可以進行一下外部轉換

比如我之前有處理過一個數據：

from pathlib import Path
from config import get_config
import argparse

from PIL import Image
from tqdm import tqdm
import mxnet as mx
import cv2
import numpy as np

def load_mx_rec(rec_path):
    save_path = rec_path/'imgs'
    if not save_path.exists():
        save_path.mkdir()
    imgrec = mx.recordio.MXIndexedRecordIO(str(rec_path/'train.idx'), str(rec_path/'train.rec'), 'r')
    img_info = imgrec.read_idx(0)
    header,_ = mx.recordio.unpack(img_info)
    max_idx = int(header.label[0])
    for idx in tqdm(range(1,max_idx)):
        img_info = imgrec.read_idx(idx)
        header, img = mx.recordio.unpack_img(img_info)
        label = int(header.label)
        #add
        # img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        # img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)
        img = Image.fromarray(img)
        label_path = save_path/str(label)
        if not label_path.exists():
            label_path.mkdir()
        img.save(label_path/'{}.jpg'.format(idx), quality=95)

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='for face verification')
    parser.add_argument("-r", "--rec_path", help="mxnet record file path",default='faces_emore', type=str)
    args = parser.parse_args()
    conf = get_config()
    rec_path = conf.data_path/args.rec_path
    load_mx_rec(rec_path) #訓練數據在train.idx和train.rec

如果這里我沒有添加：

img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)

那么得到的圖片顏色就很奇怪：

 

如果我添加了這一個處理后，得到的圖像就正常了：

 

之前有錯誤寫成：

img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

但是發現效果是一樣的