上一期中講解了圖像分類和目標檢測中的數據增強的區別和聯系，這期講解數據增強的進階版- yolov4中的Mosaic數據增強方法以及CutMix。
前言
Yolov4的mosaic數據增強參考了CutMix數據增強方式, 是CutMix數據增強方法的改進版。不同於一般的數據增強的方式是對一張圖片進行扭曲、翻轉、色域變化，CutMix數據增強方式是對兩張圖片進行拼接變為一張新的圖片，然后將拼接好了的圖片傳入到神經網絡中去學習，如下圖。
CutMix的處理方式比較簡單，對一對圖片做操作，簡單講就是隨機生成一個裁剪框Box,裁剪掉A圖的相應位置，然后用B圖片相應位置的ROI放到A圖中被裁剪的區域形成新的樣本，計算損失時同樣采用加權求和的方式進行求解。就是將圖A一部分區域cut掉但不填充0像素，然后隨機填充訓練集中的其他數據的區域像素值，分類結果按一定的比例分配。
下圖是使用CutMix方法對常見的數據集進行數據增強的表現，可以看到有明顯的提升。
Mosaic數據增強方法
mosaic數據增強則利用了四張圖片，對四張圖片進行拼接，每一張圖片都有其對應的框框，將四張圖片拼接之后就獲得一張新的圖片，同時也獲得這張圖片對應的框框，然后我們將這樣一張新的圖片傳入到神經網絡當中去學習，相當於一下子傳入四張圖片進行學習了。論文中說這極大豐富了檢測物體的背景！且在標准化BN計算的時候一下子會計算四張圖片的數據！如下圖所示：
實現過程
這里以對Voc2007數據集進行隨機數據增強為例進行講解，大致分為四步：
第一步：從Voc數據集中每次隨機讀取四張圖片
第二步：分別對四張圖片進行翻轉（對原始圖片進行左右的翻轉）、縮放（對原始圖片進行大小的縮放）、色域變化（對原始圖片的明亮度、飽和度、色調進行改變）等操作。
操作完成之后然后再將原始圖片按照 第一張圖片擺放在左上，第二張圖片擺放在左下，第三張圖片擺放在右下，第四張圖片擺放在右上四個方向位置擺好。
3、進行圖片的組合和框的組合
完成四張圖片的擺放之后，我們利用矩陣的方式將四張圖片它固定的區域截取下來，然后將它們拼接起來，拼接成一 張新的圖片，新的圖片上含有框框等一系列的內容。
如上圖可以看到我們將四張圖片進行拼接的時候有很明顯的邊緣，橫線和豎線就是分割的線，這個分割線是由我們人為事先預先設定好了的，在代碼中由min_offset_x和min_offset_y去選取分割的線。
拼接完成之后得到的新的一張圖片，我們可以看到拼接的圖片的左上角的圖像對於原圖來說是少了的，因為拼接的時候被它右邊的圖覆蓋掉了，拼接的時候很有可能也會把另外的圖中的框框給覆蓋掉，這些問題都會在最后的對框框進行處理：當圖片的框框（或者圖片本身）超出兩張圖片之間的邊緣（也就是我們設置的分割線）的時候，我們就需要把這個超出分割線的部分框框或者圖片的部分）處理掉，進行邊緣處理
代碼實現
from PIL import Image, ImageDraw
import numpy as np
from matplotlib.colors import rgb_to_hsv, hsv_to_rgb
import math
def rand(a=0, b=1):
return np.random.rand() * (b - a) + a
def merge_bboxes(bboxes, cutx, cuty):
merge_bbox = []
for i in range(len(bboxes)):
for box in bboxes[i]:
tmp_box = []
x1, y1, x2, y2 = box[0], box[1], box[2], box[3]
if i == 0:
if y1 > cuty or x1 > cutx:
continue
if y2 >= cuty and y1 <= cuty:
y2 = cuty
if y2 - y1 < 5:
continue
if x2 >= cutx and x1 <= cutx:
x2 = cutx
if x2 - x1 < 5:
continue
if i == 1:
if y2 < cuty or x1 > cutx:
continue
if y2 >= cuty and y1 <= cuty:
y1 = cuty
if y2 - y1 < 5:
continue
if x2 >= cutx and x1 <= cutx:
x2 = cutx
if x2 - x1 < 5:
continue
if i == 2:
if y2 < cuty or x2 < cutx:
continue
if y2 >= cuty and y1 <= cuty:
y1 = cuty
if y2 - y1 < 5:
continue
if x2 >= cutx and x1 <= cutx:
x1 = cutx
if x2 - x1 < 5:
continue
if i == 3:
if y1 > cuty or x2 < cutx:
continue
if y2 >= cuty and y1 <= cuty:
y2 = cuty
if y2 - y1 < 5:
continue
if x2 >= cutx and x1 <= cutx:
x1 = cutx
if x2 - x1 < 5:
continue
tmp_box.append(x1)
tmp_box.append(y1)
tmp_box.append(x2)
tmp_box.append(y2)
tmp_box.append(box[-1])
merge_bbox.append(tmp_box)
return merge_bbox
def get_random_data(annotation_line, input_shape, random=True, hue=.1, sat=1.5, val=1.5, proc_img=True):
'''random preprocessing for real-time data augmentation'''
h, w = input_shape
min_offset_x = 0.4
min_offset_y = 0.4
scale_low = 1 - min(min_offset_x, min_offset_y)
scale_high = scale_low + 0.2
image_datas = []
box_datas = []
index = 0
place_x = [0, 0, int(w * min_offset_x), int(w * min_offset_x)]
place_y = [0, int(h * min_offset_y), int(w * min_offset_y), 0]
for line in annotation_line:
# 每一行進行分割
line_content = line.split()
# 打開圖片
image = Image.open(line_content[0])
image = image.convert("RGB")
# 圖片的大小
iw, ih = image.size
# 保存框的位置
box = np.array([np.array(list(map(int, box.split(',')))) for box in line_content[1:]])
# image.save(str(index)+".jpg")
# 是否翻轉圖片
flip = rand() < .5
if flip and len(box) > 0:
image = image.transpose(Image.FLIP_LEFT_RIGHT)
box[:, [0, 2]] = iw - box[:, [2, 0]]
# 對輸入進來的圖片進行縮放
new_ar = w / h
scale = rand(scale_low, scale_high)
if new_ar < 1:
nh = int(scale * h)
nw = int(nh * new_ar)
else:
nw = int(scale * w)
nh = int(nw / new_ar)
image = image.resize((nw, nh), Image.BICUBIC)
# 進行色域變換
hue = rand(-hue, hue)
sat = rand(1, sat) if rand() < .5 else 1 / rand(1, sat)
val = rand(1, val) if rand() < .5 else 1 / rand(1, val)
x = rgb_to_hsv(np.array(image) / 255.)
x[..., 0] += hue
x[..., 0][x[..., 0] > 1] -= 1
x[..., 0][x[..., 0] < 0] += 1
x[..., 1] *= sat
x[..., 2] *= val
x[x > 1] = 1
x[x < 0] = 0
image = hsv_to_rgb(x)
image = Image.fromarray((image * 255).astype(np.uint8))
# 將圖片進行放置，分別對應四張分割圖片的位置
dx = place_x[index]
dy = place_y[index]
new_image = Image.new('RGB', (w, h), (128, 128, 128))
new_image.paste(image, (dx, dy))
image_data = np.array(new_image) / 255
# Image.fromarray((image_data*255).astype(np.uint8)).save(str(index)+"distort.jpg")
index = index + 1
box_data = []
# 對box進行重新處理
if len(box) > 0:
np.random.shuffle(box)
box[:, [0, 2]] = box[:, [0, 2]] * nw / iw + dx
box[:, [1, 3]] = box[:, [1, 3]] * nh / ih + dy
box[:, 0:2][box[:, 0:2] < 0] = 0
box[:, 2][box[:, 2] > w] = w
box[:, 3][box[:, 3] > h] = h
box_w = box[:, 2] - box[:, 0]
box_h = box[:, 3] - box[:, 1]
box = box[np.logical_and(box_w > 1, box_h > 1)]
box_data = np.zeros((len(box), 5))
box_data[:len(box)] = box
image_datas.append(image_data)
box_datas.append(box_data)
img = Image.fromarray((image_data * 255).astype(np.uint8))
for j in range(len(box_data)):
thickness = 3
left, top, right, bottom = box_data[j][0:4]
draw = ImageDraw.Draw(img)
for i in range(thickness):
draw.rectangle([left + i, top + i, right - i, bottom - i], outline=(255, 255, 255))
img.show()
# 將圖片分割，放在一起
cutx = np.random.randint(int(w * min_offset_x), int(w * (1 - min_offset_x)))
cuty = np.random.randint(int(h * min_offset_y), int(h * (1 - min_offset_y)))
new_image = np.zeros([h, w, 3])
new_image[:cuty, :cutx, :] = image_datas[0][:cuty, :cutx, :]
new_image[cuty:, :cutx, :] = image_datas[1][cuty:, :cutx, :]
new_image[cuty:, cutx:, :] = image_datas[2][cuty:, cutx:, :]
new_image[:cuty, cutx:, :] = image_datas[3][:cuty, cutx:, :]
# 對框進行進一步的處理
new_boxes = merge_bboxes(box_datas, cutx, cuty)
return new_image, new_boxes
def normal_(annotation_line, input_shape):
'''random preprocessing for real-time data augmentation'''
line = annotation_line.split()
image = Image.open(line[0])
box = np.array([np.array(list(map(int, box.split(',')))) for box in line[1:]])
iw, ih = image.size
image = image.transpose(Image.FLIP_LEFT_RIGHT)
box[:, [0, 2]] = iw - box[:, [2, 0]]
return image, box
if __name__ == "__main__":
with open("2007_train.txt") as f:
lines = f.readlines()
a = np.random.randint(0, len(lines))
# index = 0
# line_all = lines[a:a+4]
# for line in line_all:
# image_data, box_data = normal_(line,[416,416])
# img = image_data
# for j in range(len(box_data)):
# thickness = 3
# left, top, right, bottom = box_data[j][0:4]
# draw = ImageDraw.Draw(img)
# for i in range(thickness):
# draw.rectangle([left + i, top + i, right - i, bottom - i],outline=(255,255,255))
# img.show()
# # img.save(str(index)+"box.jpg")
# index = index+1
# 傳入四張圖片
# line = lines[a:a + 4]
line = lines[0:4]
image_data, box_data = get_random_data(line, [416, 416])
img = Image.fromarray((image_data * 255).astype(np.uint8))
for j in range(len(box_data)):
thickness = 3
left, top, right, bottom = box_data[j][0:4]
draw = ImageDraw.Draw(img)
for i in range(thickness):
draw.rectangle([left + i, top + i, right - i, bottom - i], outline=(255, 255, 255))
img.show()
# img.save("box_all.jpg")所有實現代碼以及完整注釋，關注我下載使用，更多有關python、深度學習和計算機編程和電腦知識的精彩內容，可以關注微信公眾號：碼農的后花園
