Image Processing 必备(四)：Imgaug之增强标记KeyPoints

Date：2020-09-04

官方教程：https://nbviewer.jupyter.org/github/aleju/imgaug-doc/blob/master/notebooks/B01%20-%20Augment%20Keypoints.ipynb

经过前三节官方教程的学习后，对于如何使用imgaug对图像进行图像增强有了一定的了解。其中涉及到比较细致的图像和关键点Keypoints一起增强，多核处理等实际问题。但对于KeyPoints和其他标记的具体使用还不是特别清楚。本节以及接下来的5节将会分别介绍关于图像中常用的标记类型的具体使用，包括：

• Keypoints (本节)

• BBox

• Polygons

• Heatmaps

• Segmentation Maps

• Line Strings

分别对应不同类型的图像问题，e.g.关键点检测，目标检测，目标分割，直线检测等。

Keypoints/LandMarks

在之前的学习中，也谈及过关键点Keypoints的使用。Keypoints在imgaug中是通过x和y坐标在图像上构成的点。在学术界也常把Keypoints称之为landmarks，通常出现在人体姿态识别领域。

在imgaug中，关键点只会受一些图像几何形态转变增强技巧的影响，例如水平翻转、仿射变换等。其他例如高斯噪声这些并不会对关键点造成影响。

imgaug中提供了两个用于增强关键点的类：Keypoint && KeypointsOnImage。还有一些其他的API，例如增强关键点aug.augment(images=..., keypoints=...) && aug.augment_keypoints()。

API: Keypoint

Keypoint是生成关键点实例最简单的方式，其使用方式为Keypoint(x=..., y=...)。具体方式如下：

import imgaug as ia
​
keypoint = ia.Keypoint(x=151, y=106)

生成的keypoint具有3种常用的方法：

• project(from_shape, to_shape)

  • 通常用于图像缩放时。

• shift(x=0, y=0) 

  • 通常使用该方式对keypoint进行位移。

• draw_on_image(img, color=(0, 255, 0), alpha=1.0, size=3, copy=True,raise_if_out_of_image=False) 

  • 将关键点绘制到图像上，通过color，alpha，size等控制关键点的颜色，透明度和尺寸大小。

具体使用详见下述代码(包含shift、 project、draw_on_image)：

import imageio
import imgaug as ia
import numpy as np
%matplotlib inline
img = imageio.imread('./pick1.jpg')
# initial
keypoint = ia.Keypoint(x=151, y=106)
# draw  -- draw_on_image
print("draw_on_image example")
ia.imshow(np.hstack([img, keypoint.draw_on_image(img, color=(255, 255, 0), size=10)]))
# shift
print("shift example")
keypoint_1 = keypoint.shift(x=100, y=10)
ia.imshow(np.hstack([img, keypoint_1.draw_on_image(img, color=(255, 0, 0), size=15)]))
# resize  -- project
print("project example")
shape = img.shape[0:2]
img_resize= ia.imresize_single_image(img, 300)  # 非等比缩放 搞成300*300
shape_resize = img_resize.shape[0:2]
keypoint_2 = keypoint.project(shape, shape_resize)
ia.imshow(np.hstack([img_resize, keypoint_2.draw_on_image(img_resize, color=(255, 255, 0), size=10)]))

draw_on_image example

shift example

project example

API：KeypointsImage

KeypointsImage提供了将一组由列表构成的keypoints整合在一起的方法，避免需要对每个keypoint对象进行在图像上的绘制。该列表中包含的keypoint需要是同一张图像的。

KeypointsImage()实例的生成方式为KeypointsOnImage(keypoints, shape)，具体方式如下：

import imgaug as ia
image_keypoints = ia.KeypointsOnImage([
                    ia.Keypoint(x=151, y=106),
                    ia.Keypoint(x=247, y=78),
                    ia.Keypoint(x=179, y=140),
                    ia.Keypoint(x=206, y=134)
                ], shape=img.shape)

既然该类的作用是将一张图像上的一系列keypoints整合在一起，那么其首先会包含Keypoint类中具有的方法，其次会有一些将关键点与numpy数组之间的关联，最后还会有与欧式距离图之间的关联。

• draw_on_image(image, color=(0, 255, 0), alpha=1.0, size=3, copy=True, raise_if_out_of_image=False)

• shift(x=0, y=0)

• to_xy_array()

• from_xy_array(xy, shape)

• to_distance_maps(inverted=False)

• from_distance_maps(distance_maps, inverted=False, if_not_found_coords={"x": -1, "y": -1}, threshold=None, nb_channels=None)

具体使用详见下述代码和结果：

import imageio
import imgaug as ia
import numpy as np
%matplotlib inline
img = imageio.imread('./pick1.jpg')
​
image_keypoints = ia.KeypointsOnImage([
                    ia.Keypoint(x=151, y=106),
                    ia.Keypoint(x=247, y=78),
                    ia.Keypoint(x=179, y=140),
                    ia.Keypoint(x=206, y=134)
                ], shape=img.shape)
# draw_on_img
print("draw_on_img example")
ia.imshow(np.hstack([img, image_keypoints.draw_on_image(img, color=(255, 255, 0), size=10)]))
# to_xy_array()
print("to_xy_array example")
xy_arr = image_keypoints.to_xy_array()
print(xy_arr)
# from_xy_array(xy, shape)
# 并不能创建一个空的KeypointsOnImage对象，只能在原有的基础上修改，即keypoint发生变化时
print("from_xy_array example")
image_keypoints_shift = image_keypoints.shift(x=50, y=40)
#ia.imshow(np.hstack([img, image_keypoints_shift.draw_on_image(img, color=(255, 255, 0), size=10)]))
image_keypoints_shift_1 = image_keypoints_shift.from_xy_array(xy_arr, shape=img.shape)
ia.imshow(np.hstack([img, 
                     image_keypoints_shift.draw_on_image(img, color=(255, 255, 0), size=10),
                    image_keypoints_shift_1.draw_on_image(img, color=(255, 255, 0), size=10)
                    ]))
# to_distance_maps(inverted=False)
print("to_distance_maps example")
distance_map = image_keypoints.to_distance_maps(inverted=False)
ia.imshow(np.hstack([distance_map[:, :, 0],
                     distance_map[:, :, 1],
                     distance_map[:, :, 2],
                     distance_map[:, :, 3]]))

draw_on_img example

to_xy_array example
[[151. 106.]
 [247. 78.]
 [179. 140.]
 [206. 134.]]
from_xy_array example

to_distance_maps example

Example

Basic

import imageio
import imgaug as ia
%matplotlib inline
img = imageio.imread('./samoye.jpg')
# img = ia.imresize_single_image(img, (300, 200)) # 可以缩放
ia.imshow(img)

from imgaug.augmentables.kps import Keypoint, KeypointsOnImage
kps = [Keypoint(x=277, y=78),
      Keypoint(x=314, y=73),
      Keypoint(x=281, y=108)]
kpsoi = KeypointsOnImage(kps, shape=img.shape)
ia.imshow(kpsoi.draw_on_image(img, size=7))

KeypointsOnImage对象会有keypoints的属性，如下述所示：

print(kpsoi.keypoints)

[Keypoint(x=277.00000000, y=78.00000000), Keypoint(x=314.00000000, y=73.00000000), Keypoint(x=281.00000000, y=108.00000000)]

使用增强手段对图像和关键点进行增强处理：

import imgaug.augmenters as iaa
ia.seed(3)
​
seq = iaa.Sequential([
    iaa.Affine(translate_px={"x": (10, 30)}, rotate=(-10, 10)),
    iaa.AddToHueAndSaturation((-50, 50))  # color jitter, only affects the image
])
image_aug, kpsoi_aug = seq(image=img, keypoints=kpsoi)
​
ia.imshow(
    np.hstack([
        kpsoi.draw_on_image(img, size=7),
        kpsoi_aug.draw_on_image(image_aug, size=7)
    ])
)

将关键点投射到其他图像上

在实际使用时，常常会因为模型结构输入的影响调整图像的尺寸，KeypointsOnImage.on(image or shape)的功能就是在改变的图像上重新计算keypoints的坐标。

假如将图像非等比缩放成416*416

image_change = ia.imresize_single_image(img, 416)
ia.imshow(image_change)

print("original image %s with keypoints:" %(img.shape,))
ia.imshow(kpsoi.draw_on_image(img, size=7))
​
print("changed image %s with original keypoints:"%(img.shape,))
ia.imshow(kpsoi.draw_on_image(image_change, size=7))
​
print("changed image %s with changed(on) keypoints")
ia.imshow(kpsoi.on(image_change).draw_on_image(image_change, size=7))

original image (406, 500, 3) with keypoints:

changed image (406, 500, 3) with original keypoints:

changed image %s with changed(on) keypoints

此处值得记忆的代码使用方式 on： 输入为变换的图像！ 

ia.imshow(kpsoi.on(image_change).draw_on_image(image_change, size=7))

移动keypoints

on()方法可以应对图像尺寸的改变，可当图像被填充后，发生了位置的偏移，就需要使用shift()方法对关键点进行平移。

image_pad = ia.pad(img, left=100)   # 左侧填充100个像素
kpsoi_pad = kpsoi.shift(x=100)  # x位移100
ia.imshow(kpsoi_pad.draw_on_image(image_pad, size=7))

shift()方法中x=，y=都是朝着坐标轴正方向移动。

绘制keypoints

ia.imshow(np.hstack([
    kpsoi.draw_on_image(img, size=1),
    kpsoi.draw_on_image(img, size=3),
    kpsoi.draw_on_image(img, size=5),
    kpsoi.draw_on_image(img, size=7)
]))

使用color字段控制keypoints的颜色：

ia.imshow(np.hstack([
    kpsoi.draw_on_image(img, size=5, color=(0, 255, 0)),
    kpsoi.draw_on_image(img, size=5, color=(0, 0, 255)),
    kpsoi.draw_on_image(img, size=5, color=(255, 128, 255)),
    kpsoi.draw_on_image(img, size=5, color=(255, 255, 255))
]))

为了提高性能，draw_on_image()方法还提供了一个copy字段，可以将其设置为False，以便在适当的位置修改图像。

image_draw = np.copy(img)
kpsoi.draw_on_image(image_draw, size=5, color=(0, 255, 0), copy=False)
kpsoi.shift(x=-70).draw_on_image(image_draw, size=5, color=(255, 0, 255), copy=False)
kpsoi.shift(x=70).draw_on_image(image_draw, size=5, color=(0, 0, 0), copy=False)
ia.imshow(image_draw)

通过运行结果可以看出，将copy字段设置为False，将会将关键点直接绘制到原图像上。

另外，对于关键点的颜色，当关键点个数较多时，手动设置可能比较繁琐，可以直接将其写到一个颜色列表中。在绘制时使用zip的循环方式进行绘制。 虽然，这并不是imgaug中提供的方法。

colors = [(0, 255, 0),
          (255, 255, 255),
          (128, 255, 64)]
image_drawn = np.copy(img)
for kp, color in zip(kpsoi.keypoints, colors):
    image_drawn = kp.draw_on_image(image_drawn, color=color, size=9, copy=False)
ia.imshow(image_drawn)

将关键点转换为距离图

从最初API介绍中，限于个人能力，展示出的距离图是黑白的，并没有paper中展示的那种高大上。这里再一探究竟吧！！！

to_distance_maps()

首先，看一下生成的distance_maps的属性

distance_maps = kpsoi.to_distance_maps()
print("Image shape:", kpsoi.shape)
print("Distance maps shape:", distance_maps.shape)
print("Distance maps dtype:", distance_maps.dtype)
print("Distance maps min:", distance_maps.min(), "max:", distance_maps.max())

Image shape: (406, 500, 3)
Distance maps shape: (406, 500, 3)
Distance maps dtype: float32
Distance maps min: 0.0 max: 456.96826

** 可以看出，其相当于是对于每一个关键点的一个距离二维矩阵。**

从上述返回的距离矩阵可以看出，距离矩阵的值并没有进行标准化。所以，首先根据返回的最大值和最小值将其归一化。

height, width = kpsoi.shape[0:2]
max_distance = np.linalg.norm(np.float32([height, width]))
distance_maps_normalized = distance_maps / max_distance
print("min:", distance_maps.min(), "max:", distance_maps_normalized.max())

min: 0.0 max: 0.7094925

from imgaug.augmentables.heatmaps import HeatmapsOnImage
heatmaps = HeatmapsOnImage(distance_maps_normalized, shape=kpsoi.shape)
ia.imshow(np.hstack(heatmaps.draw_on_image(img)))

原来距离图是通过热力图HeatmapsOnImage绘制的，怪不得之前的那么丑

整理总结

本节主要围绕标记之一关键点Keypoints进行介绍，主要介绍Keypoints和KeypointsOnImage两个API中的方法。