機器學習進階-人臉關鍵點檢測 1.dlib.get_frontal_face_detector(構建人臉框位置檢測器) 2.dlib.shape_predictor(繪制人臉關鍵點檢測器) 3.cv2.convexHull(獲得凸包位置信息)

1.dlib.get_frontal_face_detector()  # 獲得人臉框位置的檢測器, detector(gray, 1) gray表示灰度圖，

2.dlib.shape_predictor(args['shape_predictor'])  # 獲得人臉關鍵點檢測器， predictor(gray, rect) gray表示輸入圖片，rect表示人臉框的位置信息

參數說明: args['shape_predoctor]  人臉檢測器的權重參數地址

3.cv2.convexHull(shape[i:k]) 繪制array位置的凸包信息

參數說明：shape[i:k]表示輸入的數組的位置信息

 

人臉關鍵點檢測：首先通過人臉檢測，檢測出人臉框的位置，再使用加載的人臉關鍵點檢測，進行人臉關鍵點的檢測

代碼：

第一步：參數設置，設置權重參數和圖片的位置

第二步：構造有序的字典，用於標記不同臉部部位對應的序號

第三步：構造人臉檢測和人臉關鍵點檢測的檢測器

第四步：使用人臉檢測器進行人臉的位置檢測

第五步：循環人臉檢測的位置，使用關鍵點檢測器，檢測出人臉的位置信息

第六步：由於人臉檢測器的位置信息是封裝的，因此構造函數，轉換為array格式

第七步：循環有序的字典，在每一個部分畫出圓點

第八步：使用cv2.boudingRect(np.array(shape[j:k])) 獲得臉部輪廓的位置信息

第九步：使用上面(x, y, w, h)截圖原始圖片

第十步：進行畫圖操作

第十一步：構造函數畫出所有的部分，對於臉部：使用cv2.line畫出直線，對於其他部分，使用cv2.convexHull()獲得凸包的輪廓，使用cv2.drawContour畫出輪廓

# 導入工具包
from collections import OrderedDict
import numpy as np
import argparse
import dlib
import cv2

# 第一步：參數設置
ap = argparse.ArgumentParser()
ap.add_argument('-p', '--shape-predictor', default='shape_predictor_68_face_landmarks.dat',
                help='path to facial landmark predictor')
ap.add_argument('-i', '--image', default='images/liudehua.jpg',
                help='path to input image')
args = vars(ap.parse_args())

# 第二步：使用OrderedDict構造臉部循環字典時是有序的
FACIAL_LANDMARKS_68_IDXS = OrderedDict([
    ('mouth', (48, 68)),
    ('right_eyebrow', (17, 22)),
    ('left_eyebrow', (22, 27)),
    ('right_eye', (36, 42)),
    ('left_eye', (42, 48)),
    ('nose', (27, 36)),
    ('jaw', (0, 17))
])

FACIAL_LANDMARKS_5_IDXS = OrderedDict([
 ("right_eye", (2, 3)),
 ("left_eye", (0, 1)),
 ("nose", (4)),
])

def shape_to_np(shape, dtype='int'):
    # 創建68*2用於存放坐標
    coords = np.zeros((shape.num_parts, 2), dtype=dtype)
    # 遍歷每一個關鍵點
    # 得到坐標
    for i in range(0, shape.num_parts):
        coords[i] = (shape.part(i).x, shape.part(i).y)

    return coords

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
    # 創建兩個copy
    # overlay and one for the final output image
    overlay = image.copy()
    output = image.copy()
    # 設置一些顏色區域
    if colors is None:
        colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),
                  (168, 100, 168), (158, 163, 32),
                  (163, 38, 32), (180, 42, 220)]

    for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
        # 得到每一個點的坐標
        (j, k) = FACIAL_LANDMARKS_68_IDXS[name]
        pts = shape[j:k]
        if name == 'jaw':
            # 用線條連起來
            for l in range(1, len(pts)):
                ptA = tuple(pts[l-1])
                ptB = tuple(pts[l])
                # 對位置進行連線
                cv2.line(overlay, ptA, ptB, colors[i], 2)

        else:
            # 使用cv2.convexHull獲得位置的凸包位置
            hull = cv2.convexHull(pts)
            # 使用cv2.drawContours畫出輪廓圖
            cv2.drawContours(overlay, [hull], -1, colors[i], -1)

    cv2.addWeighted(overlay, alpha, output, 1-alpha, 0, output)
    return output




# 第三步：加載人臉檢測與關鍵點定位
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor(args['shape_predictor'])

# 讀取輸入數據，預處理，進行圖像的維度重構和灰度化
image = cv2.imread(args['image'])
(h, w) = image.shape[:2]
width = 500
r = width / float(w)
dim = (width, int(r*h))
image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 第四步：進行人臉檢測，獲得人臉框的位置信息
rects = detector(gray, 1)

# 遍歷檢測到的框
for (i, rect) in enumerate(rects):
    #第五步： 對人臉框進行關鍵點定位
    shape = predictor(gray, rect)
    #第六步：將檢測到的關鍵點轉換為ndarray格式
    shape = shape_to_np(shape)
    # 第七步：對字典進行循環
    for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
        clone = image.copy()
        cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.45,
                    (0, 0, 255), 2)
        # 根據位置畫點
        for (x, y) in shape[i:j]:
            cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)

        #第八步： 使用cv2.boundingRect獲得臉部輪廓位置信息
        (x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))
        # 第九步：根據位置提取臉部的圖片
        roi = image[y:y+h, x:x+w]
        (h, w) = roi.shape[:2]
        width = 250
        r = width / float(w)
        dim = (width, int(r*h))
        roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)

        # 第十步：進行畫圖操作顯示每個部分
        cv2.imshow('ROI', roi)
        cv2.imshow('Image', clone)
        cv2.waitKey(0)
    # 第十一步: 進行臉部位置的畫圖，如果是臉部：進行連線操作，如果是其他位置，使用cv2.convexHull()獲得凸包的位置信息，進行drawcontour進行畫圖
    output = visualize_facial_landmarks(image, shape)
    cv2.imshow('Image', output)
    cv2.waitKey(0)

     

           效果圖展示                                                        所有區域畫圖