Tensorflow Keras基於深度學習的圖像識別/人臉表情識別demo

1 簡單的深度學習過程常規流程：

PS: 標*的 構建神經網絡是最重要的。

 

 

 2 本demo功能：基於TensorFlow Keras來建立模型、訓練（喂給它已經分類好的人臉表情圖片）和預測 人臉表情圖片。

上代碼：

import os
import sys
from PIL import Image   # 使用第三方包Pillow來進行圖像處理
import numpy as np
import tensorflow.contrib.keras as k
import scipy.spatial.distance as distance   # 使用第三方包scipy來進行向量余弦相似度判斷
import pandas as pd


# 這是一個自定義函數，用於把圖片按比例縮放到最大寬度為maxWidth、最大高度為maxHeight
def resizeImage(inputImage, maxWidth, maxHeight):
    originalWidth, originalHeight = inputImage.size

    f1 = 1.0 * maxWidth / originalWidth
    f2 = 1.0 * maxHeight / originalHeight
    factor = min([f1, f2])

    width = int(originalWidth * factor)
    height = int(originalHeight * factor)
    return inputImage.resize((width, height), Image.ANTIALIAS)


ifRestartT = False
roundCount = 20
learnRate = 0.01
trainDir = "./imagedata/"   # 用於指定訓練數據所在目錄
trainResultPath = "./imageClassifySave/"     # 用於指定訓練過程保存目錄
optimizerT = "RMSProp"  # 用於指定優化器
lossT = "categorical_crossentropy"  # 用於指定誤差函數
#predictFile = None  # 用於指定需預測的新圖像文件，如果為None則表示不預測
predictFile = "./predictFile/xx.jpg"

#  讀取meta.txt文件內容：分類
#metaData = pd.read_csv(trainDir + "meta.txt", header=None).as_matrix()
metaData = pd.read_csv(trainDir + "meta.txt", header=None).iloc[:,:].values

# maxTypes表示種類個數
maxTypes = len(metaData)
print("maxTypes: %d" % maxTypes)

argt = sys.argv[1:]
print("argt: %s" % argt)

for v in argt:
    if v == "-restart":
        print("我打印了嗎？")
        ifRestartT = True
    if v.startswith("-round="):
        roundCount = int(v[len("-round="):])
    if v.startswith("-learnrate="):
        learnRate = float(v[len("-learnrate="):])
    if v.startswith("-dir="):   # 用於指定訓練數據所在目錄（不使用默認目錄時才需要設置）
        trainDir = v[len("-dir="):]
    if v.startswith("-optimizer="):
        optimizerT = v[len("-optimizer="):]
    if v.startswith("-loss="):
        lossT = v[len("-loss="):]
    if v.startswith("-predict="):
        predictFile = v[len("-predict="):]

print("predict file: %s" % predictFile)

xData = []
yTrainData = []
fnData = []
predictAry = []

listt = os.listdir(trainDir)    # 獲取變量trainDir指定的目錄下所有的文件

lent = len(listt)

# 循環處理訓練目錄下的圖片文件，統一將分辨率轉換為256*256，
# 再把圖片處理成3通道（RGB）的數據放入xData，然后從文件名中提取目標值放入yTrainData
# 文件名放入fnData
for i in range(lent):
    v = listt[i]
    if v.endswith(".jpg"):  # 只處理.jpg為擴展名的文件
        print("processing %s ..." % v)
        img = Image.open(trainDir + v)
        w, h = img.size

        img1 = resizeImage(img, 256, 256)

        img2 = Image.new("RGB", (256, 256), color="white")

        w1, h1 = img1.size

        img2 = Image.new("RGB", (256, 256), color="white")

        img2.paste(img1, box=(int((256 - w1) / 2), int((256 - h1) / 2)))

        xData.append(np.matrix(list(img2.getdata())))

        tmpv = np.full([maxTypes], fill_value=0)
        tmpv[int(v.split(sep="_")[0]) - 1] = 1
        yTrainData.append(tmpv)

        fnData.append(trainDir + v)

rowCount = len(xData)
print("rowCount: %d" % rowCount)

# 轉換xData、yTrainData、fnData為合適的形態
xData = np.array(xData)
xData = np.reshape(xData, (-1, 256, 256, 3))

yTrainData = np.array(yTrainData)

fnData = np.array(fnData)

# 使用Keras來建立模型、訓練和預測
if (ifRestartT is False) and os.path.exists(trainResultPath + ".h5"):
    # 載入保存的模型和可變參數
    print("模型已經存在！！！！！！！！...")
    print("Loading...")
    model = k.models.load_model(trainResultPath + ".h5")
    model.load_weights(trainResultPath + "wb.h5")
else:
    # 新建模型
    model = k.models.Sequential()

    # 使用4個卷積核、每個卷積核大小為3*3的卷積層
    model.add(k.layers.Conv2D(filters=4, kernel_size=(3, 3), input_shape=(256, 256, 3), data_format="channels_last", activation="relu"))

    model.add(k.layers.Conv2D(filters=3, kernel_size=(3, 3), data_format="channels_last", activation="relu"))

    # 使用2個卷積核、每個卷積核大小為2*2的卷積層
    model.add(k.layers.Conv2D(filters=2, kernel_size=(2, 2), data_format="channels_last", activation="selu"))

    model.add(k.layers.Flatten())
    # 此處的256沒有改
    model.add(k.layers.Dense(256, activation='tanh'))

    model.add(k.layers.Dense(64, activation='sigmoid'))

    # 按分類數進行softmax分類
    model.add(k.layers.Dense(maxTypes, activation='softmax'))

    model.compile(loss=lossT, optimizer=optimizerT, metrics=['accuracy'])


if predictFile is not None:
    # 先對已有訓練數據執行一遍預測，以便后面做圖片相似度比對
    print("preparing ...")
    predictAry = model.predict(xData)

    print("processing %s ..." % predictFile)
    img = Image.open(predictFile)

    #  下面是對新輸入圖片進行預測
    img1 = resizeImage(img, 256, 256)

    w1, h1 = img1.size

    img2 = Image.new("RGB", (256, 256), color="white")

    img2.paste(img1, box=(int((256 - w1) / 2), int((256 - h1) / 2)))

    xi = np.matrix(list(img2.getdata()))
    xi1 = np.array(xi)
    xin = np.reshape(xi1, (-1, 256, 256, 3))

    resultAry = model.predict(xin)
    print("x: %s, y: %s" % (xin, resultAry))

    # 找出預測結果中最大可能的概率及其對應的編號
    maxIdx = -1
    maxPercent = 0

    for i in range(maxTypes):
        if resultAry[0][i] > maxPercent:
            maxPercent = resultAry[0][i]
            maxIdx = i

    # 將新圖片的預測結果與訓練圖片的預測結果逐一比對，找出相似度最高的
    minDistance = 200
    minIdx = -1
    minFile = ""

    for i in range(rowCount):
        dist = distance.cosine(resultAry[0], predictAry[i])     # 用余弦相似度來判斷兩張圖片預測結果的相近程度
        if dist < minDistance:
            minDistance = dist
            minIdx = i
            minFile = fnData[i]

    print("推測表情：%s，推斷正確概率：%10.6f%%，最相似文件：%s，相似度：%10.6f%%" % (metaData[maxIdx][1], maxPercent * 100, minFile.split("\\")[-1], (1 - minDistance) * 100))

    sys.exit(0)

model.fit(xData, yTrainData, epochs=roundCount, batch_size=lent, verbose=2)

print("saving...")
model.save(trainResultPath + ".h5")
model.save_weights(trainResultPath + "wb.h5")

3 用於訓練的圖片：

 

 

 PS: 這些圖是在網上隨便找噠。這里需要注意圖片的命名規則：eg: 01_06.jpg  01代表圖片的類型，和meta.txt中的類型對應，06代表01類型下的第幾張

meat.txt文件：

1,微笑
2,大笑
3,哭
4,憤怒
5,平靜

4 預測：

用於預測的圖片：小公舉~~~

 

 

預測結果：

 

 

PS: 后續有需要會繼續更新。。。