深度學習面試題28：標簽平滑(Label smoothing)

本文轉載自查看原文 2019-08-20 10:22 1070 機器學習/ 求職面試

按softmax交叉熵優化時，針對這個樣本而言，會讓0.721越來越接近於1，因為這樣會減少loss，但是這有可能造成過擬合。可以這樣理解，如果0.721已經接近於1了，那么網絡會對該樣本十分“關注”，也就是過擬合。我們可以通過標簽平滑的方式解決。

以下是論文中對此問題的闡述：

返回目錄

工作原理

假設有一批數據在神經網絡最后一層的輸出值和他們的真實標簽

out = np.array([[4.0, 5.0, 10.0], [1.0, 5.0, 4.0], [1.0, 15.0, 4.0]])

y = np.array([[0, 0, 1], [0, 1, 0], [0, 1, 0]])

直接計算softmax交叉熵損失：

res = tf.losses.softmax_cross_entropy(onehot_labels=y, logits=out, label_smoothing=0)

print(tf.Session().run(res))

結果為：0.11191821843385696

使用標簽平滑后：

res2 = tf.losses.softmax_cross_entropy(onehot_labels=y, logits=out, label_smoothing=0.001)

print(tf.Session().run(res2))

結果為：0.11647378653287888

可以看出，損失比之前增加了，他的標簽平滑的原理是對真實標簽做了改變，源碼里的公式為：

# new_onehot_labels = onehot_labels * (1 - label_smoothing) + label_smoothing / num_classes

new_onehot_labels = y * (1 - 0.001) + 0.001 / 3

print(y)

print(new_onehot_labels)

[[0 0 1]

[0 1 0]

[0 1 0]]

[[3.33333333e-04 3.33333333e-04 9.99333333e-01]

[3.33333333e-04 9.99333333e-01 3.33333333e-04]

[3.33333333e-04 9.99333333e-01 3.33333333e-04]]

然后使用平滑標簽計算softmax交叉熵就能得到最終的結果了，我們也可以驗證一下：

res3 = tf.losses.softmax_cross_entropy(onehot_labels=new_onehot_labels, logits=out, label_smoothing=0)

print(tf.Session().run(res3))

結果為：0.11647378653287888

完整代碼：

import numpy as np
import tensorflow as tf

out = np.array([[4.0, 5.0, 10.0], [1.0, 5.0, 4.0], [1.0, 15.0, 4.0]])
y = np.array([[0, 0, 1], [0, 1, 0], [0, 1, 0]])

res = tf.losses.softmax_cross_entropy(onehot_labels=y, logits=out, label_smoothing=0)
print(tf.Session().run(res))

res2 = tf.losses.softmax_cross_entropy(onehot_labels=y, logits=out, label_smoothing=0.001)
print(tf.Session().run(res2))

# new_onehot_labels = onehot_labels * (1 - label_smoothing)
#                           + label_smoothing / num_classes

new_onehot_labels = y * (1 - 0.001) + 0.001 / 3
print(y)
print(new_onehot_labels)
res3 = tf.losses.softmax_cross_entropy(onehot_labels=new_onehot_labels, logits=out, label_smoothing=0)
print(tf.Session().run(res3))