這個自定義損失函數的背景：（一般回歸用的損失函數是MSE, 但要看實際遇到的情況而有所改變）
我們現在想要做一個回歸，來預估某個商品的銷量，現在我們知道，一件商品的成本是1元，售價是10元。
如果我們用均方差來算的話，如果預估多一個，則損失一塊錢，預估少一個，則損失9元錢（少賺的）。
顯然，我寧願預估多了，也不想預估少了。
所以，我們就自己定義一個損失函數，用來分段地看，當yhat 比 y大時怎么樣，當yhat比y小時怎么樣。
（yhat沿用吳恩達課堂中的叫法）
import tensorflow as tf from numpy.random import RandomState batch_size = 8 # 兩個輸入節點 x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input") # 回歸問題一般只有一個輸出節點 y_ = tf.placeholder(tf.float32, shape=(None, 1), name="y-input") # 定義了一個單層的神經網絡前向傳播的過程，這里就是簡單加權和 w1 = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1)) y = tf.matmul(x, w1) # 定義預測多了和預測少了的成本 loss_less = 10 loss_more = 1 #在windows下，下面用這個where替代，因為調用tf.select會報錯 loss = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_)*loss_more, (y_-y)*loss_less)) train_step = tf.train.AdamOptimizer(0.001).minimize(loss) #通過隨機數生成一個模擬數據集 rdm = RandomState(1) dataset_size = 128 X = rdm.rand(dataset_size, 2) """ 設置回歸的正確值為兩個輸入的和加上一個隨機量，之所以要加上一個隨機量是 為了加入不可預測的噪音，否則不同損失函數的意義就不大了，因為不同損失函數 都會在能完全預測正確的時候最低。一般來說，噪音為一個均值為0的小量，所以 這里的噪音設置為-0.05， 0.05的隨機數。 """ Y = [[x1 + x2 + rdm.rand()/10.0-0.05] for (x1, x2) in X] with tf.Session() as sess: init = tf.global_variables_initializer() sess.run(init) steps = 5000 for i in range(steps): start = (i * batch_size) % dataset_size end = min(start + batch_size, dataset_size) sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]}) print(sess.run(w1))
[[ 1.01934695]
[ 1.04280889]
最終結果如上面所示。
因為我們當初生成訓練數據的時候，y是x1 + x2，所以回歸結果應該是1，1才對。
但是，由於我們加了自己定義的損失函數，所以，傾向於預估多一點。
如果，我們將loss_less和loss_more對調，我們看一下結果：
[[ 0.95525807]
[ 0.9813394 ]]
通過這個例子，我們可以看出，對於相同的神經網絡，不同的損失函數會對訓練出來的模型產生重要的影響。
引用：以上實例為《Tensorflow實戰 Google深度學習框架》中提供。