1. L2范數損失函數，也叫歐幾里得損失函數，實際上是預測值到目標的距離的平方，tensorflow中用法：tf.nn.l2_loss()，這個損失函數的優點在於曲線在接近目標時足夠平緩，所以可以利用這個特點在接近目標時，逐漸緩慢收斂過去。這個損失函數一般用在回歸問題。
2. L1范數損失函數，采用絕對值，特點是對異常值曲線不像L2范數損失函數那樣陡峭，由於曲線在目標出不平滑，所以可能導致算法在這個點收斂不是很好。
3. Pseudo-Huber損失函數，是一個連續且平滑的對Huber損失函數的近似。這個函數在目標附近是凸(convex)的，並且對數據中的游離點較不敏感，具有上述的兩個損失函數的優點。需要一個額外的參數delta決定曲線的斜率。
4. Hinge loss損失函數，在支持向量機里面最常用，但是也可以被用在神經網絡中，它計算到兩個目標分類1， -1的損失。
5. 交叉熵損失函數，表示的是兩個概率分布之間的距離，值越小，兩個概率分布之間的距離值越近。交叉熵克服方差代價函數更新權重過慢的問題。--對這個不是很理解。
假設一個三分類問題，正確答案是（1,0,0），有兩個答案，（0.5,0.4,0.1）和（0.8,0.1,0.1）那么兩個答案和正確答案的交叉熵分別是：
答案（0.5,0.4,0.1）：-(1*lg0.5+0*lg0.4+0*lg0.1) = 0.3
答案（0.8,0.1,0.1）：-(1*lg0.8 + 0*lg0.1 + 0*lg0.1) = 0.1
可以看到越接近的概率分布具有越小的交叉熵值。
summary：
