1. softmax 損失函數：歸一化指數函數，可以將一個K維向量z“壓縮”到另一個K維實向量σ(z)中，使每一個元素的范圍在(0,1)之間，並且所有元素的和為1。
softmax loss包含三個部分：指數化、歸一化、取-log(x)
①指數化：是指將一個樣本中各個分類的得分指數化，使得各分類的得分都大於等於0，也就是將每個分數x變為e^x，而e^x函數大於0，即保證了非負性
②歸一化：計算指數化后的各個分類的得分在所有分類的得分總和中所占的比例，所以最后得到的是一個分類的分數在總的得分中的比例 / 概率，所以每個元素都在（0,1）之間，各個元素之和為1 （就是把所有分類的得分相加得到S，然后計算各個分類的分數比上S）
③取-log(x)：將歸一化得到的概率x，通過對數函數取負得到損失值Li
(為什么用對數函數+取負的方式？因為logx單調遞增且x>0，然后我們又希望損失值減小，然后取負，單調遞減)
指數化得到e^x；歸一化得到概率；取-log(x)得到損失值Li
指數歸一化：
-log(x)：
樣本損失值 Li：
總體損失值 L：
2. 例子
注意：這里處理的是樣本中的每一個數據，而不只是真實分類的數據或其他分類的
3. softmax loss 與SVM loss的對比
