深度學習基礎系列（四）| 理解softmax函數

　　深度學習最終目的表現為解決分類或回歸問題。在現實應用中，輸出層我們大多采用softmax或sigmoid函數來輸出分類概率值，其中二元分類可以應用sigmoid函數。

　　而在多元分類的問題中，我們默認采用softmax函數，具體表現為將多個神經元的輸出，映射到0 ~ 1的區間中，按概率高低進行分類，各概率之和為1。

　　某分類的概率數學表達式為：y_i = eⁱ / ∑_j=1e^j  

　　具體來說，假設有四個輸出單元，分別為：

• 　　y₁ = e^x1 / (e^x1 + e^x2 + e^x3 + e^x4 )，假設其概率為0.4
• 　　y₂ = e^x2/ (e^x1 + e^x2 + e^x3 + e^x4 )，假設其概率為0.15
• 　　y₃ = e^x3/ (e^x1 + e^x2 + e^x3 + e^x4 )，假設其概率為0.15
• 　　y₄= e^x4/ (e^x1 + e^x2 + e^x3 + e^x4 )， 假設其概率為0.3

　　可以看出 y₁ + y₂ + y₃ + y₄ = 1。並且其中某神經元的輸出若增加，則其他神經元的輸出則減少，反之也成立。

　　最后再看看softmax函數如何求導，令y = e^xi / ∑e^xk ，分兩種情況：

　　1. i為softmax值，我們對e^xi 求導，

　　    與此相關的基礎求導公式：(u/v)^' = (u^' v - uv^') / v² 和  (e^x)^' = e^x ，並應用鏈式法則可得求導過程：

　　　dy/de^xi = ( e^xi / ∑e^xk)^' 

　　　　　　 =  (e^xi * ∑e^xk  - e^xi * e^xi ) / (∑e^xk)² 

　　　　　　 =  e^xi / ∑e^xk   -  (e^xi / ∑e^xk ) * (e^xi / ∑e^xk )

　　　　　　 = y_xi - y_xi²

　　2. i不為softmax值，我們依然對e^xi 求導，其過程為：

　　　dy/de^xi =  ( e^xj / ∑e^xk)^'     注：i ≠ j

　　　　　　 = (0 * ∑e^xk - e^xj * e^xi) / (∑e^xk)² 

　　　　　　 = -1 * (e^xi / ∑e^xk ) * (e^xj / ∑e^xk)

　　　　　　 = - y_xi * y_xj