前言
以下內容是個人學習之后的感悟，轉載請注明出處~
softmax回歸
首先，我們看一下sigmod激活函數，如下圖，它經常用於邏輯回歸，將一個real value映射到（0,1）的區間（當然也可以是
（-1,1）），這樣可以用來做二分類。
接下來，我們再看一下softmax函數，其函數類型如下：
那么，softmax又是怎么實現的呢？softmax把一個k維的real value向量（a1,a2,a3,a4….）映射成一個（b1,b2,b3,b4….）
其中bi是一個0-1的常數，然后可以根據bi的大小來進行多分類的任務，如取概率最大的一維。具體實現如下圖：
無非是把神經網絡最后一層的激活函數替換為softmax函數，算出概率值最大的那一類即正確類。
其代價函數為L（ý，y）= - ∑ yj * log( ýj ) 。
實例如下圖所示，當代價函數最小時，那一個正確分類的概率輸出值最大。
以上是全部內容，如果有什么地方不對，請在下面留言，謝謝~