Softmax 函數的特點和作用是什么？

作者：張欣
鏈接：https://www.zhihu.com/question/23765351/answer/98897364
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。

softmax 回歸( Softmax Regression) 這里解釋的很詳細，簡單總結下：

softmax模型是logistic模型在多分類問題上的推廣， logistic 回歸是針對二分類問題的，類標記為{0， 1}。
假設函數為： 。
代價函數為：


在 softmax模型中，label可以為k個不同的值 。
對於給定的測試輸入 ，我們想用假設函數針對每一個類別j估算出概率值 。
假設函數將輸出一個k維的向量

請注意 這一項對概率分布進行歸一化，使得所有概率之和為 1 。
代價函數為： 其中：1{值為真的表達式}=1 為示性函數。
如果類別之間是互斥的，適合用softmax；如果類別之間允許重疊，應該選擇k個logistic分類器。