Softmax函數與交叉熵損失函數

深度學習新手，如果錯誤，還請指正，謝謝

Softmax激勵函數

用於生成各個結果的概率分布，其輸出概率之和為1，同時取概率最高的作為結果

交叉熵損失函數（Cross Entropy Loss）

softmax函數結果與真實值計算交叉熵，我們就構建了交叉熵損失函數，交叉熵損失函數的結果反映了網絡估計值與真實值的偏差。

為了減小偏差，將交叉熵損失函數輸入優化器（本質都是梯度下降方法）來優化權值和偏置（與閾值互為相反數），然后再輸出。

反復這一過程，我們要的結果就是損失函數近似收斂於0。

這個反復迭代的過程，其實就是“正向傳播 —— 反向傳播（BPN） —— 正向傳播”的交替過程。