[DeeplearningAI筆記]第二章3.8-3.9分類與softmax

覺得有用的話,歡迎一起討論相互學習~

3.8 Softmax regression

• Softmax回歸.能讓你在試圖識別某一分類時作出預測,或者說是多種分類的一個,不只是識別兩個分類.
• 以識別圖片的例子而言,我們設總的類別數為C,則此例中設置C為4,最后一層設置神經元個數與C相等為4,計算值為在輸入值為X的情況下四種類型每一個的概率有多大.

• 對於輸出層的神經元是一個 (4, 1)的向量,並且輸出的\(\hat{y}\)的四個數字加起來應該等於1

Softmax layer

• Softmax函數的特殊性在於輸入的是一個向量輸出也是一個向量.

3.9訓練一個softmax分類器

• softmax是相對於hardmax而言的,hardmax會將輸出值概率最大的值標記為1,而其他分類都記為0.而softmax還是保存了概率的輸出值.
• softmax回歸將logistic回歸擴展到了C類,可以證明當C=2時,softmax回歸就是普通的logistic回歸,也可以視為logistic是softmax回歸的特殊形式.

怎樣訓練帶有softmax輸出層的神經網絡

• 這是單個樣本上的loss function情況,對於整個數據集上的cost function 而言是所有數據的loss function之和取平均,所以只要loss function計算方法無誤,可以擴展到整個數據集上.

• 整個數據集此時的數據結構為(假設有m個訓練數據,即矩陣會有m列),得到的會是一個(1,m)的計算數值: