損失函數：最小二乘法與極大似然估計法

最小二乘法

對於判斷輸入是真是假的神經網絡：

\[\hat y =sigmod\bigg (\sum_i (w_i\cdot x_i + b_i) \bigg) \]

為了比較單次結果與標簽\(y\)之間有多少的差距，可以直觀的得到：

\[min\ |y-\hat y| \]

當同時有\(n\)次結果時：

\[min\ \sum_{j=1}^n|y_i-\hat y_i| \]

但是絕對值在其定義域內不完全可導，因此可改為如下形式，且不改變大小關系：

\[min\ \frac{1}{2} \sum_{j=1}^n (y_i-\hat y_i)^2 \]

吳恩達老師在課上說：用最小二乘法做梯度下降法會特別麻煩，所以不建議使用，具體為什么？

極大似然估計法

用來根據現實世界的事件發生頻率，來反推出發生這些事件最可能的概率模型是什么樣子。

似然也就是，該某模型可能是真實模型的可能性

假設對於投硬幣來說，有三種硬幣，其正反面重量不同，其投的正面的概率\(\theta\)分別為\(0.1，0.7，0.8\)。某一時刻某人挑選了一種硬幣，並且投了10次硬幣\(C_i\)，出現\(7\)次正，\(3\)​​次反。如何確定此人所挑選是哪種硬幣？

可以分別計算選擇不同種硬幣時發生7次正，3次反的可能性有多大，即：

\[\begin{align} L &= P(C_1,C_2,\dots, C_{10}|\theta)\\ &= \prod_{i=1}^{10}P(C_i|\theta)\\ &= \prod_{i=1}^{10}\theta ^{[C_i=1]}\cdot(1-\theta)^{[C_i=0]} \end{align} \]

當\(\theta =0.1\)​​時：

\[L=(0.1)^7\cdot (0.9)^3 =7.29\times 10^{-8} \]

當\(\theta =0.7\)​​​時：

\[L=(0.7)^7\cdot (0.3)^3 =2.22\times 10^{-3} \]

當\(\theta =0.8\)​​​時：

\[L=(0.8)^7\cdot (0.2)^3 =1.68\times 10^{-3} \]

可以得到此人所選的硬幣最可能是\(\theta =0.7\)​的硬幣。這就是基本的似然估計。

而對於單個輸出神經網絡中，給出的一張張圖片，便可以類比為拋出的硬幣，硬幣的正反就相當於人對於圖片的標注結果（是或不是）。而神經網絡要做的事，就是根據所給的圖片，求得這些圖片所表示的最可能的概率模型是什么樣子。

對於硬幣來說每次輸入的硬幣是相同的，因此對於每一次投擲\(i\)​，其\(\theta_i=0.1\)​，而對於神經網絡中的圖片來說，他們都是互不相同的，其\(\theta_i = Network_{w,b}(x_i)\)​

\[\begin{align} L &= P(y_1, y_2, \dots, y_n|W,b)\\ &=\prod_{i=1}^nP(y_i|W,b)\\ &=\prod_{i=1}^nP(y_i|\theta_i)\\ &=\prod_{i=1}^{n}\theta_i ^{[y_i=1]}\cdot(1-\theta_i)^{[y_i=0]} \end{align} \]

因為\(y_i\)要么是為真，要么為假，因此又等於：

\[\begin{align} L &=\prod_{i=1}^n\theta_i^{y_i}\cdot (1-\theta_i)^{1-y_i}\\ log(L) &= \sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i) \end{align} \]

因此我們做的就是最大化\(log(L)\)，即：

\[\begin{align} max\; log(L)&=max\;\sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i)\\ &=min\;-\sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i)\\ \end{align} \]

其實\(\theta_i\)又可理解為神經網絡的輸出即\(\hat y_i\)，而\(x_i\)可理解為標簽\(y_i\)，因此又可以寫成：

\[min\;-\sum_{i=1}^n y_i\cdot log(\hat y_i) +(1-y_i)\cdot log(1-\hat y_i)\\ \]

有沒有聯想到什么？

對於多分類\(m\)神經網絡模型，\(\theta_i=Network_{W,b}(x_i)\)就是一個向量，同時為了便於書寫，將\(y_i\)處理成\(one-hot\)向量，則可由公式\(13\)​往下推導：

\[\begin{align} L &=\prod_{i=1}^nP(y_i|\theta_i)\\ &=\prod_{i=1}^n\prod_{j=1}^m \theta_{ij}^{y_{ij}}\\ log(L)&=\sum_{i=1}^n\sum_{j=1}^my_{ij}\cdot log(\theta_{ij})\\ \end{align} \]

推薦詳細講解視頻：https://www.bilibili.com/video/BV1Y64y1Q7hi