https://blog.csdn.net/weixin_41537599/article/details/80585201
1.Logistic Regression（邏輯回歸）
邏輯回歸是機器學習中的一個非常常見的模型， 邏輯回歸模型其實僅在線性回歸的基礎上，套用了一個邏輯函數。
邏輯回歸可以看做是兩步，第一步和線性回歸模型的形式相同，即一個關於輸入x的線性函數：
第二步通過一個邏輯函數，即sigmoid函數，將線性函數轉換為非線性函數。
2.損失函數
為了訓練邏輯回歸模型的參數w和b需要一個代價函數，算法的代價函數是對m個樣本的損失函數求和然后除以m：
3.為什么邏輯回歸的損失函數是這樣的形式
我們假定輸入樣本x，用y^表示訓練樣本x條件下預測y=1的概率，對應的，用1-y^表示訓練樣本x條件下預測y=0的概率，也就是說：
我們可以把這兩個公式合並成一個公式：
可以發現，在y=1時公式右邊等於y^，在y=1時公式右邊等於1-y^。由於log函數是嚴格遞增函數，所以最大化log等價於最大化原函數，上式因此可以化簡為式子，也就是損失函數的負數。
最大化似然函數也就是最小化損失函數。
對於m個樣本的整個訓練集，服從獨立同分布的樣本的聯合概率就是每個樣本的概率的乘積：
同樣的，最大化似然函數也就是最小化代價函數，因此可以去掉負號，並除以一個常數m對代價函數進行適當的縮放，得到：
4.參考資料
以上是解釋在邏輯回歸中為什么設定這樣的損失函數，對之后的深度學習的損失函數原理做一定啟發。參考資料是Andrew Ng在Coursera上的neural networks and deep learning課程：
https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome
---------------------
作者：yidiLi
來源：CSDN
原文：https://blog.csdn.net/weixin_41537599/article/details/80585201
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！