一、邏輯回歸算法簡介
目的：經典的二分類算法
機器學習算法選擇：先邏輯回歸再復雜算法
決策邊界：可以是非線性的
邏輯回歸算法分三步（原理）：（1）需要確定一個預測函數，即預測出一個值來判斷歸屬哪一類，可定義預測值大於某個閾值判斷為一類，反之為另一類；（2）為了計算參數，我們需要定義一個損失函數，損失函數用來衡量真實值和預測值之間的差異，這個差值越小說明預測效果越好（3）第三步，用梯度下降法計算參數，使損失函數不斷減小，得出參數后，帶入預測函數就可以來進行預測了。
邏輯回歸的優點：
1）速度快，適合二分類問題
2）簡單易於理解，直接看到各個特征的權重
3）能容易地更新模型吸收新的數據
缺點：
對數據和場景的適應能力有局限性，不如決策樹算法適應性那么強
二、Sigmoid 函數
公式：
(自變量取值為任意實數，值域[0,1])
解釋：將任意的輸入映射到了[0,1]區間，在線性回歸中可以得到一個預測值，再將該值映射到Sigmoid 函數中這樣就完成了由值到概率的轉換，也就是分類任務。
圖像：
預測函數：
（
）
分類任務：
整合：
（為結果看起來更簡潔）
解釋：對於二分類任務（0，1），整合后y取0只保留，y取1只保留
三、似然函數
似然函數：
對數似然：
此時應用梯度上升求最大值，引入轉換為梯度下降任務（梯度上升轉換為梯度下降）
求導過程：
四、參數更新，求解
參數更新：
（阿發代表學習率，m是minibach）
五、多分類softmax
參考：