1、Logistic回歸的本質
邏輯回歸是假設數據服從伯努利分布，通過極大似然函數的方法，運用梯度上升/下降法來求解參數，從而實現數據的二分類。
1.1、邏輯回歸的基本假設
①伯努利分布：以拋硬幣為例，每次試驗中出現正面的概率為P,那么出現負面的概率為1-P。那么如果假設hθ(x)為樣本為正的概率，1-hθ(x)為樣本為負的概率。
那么模型為hθ(x:θ)=P，並假設概率函數為Sigmoid函數
②Sigmoid函數
1.2、邏輯回歸的損失函數
邏輯回歸的損失是它的極大似然函數
1.3、邏輯回歸函數的求解
由於極大似然函數無法直接求解，將其轉化為對數函數，利用梯度下降法逼近求解。
2、推導過程
對於一般訓練集（所有的向量都為行向量）
參數系統
邏輯回歸模型：
參數求解推導
邏輯回歸是用於{0,1}二分類問題，並假設滿足伯努利分布：
一般形式為：
采用最大似然估計求解參數
上式兩邊同時取自然對數
對參數求導並矩陣化：
采用梯度上升發，對參數進行更新：
3、代碼實現