一、邏輯回歸概念
線性回歸可以擬合X與Y之間的關系,但回歸模型中Y值是連續的,如果換成一個二分類標簽,Y只能取兩個值0、1,這時候就不能用線性回歸了,這樣就有了邏輯回歸。
針對Y的值域在區間[0-1]的問題,我們不能尋找到一條完美曲線,用於擬合二分類模型,但我們可以尋找一條完美的S型曲線,S型曲線叫Sigmoid曲線,
二、Sigmoid函數介紹
Sigmoid函數數學表達示
以二分類為例,邏輯回歸就是假設y=1的概率為(P(Y = 1))與X之間是S曲線關系,數學表達式為
邏輯回歸核心原理是在線性回歸的基礎上加上一個Sigmoid函數,把訓練數據通過Sigmoid函數整合到(0---1)之間。
邏輯回歸的損失函數為
邏輯回歸只能用梯度下降法來求解參數w,b,不能用最小二乘法。
邏輯回歸雖然有“回歸”兩字,但是他解決的是分類問題,而不是回歸問題,邏輯回歸是最經典和最常用的一個分類算法
隨機梯度下降:每次只考慮一個樣本
批量梯度下降:考慮所有樣本