十大經典預測算法(二)----邏輯回歸


一、邏輯回歸概念

  線性回歸可以擬合X與Y之間的關系,但回歸模型中Y值是連續的,如果換成一個二分類標簽,Y只能取兩個值0、1,這時候就不能用線性回歸了,這樣就有了邏輯回歸。

  針對Y的值域在區間[0-1]的問題,我們不能尋找到一條完美曲線,用於擬合二分類模型,但我們可以尋找一條完美的S型曲線,S型曲線叫Sigmoid曲線,

 二、Sigmoid函數介紹

  Sigmoid函數數學表達示

  

以二分類為例,邏輯回歸就是假設y=1的概率為(P(Y = 1))與X之間是S曲線關系,數學表達式為

 

邏輯回歸核心原理是在線性回歸的基礎上加上一個Sigmoid函數,把訓練數據通過Sigmoid函數整合到(0---1)之間。

邏輯回歸的損失函數為

 

邏輯回歸只能用梯度下降法來求解參數w,b,不能用最小二乘法。

 

邏輯回歸雖然有“回歸”兩字,但是他解決的是分類問題,而不是回歸問題,邏輯回歸是最經典和最常用的一個分類算法

隨機梯度下降:每次只考慮一個樣本

批量梯度下降:考慮所有樣本


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM