為什么邏輯斯特回歸(logistic regression)是線性模型


一個典型的logistic regression模型是:

這里明明用了非線性函數,那為什么logistic regression還是線性模型呢?

 

首先,這個函數不是f(y,x)=0的函數,判斷一個模型是否是線性,是通過分界面是否是線性來判斷的。

這個P函數是y關於x的后驗概率,它的非線性性不影響分界面的線性性。可以通過令兩種類別的概率相等,求解x的表達式,如果是線性的,那么就是線性模型。

 

打破線性也很簡單,只要變量之間相乘一下,或者使用非線性函數。

 

容易得出,softmax regression對於每兩個類別之間的boundary也是線性的。

 

現在的神經網絡使用RELU也就是max(0,x)進行非線性變換,可以看出這是一種非常簡單的非線性,可能在一定程度上依然有很強的線性性。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM