一個典型的logistic regression模型是:
這里明明用了非線性函數,那為什么logistic regression還是線性模型呢?
首先,這個函數不是f(y,x)=0的函數,判斷一個模型是否是線性,是通過分界面是否是線性來判斷的。
這個P函數是y關於x的后驗概率,它的非線性性不影響分界面的線性性。可以通過令兩種類別的概率相等,求解x的表達式,如果是線性的,那么就是線性模型。
打破線性也很簡單,只要變量之間相乘一下,或者使用非線性函數。
容易得出,softmax regression對於每兩個類別之間的boundary也是線性的。
現在的神經網絡使用RELU也就是max(0,x)進行非線性變換,可以看出這是一種非常簡單的非線性,可能在一定程度上依然有很強的線性性。