一個典型的logistic regression模型是:
這里明明用了非線性函數，那為什么logistic regression還是線性模型呢？
首先，這個函數不是f(y,x)=0的函數，判斷一個模型是否是線性，是通過分界面是否是線性來判斷的。
這個P函數是y關於x的后驗概率，它的非線性性不影響分界面的線性性。可以通過令兩種類別的概率相等，求解x的表達式，如果是線性的，那么就是線性模型。
打破線性也很簡單，只要變量之間相乘一下，或者使用非線性函數。
容易得出，softmax regression對於每兩個類別之間的boundary也是線性的。
現在的神經網絡使用RELU也就是max(0,x)進行非線性變換，可以看出這是一種非常簡單的非線性，可能在一定程度上依然有很強的線性性。