線性模型和非線性模型的區別？
a. 線性模型可以用曲線擬合樣本，線性模型可以是用曲線擬合樣本，但是分類的決策邊界一定是直線的，例如logistics模型（廣義線性模型，將線性函數進行了一次映射）。
b. 區分是否為線性模型，主要是看一個乘法式子中自變量x前的系數w,如果w只影響一個x，那么此模型為線性模型。或者判斷決策邊界是否是線性的
舉例：
\[y=\frac{1}{1+e^{w_0+w_1*x_1+w_2*x_2}} \]
畫出y和x是曲線關系，但是它是線性模型，因為x1*w1中可以觀察到x1只被一個w1影響
\[y=\frac{1}{1+w_5*e^{w_0+w_1*x_1+w_2*x_2}} \]
此模型是非線性模型，觀察到x1不僅僅被參數w1影響，還被w5影響，如果自變量x被兩個以上的參數影響，那么此模型是非線性的！
c. 其實最簡單判別一個模型是否為線性的，只需要判別決策邊界是否是直線，也就是是否能用一條直線來划分
引申問題: 神經網絡激勵函數的作用是什么？
神經網絡激勵函數的作用是什么？有沒有形象的解釋？ - lee philip的回答 - 知乎
https://www.zhihu.com/question/22334626/answer/21036590
總結：sigmoid激活函數可以引入非線性因素，讓模型學習到一個分類平面，得到一個非線性的決策邊界，如下圖
舉例：
線性模型：LR
Logistic Regression模型是廣義線性模型，因為 logistic 回歸的決策邊界（decision boundary）是線性的：
LR是線性模型，可以理解為將普通的線性模型的結果映射到一個（0,1）的區間而已，然后划分一個界限（0.5）
非線性模型：神經網絡
雖然神經網絡的每個節點是一個logistics模型，但是組合起來就是一個非線性模型。
此處我們僅僅考慮三層神經網絡
第一層的表達式：
\[y1=\frac{1}{1+e^{w_0+w_1*x_1+w_2*x_2+w_3*x_3}} \]
\[y2=\frac{1}{1+e^{w_4+w_5*x_1+w_6*x_2+w_7*x_3}} \]
第二層的表達式：
\[z=\frac{1}{1+e^{k_1+k_2*y_1+k_3*y_2}} \]
將第一層的表達式帶入第二層表達式中，可以觀察到x1變量不僅僅被w1影響還被k2影響，所以此模型不是一個線性模型，是個非線性模型。