機器學習中線性模型和非線性的區別
一、總結
一句話總結：
1)、線性和非線性的區別是是否可以用直線將樣本划分開(這個觀點是對的)
2)、線性模型可以是用曲線擬合樣本，但是分類的決策邊界一定是直線的，例如logistics模型
3)、區分是否為線性模型，主要是看一個乘法式子中自變量x前的系數w,如果w只影響一個x，那么此模型為線性模型。或者判斷決策邊界是否是線性的
1、線性模型和非線性模型實例？
線性模型：因為x1*w1中可以觀察到x1只被一個w1影響：$$y=\frac{1}{1+e^{w_0+w_1*x_1+w_2*x_2}}$$
非線性模型：x1不僅僅被參數w1影響，還被w5影響，如果自變量x被兩個以上的參數影響，那么此模型是非線性的：$$y=\frac{1}{1+w_5*e^{w_0+w_1*x_1+w_2*x_2}}$$
二、機器學習中線性模型和非線性的區別
轉自或參考：機器學習中線性模型和非線性的區別
http://blog.csdn.net/wbcnb/article/details/78306970
誤區
- 線性和非線性的區別是是否可以用直線將樣本划分開(這個觀點是對的)
- 和同學討論到logistics模型是線性還是非線性的，很難理解！(logistics模型是廣義線性模型)
- 區分一下回歸和分類問題，線性模型是可以用來曲線擬合(回歸)的，但是線性模型模型的分類一定是一條直線的，例如logistics模型。
線性模型和非線性模型區別
- 線性模型可以是用曲線擬合樣本，但是分類的決策邊界一定是直線的，例如logistics模型
- 區分是否為線性模型，主要是看一個乘法式子中自變量x前的系數w,如果w只影響一個x，那么此模型為線性模型。或者判斷決策邊界是否是線性的
- 舉例
$$y=\frac{1}{1+e^{w_0+w_1*x_1+w_2*x_2}}$$
畫出y和x是曲線關系，但是它是線性模型，因為x1*w1中可以觀察到x1只被一個w1影響
$$y=\frac{1}{1+w_5*e^{w_0+w_1*x_1+w_2*x_2}}$$
此模型是非線性模型，觀察到x1不僅僅被參數w1影響，還被w5影響，如果自變量x被兩個以上的參數影響，那么此模型是非線性的！
4 其實最簡單判別一個模型是否為線性的，只需要判別決策邊界是否是直線，也就是是否能用一條直線來划分
神經網絡是非線性
雖然神經網絡的每個節點是一個logistics模型，但是組合起來就是一個非線性模型。
此處我們僅僅考慮三層神經網絡
第一層的表達式
$$y1=\frac{1}{1+e^{w_0+w_1*x_1+w_2*x_2+w_3*x_3}}$$
$$y2=\frac{1}{1+e^{w_4+w_5*x_1+w_6*x_2+w_7*x_3}}$$
第二層的表達式
$$z=\frac{1}{1+e^{k_1+k_2*y_1+k_3*y_2}}$$
將第一層的表達式帶入第二層表達式中，可以觀察到x1變量不僅僅被w1影響還被k2影響，所以此模型不是一個線性模型，是個非線性模型。