線性回歸 邏輯回歸 分類問題的區別
一、總結
一句話總結：
回歸算法：線性回歸是一種基本的回歸算法，當給出相應的訓練集后，通過線性回歸來尋找合適參數θ（向量）使得Hypothesis函數的Cost function最小。
分類算法：邏輯回歸是一個分類算法，邏輯回歸的Hypothesis和線性回歸非常相似，唯一的區別在於外層的sigmoid function
sigmoid：簡單來說，當參數大於0時，則函數值趨近於1，而當參數值小於0時，函數值趨近於0。因此邏輯回歸的Hypothesis可以解釋為樣本x屬於正類型的概率。當θx>0后，概率趨近於1，反之則趨近於0。
1、回歸和分類？
分類模型是將回歸模型的輸出離散化：回歸模型和分類模型本質一樣，分類模型是將回歸模型的輸出離散化
2、線性回歸和邏輯回歸的回歸函數以及代價函數？
線性回歸回歸函數：$$h_{\theta}(x)={\Theta}^TX$$
線性回歸代價函數：$$J(\theta)=\frac{1}{2m}\sum\limits_{i=0}^{m}(h_{\theta}(x^i)-y^i)^2$$
邏輯回歸回歸函數：$$h_\theta(x)=\frac{1}{1+e^{-{\Theta}X}}$$
邏輯回歸代價函數：$$J(\theta)=-y^i{\times}logh_{\theta}(x^i)+(1-y^i){\times}log(1-h_{\theta}(x^i))$$
二、線性回歸 邏輯回歸 分類問題的區別
轉自或參考：線性回歸 邏輯回歸 分類問題的區別
https://blog.csdn.net/bookwormsmallman/article/details/81099358
線性回歸
回歸函數： $$h_{\theta}(x)={\Theta}^TX$$
代價函數：$$J(\theta)=\frac{1}{2m}\sum\limits_{i=0}^{m}(h_{\theta}(x^i)-y^i)^2$$
邏輯回歸
回歸函數：$$h_\theta(x)=\frac{1}{1+e^{-{\Theta}X}}$$
代價函數：$$J(\theta)=-y^i{\times}logh_{\theta}(x^i)+(1-y^i){\times}log(1-h_{\theta}(x^i))$$
區別
邏輯回歸和線性回歸的區別在於輸出結果通過了sigmiod函數使得其取值范圍在(0，1)上。
回歸和分類
回歸模型和分類模型本質一樣，分類模型是將回歸模型的輸出離散化
三、線型回歸、邏輯回歸和神經網絡的區別
轉自或參考：線型回歸、邏輯回歸和神經網絡的區別
https://www.jianshu.com/p/4cd238493cbd
一、線型回歸（Linear regression）
二、梯度下降（Gradient descent)
三、邏輯回歸（Logistic regression）
邏輯回歸是一個分類算法，邏輯回歸的Hypothesis和線性回歸非常相似：
四、Bias、Variance
五、Regularization
總結：線型回歸和邏輯回歸都是適合線型可分的情況
六、神經網絡
實際上，可以將Logistic Regression看做是僅含有一層神經元的單層的神經網絡。一般用於二分類網絡，線性可分的情況，是一個線性模型，激活函數為Sigmoid，logistic regression的一個優點是logistic cost function 是一個凸函數，可以求得全局最小值，可以用極大似然估計求解。
神經網絡是一個對於處理復雜的非線性模型很優秀的算法。
神經元：
神經網絡：
就是一組神經元連接在一起的集合。神經網絡的第一層是輸入層，值為xi，最后一層是輸出層，如果作為分類算法訓練則有多少個類別就應該有多少個對應的輸出單元，對應的輸出單元被激活代表着分類的結果。隱藏層可以有多層，每層可以有多個單元，規模越大訓練的模型越復雜。而對於隱藏層中的每個單元本身都是一個邏輯回歸的過程，也就是說每個隱藏單元都訓練出了一個比前一層更加復雜的特征，這樣一層接一層我們就可以訓練出越來越復雜的特征，直到得到結果。
