邏輯回歸
先前所講的線性回歸主要是一個預測問題，根據已知的數據去預測接下來的情況。線性回歸中的房價的例子就很好地說明了這個問題。
然后在現實世界中，很多問題不是預測問題而是一個分類問題。
如郵件是否為垃圾郵件、金融交易是否正常，腫瘤是否是良性的。這新問題都是一個分類。
在分類問題中，結果一般是為0和1，0稱為負樣本或者是負類，如良性腫瘤。1稱為正樣本或者是正類，如惡性腫瘤。
那么是否能夠使用線性回歸的方式來解決分類問題呢？如下是一個辨別腫瘤是良性還是惡性的例子。
可以看到，貌似線性回歸是可以解決分類問題的。
但是如果是下面這個情況，
當多了一個數據之后，發現線性回歸就存在很明顯的偏差。但是這個數據是完全無意義的干擾數據，線性回歸為了擬合數據，導致最后的分類出錯。在線性回歸中還存一個很嚴重的問題就是，在分類問題中最終的結果只有0和1，但是在線性回歸中會出現小於1和大於0的結果。
總之，線性回歸是不適合處理分類問題的，線性回歸問題就可以考慮使用邏輯回歸來解決了。
PS:邏輯回歸的叫法是歷史原因，和回歸並沒有什么關系。
邏輯回歸表示
邏輯回歸的表示用下面的一張圖來進行說明
其中：
x,表示的是特征向量
g，代表邏輯函數(Logistic function)是一個常用的曲線函數(Sigmoid function),表達式為：
函數的圖像就如上圖所示。
h,表示的就是邏輯回歸，帶入到函數g中，最終得到的表達式就是
函數h表示的就是當輸入特征X時，根據輸入的特征計算輸出變量Y=1的可能性。假設h(x)=0.7,表示的就是患有惡性腫瘤的概率為0.7
判定邊界(Decision Boundary)
判定邊界能夠讓我們更好地理解邏輯回歸的函數在進行分類中的意義。
上圖就是邏輯回歸的函數表示以及圖像。
在邏輯回歸中，我們預測如果 當h>=0.5時，y=1;當h<0.5時，y=0。
當y=1時，要求h>=0.5，意味着g(z)>=0.5,那么就表示z>0,最后就得到了θtX>=0;同理，當y=0時，最后得到θtX<0。
下面就以一個例子來說明問題
其中的theta的參數分別為-3,1,1
存在如上圖所示的數據以及表示函數,如果要預測y=1的概率，最后得到的表達式為：
那么最后得到的方程在坐標軸顯示的如下：
其中的方程就是一個判定邊界，通過這條線就可以分辨出正樣本和負樣本了。
除了這種線性的判定邊界之外，還有一些其他形狀的判定邊界，如圓形。
除了這種線性的判定邊界之外，還有一些其他形狀的判定邊界，如圓形。
邏輯回歸中的代價函數
在將邏輯回歸中的代價函數之前，先來回顧一下之前講過的在線性回歸中的代價函數。
上面就是之前講過的線性回歸中的代價函數，這個代價函數在線性回歸中能夠很好地使用，但是在邏輯回歸中卻會出現問題，因為將邏輯回歸的表達式帶入到h函數中得到的是一個非凸函數的圖像，那么就會存在多個局部最優解，無法像凸函數一樣得到全局最優解。示例如下。
那么在邏輯回歸中就需要重新定義代價函數了
邏輯回歸中的代價函數為：
其中
最后得到的函數h和Cost函數之前的關系如下：
構建一個這樣的函數的好處是在於，當y=1時，h=1，如果h不為1時誤差隨着h的變小而增大；同樣，當y=0時，h=0，如果h不為0時誤差隨着h的變大而增大。
代價函數中的梯度下降
在上一節中的邏輯回歸中的代價函數中給出了代價函數的定義，最后可以簡化為:
最終的求解問題就是要求回歸函數的值最小，那么同樣可以使用在線性回歸中所用到的梯度函數。
上圖就是邏輯回歸的梯度求解過程，雖然看起來和線性回歸相似，但實則是完全不同的。在線性回歸中，h函數為theta的轉置與X的乘積，但是在邏輯回歸中則不是。這樣就導致了兩者在運算方面和優化方面是完全不同的。但是在運行梯度下降算法之前，進行特征縮放依舊是非常重要的。
高級優化
優化算法除了講到的梯度下降算法之外，還有一些叫做共軛梯度下降算法(BFGS,L-BFGS)。使用這些共軛梯度下降算法的好處在於，不需要手動地選擇學習率a，這些算法會自行嘗試選擇a;比梯度下降算法運算更快。
一般情況下，在常見的機器學習算法庫中都帶有這些算法，不需要程序員手動實現這些算法。
多類別分類問題
現實世界中除了二元的分類問題還有多元的分類問題，如對天氣的分類，是晴天、多雲、小雨等等天氣。
多元分類問題與二元分類問題的區別如下:
多元分類的思路與二元分類問題的解決思路是類似的。可以將多元問題變為兩元問題，具體如下：
這樣n元的分類問題，就會進行n次的機器學習的分類算法。對每一次的分類結果即為h(x)。那么經過n此分類之后，最后得到的結果為:
那么當輸入新的訓練集或者是變量X，只需要按照上面的思路進行分類，其中的h(x)的最大值就是對應的最后的分類結果。
為了能到遠方，腳下的每一步都不能少