先來說說回歸的思想吧：
常見的回歸就是通過一系列的點，計算得到一條線。當有新的輸入時，可以直接計算得到輸出。用最小二乘法求解線性回歸方程就是我們最早接觸到的回歸。對於線的表示都不盡相同，如線性回歸得到的預測函數是y=w⃗ T∗x⃗ +a，邏輯回歸則是一條S型曲線。
邏輯回歸和線性回歸（Linear Regression）的區別如下：
- 普通線性回歸主要用於連續變量的預測，即，線性回歸的輸出y的取值范圍是整個實數區間（y∈R）
- 邏輯回歸用於離散變量的分類，即它的輸出y的取值范圍是一個離散的集合，主要用於類的判別，而且其輸出值y表示屬於某一類的概
Logistic Regression邏輯回歸主要用於分類問題，常用來預測概率，如知道一個人的年齡、體重、身高、血壓等信息，預測其患心臟病的概率是多少。經典的LR用於二分類問題（只有0,1兩類）。
二分類問題
二分類問題是指預測的y值只有兩個取值（0或1），二分類問題可以擴展到多分類問題。例如：我們要做一個垃圾郵件過濾系統，
是郵件的特征，預測的y值就是郵件的類別，是垃圾郵件還是正常郵件。對於類別我們通常稱為正類（positive class）和負類（negative class），垃圾郵件的例子中，正類就是正常郵件，負類就是垃圾郵件。
邏輯回歸
Logistic函數
對於任意的x值，對應的y值都在區間(0,1)內。
函數公式為：
，
決策邊界（Decision Boundary）
線性的決策邊界，如圖所示的決策邊界為x1+x2 = 3
另一種決策邊界，決策邊界為x1^2+ x2^2 = 1
邏輯回歸的代價函數：
邏輯回歸的代價函數很可能是一個非凸函數(non-convex)，有很多局部最優點，所以如果用梯度下降法，不能保證會收斂到全局最小值。
多分類問題
過擬合問題overfitting——正則化Regulation
overfitting:If we have too many features, the learned hypothesis may fit the training set very well , but fail to generalize to new examples (predict prices on new examples).
過擬合：如果特征值過多，學習模型能很好的適應訓練集，但無法對新數據進行很好的預測，泛化能力弱。
圖三屬於overfitting
解決方法：
1、減少特征數量（找主要的，或者用算法找）
2、正則化（保留所有參數，但較少維度或數量級）
正則化項：加入參數過多的懲罰，其中lamda是控制正則化參數
如果lamda過大，會造成欠擬合underfitting，相當於所有theta都約等於0，只剩第一項。
正則化線性回歸：正則化+梯度下降結合：
不懲罰theta0
正規方程的求解：
