線性回歸（Linear Regression）
是利用稱為線性回歸方程的最小平方函數對一個或多個自變量和因變量之間關系進行建模的一種回歸分析。這種函數是一個或多個稱為回歸系數的模型參數的線性組合（自變量都是一次方）。只有一個自變量的情況稱為簡單回歸，大於一個自變量情況的叫做多元回歸。
線性回歸的模型函數如下：
損失函數（基於均方誤差最小化）
通過訓練數據集尋找參數的最優解，即求解可以得minJ(θ)的參數向量θ,其中這里的參數向量也可以分為參數和w和b，分別表示權重和偏置值。
線性回歸方程可通過兩種方法求解，一種是梯度下降法（上篇博文已提到），另外一種就是通過正規方程組來求解，下面介紹正規方程組：
將數據集的數據寫成矩陣的形式：
則損失函數可以寫成：
求解正規方程組可得：
在這個方程組中需要求解(XTX)逆，需要(XTX)不滿秩。即希望X的列數多於行數。
logistic回歸
logistic回歸也稱為邏輯回歸，是一種廣義線性模型，它將分類任務的真實標記與線性回歸模型的預測值聯系起來。
邏輯回歸的假設函數為
或者：
這個假設函數叫邏輯函數（Logistic function）或者是S形函數（Sigmoid function），其輸出值在z=0處變化很陡。
這個函數有幾個優點：
一：它是直接對分類可能性進行建模，無需事先假設數據分布，這樣可以避免分布不准確所帶來的問題。
二：它不僅預測出類別，而是可以得到近似概率預測，這對許多需要利用概率輔助決策的任務很有用。
三：是任意階可導的凸函數，有很好的數學性質，求導結果：
。
邏輯回歸函數求解：通過最大似然估計來求解θ
邏輯回歸用於二分類的問題，y屬於{0,1}的問題，服從一個伯努利分布（Bernoulli distribution）：
將兩式寫在一起：
明顯當y=1時是第一個式子，當y=0時，是第二個式子。
對於概率問題，有m個樣本，我們可以得到它的對數似然函數：
這樣有了目標函數l(θ)，根據極大似然定理 ，當l(θ)最大的時候取得的θ，即為模型的最優解。
而邏輯回歸的代價函數就是−l(θ)，即−l(θ)越小越好。得到下式：
用梯度下降公式求解：
可得到迭代公式：
總結
線性模型
優點：結果易於理解，計算上不復雜。
缺點：對非線性數據擬合不好。
邏輯回歸模型：
優點：實現簡單；分類時計算量非常小，速度很快，存儲資源低；
缺點：容易欠擬合，一般准確度不太高，只能處理兩分類問題（在此基礎上衍生出來的softmax可以用於多分類），且必須線性可分；
最后，本文沒有對softmax函數進行推導，但是softmax函數在深度學習里面有很多應用，是有必要弄懂的一個函數。