邏輯回歸和線性回歸都是廣義線性模型中的一種，接下來我們來解釋為什么是這樣的？
1、指數族分布
指數族分布和指數分布是不一樣的，在概率統計中很對分布都可以用指數族分布來表示，比如高斯分布、伯努利分布、多項式分布、泊松分布等。指數族分布的表達式如下
其中η是natural parameter，T(y)是充分統計量，exp−a(η)是起到歸一化作用。 確定了T、a、b， 我們就可以確定某個參數為η的指數族分布。
統計學中很多熟悉的概率分布都是指數族分布的特定形式。下面我們介紹其中的伯努利分布和高斯分布，從而推導出邏輯回歸和線性回歸的表達式
1）伯努利分布
我們將伯努利分布的式子按照指數族分布的形式表示出來
把伯努利分布寫成指數族分布的形式，將指數族分布中的每一項都拆分出來，則有
我們根據上述式子可以得出Φ的表達式，式子的形式就是Sigmoid函數的形式
2）高斯分布
將高斯分布用指數族的形式表示
在這里我們假設了方差為1，簡化式子，便於我們的推導。將指數族分布中的每一項拆分出來
2、廣義線性模型
無論是在做分類問題還是回歸問題，我們都是在預測某個隨機變量y 和 隨機變量x 之間的函數關系。在推導線性模型之前，我們需要做出三個假設：
1）P(y|x; θ) 服從指數族分布
2）給定了x，我們的目的是預測T(y) 在條件x下的期望。一般情況下T(y) = y，這也就意味着我們希望預測h(x) = E[y|x]
3）參數η 和輸入x 是線性相關的：η=θTx
在這三個假設的前提下，我們可以開始推導我們的線性模型，對於這類線性模型稱之為廣義線性模型。
最小二乘法（線性回歸）
假設p(y|x; θ)∼N(μ, σ2)，μ可能依賴於x，那么有
因為輸出服從高斯分布，因此期望為μ，再結合上面的三天假設就可以推導出線性回歸的表達式。因此線性回歸模型的響應變量是服從高斯分布（正態分布）。
邏輯回歸（LR）
邏輯回歸是二分類問題，y∈ {0, 1}，對於二分類問題，我們假設p(y|x; θ)∼Bernoulli(ϕ)，即響應變量服從伯努利分布。那么有
因此可以看出邏輯回歸的表達式是如何得來的，為什么用Sigmoid函數來處理非線性問題
3、邏輯回歸
邏輯回歸是在線性回歸的基礎上演變過來的，邏輯回歸實際上是處理二分類問題的模型，輸出結果y∈ {0, 1}，為了滿足這樣的輸出結果，我們引入Sigmoid函數將行數的輸出值控制在(0, 1) 范圍內，Sigmoid函數表達式如下
因為邏輯回歸是個二分類問題，服從伯努利分布，輸出結果用概率的形式表示，可以將表達式寫成
為了便於后面的分析計算，我們將分段函數整合
對於給定的訓練樣本，這屬於已經發生的事情，在概率統計中認為已經發生事情應該是概率最大的事件（概率小的事件不容易發生），因此可以用極大似然法來求解模型參數，我們將所有樣本的聯合分布概率給出
為了便於計算，我們將似然函數轉化為對數似然函數
上面的函數是求極大值，而我們通常的損失函數都是求極小值，因此可以轉變為
對於損失函數J(w) 是比較復雜的，利用正規方程去獲得參數的解是很困難的，因此引入梯度下降法（梯度的負方向就是損失函數下降最快的方向），利用梯度下降來極小化損失函數。