本文順序
一、回憶線性回歸
線性回歸用最小二乘法，轉換為極大似然估計求解參數W，但這很容易導致過擬合，由此引入了帶正則化的最小二乘法（可證明等價於最大后驗概率）
二、什么是貝葉斯回歸？
基於上面的討論，這里就可以引出本文的核心內容：貝葉斯線性回歸。
貝葉斯線性回歸不僅可以解決極大似然估計中存在的過擬合的問題。
- 它對數據樣本的利用率是100%，僅僅使用訓練樣本就可以有效而准確的確定模型的復雜度。
- 在極大似然估計線性回歸中我們把參數看成是一個未知的固定值，而貝葉斯學派則把看成是一個隨機變量。
貝葉斯回歸主要研究兩個問題：inference（求后驗）和prediction
下面結合圖來說明貝葉斯線性回歸的過程.
三、貝葉斯回歸的inference問題
四、貝葉斯回歸的prediction問題
根據inference求得的后驗求prediction
五、總結
貝葉斯回歸的優缺點
優點：
1. 貝葉斯回歸對數據有自適應能力，可以重復的利用實驗數據，並防止過擬合
2. 貝葉斯回歸可以在估計過程中引入正則項
缺點：
1. 貝葉斯回歸的學習過程開銷太大
參考文獻：