概念儲備：　 　　（The least square method）和（least square error） 　　狹義的最小二乘方法，是線性假設下的一種有閉式解的參數 求解方法，最終結果為全局最優； 　　梯度下降法，是假設條件更為廣泛（無約束）的，一種通過迭代 ...

基本形式: 　　d個屬性描述的示例x=（x1;x2;...;xd）,xi是x在第i個屬性上的取值。線性模型試圖學一個通過屬性的線性組合進行預測的函數: 　　f(x)=w1x1+w2x2+...+wdxd+b， 　　向量形式為 　　f(x)=wTx+b 　　w=(w1;w2;...;wd ...

1. 線性回歸 什么是回歸？ 從大量的函數結果和自變量反推回函數表達式的過程就是回歸。線性回歸是利用數理統計中回歸分析來確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法。 一元線性回歸： 只包括一個自變量（）和一個因變量（），且二者的關系可用一條直線近似表示，這種回歸分析稱為 ...

一、基本形式 給定由d個屬性描述的示例x=(x1, x2, ..., xd)，則線性模型（linear mdel）的預測函數f(x)是屬性的線性組合，用向量形式表示為f(x) = wTx + b。 線性模型蘊涵了機器學習中一些重要的基本思想。通過在線性模型中引入層次結構或高維映射，就可以 ...

線性回歸, 是回歸分析中的一種, 其表示自變量與因變量之間存在線性關系. 回歸分析是從數據出發, 考察變量之間的數量關系, 並通過一定的數學關系式將這種關系描述出來, 再通過關系式來估計某個變量的取值, 同時給出該估計的可靠程度. 下面我們從一元線性回歸開始說起. 1. 一元線性回歸 在回歸 ...

　　對數線性模型是無向圖中經常使用的一種模型。其利用特征函數以及參數的方式對勢函數進行定義，可獲得較好的效果。在之前有向圖的學習中，我們發現可以利用d-seperet，充分統計，狄利克雷函數等方式來很優雅的獲得參數估計的解析解。但是在無向圖中，這些優越的條件都不復存在。而無向圖在現實條件下的使用 ...

　　極大似然估計是利用已知的樣本結果，去反推最有可能（最大概率）導致這樣結果的參數值，也就是在給定的觀測變量下去估計參數值。然而現實中可能存在這樣的問題，除了觀測變量之外，還存在着未知的隱變量，因為變量未知，因此無法直接通過最大似然估計直接求參數值。EM算法是一種迭代算法，用於含有隱變量的概率模型 ...

的，這里我們認為滿足多項式分布，，其中，有k個值{1,…,k}可以選取。而且我們認為在給定后，滿足多值高斯分 ...