引言 對於SVM的大致原理之前已經講過了，但是對於公式的推導，很多書都並未做要求，而且在實際應用過程中並未涉及過深，但鑒於台大機器學習課程中講到了，自己為了鞏固自己的學習，也梳理一遍SVM中公式的推導 此處考慮了C，也就是懲罰因子，不再是之前的hard-margin ...

線性回歸 參考西瓜書《機器學習》線性回歸 給定訓練集\(D={(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), ..., (\boldsymbol x_i, y_i), ( \boldsymbol x_n, y_n ...

在之前的文章當中，我們介紹過了簡單的朴素貝葉斯分類模型，介紹過最小二乘法，所以這期文章我們順水推舟，來講講線性回歸模型。 線性回歸的本質其實是一種統計學當中的回歸分析方法，考察的是自變量和因變量之間的線性關聯。后來也許是建模的過程和模型訓練的方式和機器學習的理念比較接近，所以近年來，這個模型 ...

【機器學習】算法原理詳細推導與實現(二):邏輯回歸 在上一篇算法中，線性回歸實際上是 連續型 的結果，即 \(y\in R\) ，而邏輯回歸的 \(y\) 是離散型，只能取兩個值 \(y\in \{0,1\}\)，這可以用來處理一些分類的問題。 logistic函數 我們可能會遇到一些分類 ...

【機器學習】算法原理詳細推導與實現(一):線性回歸 今天我們這里要講第一個有監督學習算法，他可以用於一個回歸任務，這個算法叫做 線性回歸 房價預測 假設存在如下 m 組房價數據： 面積(m^2) 價格(萬元) 82.35 ...

　　今天不太想學習，炒個冷飯，講講機器學習十大算法里有名的EM算法，文章里面有些個人理解，如有錯漏，還請讀者不吝賜教。 　　眾所周知，極大似然估計是一種應用很廣泛的參數估計方法。例如我手頭有一些東北人的身高的數據，又知道身高的概率模型是高斯分布，那么利用極大化似然函數的方法可以估計出高斯分布 ...

【機器學習】EM算法詳細推導和講解 　今天不太想學習，炒個冷飯，講講機器學習十大算法里有名的EM算法，文章里面有些個人理解，如有錯漏，還請讀者不吝賜教。 　　眾所周知，極大似然估計是一種應用很廣泛的參數估計方法。例如我手頭有一些東北人的身高的數據，又知道身高的概率模型是高斯分布，那么利用極大化 ...

習題 4.1 　　試證明對於不含沖突數據 (即特征向量完全相同但標記不同) 的訓練集, 必存在與訓練集一致 (即訓練誤差為 0)的決策樹. 　　既然每個標記不同的數據特征向量都不同, 只要樹的每 ...