機器學習技法--學習筆記04--Soft SVM
背景 之前所討論的SVM都是非常嚴格的hard版本，必須要求每個點都被正確的區分開。但是，實際情況時很少出現這種情況的，因為噪聲數據時無法避免的。所以，需要在hard SVM上添加容錯機制，使得可以 ...
原文：機器學習技法--學習筆記03--Kernel技巧
背景 上一講從對偶問題的角度描述了SVM問題，但是始終需要計算原始數據feature轉換后的數據。這一講，通過一個kernel 核函數 技巧，可以省去feature轉換計算，但是仍然可以利用feature轉換的特性。 什么是kernel Kernel的其實就是將向量feature轉換與點積運算合並后的運算，如下， 概念上很簡單，但是並不是所有的feature轉換函數都有kernel的特性。 Ker ...
2015-01-04 22:30 0 3814 推薦指數：
相關推薦
機器學習技法筆記-Lecture 7 Blending and bagging
blending和bagging都是 aggregation的方式。將許多不同的g組合成新的G. 首先引入幾種aggregation的方式 selection的方法是從備選中挑出最好的模 ...
台大林軒田老師《機器學習基石》和《機器學習技法》筆記大綱
注：本大綱和筆記是根據台大林軒田老師《機器學習基石》和《機器學習技法》視頻課程整理而來。林老師講課幽默風趣，授課內容豐富而又通透，解決了我作為初學者的很多困惑，對此我非常感激。關於林老師的視頻課程和相關資料，可參考這里。另外，個人認為，這里面講解的最最精彩的是SVM和機器學習的可行性這兩部分 ...
機器學習技法(7)--Blending and Bagging
Ensemble模型的基礎概念。 先總結歸納幾個aggregation的常見形式： 多選一的形式特別需要那幾個里面有一個表現好的，如果表現都不太好的時候，幾個模型融合到一起真的會表現好嗎？ ...
機器學習技法-GBDT算法
的集成學習模型（Aggregation Models）做了個很棒的總結。 一、RandomFores ...
《機器學習技法》---核型邏輯回歸
1 無約束形式的soft-SVM 我們知道，soft-SVM的一般形式是： 這里我們把松弛變量ξn寫成下面的形式（這里其實就是松弛變量的定義，如果這個點不違反硬條件，則它的松弛變量為0，否則的 ...
《機器學習技法》---隨機森林
1 隨機森林 bagging的好處是降低各個子分類器的variance，而決策樹又是對數據敏感的算法，variance比較大。因此我們很自然地就把bagging用到了決策樹。也就是基本的隨機森林算法： 隨機森林的好處是： （1）每棵樹並行化學習，非常有效率 （2）繼承了CART的好處 ...
《機器學習技法》---支持向量回歸
1 核型嶺回歸 首先，嶺回歸的形式如下： 在《核型邏輯回歸》中我們介紹過一個定理，即以上這種形式的問題，求得的w都能表示為z的線性組合： 因此我們把w代入，問題就轉化為求β的問題，同時引入核技巧： 求解這個問題，先求梯度： 令梯度為0，可以直接解出β： 上式中 ...