机器学习技法--学习笔记04--Soft SVM
背景 之前所讨论的SVM都是非常严格的hard版本，必须要求每个点都被正确的区分开。但是，实际情况时很少出现这种情况的，因为噪声数据时无法避免的。所以，需要在hard SVM上添加容错机制，使得可以 ...
原文：机器学习技法--学习笔记03--Kernel技巧
背景 上一讲从对偶问题的角度描述了SVM问题，但是始终需要计算原始数据feature转换后的数据。这一讲，通过一个kernel 核函数 技巧，可以省去feature转换计算，但是仍然可以利用feature转换的特性。 什么是kernel Kernel的其实就是将向量feature转换与点积运算合并后的运算，如下， 概念上很简单，但是并不是所有的feature转换函数都有kernel的特性。 Ker ...
2015-01-04 22:30 0 3814 推荐指数：
相关推荐
机器学习技法笔记-Lecture 7 Blending and bagging
blending和bagging都是 aggregation的方式。将许多不同的g组合成新的G. 首先引入几种aggregation的方式 selection的方法是从备选中挑出最好的模 ...
台大林轩田老师《机器学习基石》和《机器学习技法》笔记大纲
注：本大纲和笔记是根据台大林轩田老师《机器学习基石》和《机器学习技法》视频课程整理而来。林老师讲课幽默风趣，授课内容丰富而又通透，解决了我作为初学者的很多困惑，对此我非常感激。关于林老师的视频课程和相关资料，可参考这里。另外，个人认为，这里面讲解的最最精彩的是SVM和机器学习的可行性这两部分 ...
机器学习技法(7)--Blending and Bagging
Ensemble模型的基础概念。 先总结归纳几个aggregation的常见形式： 多选一的形式特别需要那几个里面有一个表现好的，如果表现都不太好的时候，几个模型融合到一起真的会表现好吗？ ...
机器学习技法-GBDT算法
的集成学习模型（Aggregation Models）做了个很棒的总结。 一、RandomFores ...
《机器学习技法》---核型逻辑回归
1 无约束形式的soft-SVM 我们知道，soft-SVM的一般形式是： 这里我们把松弛变量ξn写成下面的形式（这里其实就是松弛变量的定义，如果这个点不违反硬条件，则它的松弛变量为0，否则的 ...
《机器学习技法》---随机森林
1 随机森林 bagging的好处是降低各个子分类器的variance，而决策树又是对数据敏感的算法，variance比较大。因此我们很自然地就把bagging用到了决策树。也就是基本的随机森林算法： 随机森林的好处是： （1）每棵树并行化学习，非常有效率 （2）继承了CART的好处 ...
《机器学习技法》---支持向量回归
1 核型岭回归 首先，岭回归的形式如下： 在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合： 因此我们把w代入，问题就转化为求β的问题，同时引入核技巧： 求解这个问题，先求梯度： 令梯度为0，可以直接解出β： 上式中 ...