软分类：y 的取值只有正负两个离散值，例如 {0, 1} 硬分类：y 是正负两类区间中的连续值，例如 [0, 1] 一、感知机 主要思想：分错的样本数越少越好 用指示函数统计分错的样本数 ...

Adaboost + CART 用 CART 决策树来作为 Adaboost 的基础学习器 但是问题在于，需要把决策树改成能接收带权样本输入的版本。（need: weighted DTr ...

一、bagging 用于基础模型复杂、容易过拟合的情况，用来减小 variance（比如决策树）。基础模型之间没有太多联系（相对于boosting来说），训练可以并行。但用 bagging 并不能有 ...

一、主要思想 利用正交变换把可能线性相关变量表示的观测数据，转换为由少数几个线性无关变量（主成分）表示的数据。（重构原始特征空间；线性降维） 要尽可能保留原始数据中的信息，两个思路： ...

一、主要思想 在 L2-norm 的误差意义下寻找对所有观测目标值 Y 拟合得最好的函数 f(X) = WTX 。 其中 yi 是 scalar，xi 和 W 都是 P 维向量（比实际的 xi 多 ...