参考：菜菜的sklearn教学之降维算法.pdf!! PCA(主成分分析法) 1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法，也就是我们不需要标签也能对数据做降维，这就使得其 ...

在学习李宏毅机器学习的课程中，在第二课中遇到了两个概念：过拟合(overfitting)和欠拟合(underfitting)，老师对于这两个概念产生的原因以及解决方案没有提及太多，所以今天就让我们一起 ...

1. SVM 原理 SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非 ...

参考资料：梯度下降优化算法总结(必看！！！！！！！) 梯度下降法（Gradient Descent）推导和示例(必看！！！) 梯度下降法 (Gradient De ...

参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读，方可全面了解LR)： (1).https://zhuanlan.zhihu.com/p/74874291 (2).逻辑回归与交叉熵 ...

参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读)： 1. https://zhuanlan.zhihu.com/p/86263786 2.https://blog.csdn.net/ ...

参考资料： 珍藏版 | 20道XGBoost面试题 推荐系统面试题之机器学习（一） -----树模型 1. 简单介绍一下XGBoost2. XGBoost与GBDT有什么不同3. XGBoost ...

参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读，方可更加了解Xgboost)： 1.对xgboost的理解(参考资料1和4是我认为对Xgboost理解总结最透彻的两篇文章，其根据作者p ...

正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。 一 ...

一、范数的概念 向量范数是定义了向量的类似于长度的性质，满足正定，齐次，三角不等式的关系就称作范数。 一般分为L0、L1、L2与L_infinity范数。 二、范数正则化背景 1.　 ...