机器学习笔记 线性判别分析（中）
之前简要地介绍了一下线性判别函数的的基本性质，接下来我们进行更加详细的讨论。 文中大部分公式和图表来自 MLPP 和 PRML 我们将样本的分布用多元正态分布来近似，为了更加了解这个表达式的含义，我们对协方差矩阵做特征值分解，即Σ = UΛUT 然后将协方差矩阵的逆用同样方法分解 ...
原文：机器学习笔记 线性判别分析（上）
前面我们简要说明了贝叶斯学习的内容。由公式可以看出来，我们假定已经知道了似然概率的密度函数的信息，才能进行后验概率的预测。但有的时候，这些信息可能是不方便求出来的。因此，密度函数自身的估计问题成为了一个必须考虑的问题。 第一种思考的方法是跳出估计密度函数的问题，直接对样本集使用线性回归的方法。这样做虽然简单粗暴，但是仅仅适用于 连续型 分类的问题，或者说按照 自然顺序 分类。比如说小明今天晚上跪老 ...
2015-10-02 18:00 0 1772 推荐指数：
相关推荐
机器学习中的数学-线性判别分析(LDA)
前言在之前的一篇博客机器学习中的数学(7)——PCA的数学原理中深入讲解了，PCA的数学原理。谈到PCA就不得不谈LDA，他们就像是一对孪生兄弟，总是被人们放在一起学习，比较。这这篇博客中我们就来谈谈LDA模型。由于水平有限，积累还不够，有不足之处还望指点。下面就进入正题吧。 为什么要用LDA ...
机器学习降维之线性判别分析
1. LDA描述 线性判别分析(Linear Discriminant Analysis,LDA)是一种有监督学习算法，同时经常被用来对数据进行降维，它是Ronald Disher在1936年发明的，有些资料上也称位Fisher LDA.LDA是目前机器学习、数据挖掘领域中经典且热门的一种算法 ...
Python机器学习笔记：线性判别分析（LDA）算法
预备知识 首先学习两个概念： 线性分类：指存在一个线性方程可以把待分类数据分开，或者说用一个超平面能将正负样本区分开，表达式为y=wx，这里先说一下超平面，对于二维的情况，可以理解为一条直线，如一次函数。它的分类算法是基于一个线性的预测函数，决策的边界是平的，比如直线和平面。一般的方法 ...
机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)
转：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 版权声明： ...
机器学习入门-线性判别分析（LDA）1.LabelEncoder(进行标签的数字映射) 2.LinearDiscriminantAnalysis (sklearn的LDA模块)
LinearDiscriminantAnalysis as LDA 从sklearn的线性分析库中导入 ...
机器学习 —— 基础整理（四）特征提取之线性方法：主成分分析PCA、独立成分分析ICA、线性判别分析LDA
本文简单整理了以下内容： （一）维数灾难 （二）特征提取——线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA （一）维数灾难（Curse of dimensionality） 维数灾难就是说当样本的维数增加时，若要保持 ...
斯坦福机器学习实现与分析之五（高斯判别分析）
高斯判别分析（GDA）简介 首先，高斯判别分析的作用也是用于分类。对于两类样本，其服从伯努利分布，而对每个类中的样本，假定都服从高斯分布，则有: \( y\;\sim\;Bernouli(\phi) \) \( x|y=0\;\sim\;N(\mu_0, \Sigma ...