原文:机器学习中的数学-线性判别分析(LDA)

前言在之前的一篇博客机器学习中的数学 PCA的数学原理中深入讲解了,PCA的数学原理。谈到PCA就不得不谈LDA,他们就像是一对孪生兄弟,总是被人们放在一起学习,比较。这这篇博客中我们就来谈谈LDA模型。由于水平有限,积累还不够,有不足之处还望指点。下面就进入正题吧。 为什么要用LDA前面的博客提到PCA是常用的有效的数据降维的方法,与之相同的是LDA也是一种将数据降维的方法。PCA已经是一种表现 ...

2019-08-22 14:03 0 510 推荐指数:

查看详情

机器学习笔记 线性判别分析

之前简要地介绍了一下线性判别函数的的基本性质,接下来我们进行更加详细的讨论。 文中大部分公式和图表来自 MLPP 和 PRML 我们将样本的分布用多元正态分布来近似,为了更加了解这个表达式的含义,我们对协方差矩阵做特征值分解,即Σ = UΛUT 然后将协方差矩阵的逆用同样方法分解 ...

Mon Oct 05 04:12:00 CST 2015 0 1940
Python机器学习笔记:线性判别分析LDA)算法

预备知识   首先学习两个概念:   线性分类:指存在一个线性方程可以把待分类数据分开,或者说用一个超平面能将正负样本区分开,表达式为y=wx,这里先说一下超平面,对于二维的情况,可以理解为一条直线,如一次函数。它的分类算法是基于一个线性的预测函数,决策的边界是平的,比如直线和平面。一般的方法 ...

Tue May 12 18:44:00 CST 2020 2 627
机器学习降维之线性判别分析

1. LDA描述 线性判别分析(Linear Discriminant Analysis,LDA)是一种有监督学习算法,同时经常被用来对数据进行降维,它是Ronald Disher在1936年发明的,有些资料上也称位Fisher LDA.LDA是目前机器学习、数据挖掘领域中经典且热门的一种算法 ...

Fri Jul 19 20:15:00 CST 2019 4 415
机器学习笔记 线性判别分析(上)

前面我们简要说明了贝叶斯学习的内容。由公式可以看出来,我们假定已经知道了似然概率的密度函数的信息,才能进行后验概率的预测。但有的时候,这些信息可能是不方便求出来的。因此,密度函数自身的估计问题成为了一个必须考虑的问题。 第一种思考的方法是跳出估计密度函数的问题,直接对样本集使用线性回归 ...

Sat Oct 03 02:00:00 CST 2015 0 1772
线性判别分析LDA

、甚至可以用皮尔森相关系数等。朴素贝叶斯分类用的就是Bayes判别法。本文要讲的线性判别分析就是用是F ...

Sat Aug 18 01:24:00 CST 2012 3 28805
LDA 线性判别分析

LDA, Linear Discriminant Analysis,线性判别分析。注意与LDA(Latent Dirichlet Allocation,主题生成模型)的区别。 1、引入   上文介绍的PCA方法对提取样本数据的主要变化信息非常有效,而忽略了次要变化的信息。在有些情况下,次要信息 ...

Thu Aug 13 00:29:00 CST 2015 1 5958
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM