我们进行参数估计的方法一般主要有最大似然估计和贝叶斯估计。这里提一下两种估计的门派来加深理解： 最大似然估计属于统计学里的频率学派。频率派从事件本身出发，认定事件本身是随机的。事件在重复试验中发生的频率趋于极限时，这个极限就是该事件的概率。事件的概率一般设为随机变量，当变量为离散变量时 ...

高斯分布 对于单维高斯分布而言，其概率密度函数可以表示成 \[p(x)=\frac{1}{\sqrt{2 \pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}} ...

一.实验题目 （所用参考教材：《模式分类》---机械工业出版社 李宏东 姚天翔等译） 4-3.考虑对于表格中的数据进行parzen窗估计和设计分类器，窗函数为一个球形的高斯函数， <a>编写程序，使用parzen窗估计方法对一个任意的样本点x进行分类。对分类器的训练则使用表格中 ...

均值和协方差矩阵的估计量定义 设模式的类概率密度函数为p(x)，则其均值向量定义为： 其中，x = (x1, x2, …, xn)T，m = (m1, m2, …, mn)T。若以样本的平均值作为均值向量的近似值，则均值估计量为： 协方差矩阵为： 其每个元素clk定义 ...

1.参数估计和非参数估计 　　前面提到随机变量的分布不是很明确时，我们需要先对随机变量的分布进行估计。有一种情况是我们知道变量分布的模型，但是具体分布的参数未知，我们通过确定这些未知参数就可以实现对变量的估计，这种方式就是参数估计。其中，比较基础且常见的参数估计方法有最大似然估计、最小二乘估计 ...

1.估计概率密度p(x|wi) （1）贝叶斯决策 （2）P（wi）和p（x | wi）的估计方法 ①先验概率P（wi）估计： 　　用训练数据中各类出现的频率估计。 　　依靠经验。 ② 类条件概率密度函数p（x | wi）估计，2类方法： 参数估计：最大似然估计，贝叶斯估计 ...

1. 点估计与优良性 点估计 　　总体 X 的分布函数形式已知，但它的一个或多个参数未知，借助总体的一个样本来估计总体未知参数的值的问题称为点估计。 　　点估计问题就是要构建一个适当的统计量 θ-hat（X1、.. 、Xn），用它的观察值 θ-hat (x1、.. 、 xn)来估计 ...

目录 1 点估计的概念与无偏性 2 矩估计及相合性 3 最大似然估计与EM算法 3.1 最大似然估计（MLE，maximum likelihood estimation） 3.2 EM算法（Expectation-maximization ...