我们进行参数估计的方法一般主要有最大似然估计和贝叶斯估计。这里提一下两种估计的门派来加深理解： 最大似然估计属于统计学里的频率学派。频率派从事件本身出发，认定事件本身是随机的。事件在重复试验中发生的频率趋于极限时，这个极限就是该事件的概率。事件的概率一般设为随机变量，当变量为离散变量时 ...

原文：https://blog.csdn.net/yt71656/article/details/42585873 前几天上的机器学习课上，老师讲到了参数估计的三种方法：ML，MAP和Bayesian estimation。课后，又查了一些相关资料，以及老师推荐的LDA方面的论文 ...

一.实验题目 （所用参考教材：《模式分类》---机械工业出版社 李宏东 姚天翔等译） 4-3.考虑对于表格中的数据进行parzen窗估计和设计分类器，窗函数为一个球形的高斯函数， <a>编写程序，使用parzen窗估计方法对一个任意的样本点x进行分类。对分类器的训练则使用表格中 ...

均值和协方差矩阵的估计量定义 设模式的类概率密度函数为p(x)，则其均值向量定义为： 其中，x = (x1, x2, …, xn)T，m = (m1, m2, …, mn)T。若以样本的平均值作为均值向量的近似值，则均值估计量为： 协方差矩阵为： 其每个元素clk定义 ...

前言：介绍了最简单的最大似然估计，距离实现「朴素贝叶斯」还有一些距离。在这篇文章，我想分享一下，我所理解的「最大似然估计 - 高斯分布」。 问题 （这里都是玩具数据，为了方便理解才列出 ...

最大似然估计 似然与概率 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）和概率（Probability）是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛 ...

正则化是为了防止过拟合。 1. 范数 范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。 范数的一般化定义：对实数p>=1， 范数定义如下： L1范数： 当p ...

最小二乘法可以从Cost/Loss function角度去想，这是统计（机器）学习里面一个重要概念，一般建立模型就是让loss function最小，而最小二乘法可以认为是 loss function = （y_hat -y )^2的一个特例，类似的像各位说的还可以用各种距离度量来作为loss ...