极大似然估计学习时总会觉得有点不可思议，为什么可以这么做，什么情况才可以用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。 一、极大似然估计的思想与举例 举个简单的栗子：在一个盒子里有白色黑色小球若干个，每次有放回地从里面哪一个球，已知抽 ...

一、为什么要估计（estimate） 在概率，统计学中，我们所要观测的数据往往是很大的，(比如统计全国身高情况）我们几乎不可能去统计如此之多的值。这时候，就需要用到估计了。我们先抽取样本，然后通过统计样本的情况，去估计总体。下面是数学中常用到的术语： 　　·总体（Populantion ...

在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的无偏性与相合性。然而，仅有这两个性质是不足的，无偏性只能保证统计量的均值与待估参数一致，却无法控制统计量可能偏离待估参数的程度；相合性只能在大样本下保证统计量到均值的收敛性，但却对小样本情形束手无策。今天我们将注重于统计量的有效性 ...

极大似然估计（MLE）和极大后验估计（MAP）分别是频率学派和贝叶斯学派（统计学者分为两大学派，频率学派认为参数是非随机的，而贝叶斯学派认为参数也是随机变量）的参数估计方法，下面我们以线性回归分析为例，分别简要介绍MLE和MAP，两者的关系以及分别与最小二乘回归、正则化最小二乘回归分析的关系 ...

上篇文章中，我们探讨了区间估计的相关基本概念，也提出了Neyman置信区间，今天我们将聚焦于如何寻找置信区间的问题上，并对最常用的总体：正态总体给出一些置信区间的找法。为了方便起见，以下我们都让置信水平为\(1-\alpha\)。 由于本系列为我独自完成的，缺少审阅，如果有任何错误，欢迎在评论区 ...

注：点估计是参数估计中的一种。点估计常用的方法有两种：矩估计和最大似然估计。之所以要做估计，最本质的问题是我们能获得的信息量（样本的数量）有限，因此只能在有限的信息中，用合理的方法、在可接受的精度或置信度下做近似计算，以便对总体有一个大概的认识，也就是将某种在有限样本中获得的规律，推广到更大的样本 ...

的讨论给出了常用分布的参数点估计，并介绍了两种常用于寻找点估计量的方法——矩法与极大似然法；最后，我们对 ...

注：区间估计是除点估计之外的另一类参数估计。相对于点估计只给出一个具体的数值，区间估计能够给出一个估计的范围。 0. 点估计 vs 区间估计 根据具体样本观察值，点估计提供了一个明确的数值。但是这种判断的把握有多大，点估计本身并没有给出。区间估计就是为了弥补点估计的这种不足而提 ...