(转)样本方差的期望

本文转载自查看原文 2015-11-12 16:34 7868 数学

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：魏天闻
链接：http://www.zhihu.com/question/20099757/answer/26586088
来源：知乎

首先，我们假定随机变量

的数学期望 $\mu$ 是已知的，然而方差 $\sigma^2$ 未知。在这个条件下，根据方差的定义我们有
$\mathbb{E}\Big[\big(X_i -\mu\big)^2 \Big]=\sigma^2, \quad\forall i=1,\ldots,n,$

由此可得
$\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2$ .

因此 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2$ 是 方差 $\sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是！
这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量

的数学期望 $\mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $\bar{X}$ 替换掉上面式子中的 $\mu$ 。这样做有什么后果呢？后果就是，
如果直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 作为估计，那么你会倾向于低估方差！
这是因为：
$\begin{eqnarray} \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 &=& \frac{1}{n}\sum_{i=1}^n\Big[(X_i-\mu) + (\mu -\bar{X}) \Big]^2\\ &=& \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +\frac{2}{n}\sum_{i=1}^n(X_i-\mu)(\mu -\bar{X}) +\frac{1}{n}\sum_{i=1}^n(\mu -\bar{X})^2 \\ &=& \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +2(\bar{X}-\mu)(\mu -\bar{X}) +(\mu -\bar{X})^2 \\ &=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 -(\mu -\bar{X})^2 \end{eqnarray}$
换言之，除非正好 $\bar{X}=\mu$ ，否则我们一定有
$\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 <\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$ ,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 会导致对方差的低估。

那么，在不知道随机变量真实数学期望的前提下，如何“正确”的估计方差呢？答案是把上式中的分母

换成

，通过这种方法把原来的偏小的估计“放大”一点点，我们就能获得对方差的正确估计了：
$\mathbb{E}\Big[\frac{1}{n-1} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2\Big]=\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.$

至于为什么分母是 n-1

而不是

或者别的什么数，最好还是去看真正的数学证明，因为数学证明的根本目的就是告诉人们“为什么”；暂时我没有办法给出更“初等”的解释了。

=================================下面是证明===============================================

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 概率论 - 样本方差的期望服从正态分布的样本似然估计的期望和方差期望与方差期望，方差，均值以及均方差【转】总体样本方差的无偏估计样本方差为什么除以n-1 方差和样本方差（三）概率论之期望与方差统计——期望与方差向量期望与方差的关系样本方差与总体方差