(轉)樣本方差的期望

本文轉載自查看原文 2015-11-12 16:34 7868 數學

著作權歸作者所有。
商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
作者：魏天聞
鏈接：http://www.zhihu.com/question/20099757/answer/26586088
來源：知乎

首先，我們假定隨機變量

的數學期望 $\mu$ 是已知的，然而方差 $\sigma^2$ 未知。在這個條件下，根據方差的定義我們有
$\mathbb{E}\Big[\big(X_i -\mu\big)^2 \Big]=\sigma^2, \quad\forall i=1,\ldots,n,$

由此可得
$\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2$ .

因此 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2$ 是 方差 $\sigma^2$ 的一個無偏估計，注意式中的分母不偏不倚正好是！
這個結果符合直覺，並且在數學上也是顯而易見的。

現在，我們考慮隨機變量

的數學期望 $\mu$ 是未知的情形。這時，我們會傾向於無腦直接用樣本均值 $\bar{X}$ 替換掉上面式子中的 $\mu$ 。這樣做有什么后果呢？后果就是，
如果直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 作為估計，那么你會傾向於低估方差！
這是因為：
$\begin{eqnarray} \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 &=& \frac{1}{n}\sum_{i=1}^n\Big[(X_i-\mu) + (\mu -\bar{X}) \Big]^2\\ &=& \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +\frac{2}{n}\sum_{i=1}^n(X_i-\mu)(\mu -\bar{X}) +\frac{1}{n}\sum_{i=1}^n(\mu -\bar{X})^2 \\ &=& \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +2(\bar{X}-\mu)(\mu -\bar{X}) +(\mu -\bar{X})^2 \\ &=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 -(\mu -\bar{X})^2 \end{eqnarray}$
換言之，除非正好 $\bar{X}=\mu$ ，否則我們一定有
$\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 <\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$ ,
而不等式右邊的那位才是的對方差的“正確”估計！
這個不等式說明了，為什么直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 會導致對方差的低估。

那么，在不知道隨機變量真實數學期望的前提下，如何“正確”的估計方差呢？答案是把上式中的分母

換成

，通過這種方法把原來的偏小的估計“放大”一點點，我們就能獲得對方差的正確估計了：
$\mathbb{E}\Big[\frac{1}{n-1} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2\Big]=\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.$

至於為什么分母是 n-1

而不是

或者別的什么數，最好還是去看真正的數學證明，因為數學證明的根本目的就是告訴人們“為什么”；暫時我沒有辦法給出更“初等”的解釋了。

=================================下面是證明===============================================

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 概率論 - 樣本方差的期望期望與方差【轉】總體樣本方差的無偏估計樣本方差為什么除以n-1 樣本方差、偏差平方和、為什么將樣本方差除以N-1? 方差與樣本方差的區別？為什么方差是除以N，樣本方差是除以N-1 數學期望和樣本均值期望、方差、協方差、相關系數正態總體的樣本均值和樣本方差的分布為什么樣本方差（sample variance）的分母是 n-1？