概率論 - 樣本方差的期望
問題
設 \(X_{1},X_{2}...X_{n}\) 是來自總體 \(X\) 的樣本，則稱
樣本方差 \(S^{2}=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^2\)
理解
從樣本方差和總體方差的期望來看。
記 \(X\) 的期望為 \(\mu\) ，方差為 \(\sigma^2\) ，則
\(E\{S^2\}=E\{\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}\}\)
\(=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)
其中，
\(E(X_i^2)=D(X_i)+E^2(X_i)=\sigma^2+\mu^2\)
\(E(\overline{X}^2)=D(\overline{X})+E^2(\overline{X})\)
\(=D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)+E^2(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)\)
\(=\frac{1}{n^2}\displaystyle\sum_{i=1}^{n}D(X_i)+\frac{1}{n}\displaystyle\sum_{i=1}^{n}E^2(X_i)\)
\(=\frac{1}{n^2}n\sigma^2+\frac{1}{n}n\mu^2\)
\(=\frac{1}{n}\sigma^2+\mu^2\)
對於 \(E(X_i\overline{X})\)，由於對稱性，只考慮 \(E(X_1\overline{X})\)。
\(E(X_1\overline{X})=E[X_1(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)]\)
\(=\frac{1}{n}E(X_1^2+X_1X_2+X_1X_3+...+X_1X_n)\)
\(=\frac{1}{n}(\sigma^2+\mu^2+(n-1)\mu^2)\)
\(=\frac{\sigma^2}{n}+\mu^2\)
綜合，有
\(E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)
\(=\sigma^2+\mu^2-2(\frac{\sigma^2}{n}+\mu^2)+\frac{1}{n}\sigma^2+\mu^2\)
\(=\sigma^2-\frac{1}{n}\sigma^2\)
\(=\frac{n-1}{n}\sigma^2\)
即
\(E\{S^2\}=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\)
也即，樣本方差和總體方差的期望一致（無偏）。