概率论 - 样本方差的期望
问题
设 \(X_{1},X_{2}...X_{n}\) 是来自总体 \(X\) 的样本，则称
样本方差 \(S^{2}=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^2\)
理解
从样本方差和总体方差的期望来看。
记 \(X\) 的期望为 \(\mu\) ，方差为 \(\sigma^2\) ，则
\(E\{S^2\}=E\{\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}\}\)
\(=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)
其中，
\(E(X_i^2)=D(X_i)+E^2(X_i)=\sigma^2+\mu^2\)
\(E(\overline{X}^2)=D(\overline{X})+E^2(\overline{X})\)
\(=D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)+E^2(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)\)
\(=\frac{1}{n^2}\displaystyle\sum_{i=1}^{n}D(X_i)+\frac{1}{n}\displaystyle\sum_{i=1}^{n}E^2(X_i)\)
\(=\frac{1}{n^2}n\sigma^2+\frac{1}{n}n\mu^2\)
\(=\frac{1}{n}\sigma^2+\mu^2\)
对于 \(E(X_i\overline{X})\)，由于对称性，只考虑 \(E(X_1\overline{X})\)。
\(E(X_1\overline{X})=E[X_1(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)]\)
\(=\frac{1}{n}E(X_1^2+X_1X_2+X_1X_3+...+X_1X_n)\)
\(=\frac{1}{n}(\sigma^2+\mu^2+(n-1)\mu^2)\)
\(=\frac{\sigma^2}{n}+\mu^2\)
综合，有
\(E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)
\(=\sigma^2+\mu^2-2(\frac{\sigma^2}{n}+\mu^2)+\frac{1}{n}\sigma^2+\mu^2\)
\(=\sigma^2-\frac{1}{n}\sigma^2\)
\(=\frac{n-1}{n}\sigma^2\)
即
\(E\{S^2\}=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\)
也即，样本方差和总体方差的期望一致（无偏）。