概率论最重要的一方面就是关注随机变量序列的趋势,这部分内容称为大样本理论或极限理论。
两种重要思想:
1、大数定律说明样本均值\(\tilde{X_n}=n^{-1}\sum_{i=1}^nX_i依概率收敛于期望\mu,意味着\tilde{X_n}以很高的概率趋于\mu\)
2、中心极限定理说明\(\sqrt{n}(\tilde{x}_n-\mu)\)依分布收敛于正态分布,意味着对很大的n,样本均值渐进服从正态分布。大量相互独立的随机变量,其均值(或者和)的分布以正态分布为极限
收敛的类型
1、依概率收敛
当\(n\to \infty时,有P(|X_n-X|>\epsilon)\to 0\),则称\(X_n\)依概率收敛于X
2.依分布收敛
如果对F的所有连续的点t,有\(\lim_{n \to +\infty}F_n(t)=F(t)\)
则称\(X_n\)依分布收敛于X,记为\(X_n \to X\)
3、几乎必然收敛
如果\(P({\omega:X_n(\omega)\to X(\omega)})=1\),则称\(X_n\)几乎必然收敛于X
4.如果当\(n\to \infty\)时,\(E|X_n-X|\to 0\),则称\(X_n依L_1\)收敛于X
大数定理
大数定理指出大量样本的均值近似于分布的均值;即当n越大,样本均值与分布的均值越接近,但它仅指出\(X_n\)的分布会聚集在均值附近。
弱大数定理:如果\(X_1,\cdots,X_n\)为独立同分布样本,则\(\hat{X}_n \to \mu\)
以抛筛子为例:当n越大时,样本均值\(\frac{1}{n}\sum X_i\)越接近分布均值3.5
中心极限定律:
令\(X_1,\cdots,X_n为均值为\mu方差为\sigma^2的独立同分布\),则样本均值近似分布均值为\(\mu,\)方差为\(\frac{\sigma^2}{n}\)的正态分布。
比如你要调查一个国家人民的体重的平均值,每次取1000个体重值作为样本,对应就有一个样本均值。你再从总体中重復抽取n多次1000个样本,就对应有n个样本均值。随着n增大,把所有样本均值画出来,得到的就是一个接近正太分布的图,且n越大,方差\(\sigma^2/n\)越小
Delta方法
假设\(\frac{\sqrt{n}(Y_n-\mu)}{\sigma}服从N(0,1)\),g为可微函数满足\(g'(\mu)\neq 0 ,则\)