大数定律及中心极限定理

大数定律

  表示试验次数无穷大时,样本均值就等于总体均值。

弱大数定律(辛钦大数定律)

  $X_1,X_2,X_3,...$是相互独立,服从期望$E(X_k) = mu$分布的随机变量,则对于任意$epsilon>0$,有:

$displaystyle lim_{n o infty}Pleft{left|frac{1}{n}sumlimits_{k=1}^{n}X_k - mu ight|<epsilon ight} = 1$

伯努利大数定律

  是辛钦大数定律的推论(其实就是一个特例),$f_A$是$n$次重复试验中事件$A$发生的次数,$p$是每次试验$A$发生的概率,对于任意$epsilon>0$,有:

$displaystyle lim_{n o infty}Pleft{left|frac{f_A}{n} - p ight|<epsilon ight} = 1$

中心极限定理

独立同分布的中心极限定理

  对于服从同一分布的相互独立随机变量$X_1,X_2,X_3,...$,期望和方差分别为$E(X_k)  = mu, D(X_k)=sigma^2>0$,则他们均值的标准化变量

$displaystyle Y_n = frac{displaystylefrac{1}{n}sumlimits_{k=1}^{n}X_k-E(frac{1}{n}sumlimits_{k=1}^{n}X_k)}{displaystylesqrt{D(frac{1}{n}sumlimits_{k=1}^{n}X_k)}} = frac{displaystylefrac{1}{n}sumlimits_{k=1}^{n}X_k-mu}{sigma/sqrt{n}} =  frac{overline{X}-mu}{sigma/sqrt{n}} $

  的分布函数$F_n(x)$对于任意$x$满足:

$displaystyle lim_{n o infty}F_n(x) = lim_{n o infty}Pleft{ frac{overline{X}-mu}{sigma/sqrt{n}}leqslant x ight} =  int _{-infty}^{x} frac{1}{sqrt{2pi}} e^{-t^2/2}{ m d}t = Phi(x)$

  也就是说,当抽样无穷大且各个抽样相互独立时,任何分布的标准化样本均值都服从标准正态分布。其实,在样本量比较大时,直接就把样本均值的分布看成正态分布就完事了。这样一来也可以用$t$分布了:

$displaystyle  frac{overline{X}-mu}{S/sqrt{n}} sim t(n-1)$

  书中没有给出证明,直观感受一下。抽样无穷大时,样本均值无限接近于总体均值也就是期望,样本均值的方差无限接近于0。这样一来,最后样本均值的分布和原本的分布没关系也就理所当然了。

独立不同分布的中心极限定理(李雅普诺夫定理)

  实际上就是,对于分别服从不同分布的相互独立随机变量$X_1,X_2,X_3,...$,他们的均值标准化后也服从标准正态分布。

二项分布的中心极限定理(棣莫弗—拉普拉斯定理)

  这是独立同分布的中心极限定理的特殊情况,也就是当这个分布是二项分布时,而其中的$X_k$只能取值为0或1。所以按照式子,对于期望是$p$的二项分布而言,有:

$displaystyle lim_{n o infty}Pleft{frac{displaystyle overline{X}-p}{sqrt{p(1-p)}/sqrt{n}}leqslant x ight} = Phi(x)$

  也就是说,当二项分布抽样无穷大时,抽中1的频率的分布标准化后服从标准正态分布。

原文地址:https://www.cnblogs.com/qizhou/p/12471257.html