集中不等式

集中不等式是数学中的一类不等式,描述了一个随机变量是否集中在某个取值附近。例如大数定律说明了一系列独立分布随机变量的平均值概率上趋近于它们的数学期望,这表示随着变量数目增大,平均值会集中在数学期望附近

马尔可夫不等式

马尔可夫不等式给出了一个实值随机变量取值大于等于某个特定数值的概率的上限。设X是一个随机变量,a>0为正实数,那么以下不等式成立

mathbb{P}(|X| geq a) leq frac{mathbb{E}(|X|)}{a}.

这个不等式可以推广。对所有的单调严格递增的非零函数Phi,都有类似的不等式:

mathbb{P}(X geq a) = mathbb{P}(Phi (X) geq Phi (a)) leq frac{mathbb{E}(Phi(X))}{Phi (a)}.

切比雪夫不等式

马尔可夫不等式给出了随机变量处于区间[a,infty)之概率的上限估计。切比雪夫不等式则给出了随机变量集中在距离其数学期望值距离不超过a的区间上之概率的上限估计。设X是一个随机变量,a>0为正实数,那么只要对随机变量Y=(X - mathbb{E}X)^2应用马尔可夫不等式就可以得到:

 mathbb{P}(|X-mathbb{E}(X)| geq a) leq frac{operatorname{Var}(X)}{a^2},

其中的operatorname{Var}(X)表示变量X的方差,也就是:

 operatorname{Var}(X) = mathbb{E}[(X - mathbb{E}(X) )^2].

Hoeffding不等式

Hoeffding不等式适用于有界的随机变量。设有两两独立的一系列随机变量X_1, dots, X_n !。假设对所有的1 leq i leq nX_i都是几乎有界的变量,即满足:

mathbb{P}(X_i in [a_i, b_i]) = 1. !

那么这n个随机变量的经验期望:

 overline{X} = frac{X_1 + cdots + X_n}{n}

满足以下的不等式:

 mathbb{P}(overline{X} - mathbb{E}[overline{X}] geq t) leq exp left( - frac{2t^2n^2}{sum_{i=1}^n (b_i - a_i)^2} 
ight),!

mathbb{P}(|overline{X} - mathbb{E}[overline{X}]| geq t) leq 2exp left( - frac{2t^2n^2}{sum_{i=1}^n (b_i - a_i)^2} 
ight),!

Efron–Stein不等式

Efron–Stein不等式给出了随机变量方差的一个上限估计。设有两两独立的随机变量X_1 dots X_nX_1' dots X_n',并且对所有的iX_i'X_i有着相同的分布。那么令X = (X_1,dots , X_n), X^{(i)} = (X_1, dots , X_{i-1}, X_i',X_{i+1}, dots , X_n),则有

 
mathrm{Var}(f(X)) leq frac{1}{2} sum_{i=1}^{n} E[(f(X)-f(X^{(i)}))^2].

原文地址:https://www.cnblogs.com/lysuns/p/4444542.html