Order Statistic

The Order Statistic
- 引理1 $F^{-1}$的一些基本性质
顺序统计量的分布
顺序统计量的条件分布
特殊分布的特殊性质
$hat{xi}_{pn}-xi_p$
$F_n$

Order Statistic

The Order Statistic

所谓顺序统计量, 即一族独立的观测(X_1, X_2, ldots, X_n)的排序后的产物

[X_{(1)} le X_{(2)} le cdots le X_{(n)}. ]

用大写的原因, 自然是我们可以将每一个元(X_{(i)})看成一个随机变量, 实际上它是(X_i, i=1,ldots, n)的一个函数, (X_{(i)} = X_{(i)}(X_1,X_2,cdots, X_n)).

推导顺序统计量的性质, 需要用到一个非常有用的表示方法, 设(F(x)=P(Xle x))为分布函数, 定义其逆为

[F^{-1}(y) = inf {x: F(x) ge y}, ]

有一个很好的性质是, 设(U)为([0,1])上的均匀分布, 则

[F^{-1}(U) = F=X, ]

实际上, 这是因为(P(F^{-1}(U) le u) Leftrightarrow P(U le F(u))=F(u)).

故, 倘若我们有独立的随机变量(U_1, U_2, ldots, U_n)以及独立同分布的(X_1, X_2,ldots, X_n), 我们有

[(X_{(1)}, X_{(2)}, cdots, X_{(n)}) = (F^{-1}(U_{(1)}), F^{-1}(U_{(2)}), cdots, F^{-1}(U_{(n)})). ]

另外, 令(F_n)表示(X)的一个经验分布, 显示为

[F_n(x) = frac{1}{n}sum_{i=1}^n mathbb{I}(X_i le x). ]

并令

[xi_p := F^{-1}(p), quad hat{xi}_{pn} := F_n^{-1}(p). ]

引理1 (F^{-1})的一些基本性质

引理1: 假设(F)为一分布函数, 则(F^{-1}(t), 0 < t < 1)是非降左连续的且满足

(F^{-1}F(x) le x, -infty < x < infty);
(F(F^{-1}(t)) ge t, 0 < t < 1);
(F(x) ge t)当前仅当(x ge F^{-1}(t)).

注: (F(x))是非降右连续.

顺序统计量的分布

定理1: 设(F(x))存在密度函数(f(x)).

[P(X_{(k)} le x) = sum_{i=k}^n mathrm{C}_n^i [F(x)]^i [1-F(x)]^{n-i}, -infty < x < infty. ]
(X_k)的密度函数为

[nmathrm{C}_{n-1}^{k-1} F^{k-1}(x) [1-F(x)]^{n-k} f(x). ]
(X_{(k_1)}, X_{(k_2)})的联合密度函数((x_1<x_2, k_1<k_2))为

[frac{n!}{(k_1-1)!(k_2-k_1-1)!(n-k_2)!}[F(x_1)]^{k_1-1} [F(x_2)-F(x_1)]^{k_2-k_1-1} \ [1-F(x_2)]^{n-k_2} f(x_1)f(x_2). ]
全体顺序统计量的密度函数为

[n!f(x_1)f(x_2)cdots f(z_n), quad -infty < x_1<x_2<cdots <x_n < infty. ]

proof: 1, 2的证明是简单的, 3需注意(X_{(k_1)}, X_{(k_2)})的分布函数为

[sum_{i=k_2}^n mathrm{C}_n^i [1-F(x_2)]^{n-i} Big{{} sum_{j=k_1}^i mathrm{C}_{k_2}^j [F(x_1)]^i [F(x_2)-F(x_1)]^{k_2-j} Big{}}. ]

此公式进行求导实际上是和1, 2的证明是类似的. 4的证明是平凡的.

顺序统计量的条件分布

定理2: 设(F(x))存在密度函数(f(x)), 则 (X_{(j)}|X_{(i)}, i< j)的分布等价于以(frac{F(x)-F(x_i)}{1-F(x_i)}, x_i le x < infty)为分布函数的 (n-i)个顺序统计量的第(j-i)个分布.

proof:

[egin{array}{ll} f(x_j|X_{(i)}=x_i) &= f_{X_(i), X_{(j)}}(x_i, x_j) / f_{X_{(i)}}(x_i) \ &= frac{(n-i)!}{(j-i-1)!(n-j)!} Big{{} frac{F(x_j)-F(x_i)}{1-F(x_i)} Big{}}^{j-i-1} imes Big{{} frac{1-F(x_j)}{1-F(x_i)} Big{}} frac{f(x_j)}{1-F(x_i)} \ &= (n-i)mathrm{C}_{n-i-1}^{j-i-1} [F_i(x_j)]^{j-i-1} [1-F_i(x_j)]^{n-j} [F_i(x_j)]'. end{array} ]

对比定理1中的公式即可知.

定理3: 设(F(x))存在密度函数(f(x)), 则(X_{(i)}|X_{(j)}, i<j)的分布等价于以(frac{F(x)}{F(x_j)}, -infty < x le x_j)为分布的(j-1)个顺序统计量的第(i)个分布.

proof: 证明同上.

特殊分布的特殊性质

定理4: 设(X_1, X_2, ldots, X_n)独立服从于标准指数分布, 令

[Z_i := (n-i+1) (X_{(i)} - X_{(i-1)}), quad X_{(0)} equiv 0, ]

则(Z_1, Z_2,ldots,Z_n)也独立服从于标准指数分布.

proof: 通过变量替换并利用Jacobian行列式从(x)变换到(z), 需要注意俩个分布的区域的差别.

定理5: 对于([0, 1])上的均匀分布, 则随机变量(V_1 = U_{(i)} / U_{(j)}) 且(V_2=U_{(j)}, 1 le i < j le n), 独立, 前者服从(Beta(i, j-1)), 后者服从(Beta(j, n-j+1)).

proof: 同上利用变量替换.

定理6: 对于([0, 1])上的均匀分布, 则随机变量

[V_1^* = frac{U_{(1)}}{U_{(2)}}, V_2^*=Big(frac{U_{(2)}}{U_{(3)}}Big)^2, cdots, V_{n-1}^*=Big(frac{U_{(n-1)}}{U_{(n)}}Big)^2, V_n^*=U_{(n)}^n, ]

独立且均服从于([0, 1])的均匀分布.

proof: 同样可以用变量替换来做, 不过文中是转换成指数分布然后利用前面的结论来证明的.

(hat{xi}_{pn}-xi_p)

定理7: 令(0 < p < 1.) 假设(xi_p)存在唯一解(x)使得(F(x^{-}) le p le F(x)), 则

[P(|hat{xi}_{pn} - xi_p| > epsilon) le 2 exp (-2ndelta_{epsilon}^2), forall epsilon > 0, n, ]

其中(delta_{epsilon} = min {F(xi_p+epsilon)-p, p-F(xi_p-epsilon)}).

proof: 证明拆成并用到了Hoffeding不等式, 感觉挺有技巧性的.

(F_n)

定理11:

(mathbb{E}(F_n(x)) = F(x));
(mathrm{Var}(F_n(x)) = frac{F(x)(1-F(x))}{n} ightarrow 0.)

proof: 只需注意到, (nF_n(x))实际上服从的是(mathrm{binomial}(n, F(x)))即可.

定理12:

[P{sup_x |F_n(x) - F(x)| ightarrow 0} = 1. ]

proof: 令(epsilon >0), 取(k > 1/epsilon)以及

[-infty =x_0 < x_1 < cdots < x_{k-1} < x_k = infty ]

使得(F(x_j^-) le j/kle F(x_j), j=1ldots, k-1). 若(x_{j-1}< x_j), 则(F(x_j^-)-F(x_{j-1}) < epsilon).

根据强大数定律, 有

[F_n(x_j) mathop{ ightarrow} limits^{a.s.} F(x_j), F_n(x_j^-) mathop{ ightarrow} limits^{a.s.} F(x_j^-), j=1,ldots, k-1. ]

故

[Delta_n = max(|F_n(x_j) - F(x_j)|, |F_n(x_j^-) - F(x_j^-)|, j=1,ldots,k-1) mathop{ ightarrow} limits^{a.s.} 0. ]

对于(x_{j-1}< x < x_j^-) (注(x=x_j)的情况下面不等式成立是天然的):

[F_n(x) - F(x) le F_n(x_j^-) - F(x_{j-1}) le F_n(x_j^-)-F(x_j^-)+epsilonle Delta_n + epsilon \ F_n(x) - F(x) ge F_n(x_{j-1}) - F(x_j^-) ge F_n(x_{j-1}) - F(x_{j-1}) -epsilon ge Delta_n - epsilon. ]

故

[sup_x|F_n(x) - F(x)| le Delta_n + epsilon mathop{ ightarrow}limits^{a.s.} epsilon. ]

对于任意的(epsilon)均成立. 故不等式成立.

注: 这里的证明和文中的有点不同, 感觉这么写更加合理.

注: 文中还讲了不少其它特别是渐进性质, 能力有限只能看个大概, 便不记录了.