【9】点估计的优良性准则

估计量的无偏性

设某统计总体的分布包含未知参数( heta_1,..., heta_k)，(X_1,...,X_n)是从该总体中抽出的样本，要估计(g( heta_1,..., heta_k))。g为一已知函数，设(hat{g}(X_1,...,X_n))是一个估计量，若对任何可能的(( heta_1,..., heta_k))都有：

[E_{ heta_1,..., heta_k}[hat{g}(X_1,...,X_n)]=g( heta_1,..., heta_k) ]

则称(hat{g})是(g( heta_1,..., heta_k))的一个无偏估计量。

估计量的无偏性具有两种含义：
- 没有系统性的偏差，但随机误差总是存在，但把这些正负偏差在概率上平均起来，其值为零；
- 若估计量具有无偏性，则在大量次数使用取平均时，能以接近100%的把握无限逼近被估计的量。

样本方差：(S^2=frac{sum_{i=1}^n(X_i-overline{X})^2}{n-1})是总体方差(sigma^2)的无偏估计：

[egin{align} sum_{i=1}^n(X_i-overline{X})^2=&sum_{i=1}^n[(X_i-a)-(overline{X}-a)]^2\ =&sum_{i=1}^n(X_i-a)^2-2(overline{X}-a)sum_{i=1}^n(X_i-a)+n(overline{X}-a)^2\ ecause&left(sum_{i=1}^n(X_i-a)=n(overline{X}-a) ight)\ =&sum_{i=1}^n(X_i-a)^2-n(overline{X}-a)^2\ =&sum_{i=1}^n(X_i-E(X_i))^2-n(overline{X}-E(overline{X}))^2\ =&Var(X_i)-Var(overline{X})\ =&sigma^2-Var(frac{sum_{i=1}^nX_i}{n})\ =&sigma^2-sum_{i=1}^nfrac{Var(X_i)}{n^2}\ =&sigma^2-frac{sigma^2}{n} end{align} ]

[egin{align} E(S^2)=&frac{1}{n-1}Eleft(sum_{i=1}^n(X_i-overline{X})^2 ight)\ =&frac{1}{n-1}left(nsigma^2-sigma^2 ight)\ =&sigma^2 end{align} ]
即证明了，(S^2)是(sigma^2)的无偏估计。

这里分母为((n-1))是因为(overline{X})未知，而估计均值时用去了一个“自由度”。因此，自由度为“(n-1)”.

无偏估计不具有不变性，除非(g( heta))是( heta)的线性函数。

（Jackknife法-Quenouille,1949）

设(T(x))是基于样本(x=(x_1,dots,x_n))的关于(g( heta))的估计量，且满足(E_ heta T(x)=g( heta)+O(frac1n)),如以(x_{(-i)})表示从样本中删去(x_i)后的向量，则(T(x))的刀切统计量定义为：

[T_J(x)=nT(x)-frac{n-1}{n}sum_{i=1}^NT(x_{(-i)}) ]

可以证明刀切统计量具有以下性质：

[E_{ heta}T_J(x)=g( heta)+O(frac1{n^2}) ]

最小方差无偏估计

一个参数往往不止有一个无偏估计，想要从众多无偏估计中寻找最优的涉及到两个问题：

优良性准则
已定准则的情况下，如何去寻找最优者

均方误差

[M_{hat{ heta}}( heta)=E_{ heta}[hat{ heta}(X_1,...,X_n)- heta]^2 ]

上式称为估计量的均方误差，也可写作：

[M_{hat{ heta}}( heta)=E[hat{ heta}(X_1,...,X_n)- heta]^2=Var_{ heta}(hat{ heta})+[E_{ heta}(hat{ heta})- heta]^2 ]

若(hat{ heta})是( heta)的无偏估计，则第二项为0.

最小方差无偏估计

若局限于无偏估计的范围，且采用均方误差的准则，则两个无偏估计的比较归结于寻找方差小者为优。则可以设若(hat{ heta})是(g( heta))的无偏估计，且他的方差对(g( heta ))的任何一个无偏估计(hat{ heta_1})都有：

[Var_{ heta}(hat{ heta})leq Var_{ heta}(hat{ heta}_1) ]

对( heta)的任何可能取值都成立，则称(hat{ heta})为(g( heta))的一个最小方差无偏估计(Minimum Variance Unbiased, MVU)。

求解MVU估计的方法：克拉美-劳不等式

首先研究(g( heta))的一切无偏估计中，方差最小能达到多少，如果求出了一个方差的下界，则如果某个估计(hat{ heta})的方差达到了这个下界，那他必定就是MVU估计。设总体的概率密度函数(f(x, heta))只包含了一个参数，(X_1,X_2,...,X_n)为从该总体中抽出的样本，要估计(g( heta))，记：

[I( heta)=intleft((frac{partial f(x, heta)}{partial heta})^2/f(x, heta) ight)dx ]

Cramer-Rao Inequality.

在一定条件下，对(g( heta))的任意无偏估计(hat{g}=hat{g}(X_1,...,X_n)),有：

[Var_{ heta}(hat{g})geqfrac{[g'( heta)]^2}{nI( heta)} ]

记:

[S=S(X_1,...,X_n, heta)=sum_{i=1}^nfrac{partialln{f(X_i, heta)}}{partial heta}=sum_{i=1}^nfrac{partial f(X_i, heta)}{partial heta}/f(X_i, heta) ]

因为(f(x, heta))为密度函数，则(int f(x, heta)dx=1),对两边同时求导，则：

[E_{ heta}left[frac{partial f(X_i, heta)}{partial heta}/f(X_i, heta) ight]=intleft[frac{partial f(x, heta)}{partial heta}/f(x, heta) ight]f(x, heta)dx=0 ]

于是，由(X_1,...,X_n)的独立性，有：

[egin{align} Var_{ heta}(S)=&sum_{i=1}^nVar_{ heta}left(frac{partial f(X_i, heta)}{part heta}/f(X_i, heta) ight)\ =&sum_{i=1}^nE_{ heta}left[frac{partial f(X_i, heta)}{partial heta}/f(X_i, heta) ight]^2\ =&nintleft[frac{partial f(x, heta)}{partial heta}/f(x, heta) ight]^2f(x, heta)dx\ =&nI( heta) end{align} ]

又由 Cauchy-Schwarz Inequality ：

[[Cov_{ heta}(hat{g},S)]^2leq Var_{ heta}(hat{g})Var_{ heta}(S)=nI( heta)Var_{ heta}(hat{g}) ]

因为：(E_{ heta}(S)=0):

[Cov_{ heta}(hat{g},S)=E_{ heta}(hat{g}S)\=int...inthat{g}(x_1,...,x_n)sum_{i=1}^nleft[frac{partial f(x, heta)}{partial heta}/f(x, heta) ight]prod_{i=1}^nf(x_i, heta)dx_1...dx_n\ =frac{partleft[f(x_1, heta)...f(x_n, heta) ight]}{part heta} ]

则有：

[Cov_{ heta}(hat{g},S)=fracpart{part heta}int...inthat{g}(x_1,...,x_n)f(x_1, heta)...f(x_n, heta)dx_1...dx_n=g'( heta) ]

这个不等式给出了(g( heta))的无偏估计的方差的一个下界。