以下是对于一些习题的记录。
一些常用结论
这里记录的是在解题过程中的一些关键步骤，或是一些有用的结论。
(SSR=hateta^2S_{XX}={S^2_{XY}over S_{XX}})
(eta={S_{XY}over S_{XX}})
(Corr^2(Y,hat Y)=R^2)
((X'X+lambda I)^{-1}X=X(X'X+lambda I)^{-1})
一个常用的定理
定理 1：对于 n 个独立同分布的正态观测 (X_1,...,X_noverset{iid}{sim}N(mu, sigma^2)) ，我们有：
- (ar{X}sim N(mu, {sigma^2over n}))
- (s^2={1over n-1}sum(X_i-ar X)^2sim {1over n-1}sigma^2chi^2_{n-1})
- (s^2ot ar X)
e.g. 假设检验
Consider a multiple linear regression model $Y = β_0 1_n + Xβ + epsilon, E(epsilon) = 0, cov(epsilon) = σ^2 I $, where (Y) is the (n × 1) observation vector and (X) is the (n × k) design matrix with full rank. Find the F-statistics for the following two hypothesis testing problems:
(1) (H_{01} : β_1 = ... = β_k = c)
(2) (H_{02} : β_1 = ... = β_k)
Here, c is some given (known) constant.
一道经典的假设检验问题，我会先给出解答，之后谈谈 Reduced Model 与假设检验之间的关系。
- 在（1）下，(β_1 = ... = β_k) 给定了，这时，我们不能把(X_ieta_i) 看成是一个随机变量，我们尝试把这些项排除出去。先来考虑(c=0) 情况：
这时，显然问题就变成了验证线性模型是否存在的情况，可以使用 F 检验；为了和后面的内容呼应，在这里先加以补充说明：来看(H_0)，若将其写成矩阵形式 (Ceta=0)，则这里的 C 是一个 (k imes k)的矩阵。这时，模型退化为
再来看 F 检验的具体形式：
（可以看到，这个 F 分布的自由度和在 Reduced Model 中的情况是一致的；此前并没有将两者联系起来，现在看来是有关系的。）
再来看 (c e0) 的情况，这时的模型为
我们做了简单的变形，退化到了(c=0) 时的情况。
- 在（2）中，没有给定具体的值，也就是说还带有随机性，不能像（1）中那样来处理了。我们令(eta_i=r)，则模型可表为
我们可以把 (X'1_n) 看成单独的一个新的变量(Z)。在新的变量下，我们的 design 变为 ( ilde X=(1_n,X1_n))。在这种 Reduced Model 下的 SSE 为
并且，我们不加证明地指出：
这里用到了一个重要的结论，即对于 Reduced Model 来说，假设约束 (Ceta=0) 中约束的个数（C 的行数）为 d，则 (SSE_R-SSR_F) 服从自由度为 d 的卡方分布；并且其与 (SSR_F) 是独立的。在（2）中，零假设可表为 (k-1) 个方程，因此得到上式。这样的话，我们容易得出检验统计量
至此，解题结束。
老师课上只是讲了模型的假设检验，之后讲了 Reduced Model，也介绍了如何对 Reduced Model 进行检验；然而由于这门课没有教材，一直没搞清楚两者的关系，基于这道题似乎看到了两者的关系：对于模型的检验实际上可以看做是对 Reduced Model 检验的一种特殊情况。
一直以为， Reduced Model 是在一定的约束之下去求估计，这样的理解当然没有问题；那么我们再往前想一步呢？这种线性约束是哪里来的？或者说，对于它的检验是怎么做的？
想到这一点，就容易理解了：我们的假设检验的过程，实际上就是在一个 Reduced Model 下进行的；只是，这时我们的约束比较特殊（对于模型的检验假定了所有的系数均为零，对于单个系数的检验假定了某个系数为零），在这样的约束之下（Reduced Model 之下）我们推导其分布并给出检验统计量。这种情况下，我们感兴趣的量是 (SSR)（因为它描述了模型能假设的变异的程度）并根据其分布给出了 F 统计量。我们进一步来看，
第一行是我们所熟知的分解；然而，我们来看 (SST)，在零假设之下（所有变量均与因变量无关），我们用样本均值来估计所有的点，这不正是 (SST) ？上面已经提到了，(H_0) 可以表示成一个 (k imes k)的矩阵，所以 (SSR) ，或者说 (SSE) 之差服从自由度为 k 的卡方分布。
从而说明了，对于模型的检验可以理解成对一个 Reduced Model 检验的过程；进一步，我们对任意的一个线性的假设检验，均可以从 Reduced Model 出发，逐步构建统计量。1. 一种方法是将约束表示成矩阵的形式，使用已有的公式直接暴力求解；2. 实际上，问题的难点就在于给出(SSE_R) 的表达形式，对于一些特殊的约束，我们可以通过对模型的变换或化简更为容易得得到其具体的形式，如在问题（1）中，我们变换成为对于模型的 F 检验，而在问题（2）中，我们通过变量代换最终给出了式（1），计算要比直接套 Reduced Model 的长串公式简单很多。
e.g. 误差相关下的 BLUE
Consider the linear regression model, (Y = Xβ + ε), where (Eε = 0) and (cov(ε) = σ^2 Σ), in which (Σ) is a known positive definite matrix. Find the BLUE for (β) and derive its variance-covariance matrix.
这是对于原来假定误差之间独立的线性回归的一个拓展。在这种情况下，我们可以对 Y 作变换，我们知道 (Ysim N(Xeta,sigma^2Sigma))，则有
于是，我们代入原有 LR 中的结论
并不加证明地指出，此 LSE 即为 BLUE（事实上，可用在误差不相关的情况下同样的思路进行证明，参考 wiki）。并有
e.g. 构建 CI
Let (Y_1^* , · · · , Y_m^*) be independent responses of m future (not yet observed) items such that
[Y^*= (Y_1^* , · · · , Y_m^*)'sim N_m(X^*eta, sigma^2I_m) ]for a given (m × d) design matrix (X^∗) . Let (a = (a_1 ,... , a_m )') be a vector of (m) known constants. Suppose we are interested in predicting
[l=sum_{j=1}^m a_jY_j^*=a'Y^* ]Give the (100(1 − α)%) prediction interval for (l).
先来看看我们要求的量的分布如何：
服从一个正态分布，那么很显然，我们对于(l) 的估计可采用其均值；注意，我们需要估计其中的参数，因此
另外，此题是对于一个未知量进行 predict，其本身就带有随机性（区别于对 mean response 进行 predict），因此，我们需要考虑的变量是 (hat l-l)，显然有
这样，我们就可以构建检验统计量
分子服从正态分布，分母服从 (sqrt{chi^2_{m-d}/m-d})，因此，总体服从 (t_{m-d}) 分布。这里要注意自由度，从 design 来看，列数为 (d)，可知自由参数为(d-1)个。为说明清楚，这里再赘述一下 (s^2=hatsigma^2={1over m-d}SSE) 。再基于此构建 CI。
总结：这道题的表述看似有点复杂，实际的意思就是说，我们计划了 m 个点 (x_i)，然后要从这些点去 predict 各 (y_i)，而最后要得到的结果是这整个预测向量Y 的一个线性组合。可以看到，这里的流程其实和求只给定了一个点 x，去求y 的 CI 的流程是一样的：1. 先分析待求量 (G) 的分布（一般为正态）；2. 构建预测表达式(hat G)（包含参数 (hateta)）；3. 求出 (hat G-G) 的分布（因为 (G) 本身可能是随机变量；这里就是求 mean 和 var）；4. 使用 t-test，注意把其中的方差替换为其预测量 (s^2)（注意其自由度）。
e.g. 证明：约定系数等于相关系数的平方
For a multiple linear regression model, prove that the coefficient of multiple determination is the square of the sample correlation between (y_i) and (hat y_i) .
一个重要的结论：**多元回归的决定系数 (R^2) 等于观测值和预测值之间的样本相关系的平方。
我们来看 corr 是什么形式，因为这两个 sample 的均值均为(ar Y)，因此该 corr 可表为
可以看到已经比较相似了，相较于 (R^2={SSRover SST})，为证
只需要证明
因此我们可以对左边进行添项展开
问题即变为证明 (sum(y_i-hat y)(hat y-ar y)=0)，为此，我们可以考虑其矩阵表示
对于前项显然为 0；对于后项来说，注意 H 为 X 所对应的表示矩阵，而 X 的第一列即为 1，因此(H1=1)，可见后项也为 0。证毕。
注：
- 对于（1）式有更简单的方法：
第二行中两个等式成立的原因和（2）式中一样。
- 另，对于 (ar{hat Y}=ar{Y}) 也简要说明：表示成矩阵形式
这里再次用到了这条等式：
e.g. (AIC) 和(C_p) 的等价性
证明：变量选择中，若已知方差(sigma^2) ，证明 max AIC 和 min (C_p) 是等价的
我们先来回忆两者的定义
AIC 实际上是对数似然加了一个惩罚项 (p)，其越大越好；而(C_p) 表征的则是「错误率」，越小越好。
我们把 AIC 进行变换
可见
e.g. 一个技巧
Show that the matrix (H(λ) = X(X^T X + λI)^{−1} X^T) , associated with ridge regression, is not a projection matrix (for any (λ > 0))
这里并不是想要解这道题，只是这里有个很妙的想法：因为有
两边各乘一个逆，可得
得到了一个非常优美的恒等式。
由此，我们可以得到
由于 (λ > 0)，因此 (X' X + λI e X'X) ，所以 (H^2(λ) e H(λ))，即 (H(λ)) 不是投影阵。
e.g. ridge
Recall that there exists (λ >) 0 such that (MSE(hat β) > MSE(hat β(λ))). Verify that this carries over to the linear predictor. That is, there exists a (λ > 0) such that
[MSE(hat Y ) = MSE(X hat β) > MSE(X hat β(λ)). ]
这里需要事先说明几点：这题是针对 ridge 的，其中
第一行为 LSE，第二行为其与无 ridge 的估计量的关系。注意该估计有偏
代入（1）式第二行，并利用(hateta)的无偏性即可。
另外，我们在这里定义的 (MSE) 也要说明一下，注意它是对于一个向量而言的，我们定义为
注意，这里的 (Var(hateta)) 不同于我们日常用的 (Cov(hateta))（尽管我日常也会把后者写成 var 的形式），我们在这里将两者进行区别，var 表示一个随机向量与其均值的距离平方的期望（是一个数字）；而将 cor 表为随机向量的协方差矩阵。我们也用平方来简化表示 bias 的内积。
对于(MSE(hat β) > MSE(hat β(λ))) 的证明是课上所讲，在此不给出了，其过程和下面是完全一样的。说明完毕，下面开始证明
第二行第一个等式用到了(hateta) 的无偏性，以及关系（3）。
在第二行中，我们将 var 转为 cor 并把式（2） bias 代入，第三行中我们将 (Cor(hateta(lambda))) （容易得到）代入；最终得到了一个(lambda) 的函数，我们对其求导
矩阵求导不太会，不知道有没有算错 Orz。Anyway，我们容易注意到
而在 0 点，(f(lambda)) 的导数值为
可见，总存在一个大于 0 的值，使得
小结：这题有点偏，结合了很多课上的结论，考试应该不会涉及；不过这里的思路还是很清楚的，里面的技巧也很有用，我把它写下来算是对矩阵的相关运算进行复习。
e.g. lasso 的唯一性
Lasso regression fits the linear regression model (Y = Xβ + epsilon) using the penalty with 1−norm, that is, the lasso regression loss function is given by
[L(β; λ_1 ) = ||Y − Xβ||^2_2 + λ_1 ||β||_1 ]and
[hat β(λ_1 ) = arg min L(β; λ_1 ) ]Show that its linear predictor (X β(λ_1 )) is unique.
这里提到了 lasso，要注意 lasso 可能没有唯一解；而这里要求证明虽然其解可能不唯一，但对于不同的估计来说其预测 (X β(λ_1 )) 却是唯一的。
我们先假定问题有两个不同的最优解 (eta_1, eta_2)
反证法，若假设有
则考虑到二次函数(||Y-a||^2)的强凸性，以及 1 范数的凸性，则对于线性组合 ( ildeeta=alphaeta_1+(1-alpha)eta_2)
也就是说， (eta_1, eta_2) 并非最优解，矛盾。
注：对于 lasso 来说，我们说明其唯一解的条件。
我们记
于是有
可见，只有当(X'X) 正定，也即 X 满秩 (rank(X)=p) 的情况下，loss 是强凸的，有唯一解。
e.g. RL 视角下的 ANOVA
Consider a 1-way ANOVA model. By rewriting the model using the regression approach, prove that (S_e /σ^2) (or (SSE/σ^2) )(sim χ_{n−r}^2) and is independent of (ar{ Y_{i.}}) .
写出 ANOVA 表示成线性回归的形式，然后直接利用 LR 中的方式来证明卡方分布。即证明 (I-H) 对称幂等，因此特征值均为1/0，并有(Tr(I-H)=n-r)，最终利用特征分解的形式得出结论。
为证明独立性，可将两者表示为：
即要证明(arepsilon_{i.})与(sum_{j}(epsilon_{ij}-ar epsilon_{i.})^2) 之间独立（(arepsilon_{i.}) 与其他项显然独立）。两者分别为({epsilon_{i1},...,epsilon_{in_i}}) 这些独立正态观测的方差和均值，由定理1 可知其独立。