约束条件下的多元回归

普通的线性约束

假设有如下的回归模型y=x0+b1x1+b2x2+…bn*xn
回归模型中有许多的参数, 假设我们猜测总体的参数中有约束条件如下:b1+b2=1,那么我们可以用样本数据来对这个约束假设进行验证么?

答案当然是可以。其思想为我们将约束条件放在模型中,产生一个新的模型,该模型只有K一1个参数(因为约束条件,减少了一个自由的参数),如果假设为真,总体中真的存在参数的约束,那么原模型的估计结婚中b1+b2应当是近似为1, 那么原模型的解释力度应当和新模型是一致的。表现在数据上,就是两个模型的残差平方和rss近似。直觉性的,我们可以构建F统计量来对原假设进行检验。

事实上,方程总体的显著性检验就是约束条件b1=b2=...bk=0,这样一个特例而已,在这种约束条件下模型的残差平方和等于回归平方和,非约束条件的残差平方和减去约束条件下的残差平方和等于约束条下的回归平方和。也就成了方程总体显著性检验现在的状况。

减少解释变量可以理解为对解释变量增加约束

如果我们发现某些变量在模型中并不显著,或者说即使显著,其大小也非常小(在量纲已经统一的前提下),那么我们想将其剔除是否可行呢?

我们可以对该变量施加约束条件如:b2=b3=0。对该约束条件的F检验就是对能否剔除这两个变量的检验。

原文地址:https://www.cnblogs.com/pingzeng/p/5058461.html