多元线性回归模型的各种检验方法

1、14对多元线性回归模型的各种检验方法对于形如v= P+P Y+P Y+P v +Y 0 1X1 2X2kXk u （ 1）的回归模型，我们可能需要对其实施如下的检验中的一 种或几种检验：一、对单个总体参数的假设检验：t检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设H0： ° j =aj ,做出具有统计意义（即带有一定的置信度）的检验，其中aj为某个给定的 已知数。特别是，当aj=0时，称为参数的（狭义意义 上的）显著性检验。如果拒绝 H。，说明解释变量Xj对 被解释变量Y具有显著的线性影响，估计值 "j才敢使 用；反之，说明解释变量 Xj对被解释变量Y

2、不具有显 著的线性影响，估计值也对我们就没有意义。具体检验 方法如下：(1) 给定虚拟假设 H。： =aj；.?j E(j)jajt = z =z- (2) 计算统计重SeC?j)Sa%)的数值;SeC?j)一？Cjj,其中 Cjj (XTX) 1 j i jM(3) 在给定的显著水平“下("不能大于0.1即 10%也即我们不能在置信度小于 90%U下的前提下做结 论)，查出双尾t (n-k-1)分布的临界值匕/2；(4) 如果出现| t|> %2的情况，检验结论为拒绝H0 ；反之，无法拒绝H。P?. - P .t检验方法的关键是统计量t = 蓊t必须服从已知的t分布函数。什么

3、情况或条件下才会这样呢？这需 要我们建立的模型满足如下的条件(或假定)：(D 随机抽样性。我们有一个含n次观测的随机样 “Xii,Xi2，Xik,Yj:i= 1,2,，n。这保证了误差 U 自身的随机性，即无自相关性，CoMurE(Ui)(Uj E(Uj)=0。(2)条件期望值为0。给定解释变量的任何值，误 差U的期望值为零。即有E(u|Xi,X2, ,Xk) = 0这也保证了误差U独立于解释变量X 1 ,X 2 , ,X ,即 模型中的解释变量是外生性的，也使得 E (U ) = 0。(3)不存在完全共线性。在样本因而在总体中， 没有一个解释变量是常数，解释变量之间也不存在严格 的线性关系。

4、(4)同方差性。Var(u|Xi,X2，Xk)2 =常数。2 .(5) 正态性。误差U满足u Normal (0/ )0在以上5个前提下，才可以推导出：?j N j,Var( ?j)(?j - j)/Sd( ?j)N(0,1)(?j - j)/Se( ?j)tn-k-1由此可见，t检验方法所要求的条件是极为苛刻的。二、对参数的一个线性组合的假设的检验需要检验的虚拟假设为 H。：，= %2。比如无法直接检验。设立新参数'1 = P 1 - P 2。原虚拟假设等价于H0： % = 0。将，= % + %代入原模型后 得出新模型：Y= ':0 1X12(X1 X2)kXk u (2)

5、在模型(2)中再利用t检验方法检验虚拟假设H。： 1=0。我们甚至还可以检验这样一个更一般的假设H)自 1n0 :八 P001 1kk Ct统计量为, 信入6“ 小t =t(n k 1), se2 入(Xx) 1 /三、对参数多个线性约束的假设检验：F检验需要检验的虚拟假设为H。：0,该假设对模型（i）施加了 q个排除性约束。模型（1） 在该约束下转变为如下的新模型：P V 1X1p V 2X2,X.k- q z'k- q(3)模型（1）称为不受约束（ur）的模型，而模型（3）称 为受约束（r）的模型。模型（3）也称为模型（1）的 嵌套模型，或子模型。分别用 OLS方法估计模型（1）和

6、（2）后，可以计算出如下的统计量:RSS rRSS ur / qRSS ur /( n k 1)关键在于，不需要满足t检验所需要的假定（3）,统计量F就满足：F Fq，n-k 一1。利用已知的F分布函数， 我们就可以拒绝或接受虚拟假设Ho：-q，= 0，-q+2,- ,=0了。所以，一般来讲，F检验比t检验更先使用，用的 更普遍，可信度更高。利用关系式RSS = TSS（1 - Rr2）,RSSr=TS1-R：r), F统计量还可以写成:LRu2r - Rr2 /qF = ;2TT7(1 - Ru2r )/(n - k - 1)四、对回归模型整体显著性的检验：F检验需要检验的虚拟假设为Ho ：

7、 B 1 = 0J 2J k = 0。相当于前一个检验问题的特例，q = k。嵌套模型变为Y= p 0+ u0 R2 = 0, RSG = TSS, R：r = r2o F统计量变为：_2(1 R2)/(nk 1). ESS/k RSS/(n k 1) 五、检验一般的线性约束需要检验的虚拟假设比如为 H0 ：二d11, 2,0k = 0。受约束模型变为:Y 0 X1 u再变形为：Y X1 P 0 uo F统计量只可用：l RSSr RSSur / qF =RSgr /(n k 1)其中，RSS = TS§_XJE (Y-XM)-(Y-Xi)2 = s 9-Y)-(XiXJ2。六、检验

8、两个数据集的回归参数是否相等：皱(至庄)检验虚拟假定是总体回归系数的真值相等。步骤如下：(1) 基于两组样本数据，进行相同设定的回归，将者的RSS另I记为RSS和RSS2。(2)将两组样本数据合并，基于合并的样本数据, 进行相同设定的回归，将回归的 RSS记为RSSt。(3) 计算下面的F统计量：l(RSST RSS RSS2)/(k+ 1)F =(RSS+ RS§)/(n1+ n2 - 2k 2)(4)如果F N Fa ,拒绝原假定。七、非正态假定下多个线性约束的大样本假设检验：LM (拉格郎日乘数)检验F检验方法需要模型(1)中的U满足正态性假定。在不满足正态性假定时，在大样本条

9、件下，可以使用LM统计量。虚拟假设依然是Ho ： P k-q+1=0/k-q+2；- Zk OoLM统计量仅要求对受约束模型的估计。具体步骤如下:(i)将Y对施加限制后的解释变量进行回归， 并 保留残差。即我们要进行了如下的回归估计 Y V VV0 1X1 2X2kqXkq u(ii)将对所有解释变量进行辅助回归，即进行如 下回归估计 - 99 vu01 X1?2X2ZXk ?并得到R-平方，记为RU2O2(iii)计算统计量 LM=nRu(iv)将LM与一分布中适当的临界值 C比较。如 果LM>c,就拒绝虚拟假设H。；否则，就不能拒绝虚拟 假设H0o八、对模型函数形式误设问题的一般检验

10、：RESET 如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系，那它就存在函数形式误设的问题。误设可以表现为两种形式：模型中遗漏了对被解释变量有系统性影响的解释变量；错误地设定了一个模型的函数形式。在侦察一般的函数形式误设 方面，拉姆齐(Ramsey 1969)的回归设定误差检验(regression specification error test , RESET)是一种常用的方法。RESE啃后的思想相当简单。如果 原模型(1)满足经典假定(3),那么在模型(1)中添 加解释变量的非线性关系应该是不显著的。尽管这样做通常能侦察出函数形式误设，但如果原模型中有许多解释

11、变量，它又有使用掉大量自由度的缺陷。另外，非线 性关系的形式也是多种多样的。RESETS是在中K型（1）中添加模型（1）的OLS拟合值的多项式，以侦察函数 形式误设的一般形式。为了实施RESET我们必须决定在一个扩大的回归 模型中包括多少个拟合值的函数。 虽然对这个问题没有 正确的答案，但在大多数应用研究中，都表明平方项和 三次项很有用。令表示从模型（1）所得到的OLS古计 值。考虑扩大的模型Y =兔+01X1 +F2X2 + +PkXk+61Y?2+62Y?3+S（4）这个模型看起来有些奇怪，因为原估计的拟合值的函数 现在却出作为解释变量出现。实际上，我们对模型（4） 的参数估计并不感兴趣，

12、我们只是利用这个模型来检验 模型（1）是否遗漏掉了重要的非线性关系。记住，P和 密都只是Xj的非线性函数。对模型（4）,我们检验虚拟假设Ho：6l0,62 = 0。这时， 模型（4）是无约束模型，模型（1）是受约束模型。计 算F统计量。需要查F2，n-k-3分布表。拒绝H0,模型（1）存在误设，否则，不存在误设。九、利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型(比如，试图决定某 一解释变量究竟应以水平值形式还是对数形式出现)作出检验，需要离开经典假设检验的辖域。有可能要相对 模型Y-0+ Llog(X) B 210g(X2)+Pklog(Xk)+，(5) 检验模型(1),或者把两

13、个模型反过来。然而，它们是 非嵌套的，所以我们不能仅使用标准的 F检验。有两种 不同的方法。一种方法由 Mizon and Richard (1986) 提出，构造一 个综合模型，将每个模型作为一个特殊情形而包含其 中，然后检验导致每个模型的约束。对于模型(1)和模型(5)而言，综合模型就是Y = " +ZX1 + +"Xk + +”#og(X1)+"”g(Xk) + R( 6)可以先检验Ho：”*=0，i - 0,作为对模型(1)的检验。也 可以通过对检验H0T1=0,16k=0,作为对模型(5)的检验。另一种方法由 Davison and MacKinnon

14、（1981） 提出。 认为，如果模型（1）是正确的，那么从模型（5）得到 的拟合值在模型（1）中应该是不显著的。因此，为了 检验模型（1）的正确性，首先用OLS古计模型（5）以 得到拟合值，并记为夫在新模型y = F0+P1X1 +吵2+FkXk+81落口（7）中计算中的t统计量，利用t检验拒绝或接受假定H°a . 0。 显著的t统计量就是拒绝模型（1）的证据。类似的， 为了检验模型（5）的正确性，首先用OLS古计模型（1） 以得到拟合值，并记为中。在新模型Y = P° +Pilog（Xi） + p2log（X2）+ + 久 log（Xk）+3«+N（ 8）中计算Y?的t统计量，利用t检验拒绝或接受假定Ho：30。 以上两种检验方法可以用于检验任意两个具有相同 的被解释变量的非嵌套模型。非嵌套检验存在一些问题。首先，不一定会出现一个 明显好的模型。两个模型可能都被拒绝，也可能没有一 个被拒绝。在后一种情形中，我们可以使用调整的R-平方进行选择。如果两个模型都被拒绝，则有更多的工作要做。不过，重要的是知道使用这种或那种函