第8章 多元回归分析：推断问题

1、第8章 多元回归分析：推断问题 8.1 再一次正态性假定再一次正态性假定 如果回归分析的目的仅在于对回归模型的参数作点估计，则OLS法就足够了，并不需要对干扰项 的概率分布作任何假定。 如果我们的目的还在于区间估计和统计推断，那么，我们还需要假定 遵循某个概率分布。 我们假定 这样以来，估计量 也服从正态分布，其均值分别为 ，方差由（7.4.9）至（7.4.16）给出:iu2(0,)iuN123， ，123，iu22222332232321222232321var( ) ()iiiiiiiiXxXxX Xx xnxxx x （7.4.9） （7.4.10） （7.4.11） 或者： （7.4.

2、12）其中，r23是X2和X3的样本相关系数：)var()(11se22322322232)()()var(iiiiixxxxx2222223var()(1)ixr2322232223)(iiiixxxxr （7.4.13） （7.4.14） 或者： （7.4.15） （7.4.16） )var()(22se22322322223)()()var(iiiiixxxxx2322323var()(1)ixr)var()(33se (用于检验关于真实 的假定) 不可知，用它的无偏估计 代替，则有： （8.1.1） （8.1.2） （8.1.3）均服从自由度为n-3的t分布。222n3)n3)（222

3、)(111set)(222set333()tse 这样，我们就能对 和 进行区间估计和假设检验。21,38.2 多元回归中的假设检验：总评 检验关于个别偏回归系数的假设。 检验多元回归模型的总体显著性。 检验两个或多个系数是否相等。 检验所估计的回归模型的稳定性。 检验回归模型的函数形式。8.3 检验关于个别偏回归系数的假设检验关于个别偏回归系数的假设 在假定 下，就可以用t检验统计量对任意一个偏回归系数的假设进行检验。 设： 利用（8.1.2）式中的t统计量，即可进行检验。如果计算的t值超过选定显著性水平的临界t值就可以拒绝虚拟假设 ；否则就不拒绝它。 不必假定一个特定的显著性水平，使用P值

4、即可。 单尾检验：2(0,)iuN0:0:2120HH及0H0212:0:0HH及结论，t检验与区间估计的结果相同。 对于偏回归系数 也可做同样的分析。2/2222/22 95% ()()tsetse2假设检验和置信区间估计之间有密切的联系。检验也可以用区间估计来代替：的置信区间是：1误差项服务正态分布的检验。8.4 检验样本回归的总显著性检验样本回归的总显著性 上一节介绍的是个别的（individual）、单独的（separate）假设检验。现在考察这样的假设： 这个虚拟假设是关于 联合地或同时地等于零的一个联合假设（joint hypothesis）。 这样的假设检验被称为对所估计回归线的

5、总显著性（overall significance）检验。也就是，检验Y是否与 两者有线性关系。 在第8.4节中，对单个偏回归系数做显著性检验时，我们暗含地假定，每一个显著性检验都是根据一个不同的（独立的）样本进行的。也就是说，我们暗含地假定，在假设 下检验 显著性的样本，不同于在假设 下检验 显著性的样本。0:320H32和32XX 和2030232222233333 ()()1 ()()12222rrPt set sePt set se 虽然，下述两式：个别地看是正确的，但是如果说 和 同时包含于区间的概率是 就不对了。因为，如果用同样的数据去导出这些区间，这些区间就不会是独立的。23(1

6、)(1)22223333(),()(),()2222t set set set se和检验一系列单个假设，不等于联合地检验同样的这些假设。理由是，在对几个假设的一个联合检验中，任何一个单个假设都受其他假设所含信息的“影响”。TSS = ESS + RSS （8.5.2） TABLE 8.2 三变量回归的ANOVA表233222iiiiiiuxyxyy异来源 SS df MSS来自回归（ESS） 2来自残差（RSS）n-3 总计n-12233iiiiy xy x23322iiiixyxy2iu2yi322nui检验所观测到的多元回归的总显著性的方差分析法：F检验 可以证明，在 的正态性假定下，以

7、及在虚拟假设 下，统计量： （8.5.3）遵循自由度为2和 的F分布。F统计量的作用：可以证明，在 的假定下， （8.5.4）iu03222332() 2(3)iiiiiy xy xFunESS dfRSS df3n), 0(2Nui222)(3EnuEi再加上一个假定： ，便能证明： （8.5.5） 因此，如果虚拟假设是真实的，（8.5.4）和（8.5.5）都将对真实 给出同样的估计。也就是说，如果Y与 关系微不足道，则Y变异的唯一来源是来自 所代表的随机势力。换句话说， 对Y的联合影响和随机影响 毫无区别（来自随机影响）。 然而，如果虚拟假设谬误，即 确实影响Y，则不能在（8.5.4）和（

8、8.5.5）之间划等号。这时，在适当考虑自由度之后，ESS要相对大于RSS。从而（8.5.3）的F值对真实斜率系数同时为零的这一虚拟假设，提供了一种检验。032233222)(iiiixyxyE232XX 和32XX 和32XX 和iu 二、F检验的推广 给定 变量回归模型： 检验假设： ： ：所有斜率系数不同时为零 kiikkiiiuXXXY33221230k1H0H 计算 （8.5.7） 如果 ，则拒绝；否则不拒绝它。 其中 ， 是显著性水平为 ， 个分子自由度和 个分母自由度的临界F值。 为包括截距的自变量个数。 需要注意的是，个别假设检验和联合假设检验是不同的，有可能根据t检验接受某一

9、系数 为零的假设，但另一方面却拒绝全部系数为零的联合假设。)() 1(knRSSkESSdfRSSdfESSF(1,)FF knk0H(1,)F knk) 1( k)(kn kk 三、 和F的关系 假定干扰项 ，且有虚拟假设： （8.5.9）则有： （8.5.10） 服从 个自由度的F分布。2R), 0(2Nui0:320kH)() 1(knRSSkESSFknk 和12222222(1) (1) ()08.5.10() (1) 11 1 () ,0; 1 1 ;1,nk ESSFkRSSnkESSnkESS TSSkTSSESRkRSknkESS TSSnkRFRkRRFRF（）可以变形为：

10、则 由此可见，F检验既是所估计回归的总显著性的一个度量，也是 的一个显著性检验。换句话说，检验虚拟假设（8.5.9）等价于检验总体 的虚拟假设。 由于F和 之间关系密切，可以由 来表示方差分析表：表8.4 由 表示的ANOVA表 在计算F值时， 也将被消掉，F检验只须 和自由度便可进行，很方便。2R20R 2R2R2R变异来源 SS df MSS来自回归 2来自 残差 n-3总计 n-1)(22iyR2)(22iyR)(1 (22iyR) 3()(1 (22nyRi2iy2iy2R 在实际分析中会出现 很小，但F值很大从而模型是整体显著的情况。 重要的经验是：在涉及几个变量观测值的横截面数据中

11、，由于横截面单元的多样性，得到的 一般都很低，对横截面回归中得到的低 不用感到惊讶。重要的是，正确地设定模型，回归元具有正确的符号，以及统计显著的回归系数。2R2R2R 四、一个解释变量的边际贡献（Marginal Contribution） 假如我们序贯地（sequentially）引进 ；即先做Y对 的回归，并评估其显著性，然后，再把 加进到模型中，以判明它是否有任何贡献（当然，可以对调 进入的次序）。 当增加一个变量到模型中来时，我们观察是否相对于RSS来说“显著地”增加了ESS（从而 ）。这一贡献就叫做一个解释变量的增量（incremental）或边际（marginal）贡献（cont

12、ribution）。 那么，怎样决定一个X变量的引进是否能显著地减少RSS呢？可以通过方差分析来决定。32XX 和2X3X32XX 和2R 儿童的死亡率（CM）可能同人均GNP（PGNP）和妇女识字率（FLR）有关。1、仅对PGNP回归2、增加变量FLR： 假设我们先做 CM 对 PGDP 的回归，然后，我们决定把 FLR 加进模型中来，。现在的问题是： FLR 的边际或增量贡献是多少？ 这个增量贡献在统计上显著吗？ 根据什么准则把变量加进模型？这些问题同样需要通过方差分析来解决：表8.6 用于评估变量的增量贡献的ANOVA表 变异来源 SS df MSS ESS仅由于 1ESS由于 的加入

13、1 ESS由于 2 RSS n-3 总计 n-12X3X32XX 和221122Qx231QQQ32233Qiiiiy xy x453QQQ5Q2iy1Q /12Q /13Q /24Q /3n 评估在扣除 的贡献后 的增量贡献的统计量： （8.5.16） 其中，ESSnew新模型的ESS（加进新回归元后的 ） ESSold 老模型的ESS（即 ） RSSnew 新模型的RSS （ 指扣除所有回归元 的贡献后的 ）24QQ()()FESSESSRSSnnewoldnew自由度自由度新增回归元的个数自由度新模型中参数的个数2X3X3Q1Q4Q ,拒绝虚拟假设(虚拟假设： 的边际贡献不显著)，认为把

14、 加进模型中显著地增大ESS并因而增大 值，即应该加进 。 ,不拒绝 ， 不应该加进模型。（8.5.16）中的F统计量也可以用 重新表述如下： （8.5.18） (1,3)FFn(1,3)FFn3X3X2R3X0H3X2R222222()(1)()(1)()RRFRRRRnnewoldnewnewoldnew自由度自由度新回归元个数自由度新模型中的参数个数 何时加进一个新变量： 一般的原则是，如果增加一个变量能增加校正 的值，就把这个变量保留在模型中，即使它在统计上并不能显著地减少RSS。进一步地说，如果新增变量的系数的t值在绝对值上大于1，则 就增加。 或者：仅当一个新增解释变量的 值大于1

15、时，它的引进才使 增大。 何时加进一组变量： 从（8.5.18）式中可见：如果一组变量的加入（排除）给出一个大于1的F值， 将增加；如果一组变量的加入（排除）给出一个小于1的F值， 将减小。 是否增加了回归模型的解释能力是加入或删除变量的主要依据。2R2R)(2tF 2R2R2R26回归模型：检验假设：构造统计量可证明t服从自由度为(n-4)的t分布，其中1223344iiiiiYXXXu0343413434:()0:(0)HH或或343434()()()tse343434()var()var()2cov(,)se 343434()var()var()2cov(,)tt nk 8.5 回归系数

16、相等的检验回归系数相等的检验8.6受约束的最小二乘法：受约束的最小二乘法：检验线性等式约束条件检验线性等式约束条件 根据已有的经济理论，某一回归模型中的系数需满足一些线性等式约束条件。如：the Cobb-Douglas production function: (8.7.1) 其中：Y产出， 劳动投入， 资本投入。 对数形式： （8.7.2） 其中 假设所描述的生产是规模报酬不变，由经济理论可知： （8.7.3） 上式就是线性等式约束的例子之一。32123iuiiiYXXe02233lnlnlniiiiYXXu01ln3X2X132 有两种方法： 一、t检验方法 先做无约束的或无限制的回归（

17、unrestricted or unconstrained regression）: （8.7.2）得到 的估计值 。 检验统计量：02233lnlnlniiiiYXXu32和32和)()()(323232set如何判断规模报酬是否不变，即（8.7.3）是否成立？ 在虚拟假设 下，有 （8.7.4） 其中，分母是 的标准误。 如果t值超过在选定显著性水平上临界值，则拒绝 ，即规模报酬不变；否则不拒绝。 1:320H)cov(2)var()var(1)et)(320H 二、F检验法：受约束最小二乘法 前述t检验是一种静观后效法（post mortem examinati

18、on）。这种方法是在估计“无约束”回归之后再看线性约束是否被满足。 一种直接的方法是，一开始便把约束（8.7.3）纳入估计过程中。在本例中，有： 把（8.7.5）代入到柯布道格拉斯生产函数： 上述程序被称为受约束的最小二乘法（restricted least squares ,or RLS）。23321 (8.7.5):1 (8.7.6) 或03233023322033220332 ln(1)lnln ln(lnln) (lnln)(lnln) (8.7.7): ln()ln() (8.7iiiiiiiiiiiiiiiiiiYXXuXXXuYXXXuYXXXu或.8) 如何判定 是否真实？可通

19、过F检验来判定。令： m线性约束个数 （本例中是1） k无约束回归中的参数个数 n观测次数于是， , 即限制使 （8.7.9）服从 个自由度的F分布。1322R(8.7.2)UuRSS无约束回归的2(8.7.7)RuRSS受约束回归的22R2R()()()()RURURRUURSSRSSmFRSSnkuumunkRURRURRSSRSSESSESS说明ESS )(,knm ,拒绝 ，规模报酬可变； ，不拒绝 ，认为规模报酬不变。 F检验还可以通过 来求得： the values obtained from the unstricted regression。the values obtaine

20、d from the restricted regression。 注意：在受约束和无约束的两个模型中因变量不相同，则 和 不可直接比较，这时，可用第7章所述的程序把两个 值转化为可比的。FF0HFF0H2R222()(1) ()URRURRRmFRnk2RUR2RR2R2R2RUR2RR2R33一般的F检验方法n1.回归模型：n2.检验假设： H0假设可根据实际情况确定。如：H0: 2 = 3 H0 : 3 + 4 + 5 = 3 H0 : 3 = 4 = 5 = 6 = 0n3.决策规则： 若计算的F超过F(m, n k)，则拒绝原假设；否则就接受它。122iikkiiYXXu8.7 检验

21、回归模型的结构稳定性：邹至庄检验检验回归模型的结构稳定性：邹至庄检验 同样的回归模型，由于选取的数据的时期不同, 模型的参数估计结果可能相差悬殊。比如，中国在1978年前和1978年改革开放以后的情形就有很大的差别。 例子： 英国在重建时期和重建后时期的储蓄函数的结构可能不同，储蓄函数的参数可能发生了变化。结构性变化可能包括：截距的变化斜率的变化截距和斜率均变化。 256 表8.9 给出美国19701995年个人可支配收入（Y）和个人储蓄（ X）的数据。可以建立Y对X的回归。众所周知，美国1982年遭受其和平时期最大的衰退，城市失业率当年达到了自1948年来的最高水平9.7。1982是否是一个

22、转折点？如何检验呢？可以建立三个回归： 12111221970 1981: 1,2,1982 1995 ttttttYXutnYu（8.7.1a）（8.7.2a）21212 1,2,1970 1995: 1,2,ttttnYXutnn（8.7.3a）用Chow 检验（邹至庄检验检验（邹至庄检验）：（实质上是一种F检验） 两条假定： （b） 是独立分布的。检验机制如下： 第一步：合并 和 次观测值，估计（8.8.3），得残差平方和RSS3， 。其中k为所估参数的个数。2212( ) (0,) (0,)tta uNuN和ttuu21和knndf211n2n RRSSRSS为约束残差平方和，即， 因

23、为它是施加了和两个约束后得到的。第二步：估计（8.7.1a）,获得相应的RSS，称做RSS1 第三步：估计（8.7.2a）得到其残差平方RSS2 ， 1() dfnk。121212 ; 2 URURRSSRSSRSSRSSRSSRSSdfnnk第四步： 既然两个样本集可以视为独立的，就可以将和相加，得到无约束残差平方和 ，即：2() dfnk。 ，则拒绝（8.8.1）和(8.8.2)相同的假设，认为模型的结构不稳定。 ，不拒绝（8.8.1）和(8.8.2)相同，认为结构稳定。 FFFF12012 (2 ) (2 ) RURURRSSRSSkFF k nnkRSSnnkH第五步：设定虚拟假设：

24、不存在结构变动， 即（8.7.1a）和(8.7.2a)实质上相同。 构造统（，计量：）关于邹至庄检验的一些警告：n必须满足该检验背后的假定，必须弄清楚两个回归中误差方差是否相同；n邹至庄检验只告诉我们两个回归模型有差别，但没有告诉我们差别是来自截距、斜率还是二者都有；n邹至庄检验假定我们知道结构转折点。如何不能确定结构变动何时发生，必须使用其他方法，如递归残差检验。如何检验两个时期方差是否相同？21112RSSn22222RSSn122211(,)2222 / /nk nkF在虚拟假设下，F检验化简为1221(,)22nk nkF注：按照惯例，把两个估计方差中较大的一个放在分子中。n模型n给定样本以外的解释变量的观测值X0=(1,X01,X02,X0k)，可以得到被解释变量的预测值：n它可以是总体均值E(Y0) 的预