计量经济学)多元线性回归模型的统计检验

1、3.2 3.2 多元线性回归模型的统计检验多元线性回归模型的统计检验statistical test of multiple statistical test of multiple linear regression modellinear regression model 说说 明明 计量经济学模型是应用数理统计方法建立的一类计量经济学模型是应用数理统计方法建立的一类经济数学模型，所以在模型参数估计出来后，必经济数学模型，所以在模型参数估计出来后，必须检验其估计的可靠程度是否满足数理统计学理须检验其估计的可靠程度是否满足数理统计学理论与方法上的要求。论与方法上的要求。 计量经济学模型的统计

2、检验主要包括计量经济学模型的统计检验主要包括: 拟合优度检验拟合优度检验 方程的显著性检验方程的显著性检验 变量的显著性检验变量的显著性检验 一、拟合优度检验一、拟合优度检验( (testing the simulation level) ) 拟合优度检验：拟合优度检验：检验模型对样本观测值的拟合检验模型对样本观测值的拟合程度。程度。 在一元回归模型中，拟合优度检验是通过构造在一元回归模型中，拟合优度检验是通过构造一个可以表征拟合程度的一个可以表征拟合程度的统计量统计量r r2 2来实现。来实现。 在多元回归模型中，也可以用在多元回归模型中，也可以用该统计量该统计量来衡量来衡量样本回归线对样本

3、观测值的拟合程度。样本回归线对样本观测值的拟合程度。总离差平方和、回归平方和及残差平方和总离差平方和、回归平方和及残差平方和 定义定义tsstss为为总离差平方和总离差平方和（total sum of squarestotal sum of squares），反映，反映被解释变被解释变量量样本观测值总体离差的大小；样本观测值总体离差的大小；essess为为回归平方和回归平方和（explained sum of squaresexplained sum of squares），反映反映被解被解释变量释变量回归估计值的变差大小，也是模型中的解释变量所解释回归估计值的变差大小，也是模型中的解释变量所

4、解释的那部分离差的大小的那部分离差的大小；rssrss为为残差平方和残差平方和（residual sum of squaresresidual sum of squares），反映，反映被解释被解释变量变量样本观测值与估计值偏离的大小，也是模型中解释变量未样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。解释的那部分离差的大小。222)()()(iiiiyyrssyyessyytss 那么，那么，tss、ess、rss之间存在的如下关系：之间存在的如下关系： 总离差平方和总离差平方和 = 回归平方和回归平方和 + 残差平方和残差平方和 tss = ess + rss关于

5、关于tss=ess+ rss的证明过程的证明过程（教材（教材p73p73）0)(1iiiyyx)()()()()(22110iiiiikkiiiiiiiiiiyyyyyxxxyyyyyyyyyy)()()()()(22110iiiiikkiiiiiiiiyyyyyxyyxyyxyy证明：证明： 将tss，即总离差平方和进行分解： 2222)()(2)()()()(yyyyyyyyyyyyyytssiiiiiiiiii其中根据正规方程组正规方程组（见教材（见教材p67p67（3.2.63.2.6）式）式），有： 0)(iiyy 0)(2iiiyyx0)(iiikyyx所以 0)(yyyyiii2

6、22)()()(yyyyyyiiiitss=rss+ess 注意：注意：回归平方和回归平方和反映了反映了总离差平方和总离差平方和中可由样本回归线解释中可由样本回归线解释的部分，它越大，的部分，它越大，残差平方和残差平方和越小，样本回归线对样本观测值越小，样本回归线对样本观测值的拟合程度越高。的拟合程度越高。 （教材（教材p74）所以，可以用可以用回归平方和占总离差平方和的比重回归平方和占总离差平方和的比重来衡量样本回来衡量样本回归线对样本观测值的拟合程度归线对样本观测值的拟合程度。也即用222)()(yyyytssessrii检验模型的拟合优度。从而22221iiiiyeyyr2叫做多重可决系

7、数多重可决系数，也简称为可决系数可决系数或判定系数判定系数。但是在应用过程中人们发现，如果在模型中增加一个解释变量，但是在应用过程中人们发现，如果在模型中增加一个解释变量，那么模型的回归平方和随之增大，从而那么模型的回归平方和随之增大，从而r2也随之增大也随之增大。这就给人一个这就给人一个错觉错觉：要使模型拟合得好，就必须增加解释变量。：要使模型拟合得好，就必须增加解释变量。 所以，所以，用来检验拟合优度的统计量必须能够用来检验拟合优度的统计量必须能够防止防止这种倾向。这种倾向。 毫无疑问，毫无疑问，r2越接近于越接近于1，模型的拟合优度越高。，模型的拟合优度越高。 tssnrssknr111

8、11222)(11)(111yynyykniii11)1 (12knnr式中，（n-k-1）为残差平方和rss的自由度，（n-1）为总离差平方和tss的自由度。（教材（教材p74） ) 1() 1(122nykneii在实际应用中，在实际应用中，r2达到多大才算模型通过了检验？达到多大才算模型通过了检验？ 答案是：没有绝对的标准。答案是：没有绝对的标准。 模型的拟合优度并不是判断模型质量的唯一标准，模型的拟合优度并不是判断模型质量的唯一标准，有时甚至为了追求模型的经济意义，可以牺牲一点有时甚至为了追求模型的经济意义，可以牺牲一点拟合优度。拟合优度。 如：如：h钱纳里等：钱纳里等：发展的型式发展

9、的型式1950-1970，p50-52，经济科学出版社。，经济科学出版社。 而在第三版教材而在第三版教材p72例例3.2.2的中国内地城镇居民人均消费支出的中国内地城镇居民人均消费支出模型模型（二元回归）（二元回归）中，中，r r2 2 =0.975634=0.975634，比如，第三版教材比如，第三版教材p53例例2.6.1中的中国内地城镇居民人均消费中的中国内地城镇居民人均消费支出模型支出模型（一元回归）（一元回归）中，中，r r2 2 =0.971419=0.971419，在在应应用用软软件件中中， 可可决决系系数数r r2 2和和调调整整后后的的可可决决系系数数2r的的计计算算是是自自

10、动动完完成成的的。 970433. 02r973893. 02r可见，对于中国内地城镇居民的人均消费支出中国内地城镇居民的人均消费支出，二元回归二元回归比一元回归一元回归的效果更好。（注意：教材（注意：教材p75的表述有问题！）的表述有问题！）可决系数可决系数r2 的的简捷计算公式：简捷计算公式： （）（）222221iiiiyeyyr其中 22)(yyyii22)(iiiyye对于一元一元线性回归：2222)(ynyyyyiiiiiiiiixyyxye1222122对于多元多元线性回归：yxbyyeeei2 *赤池信息准则和施瓦茨准则赤池信息准则和施瓦茨准则（教材（教材p75p75） 为了比

11、较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:nknaic) 1(2lnee(2)(2)施瓦茨准则施瓦茨准则（schwarz criterion，sc） 这两准则均要求：这两准则均要求：仅当所增加的解释变量能够仅当所增加的解释变量能够减少减少aicaic值或值或scsc值时，才在原模型中增加该解释变量值时，才在原模型中增加该解释变量。 (1)(1)赤池信息准则赤池信息准则（akaike information criterion, aic）nnknsclnlnee二、方程显著性检验二、方程显著性检验（教材（教材p75p75） testing the overall signi

12、ficance方程的显著性检验：方程的显著性检验：对模型中被解释变量与解释变量之模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立间的线性关系在总体上是否显著成立作出推断。 直观上看，拟合优度高，则解释变量对被解释变量的解释程度就高，可以推测模型总体线性关系成立；反之，就不成立。但这只是一个模糊的推测，不能给出一个在统计上严格的结论。这就要求进行方程的显著性检验。方程的显著性检验所应用的方法，是数理统计学中的假假设检验设检验。1.1.关于假设检验关于假设检验（教材（教材p46p46） 假设检验假设检验是统计推断的一个主要方面，它的是统计推断的一个主要方面，它的基本任基本任务是根据样本

13、所提供的信息，对务是根据样本所提供的信息，对未知总体未知总体某些方面某些方面（如参数或分布类型）的假设作出合理的判断。（如参数或分布类型）的假设作出合理的判断。 假设检验的程序：假设检验的程序：先根据实际问题的要求提出一个先根据实际问题的要求提出一个论断，称为统计假设，记为论断，称为统计假设，记为h0 ；然后根据样本的有；然后根据样本的有关信息，对关信息，对h0的真伪进行判断，作出拒绝的真伪进行判断，作出拒绝h0或接受或接受h0的决策。的决策。假设检验的基本思想是假设检验的基本思想是概率性质的反证法概率性质的反证法。也就是说，为了检验原假设h0是否正确，先假定这个假设是正确的，看由此能推出什么

14、结果。如果导致一个不合理的如果导致一个不合理的结果，结果，则表明“假设h0为正确”是错误的，即原假设h0不正确，因此要拒绝拒绝原假设h0。如果没有导致一个如果没有导致一个不合理现象的出现，不合理现象的出现，则不能认为原假设h0不正确，因此不能拒绝不能拒绝原假设h0 。 概率性质的反证法的根据是概率性质的反证法的根据是小概率事件原理小概率事件原理。该原理认。该原理认为为“小概率事件在一次试验中几乎是不可能发生的小概率事件在一次试验中几乎是不可能发生的”。 具体思路是这样：在原假设 h0下构造一个事件（该事件就是拒绝域） ，这个事件在“原假设 h0正确”的条件下是一个小概率事件（其发生概率为） 。

15、随机抽取一组容量为 n 的样本观测值进行该事件的试验， 如果该事件发生了， 说明 “原假设 h0正确”是错误的，因为不应该出现的小概率事件出现了，因而应该拒绝原假设 h0。反之，如果该小概率事件没有出现，就没有理由拒绝原假设 h0，应该接受原假设 h0。 换句话说，这里构造了一个小概率事件（“检验统计量的样本值落入拒绝域”）。如果在一次试验中该事件就发生了，就违背了小概率事件原理，也就意味着导致了一个不合理的结果。显著性检验的步骤：显著性检验的步骤： () （1）提出原假设）提出原假设h0和备择假设和备择假设h1； （2）计算检验统计量的样本值；）计算检验统计量的样本值； （3）确定临界值和拒

16、绝域；）确定临界值和拒绝域； （4）下结论：是否拒绝）下结论：是否拒绝h0 。 检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，也就是要检验模型 2.2.方程显著性的方程显著性的f f检验检验（注意（注意补充补充的内容！）的内容！）（i=1,2,n） 中的参数是否显著不为0。 （1） 按照假设检验的原理与步骤，首先应提出假设：（注：（注：教材教材p75有错！有错！） 0:210kh0:211不全为、kh显然，当当h0成立时，即表示模型的线性关系成立时，即表示模型的线性关系不成立不成立；当；当h1成成立时，即表示模型的线性关系立时，即表示模型的线性关系成立成立。iikkiiix

17、xxy22110（2） 并且，并且，rss与与ess相互独立。相互独立。 所以，所以，统计量统计量 ) 1/()(/)(22knyykyyiii) 1,(knkf122knrsskessf）（1/knrsskess) 1()() 1(22222knekeyknekyiiiii) 1/()(/)(22knyykyyiii) 1,(knkf 直观上看，回归平方和ess是解释变量整体对被解释变量y的线性作用的结果，如果ess/rss的比值较大，则解释变量整体对y的解释程度高，可以认为总体存在线性关系；反之，总体可能不存在线性关系。因此因此, ,可以通过该比值的大小对总体线性关系可以通过该比值的大小对

18、总体线性关系进行推断进行推断。该统计量即为用于方程显著性检验的该统计量即为用于方程显著性检验的f统计量统计量。122knrsskessf）（1/knrsskess（4） （3） 例例 在第三版在第三版教材教材p72p72例例3.2.23.2.2的中国内地城镇居民人的中国内地城镇居民人均消费模型均消费模型( (二元回归二元回归) )中，中，k=2,n=31, f=560.565k=2,n=31, f=560.565。 给定给定=0.05,=0.05,查得查得0.050.05（2,28)=3.342,28)=3.34。 所以所以, ,该模型的线性关系在该模型的线性关系在95%95%的置信水平下显著

19、的置信水平下显著成立。成立。 关于拟合优度检验与方程显著性检验关系的讨论关于拟合优度检验与方程显著性检验关系的讨论 拟合优度检验和方程总体线性的显著性检验是从不同原理出发拟合优度检验和方程总体线性的显著性检验是从不同原理出发的两类检验：的两类检验：前者前者是从已经得到估计的模型出发，检验它对样本观测值的拟合程度；后者后者是从样本观测值出发检验模型总体线性关系的显著性。 但是二者又是关联的：但是二者又是关联的：f检验检验和拟合优度检验拟合优度检验都是在总变差tss分解为回归平方和ess与残差平方和rss的基础上构造统计量进行的检验；模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强；两个

20、检验统计量之间存在如下的数量关系：两个检验统计量之间存在如下的数量关系：kfknnr1112或) 1/()1 (/22knrkrf可见，f与r2同向变化。当r2 =0时，f=0；当r2 越大时，f也越大；当r2 =1时，f。（注：注：教材教材p76-77文字有错！）文字有错！）2r多大才算通过拟合优度检验？多大才算通过拟合优度检验？ 重新回到前面的问题：重新回到前面的问题： 对于第三版教材第三版教材p72例例3.2.2 ，给定显著性水平=0.05时，查f分布表，得到临界值f0.05(2,28)=3.34，即是说，只要f统计量的值大于3.34，模型的线性关系在 95% 的水平下就是显著成立的。将

21、该数值代入（3.3.8）式，计算得到对应的调整后的可决系数为1354. 034. 32123113111112kfknnr这说明， 在应用中不必对2r过分苛求， 重要的是考察模型的经济关系是否合理。 实际上，实际上，有许多著名的模型，有许多著名的模型，r r2 2小于小于0.50.5，支持了重，支持了重要的结论。要的结论。例：例：西蒙西蒙库兹涅茨库兹涅茨关于收入差距的倒关于收入差距的倒u u型型规律、规律、h钱纳里钱纳里的的发展的型式发展的型式1950-1970。如果我们首先得到调整后的可决系数调整后的可决系数为0.1354，肯定认为该模型的质量不高，殊不知它的总体线性关系的置信置信水平达到了

22、95%。方程显著性检验（f检验）的步骤（）（1）对多元线性回归模型的参数提出联合假设：0:210kh0:211不全为、kh（2）在原假设h0的基础上，根据样本数据计算f统计量的样本值：fesskrssn k () 1) 1(22knekyii（ 3） 根 据 给 定 的 显 著 性 水 平， 查f 分 布 表 ， 得 到 临 界 值)1,( knkf。 ) 1()(222knekeyiiikknrr11221.1.什么是变量的显著性检验？什么是变量的显著性检验？（教材（教材p77p77） 对于多元线性回归模型，方程的总体线性关系显著成立，并对于多元线性回归模型，方程的总体线性关系显著成立，并不

23、能说明不能说明每个每个解释变量对被解释变量的影响都是显著的。解释变量对被解释变量的影响都是显著的。 因此，因此，必须对必须对每个每个解释变量进行显著性检验，以决定是否作解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。为解释变量被保留在模型中。如果某个变量对被解释变量的影如果某个变量对被解释变量的影响并不显著，应该将它剔除，以建立更为简单的模型。响并不显著，应该将它剔除，以建立更为简单的模型。这就是这就是变量显著性检验的任务。变量显著性检验的任务。 变量显著性检验针对的原假设为变量显著性检验针对的原假设为h0： j=0（j=0,1,2,k），而应用最为普遍的是而应用最为普遍的是t检

24、验检验。三、变量显著性检验三、变量显著性检验testing the individual significance2.2.变量显著性的变量显著性的t t检验检验（1）检验统计量检验统计量（t 统计量）统计量）的构造：的构造： （对教材（对教材p77p77的补充！）的补充！）以cjj表 示 矩 阵 1)(xx主 对 角 线 上 的 第j个 元 素（ j=0,1,2, ,k） ， 于 是 参 数 估 计 量j的 方 差 为 jjjcvar2)(（j=0,1,2,k） 其 中2为 随 机 误 差 项 的 方 差 ，在 实 际 计 算 时 ，用 它 的 估 计 量代 替 ， 即 21e enk注 意

25、一 ： 参 数 估 计 量)(210kb的 方 差 -协 方 差矩 阵 为 12)()(xxcovvar注 意 二 ：j是 yi(i=1,2, ,n)的 线 性 函 数 ，并 且 是j的 无 偏 估计 量 ， 所 以 它 服 从 正 态 分 布)(,(jjvarn。 于是),(2jjjjcn)1 ,0(2ncjjjj因此，可以构造统计量因此，可以构造统计量 )1()(1)1(222kntsecknckneectjjjjjjjjjjjjjjjee该统计量即为用于变量显著性检验的该统计量即为用于变量显著性检验的 t 统计量统计量。 注 意 四 ：j（ j=1,2, ,k） 与ee相 互 独 立 。 参 见 周 纪 芗 回归 分 析 p44。 注意三：)1(222kneerss （2）变量显著性的变量显著性的t 检验检验（思路）（思路）0:0jh0:1jh计算计算检验统计量检验统计量tj的值的值【模型有几个解释变量，就要计算几个【模型有几个解释变量，就要计算几个tj 】。 （j=0,1,2,k） 例：例：在教材教材p72例例3.2.2 中国内地城镇居民人均消费中国内地城镇居民人均消费支出支出的二元回