试谈回归模型的统计检验

1、本资料来源第三节第三节 回归模型的统计检验回归模型的统计检验 一、模型的拟合优度检验一、模型的拟合优度检验 二、模型的显著性检验二、模型的显著性检验 三、解释变量的显著性检验三、解释变量的显著性检验 利用样本数据估计得到的样本回归方程利用样本数据估计得到的样本回归方程,只是对总体回归方程的一个近似估计模型只是对总体回归方程的一个近似估计模型是否能确切反映经济变量间的相互关系还是否能确切反映经济变量间的相互关系还需要进行检验需要进行检验. 回归分析中主要是通过一些统计检验回归分析中主要是通过一些统计检验方法来保证模型在统计意义上的可靠性方法来保证模型在统计意义上的可靠性.如在一次抽样中，参数的估

2、计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验统计检验。统计检验统计检验主要包括拟合优度检验拟合优度检验、变量的显著性检验显著性检验及参数的区间估计区间估计。 一、模型的拟合优度检验一、模型的拟合优度检验 即模型对样本数据的接近程度。对样本回归直线与样本观测值之间拟合程度的检验。：判定系数判定系数（可决系数可决系数）R R2 21 1、总离差平方和的分解公式、总离差平方和的分解公式iiiiiiiyeYYYYYYy)()(对一元模型: 已知由一组样本观测值（Xi,Yi），i=1,2,niiXY10 如果Yi=i 即实际观测值落在样本回归“线”上，则拟合最好拟合最好。可认为，“离差离

3、差”全部来自回归线，而与“残差”无关。kikiixxy:,110对多元线性回归方程类似则 总离差平方和分解总离差平方和分解公式公式: TSS=ESS+RSS 其中其中: 2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii由于 )()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有： ESSRSSYYYYTSSiii22)()(注意：注意：一个有趣的现象一个有趣的现象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii)(110kikiixxyTSS=ESS+RSS Y的观测值围绕其均值的总离差总离差(total

4、variation)可分解为两部分：一部分来自回归线一部分来自回归线(ESS)，另一部另一部分则来自随机因素的影响分则来自随机因素的影响(RSS)。在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大，因此 拟合优度拟合优度：回归平方和：回归平方和ESS/YESS/Y的总离差的总离差TSSTSS2、可决系数、可决系数R2 2统计量统计量 称 R2 为（样本）可决系数（样本）可决系数/判定系数（判定系数（coefficient of determination)。 可决系数可决系数的取值范围取值范围：0，1 R2 2越接近越接近1 1，说明实际观测点离样本线

5、越近，模，说明实际观测点离样本线越近，模型的拟合优度越高型的拟合优度越高。 注：可决系数注：可决系数是一个非负的统计量。它也是随着是一个非负的统计量。它也是随着抽样的不同而不同。抽样的不同而不同。222)(11yyeTSSRSSTSSESSRii 判定系数不仅反映了拟合程度的优劣，而且有直观的判定系数不仅反映了拟合程度的优劣，而且有直观的经济含义：经济含义：它定量地描述了它定量地描述了y 的变化中可以用解释变量的变化中可以用解释变量的变化来说明的部分，即模型的可解释程度。的变化来说明的部分，即模型的可解释程度。 问题：问题： 在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大. 这

6、就给人一个错觉一个错觉：要使得模型拟合得好，只要使得模型拟合得好，只要增加解释变量即可要增加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整需调整。 调整的判定系数调整的判定系数（Adjusted R-squared)） 在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方将残差平方和与总离差平方和分别除以各自的自由度，以剔和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响除变量个数对拟合优度的影响:) 1/() 1/(12nTSSknRSSR其中：n-k-1为残差平方和的自由度，n-1为总体平

7、方和的自由度。)1 (11122RknnR除了调整的判定系数之外，人们还使用另外两个指标SC（Schwarz Criterion，施瓦兹准则施瓦兹准则）和AIC(Akaike Information Criterion，赤池信息准则赤池信息准则)来比较含有不同解释变量个数模型的拟合优度：SC = AIC = nnkneiln1)ln(2nknei) 1(2)ln(2 这两准则均要求这两准则均要求仅当所增加的解释变量能够减少仅当所增加的解释变量能够减少AICAIC值或值或ACAC值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。(P57) 显然，其值越小表明模型的拟合优度越高。二、模

8、型的显著性检验二、模型的显著性检验 模型的显著性检验，就是检验模型对总体的近似程度。最常用的检验方法是F检验或者R检验。1. F检验 1/)(22knekyyFii) 1,(knkF 给定的显著水平 ，可由F分布表查得临界值，进行判断：若 ，可以认为模型的线性关系是显著的； FF 0若 ，则接受 ，认为模型的线性关系不显著，回归模型无效。FF 00H检验通不过的原因检验通不过的原因可能在于： 一是所选取的解释变量不是影响被解释变量变动的主要因素,或者说影响y变动的因素除模型中的因素外，还有其它不可忽略的因素；解释变量与被解释变量之间不存在线性相关关系；(3)样本容量n小；(4)回归模型存在序列

9、相关。2. R检验 TSSESSTSSRSSR1在一元线性回归中，R 1，即-1R 1 在多元线性回归中，R称为复相关系数，且0R1 给定显著性水平和自由度n-k,即可查表找到。判断：R，被解释变量与解释变量线性关系显著。 R，被解释变量与解释变量线性关系不显著，回归方程无效，重建方程。 F检验与R检验结果一致(P44图2-7):22111) 1(RRkknTSSRSSTSSESSkknknRSSRESSFkFknkFR) 1(2因此,实际应用可选择其一。R2FF2R图图2-7 F2-7 F统计量与统计量与R R2 2的关系的关系多元线性回归多元线性回归模型模型的显著性检验的显著性检验(F检验

10、检验) 方程的显著性检验，旨在对模型中被解释变方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著量与解释变量之间的线性关系在总体上是否显著成立作出推断。成立作出推断。 1、方程显著性的、方程显著性的F检验检验 即检验模型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2, ,n中的参数j是否显著不为0。 可提出如下原假设与备择假设： H0： 0=1=2= =k=0 H1： j不全为0 F F检验的思想检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在

11、线性关系。 因此因此, ,可通过该比值的大小对总体线性关系进可通过该比值的大小对总体线性关系进行推断行推断。XY由于回归平方和是解释变量的全体对被解释变量的线性作用的结果，考虑比值ESSRSSESS 根据数理统计学中的知识，在原假设H0成立的条件下，统计量 ) 1/(/knRSSkESSF服从自由度为(k , n-k-1)的F分布 给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，通过 F F(k,n-k-1) 或 FF(k,n-k-1)来拒绝或接受原假设H0，以判定原方程总体上总体上的线性关系是否显著成立。 例如:对于中国居民人均消费支出的某例(n=23解释变量为人

12、均可支配收入、价格指数；被解释变量为消费支出数据、计算略）结果如下： 一元模型：F=285.92 二元模型：F=2057.3给定显著性水平 =0.05，查分布表，得到临界值： 一元例：F(1,21)=4.32 二元例： F(2,20)=3.52显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。 2、关于拟合优度检验与方程显著性检验关关于拟合优度检验与方程显著性检验关系的讨论系的讨论 由) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSF可得：kFknnR1112与或) 1/()1 (/22knRkRF在中国居民人均收入在中国居民人均收入-消

13、费消费一元模型一元模型中，中，在在中国居民人均收入中国居民人均收入-消费消费二元模型二元模型中中， 实际应用中不必过分苛求 值的大小,重要的是考虑模型的经济意义是否合理.2R三、解释变量的显著性检验三、解释变量的显著性检验 回归分析回归分析是要判断解释变量解释变量X X是否是被解释变被解释变量量Y Y的一个显著性的影响因素。 在一元线性模型一元线性模型中，就是要判断X X是否对Y Y具有显著的线性性影响。这就需要进行变量的显变量的显著性检验。著性检验。 变量的显著性检验所应用的方法是数理统计变量的显著性检验所应用的方法是数理统计学中的假设检验学中的假设检验。 计量经计学中，主要是针对变量的参数

14、真值计量经计学中，主要是针对变量的参数真值是否为零来进行显著性检验的。是否为零来进行显著性检验的。 1、假设检验、假设检验 v 所谓假设检验假设检验，就是事先对总体参数或总体就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设否有显著差异，从而决定是否接受或否定原假设。v 假设检验采用的逻辑推理方法是反证法。假设检验采用的逻辑推理方法是反证法。 先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，

15、从而判断是否接受原假设。v 判断结果合理与否，是基于判断结果合理与否，是基于“小概率事件不小概率事件不易发生易发生”这一原理的这一原理的 2、变量的显著性检验、变量的显著性检验 ),(2211ixN)2(1112211ntSxti 检验步骤：检验步骤： （1）对总体参数提出假设 H0： 1=0， H1：10（2）以原假设H0构造t统计量，并由样本计算其值11St （3）给定显著性水平，查t分布表，得临界值t /2(n-2)(4) 比较，判断 若 |t| t /2(n-2)，则拒绝H0 ，接受H1 ； 若 |t| t /2(n-2)，则拒绝H1 ，接受H0 ； 对于一元线性回归方程中的0，可构造

16、如下t统计量进行显著性检验： )2()()2(02200ntbSSnnXtxxi134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS在上述收入-消费支出例中，首先计算 的估计值 2(标准化后的简算公式标准化后的简算公式! 用用Eviews可直接输出结果可直接输出结果)t统计量的计算结果分别为： 29.180425. 0777. 0111St048. 141.9817.103000St 给定显著性水平=0.05，查t分

17、布表得临界值 t 0.05/2(8)=2.306 |t1|2.306，说明家庭可支配收入在家庭可支配收入在95%95%的置信度下显著，的置信度下显著，即是消费支出的主要解释变量；即是消费支出的主要解释变量； |t2|2.306,表明在95%的置信度下，无法拒绝截距项为零的假设。 例四(P45)对多元线性回归模型在通过对多元线性回归模型在通过F F检验后检验后, ,一般还需对变量一般还需对变量的显著性进行检验（的显著性进行检验（t检验）检验） 因方程的总体线性总体线性关系显著 每个解释变量每个解释变量对被解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保

18、留在模型中。 这一检验是由对变量的这一检验是由对变量的 t t 检验完成的。检验完成的。 1、t统计量统计量 由于可以证明:12)()(XXCov 以cii表示矩阵(XX)-1 主对角线上的第i个元素，于是参数估计量的方差为： 其中2为随机误差项的方差，在实际计算时，用它的估计量代替: 1122knkneieeiSScVariiii2)()(),(2iiiicN因此，可构造如下t统计量 ) 1(1)(kntkneecStiiiiiii) 1()(:,0kntStHii有成立得情况下在 2、t检验检验 设计原假设与备择假设： H1：i0 给定显著性水平，可得到临界值t/2(n-k-1)，由样本求

19、出统计量 t 的数值，通过 |t| t/2(n-k-1) 或 |t|t/2(n-k-1)来拒绝或接受原假设H0，从而判定对应的解释变判定对应的解释变量是否应包括在模型中。量是否应包括在模型中。 H0：i=0 （i=1,2k） 解释变量显著性检验通不过的原因可能在于解释变量显著性检验通不过的原因可能在于: (1) x xi i与与y y不存在线性相关关系不存在线性相关关系 ；(2) x(2) xi i与与y y不存在任何关系不存在任何关系 ; ;(3) x(3) xi i与与x xj j(ij)(ij)存在线性相关关系。存在线性相关关系。 例例4 (4 (见教材见教材P50) P50) 操作演示

20、操作演示 在在EViewsEViews软件输出的回归分析结果中，在每个软件输出的回归分析结果中，在每个t t统计量值统计量值t ti i的右端还列出了一个概率值的右端还列出了一个概率值p p（又（又称为称为p p值），它表示值），它表示: : P P（|t|t|t|ti i）= p = p 即给出了所谓即给出了所谓“精确的显著水平精确的显著水平”。注意：注意：一元线性回归中，一元线性回归中，t t检验与检验与F F检验一致检验一致 一方面一方面，t检验与F检验都是对相同的原假设H0： 1=0=0 进行检验; 另一方面另一方面，可以证明两个统计量之间有如下关系： 2)2()2(tnQUnRSSESSF