多元线性回归模型的统计检验

1、2.4 2.4 多元线性回归模型的统计检验多元线性回归模型的统计检验Statistical Test of Multiple Statistical Test of Multiple Linear Regression ModelLinear Regression Model 一、拟合优度检验一、拟合优度检验二、变量显著性检验二、变量显著性检验三、方程显著性检验三、方程显著性检验计计量量经经济济学学模模型型是是应应用用数数理理统统计计方方法法建建立立的的一一类类经经济济数数学学模模型型，模模型型必必须须满满足足数数学学理理论论与与方方法法上上的的要要求求，所所以以在在模模型型参参数数估估计计后

2、后，需需要要检检验验其其是是否否满满足足数数学学理理论论与与方方法法上上的的要要求求。 我们所要进行的统计检验包括两个方我们所要进行的统计检验包括两个方面，一方面检验回归方程对样本数据的面，一方面检验回归方程对样本数据的拟合程度，通过可决系数来分析；另一拟合程度，通过可决系数来分析；另一方面检验回归方程的显著性，方面检验回归方程的显著性，通过假设通过假设检验检验对模型中被解释变量与解释变量之对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作间的线性关系在总体上是否显著成立作出推断出推断，包括对回归方程线性关系的检包括对回归方程线性关系的检验和对回归系数显著性的检验。验和对回归系数

3、显著性的检验。 一、拟合优度检验一、拟合优度检验Testing the Simulation Level 拟合优度检验，顾名思拟合优度检验，顾名思义，是检验模型对样本观测义，是检验模型对样本观测值的拟合程度。值的拟合程度。1、总体平方和、残差平方和和回归平方和、总体平方和、残差平方和和回归平方和 TSSTSS为总体平方和为总体平方和（Total Sum of SquaresTotal Sum of Squares），反反映样本观测值总体离差的大小；映样本观测值总体离差的大小；ESSESS为回归平方和为回归平方和（Explained Sum of SquaresExplained Sum of

4、Squares），反映由模型中反映由模型中解释变量所解释的那部分离差的大小；解释变量所解释的那部分离差的大小；RSSRSS为残差为残差平方和平方和（Residual Sum of SquaresResidual Sum of Squares），反映样本反映样本观测值与估计值偏离的大小，也是模型中解释变观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。量未解释的那部分离差的大小。 TSS=RSS+ESS 222)()()(iiiiYYRSSYYESSYYTSS 2 2、拟合优度检验统计量：、拟合优度检验统计量：可决系数可决系数R2和校正可决系数和校正可决系数 （1）可决系数）

5、可决系数 用可决系数用可决系数2R进行拟合优度检验，进行拟合优度检验，可决系可决系数的计算公式为：数的计算公式为： 222YYYYRii ，该统计量越接近于，该统计量越接近于 1，模型，模型的拟合优度越高。的拟合优度越高。2R102 R在应用过程中我们会发现，如果在模型中增加一在应用过程中我们会发现，如果在模型中增加一个解释变量，模型的解释功能增强了，个解释变量，模型的解释功能增强了，可决系数可决系数2R计计算公式中的分子回归平方和算公式中的分子回归平方和2YYi就会增大，就会增大，因而因而2R就增大。这就给人一种错觉：似乎要使模型拟就增大。这就给人一种错觉：似乎要使模型拟合得好，就必须增加解

6、释变量。但是，在样本容量一合得好，就必须增加解释变量。但是，在样本容量一定的情况下，增加解释变量必定使得自由度减少。所定的情况下，增加解释变量必定使得自由度减少。所以，用以检验拟合优度的统计量必须能够防止这种倾以，用以检验拟合优度的统计量必须能够防止这种倾向，我们可以用自由度来调整向，我们可以用自由度来调整2R ，用用2R来表示调整来表示调整后的可决系数，以后的可决系数，以剔除解释变量数目与样本容量的影剔除解释变量数目与样本容量的影响，使具有不同样本容量和解释变量数目的回归方程响，使具有不同样本容量和解释变量数目的回归方程可以进行拟合优度的比较。可以进行拟合优度的比较。 22RR2R可以为负)

7、1 () 1(1122RknnR（2）校正可决系数）校正可决系数对于前述一元回归例题，对于前述一元回归例题，2212iixYY， 9965. 04405903.98751239.97083. 0222212iiyxR结果表明，在结果表明，在 Y 的总变差中，有的总变差中，有 99.65%可以由解可以由解释变量释变量 X（或回归方程）做出解释，（或回归方程）做出解释，回归方程对于回归方程对于样本观测点拟合良好。样本观测点拟合良好。也就是说，城镇居民的人均也就是说，城镇居民的人均消费性支出的变化，有消费性支出的变化，有 99.65%是由人均可支配收是由人均可支配收入决定的。入决定的。二元回归例题的

8、二元回归例题的可决系数可决系数为：为： 999. 037. 7366. 7222iiyyR这表明，在人均居民消费额的总变差中，有这表明，在人均居民消费额的总变差中，有 99.87%99.87%可以由人均国可以由人均国内生产总值和前期人均居民消费额做出解释，回归方程对于样本内生产总值和前期人均居民消费额做出解释，回归方程对于样本观测点拟合很好。观测点拟合很好。校正判定系数校正判定系数为：为： 9987. 0999. 0112101101)1 () 1(1122RknnR统计意义：用方差而不用变差，考虑到自由度，剔除解释变量数统计意义：用方差而不用变差，考虑到自由度，剔除解释变量数目与样本容量的影

9、响，使具有不同样本容量和解释变量数目的回目与样本容量的影响，使具有不同样本容量和解释变量数目的回归方程可以对拟合优度进行比较。归方程可以对拟合优度进行比较。Back二、变量显著性检验二、变量显著性检验Testing the Individual Significance关于假设检验关于假设检验 假设检验是统计推断的一个主要内容，它的基本假设检验是统计推断的一个主要内容，它的基本任务是根据样本所提供的信息，对未知总体分布任务是根据样本所提供的信息，对未知总体分布的某些方面的假设作出合理的判断。的某些方面的假设作出合理的判断。 假设检验的程序是，先根据实际问题的要求提出假设检验的程序是，先根据实际

10、问题的要求提出一个论断，称为统计假设；然后根据样本的有关一个论断，称为统计假设；然后根据样本的有关信息，对假设的真伪进行判断，作出拒绝或接受信息，对假设的真伪进行判断，作出拒绝或接受假设的决策。假设的决策。 假设检验的基本思想是概率性质的反证法。假设检验的基本思想是概率性质的反证法。 概率性质的反证法的根据是小概率事件原理，该概率性质的反证法的根据是小概率事件原理，该原理认为原理认为“小概率事件在一次试验中几乎是不可小概率事件在一次试验中几乎是不可能发生的能发生的”。 变量显著性检验即变量显著性检验即对回归系数的显著对回归系数的显著性进行检验，性进行检验，如果变量是显著的，那么如果变量是显著的

11、，那么回回归系数归系数应该显著地不为应该显著地不为0。于是，在变量显。于是，在变量显著性检验中设计的原假设为著性检验中设计的原假设为： H0： i=0而备择假设为：而备择假设为： H1: i 0 其中其中 的下角标的下角标i，在一元回归模型中取值在一元回归模型中取值1：在二元回归模型中取值在二元回归模型中取值1、2。 然后根据样本观测值和估计值，计算统计量然后根据样本观测值和估计值，计算统计量： iiiSt) 1( kntt该统计量服从自由度为该统计量服从自由度为()nk1的的t分布，即分布，即 在在t统计量的算式中，统计量的算式中，i为总体回归系数，为总体回归系数，i为相应的参数估计量，为相

12、应的参数估计量，iS为参数估计量为参数估计量i的标准差。的标准差。对于一元回归模型，对于一元回归模型，221ixS，其中，其中2为随机为随机误差项方差的估计量，误差项方差的估计量，21221222nxyknYYiiii对于二元回归模型，对于二元回归模型， 2212221221222122212221)()(xxxxxSExxxxxSE222221212222221iiiiiixxyyyekne计算出计算出t统计量后，要选定一个显著性水平统计量后，要选定一个显著性水平，结合自由度结合自由度()nk1，由，由t分布表分布表（见附表（见附表 5） ，） ，查得临界值查得临界值tnk21()。如果计算

13、出的如果计算出的t统计量的绝对值统计量的绝对值ttnk21()，则在则在(1 )的置信概率下拒绝原假设的置信概率下拒绝原假设H0。表。表明在明在(1 )的置信概率下，的置信概率下，i不是由不是由0i这样的这样的总体产生的，总体产生的，i显著地不为显著地不为 0，即变量，即变量iX对被对被解释变量的影响是显著的；解释变量的影响是显著的；如果如果t) 1(2knt，则在，则在(1)的置的置信概率下接受原假设信概率下接受原假设 H0，表明在，表明在(1)的置信概率下，的置信概率下， 与与 0 没有什麽差别，没有什麽差别，即变量即变量 Xi对被解释变量的影响是不显著对被解释变量的影响是不显著的。的。0

14、:0:1110HH2584.01-1-88751239.97083. 0-4405903.9112221222knxyknYYiiii 对对前前述述一一元元例例题题的的回回归归系系数数进进行行显显著著性性检检验验：665.41017. 007083. 0iStii6,025. 06,025. 0665.41447. 2ttt017. 08751239.90 .2584221ixS拒绝原假设拒绝原假设H0，接受备择假设，接受备择假设1H。表。表明在明在 95%置信概率下，置信概率下，1不是由不是由01这样的总体产生的，这样的总体产生的，1显著地不为显著地不为 0，即，即变量变量iX对被解释变量的

15、影响是显著的；也对被解释变量的影响是显著的；也就是说，在就是说，在 95%的置信概率下，的置信概率下，城镇居民城镇居民的人均可支配收入的人均可支配收入对于对于人均消费性支出的人均消费性支出的影响是显著的。影响是显著的。 0:0:1110HH 2584.01-1-88751239.97083. 0-4405903.9112221222knxyknYYiiii 017. 08751239.90 .258422ixSi 665.41017. 007083. 0iStii 6,025. 06,025. 0665.41447. 2ttt对 于 前 述 二 元 例 题 ， 我 们 已 经 得 到 对 我

16、国对 于 前 述 二 元 例 题 ， 我 们 已 经 得 到 对 我 国19912000 年消费模型的估计结果：年消费模型的估计结果：2122110302. 0339. 0011. 0XXXXY现选定显著性水平现选定显著性水平05. 0，对偏回归系数对偏回归系数(斜率斜率)进行检验，进行检验，已知已知y yi i2 2= =7.377.37366. 724. 7302. 028.15339. 022112yxyxyi027. 089.1427. 783.31001. 027. 7)(001. 01210004. 01004. 0366. 737. 722212221222122222 xxxx

17、xSEkneyyeiii 7,025. 07,025. 01111110222122212212365. 2556.12027. 00339. 0)(0:0:057. 089.1427. 783.31001. 083.31)(tttSEtHHxxxxxSE 拒绝拒绝0:10H，接受，接受0:11H检验结果表明，在检验结果表明，在 95%95%置信概率下，置信概率下，1不是由不是由01这样这样的总体产生的，的总体产生的，1显著地不为显著地不为 0 0，即变量，即变量1X对被解释变量对被解释变量的影响是显著的；也就是说，在的影响是显著的；也就是说，在 95%95%的置信概率下，人均的置信概率下，人

18、均国内生产总值对人均居民消费额国内生产总值对人均居民消费额的的影响是显著的。影响是显著的。 7,025. 07,025. 02222120365. 2298. 5057. 00302. 0)(0:0:tttSEtHH拒绝拒绝0:20H，接受，接受0:21H检验结果表明，在检验结果表明，在 95%95%置信概率下，置信概率下，2不是由不是由02这样这样的总体产生的，的总体产生的，2显著地不为显著地不为 0 0，即变量，即变量2X对被解释变对被解释变量的影响是显著的；也就是说，在量的影响是显著的；也就是说，在 95%95%的置信概率下，前的置信概率下，前一期人均居民消费额对本期人均居民消费额一期人

19、均居民消费额对本期人均居民消费额的的影响是显著影响是显著的。的。Back三、方程显著性检验三、方程显著性检验Testing the Overall SignificanceF F检验的思想检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS由于回归平方和ESS是解释变量X联合体对被解释变量Y的线性作用的结果，所以，如果ESS/RSS的比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此因此, ,可通过该比值的大小对总体线性关系进可通过该比值的大小对总体线性关系进行推断行推断。1 1、F F检验的思想检验的思想由于iY服从正态分布，根据数理

20、统计学中的定义，iY的一组样本的平方和服从2分布。所以有： 2)(YYESSi2( )k 2)(iiYYRSS21()nk即回归平方和、 残差平方和分别服从自由度为k和()nk1的2分布。进一步根据数理统计学中的定义，如果构造一个统计量 FE S SkR S Snk()1则该统计量服从自由度为（k，n-k-1）的F分布。 2 2、方程显著性、方程显著性 F F 检验的步骤检验的步骤对对回归方程线性关系显著性的检验采用回归方程线性关系显著性的检验采用 F F 检验检验，检验检验依据样本估计的回归方程所体现的被解释变量与解释变依据样本估计的回归方程所体现的被解释变量与解释变量之间的线性关系在总体上

21、是否显著成立量之间的线性关系在总体上是否显著成立，即是检验总，即是检验总体模型体模型 ikikiiiXXXY22110 i=1,2, i=1,2,n,n中的参数是否显著不为中的参数是否显著不为 0 0。按照假设检验的原理与程序，。按照假设检验的原理与程序，首先提出假设，原假设为：首先提出假设，原假设为： 0,:210kH即模型线性关系不成立。备择假设为：即模型线性关系不成立。备择假设为： 不全为零kH,:211 对于对于一元线性回归模型，假设为：一元线性回归模型，假设为： 0:0:1110HH 然后根据样本观测值和估计值，计算然后根据样本观测值和估计值，计算F统计量统计量的数值：的数值： 1/

22、) 1(22knYYkYYknRSSkESSFiii F F 统计量服从自由度为统计量服从自由度为( ,)k nk1的的F分布。选定分布。选定一个显著性水平一个显著性水平，查，查F分布表分布表（见本书附录） ，（见本书附录） ，可以得到一个临界值可以得到一个临界值Fk nk( ,)1。1/1/22knRkRF其中，其中，2R为判定系数，为判定系数，k为模型中解释变量的个为模型中解释变量的个数，数，n为样本容量。为样本容量。 如果所计算的如果所计算的FFk nk( ,)1，则在，则在(1(1) )的的置信概率下拒绝原假设置信概率下拒绝原假设H0，即模型的线性关系显著，即模型的线性关系显著成立，模

23、型通过方程显著性检验。如果所计算的成立，模型通过方程显著性检验。如果所计算的F Fk nk( ,)1，则在，则在(1(1) )的置信概率下接受的置信概率下接受原假设原假设H0，即模型的线性关系显著不成立，模型未，即模型的线性关系显著不成立，模型未通过方程显著性检验。通过方程显著性检验。 对前述得到的对前述得到的回归方程回归方程21302. 0339. 0011. 0XXY 进行进行线性关系显著性的检验，线性关系显著性的检验，首先给出假设首先给出假设 49957/999. 012/999. 01/1/,:0:22211210knRkRFHH不全为零3 3、方程显著性、方程显著性F F检验的例题检

24、验的例题选定显著性水平选定显著性水平05. 0， 本例中第一自由度， 本例中第一自由度21 k，第二自由度，第二自由度7121012kn，( ( 本本例中解释变量数目例中解释变量数目k= =2 2，样本容量，样本容量n= =10)10)，查，查F分布分布表，得到临界值表，得到临界值 7,2,05. 07,2,05. 074. 4FFF拒绝拒绝0H，接受，接受1H。在。在 95%95%的置信概率下，模型的的置信概率下，模型的线性关系显著成立，人均国内生产总值和前期人均线性关系显著成立，人均国内生产总值和前期人均居民消费额在整体上对于人均居民消费额的解释作居民消费额在整体上对于人均居民消费额的解释作用是显著的。用是显著的。对于对于一元线性回归模型，一元线性回归模型，F 检验与检验与 t 检验检验的假设均为：的假设均为： 0:0:1110HH此时，此时，两种检验两种检验是一致的。是一致的。3 3、在一元线性回归中，、在一元线性回归中，t t检验与检验与F F检验是一致的检验是一致的另一方面，两个统计量之间有如下关系：22212221222122)2()2()2()2(iiiiiiiixnexnenexneyF 2222112txneii但在多元