计量经济学3.13.2

1、1第三章第三章:多元回归分析多元回归分析2本章主要内容本章主要内容 3.1 k 3.1 k变量线性回归模型变量线性回归模型 3.2 3.2 参数参数 的的估计估计和统计性质和统计性质 3.3 3.3 样本决定系数与偏相关系数样本决定系数与偏相关系数 3.4 3.4 回归系数和回归方程的显著性检验回归系数和回归方程的显著性检验 3.5 3.5 预测预测 3.1 多元线性回归模型多元线性回归模型 一、多元线性回归模型一、多元线性回归模型 二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 三、偏回归系数的含义三、偏回归系数的含义 一、多元线性回归模型一、多元线性回归模型 多元线性回归模型

2、多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式一般表现形式：其中:k为解释变量的数目，j称为回归参数回归参数（regression coefficient）。 习惯上：把常数项常数项看成为一虚变量虚变量的系数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（模型中解释变量的数目为（k+1+1） kiuxxxyikikiii, 2 , 1,33221 随机表达形式随机表达形式: 非随机表达式非随机表达式:kikiikiiiixxxxxxye 3322121),|( 方程表示：方程表示：各变量各变量x x值固定时值固定时y y的平均响应的平均响应。 j j也被

3、称为也被称为偏回归系数偏回归系数，表示在其他解释变，表示在其他解释变量保持不变的情况下，量保持不变的情况下，xj每变化每变化1个单位时，个单位时，y的均值的均值e(y)的变化的变化; 或者说或者说 j j给出了给出了xj的单位变化对的单位变化对y均值的均值的“直直接接”或或“净净”（不含其他变量）影响。（不含其他变量）影响。 1. 总体回归函数总体回归函数 kiuxxxyikikiii, 2 , 1,33221多元线性回归函数的矩阵表示多元线性回归函数的矩阵表示kiuxxxyprfikikiii, 2 , 1,:33221 总体回归函数总体回归函数prf给出的是给定解释变量给出的是给定解释变量

4、x2 xk 的值的值时，时，y的期望值：的期望值：e ( y | x2，x3，xk )。 假定有假定有n组观测值，则可写成矩阵形式（组观测值，则可写成矩阵形式（n个方程，个方程，k+1个参数构成）：个参数构成）：nnknkknnnuuuxxxxxxxxxyyy212121332312222121111uxy或： 为随机扰动项列向量为待估计参数列向量为数据矩阵。为因变量观测值列向量uxy中，在uxy 矩阵矩阵x的每一列表示一个解释变量的的每一列表示一个解释变量的n个观个观测值向量，截距项对应的观测值为测值向量，截距项对应的观测值为1。 2.样本回归函数样本回归函数：用来估计总体回归函数：用来估计

5、总体回归函数kikiiiixxxy22110其随机表示式随机表示式: ikikiiiiexxxy22110 ei称为称为残差残差或或剩余项剩余项(residuals)，可看成，可看成是总体回归函数中随机扰动项是总体回归函数中随机扰动项 i的近似替代。的近似替代。 样本回归函数样本回归函数的矩阵表达矩阵表达: xy或exy其中：k10neee21e二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 假设假设1，解释变量是非随机的或固定的，且各，解释变量是非随机的或固定的，且各x之间互不相关（无多重共线性）。之间互不相关（无多重共线性）。 0)(ie 0u),cov( :iiknxxx含

6、义为固定变量为非随机样本矩阵二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 假设假设2，随机误差项具有零均值、同方差及序，随机误差项具有零均值、同方差及序列不相关性列不相关性0)(ie22)()(iievar0)(),(jijiecovnjiji, 2 , 1, ，其消费波动程度相同例如：收入不同的家庭相同。但是被解释变量的方差同，含义：解释变量取值不同方差说明同方差说明无自相关同方差，不相关ninijiinyyyyuuuujiuuniuiu,)var(,)var(),(0),cov( ), 2 , 1()var()var(212212221二、多元线性回归模型的基本假定二、多元

7、线性回归模型的基本假定 假设3，解释变量与随机项不相关解释变量与随机项不相关 0),(ijixcov将x 对y的影响和随机项的影响区分开kj,2 , 1 12定是否成立回归结果由检验来看假估计，直接用实际操作，不验证假设成立古典假定下说明：)3()2() 1 (), 0(21olsolsnun假设4，随机项满足正态分布随机项满足正态分布 13古典假定古典假定5假定假定5：无多重共线性，即假定各解释变量无多重共线性，即假定各解释变量之间不存在线性关系之间不存在线性关系存在），（行列式10xxxxkxxrankxx ）（满秩：方阵 14古典假定古典假定 6假定假定6： 模型设定没有偏误模型设定没有

8、偏误 所有上述都是建立在假设所有上述都是建立在假设6的基础上的基础上，即回归模型的设定是正确的。即回归模型的设定是正确的。 三、偏回归系数的含义三、偏回归系数的含义 j j也被称为也被称为偏回归系数偏回归系数，表示在其他解，表示在其他解释变量保持不变的情况下，释变量保持不变的情况下，xj每变化每变化1个单个单位时，位时，y的均值的均值e(y)的变化的变化; iiiiuxxy33221 y x3= 3度量了在保持度量了在保持 x2 不变的条件下，不变的条件下， x3 改变一个单位改变一个单位y的平均改变量的平均改变量。 y x2= 2度量了在保持度量了在保持x3 不变的条件下，不变的条件下， x

9、2 改变一个单位改变一个单位y的平均改变量。的平均改变量。二、偏回归系数的含义二、偏回归系数的含义 j也被称为也被称为偏回归系数偏回归系数，表示在其他解释变量保持不变的情，表示在其他解释变量保持不变的情况下，况下，xj每变化每变化1个单位时，个单位时，y的均值的均值e(y)的变化的变化;在其他变量不在其他变量不变的情况下，变的情况下，xj 对对y均值的均值的直接或净影响直接或净影响。3.2 多元线性回归模型的估计多元线性回归模型的估计 估计方法：ols一、普通最小二乘估计一、普通最小二乘估计 二、参数估计量的性质二、参数估计量的性质 三、回归方程的数学性质三、回归方程的数学性质四、随机误差项的

10、估计量四、随机误差项的估计量五、样本容量问题五、样本容量问题18 的最小二乘估计的最小二乘估计样本回归超平面样本回归平面样本回归直线例如：、残差向量：、样本回归超平面：）（比较总体模型：、样本回归模型：）一、样本回归模型（和问题：估计4433221332212121 32 1xxxyxxyxyyyuxyuxyuxysrmk( (一一)ols)ols估计量估计量 （1）iiiiuxxy33221样本回归函数： ols就是要选择未知参数，使得残差就是要选择未知参数，使得残差(rss)平平方和最小，即方和最小，即min. rss = min. = min. 2iu233221)(iiixxy一、普通

11、最小二乘估计一、普通最小二乘估计 =2 ( y - 1- 2x2 - 3x3)(-1) = 0 rss 1=2 ( y - 1- 2x2 - 3x3)(-x2) = 0 rss 2 =2 ( y - 1- 2x2 - 3x3)(-x3) = 0 rss 3对未知参数求微分对未知参数求微分( (一一)ols)ols估计量（估计量（2 2）整理方程：整理方程：n1 + 2 x2 + 3 x3 = y 2 x2 + 2 x32 + 3 x2x3 = x2y 1 x3 + 2 x2x3 + 3 x32 = x3y ( (一一)ols)ols估计量（估计量（3 3）33221xxy3=(yx3)(x22

12、) - (yx2)(x2x3)(x22)(x32) - (x2x3)22=(yx2)(x32) - (yx3)(x2x3)(x22)(x32) - (x2x3)2解正规方程组得解正规方程组得( (一一)ols)ols估计量（估计量（4 4） 关于待估参数估计值的正规方程组可以正规方程组可以推广为推广为： kiikikikiiiiikikiiiiiikikiiikikiixyxxxxxyxxxxxyxxxxyxxx)()()()(221102222110112211022110 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值, , ,jjk 012 。24二、样本

13、回归方程的特性二、样本回归方程的特性1011;,2 , 1,1),(,11221122111211xyuuxxynuxxyxkjxnxxxxxynyxyxykkniiikkiiniijjknii，计算得，进行证明：其中值点。即，：样本回归超平面过均性质25二、样本回归方程的特性二、样本回归方程的特性2yxxxynxxyyykkniikkii122211221计算得，进行证明：性质26二、样本回归方程的特性二、样本回归方程的特性3uyyuyuxuxuyxyuy0)(03正交与向量几何意义：向量证明：性质yuyyu 4.残差的均值等于残差的均值等于0，即，即0u5.残差和诸残差和诸xs不相关，即不

14、相关，即0sxu 三、参数估计量的性质三、参数估计量的性质 在满足基本假设的情况下，其结构参数 的普通普通最小二乘估计最小二乘估计仍具有： 线性性线性性、无偏性无偏性、有效性有效性。 同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性渐近无偏性、渐近有效性、一致性。29四、四、2 2的估计的估计随机误差项随机误差项 的方差的方差 的无偏估计的无偏估计 随机误差项随机误差项 的方差的无偏估计量，的方差的无偏估计量，可以写为可以写为：（k k为解释变量的个数为解释变量的个数）1122knkneiee3ii32ii2222xyxyyeiiiu简单的算法：简单的算法：223223

15、223232222323221)(21)var(iiiiiiiixxxxxxxxxxxxn22322322232)()var(iiiiixxxxx22322322223)()var(iiiiixxxxxolsols估计量的方差和标准误差估计量的方差和标准误差 五、样本容量问题五、样本容量问题 所谓“最小样本容量最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量样本最小容量必须不少于模型中解释变量的数目（包括常数项）的数目（包括常数项）,即 n k+1因为因为，无多重共线性

16、要求：秩(x)=k+1 2 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的角度从统计检验的角度： n-k8时, t分布较为稳定 一般经验认为一般经验认为: 当当n 30或者至少或者至少n 3(k+1)时，才能说满时，才能说满足模型估计的基本要求。足模型估计的基本要求。 模型的良好性质只有在大样本下才能模型的良好性质只有在大样本下才能得到理论上的证明得到理论上的证明实例实例 例例3.2.2 在例2.5.1中，已建立了中国居中国居民人均消费民人均消费一元线性模型。这里我们再考虑建立多元线性模型。解释变量：解释变量：人均gdp：gdpp 前期消费：consp(-1)估计区间估计区间

17、：19792000年eviews软件估计结果 ls / dependent variable is cons sample(adjusted): 1979 2000 included observations: 22 after adjusting endpoints variable coefficient std. error t-statistic prob. c 120.7000 36.51036 3.305912 0.0037 gdpp 0.221327 0.060969 3.630145 0.0018 consp(-1) 0.451507 0.170308 2.651125 0.0158 r-squared 0.995403 mean dependent var 928.494