计量经济学讲义（上海财经大学 周建）第2章⑶多元线性回归分析

1、2.3多元线性回归模型的参数估计多元线性回归模型的参数估计Estimation of Multiple Linear Regression Model 一、一、多元线性回归模型多元线性回归模型二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、三、OLSOLS估计量的统计性质估计量的统计性质四、参数估计量的方差四、参数估计量的方差- -协方差矩阵和随机误差项协方差矩阵和随机误差项 2 2方差的估计方差的估计五、样本容量问题五、样本容量问题六、六、多元线性回归模型实例多元线性回归模型实例一、一、多元线性回归模型多元线性回归模型1 1、多元线性回归模型的形式、多元线性回归模型的形式 由

2、于：由于： 在实际经济问题中，一个变量往往受到多个原在实际经济问题中，一个变量往往受到多个原因变量的影响；因变量的影响； “从一般到简单从一般到简单”的建模思路。的建模思路。 所以，在线性回归模型中的解释变量有多个，所以，在线性回归模型中的解释变量有多个，至少开始是这样。这样的模型被称为至少开始是这样。这样的模型被称为多元线性多元线性回归模型回归模型。 多元线性回归模型参数估计的原理与一元线性多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。回归模型相同，只是计算更为复杂。 多元线性回归模型的一般形式为：多元线性回归模型的一般形式为： 习惯上把常数项看成为一个虚变量虚变量

3、的系数，在参数估计过程中该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（模型中解释变量的数目为（k+1）。 ikikiiiXXXY 22110 i=1,2,n (2.3.1)其中：k 为解释变量的数目； 多元线性回归模型的多元线性回归模型的矩阵表达式矩阵表达式为：为： XY (2.3.2)其中 X 1111121112222121xxxxxxxxxkknnknnk() 01211kk() 121nn 2 2、多元线性回归模型的基本假定、多元线性回归模型的基本假定 模型(2.3.1)或(2.3.2)在满足下述所列的基本假设基本假设的情况下，可以采用普通最小二乘法普通最小二乘法（OL

4、S）估计参数。关于经典回归模型的假定关于经典回归模型的假定标量符号1、解释变量kXXX,21是非随机的或固定的；而且各 X 之间互不相关（无多重共线性无多重共线性(no multicollinearity)）矩阵符号1、)1( kn矩阵 X 是非随机的；且 X 的秩1)( kX，此时XXT也是满秩的标量符号2、随机误差项具有零均值、同方差及不序列相关 0)(iE ni, 2 , 1 22)()(iiEVar ni, 2 , 1 0)(),(jijiECov ji 矩阵符号2、INNENET2)(, 0)( 0)()()(11nnEEENE nnTENNE11)(21121nnnEI22200标

5、量符号3、解释变量与随机项不相关 0),(ijiXCov ni, 2 , 1矩阵符号3、0)(NXET，即 0)()()(11iKiiiiiKiiiiEXEXEXXE标量符号4、 （为了假设检验） ，随机扰动项服从正态分布 ), 0(2Ni ni, 2 , 1 矩阵符号4、向量 N 为一多维正态分布，即 ), 0(2INN二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计1 1、普通最小二乘估计、普通最小二乘估计 普通最小二乘估计普通最小二乘估计随机抽取被解释变量和解释变量的 n 组样本观测值： kjniXYjii, 2 , 1 , 0, 2 , 1),(如果模型的参数估计值已经得到

6、，则有： KikiiiiXXXY22110 i=1,2,n (2.3.3)根据最小二乘原理，参数估计值应该是下列方程组的解： 0120000QQQQk (2.3.4)其中 2112)(niiiniiYYeQ 2122110)(nikikiiiYYYY (2.3.5)于是，得到关于待估参数估计值的正规方程组正规方程组： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 (2.3.6) 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值, , ,

7、jjk 012 。（2.3.6）的矩阵形式如下：nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111即： YXXX （2.3.7） 由于XX满秩，故有 () X XX Y1 （2.3.8） 估计过程的矩阵表示：估计过程的矩阵表示：对于模型(2.3.3)式有： YX 被解释变量的观测值与估计值之差的平方和为： Qeyyiiniiin2112( ) e eYXYX() ()其中 e eeen12根据最小二乘原理，参数估计值应该是下列方程组的解： () ()YXYX 0求解过程如下： 00)(2(0)2(0)(0)(XXYXX

8、XYXYXXXYYXXXYYXYYXYXYYY即得到 X YX X于是，参数的最小二乘估计值为： () X XX Y12 2、最大或然估计、最大或然估计 Y Y的随机抽取的的随机抽取的n组样本观测值的联合概率组样本观测值的联合概率 LP yyyeennyxxxnniiikkin(,)(,)()()()() ()212121212122201 122222YXYX 对数或然函数为对数或然函数为 参数的最大或然估计参数的最大或然估计 结果与参数的普通最小二乘估计相同结果与参数的普通最小二乘估计相同 LLn LnLn*( )()() () 2122YXYX() X XX Y13 3、矩估计、矩估计(

9、Moment Method,MM)(Moment Method,MM) 用每个解释变量分别乘以模型的两边，并对所有用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：样本点求和，即得到： y(xxx)y xxxxxy xxxxxy xxxiiikkiiiiiikkiiiiiiikkiiiikiii011221011221201122201122()()(kkiikixx) 对每个方程的两边求期望，有：对每个方程的两边求期望，有： EyE(xxx)Ey xExxxxEy xExxxxEy xiiikkiiiiiikkiiiiiiikkiiiiki()()()( ()()( ()()01

10、12210112212011222Exxxxiikkiiki( ()01122 得到一组矩条件得到一组矩条件 求解这组矩条件，即得到参数估计量求解这组矩条件，即得到参数估计量 与与OLS、ML估计量等价估计量等价y(xxx)y xxxxxy xxxxxy xxxiiikkiiiiikkiiiiiikkiiikii()()(011221011221201122201122ikkikixx) 矩方法是工具变量方法矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方法和广义矩估计方法(Generalized Moment Method, GMM)的基础的基础 在矩

11、方法中关键是利用了在矩方法中关键是利用了 如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1个个工具变量，仍然可以构成一组矩条件。这就是工具变量，仍然可以构成一组矩条件。这就是IV。 如果存在如果存在k+1个变量与随机项不相关，可以构成个变量与随机项不相关，可以构成一组包含一组包含k+1方程的矩条件。这就是方程的矩条件。这就是GMM。kjxEjii, 2 , 1, 0)(4 4、多元回归方程及偏回归系数的含义、多元回归方程及偏回归系数的含义称为多元回归方程（函数）多元回归方程（函数）。 在经典回归模型的诸假定下，式（2.3.1）两边对 Y 求条件期望得： kik

12、iikiiiiXXXXXXYE2211021),|( （2.3.9） 多元回归分析（多元回归分析（multiple regression analysis）是以是以多个解释变量的固定值为条件的回归分析，并且所多个解释变量的固定值为条件的回归分析，并且所获得的是诸变量获得的是诸变量X值固定时值固定时Y的平均值。诸的平均值。诸 i称为称为偏偏回归系数回归系数（partial regression coefficients）。）。偏回归系数偏回归系数的含义如下： 1度量着在X2,X3,Xk保持不变的情况下，X1每变化1个单位时，Y的均值E(Y)的变化，或者说1给出X1的单位变化对Y均值的“直接”或“

13、净”（不含其他变量）影响。 其他参数的含义与之相同。三、三、OLSOLS估计量的统计性质估计量的统计性质 1 1、线线性性性性 ()XXXY1 （2.3.10） 2 2、无无偏偏性性 BBE)( (2.3.11)证： NXXXBNXBXXXYXXXB111)()()()( (2.3.12)于是： BNEXXXBNXXXEBEBE)()()()()(11 3 3、最最小小方方差差性性若*B是B的任一线性无偏估计量，则有 )()(*BBBBEBBBBE (2.3.13)证明略。四、参数估计量的方差四、参数估计量的方差- -协方差矩阵协方差矩阵和随机误差项和随机误差项 2 2方差的估计方差的估计1

14、1、一个疑问与回答、一个疑问与回答 疑问：在无偏性证明中将疑问：在无偏性证明中将参数估计量看作随机量，参数估计量看作随机量，而在正规方程组的推导中又将它看作确定值。如而在正规方程组的推导中又将它看作确定值。如何解释？何解释？ 解释：将一组具体样本资料代入参数估计量的表解释：将一组具体样本资料代入参数估计量的表达式给出的参数估计结果是达式给出的参数估计结果是一个一个“估计值估计值”，或，或者者“点估计点估计”，是参数估计量的一个具体数值，是参数估计量的一个具体数值，是确定的；但从另一个角度，仅仅把它看成是参是确定的；但从另一个角度，仅仅把它看成是参数估计量的一个表达式，那么，则是被解释变量数估计

15、量的一个表达式，那么，则是被解释变量观测值的函数，而被解释变量是随机变量，所以观测值的函数，而被解释变量是随机变量，所以参数估计量也是随机变量，在这个角度上，参数估计量也是随机变量，在这个角度上，称之称之为为“估计量估计量”。2、参数估计量的方差参数估计量的方差- -协方差协方差 将将参数估计量看作随机量，具有数字特征。参数估计量看作随机量，具有数字特征。 参数估计量的方差以及不同参数估计量之间的参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。协方差在模型理论中具有重要性。 具体描述如下：具体描述如下：主对角线给出了各参数估计j的方差，其余部分给出了不同参数估计i与j的协

16、方差，故称为参数估计向量B的方差方差- -协方差矩阵协方差矩阵。由于矩阵kkkkEBBBBE)(1100110021100112110011001100200)()()()()()()()()(kkkkkkkkkkEEEEEEEEE (3.1.14) 由（2.3.8）式可得B的方差方差- -协方差矩阵的矩阵符号表协方差矩阵的矩阵符号表达式达式：)()cov(varBBB)(BBE(BYXX)XBYXX)X11E(BN)(XBXX)XB(N)(XBXX)X11E)(1XXX(NNXX)XNXX)XN(XX)X111EE121)()( XXX(IXX)XXX)X(NE(NXX)X1112)(XX

17、(2.3.15)记ijc为矩阵1)(XX中第i行第 j 列元素，比较（3.1.14）与(3.1.15)式，知第i个回归参数估计量i（i=0，1，2，k）的方差、标准差、协方差为： iiic2)var( （2.3.16） iiic)var( (2.3.17) ijjic2),cov( （2.3.18）3 3、随机误差项、随机误差项 2 2方差的估计方差的估计可以证明，随机误差项方差2的无偏估计为： 11)1(22knknkneiYXBYYee （2.3.19）于是，参数估计量i的方差、标准差、协方差可分别用其样本方差)(2iS、标准差)(iS、协方差),(jiSS加以估计： iiiiiickne

18、cS1)(222 （2.3.20） iiiiiicknecS1)(22 （2.3.21） ijiijjicknecSS1),(22 ji (2.3.22)关关于于YXBYYee的的证证明明：MYYXX)XX(IYXX)XX(YBXYYYe11MYMY(MY)(MYee可以证明，)XX)XX(IM1为对称等幂矩阵， 即 MM ，MM2，于是： BXYYYYXX)XX(YYYYXX)XX(IYMYYee11由于BXY为一数量，故 YXB)BXY(BXY，于是： YXBYYee五、样本容量问题五、样本容量问题 最小样本容量最小样本容量 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理和，即从最

19、小二乘原理和最大或然原理出发，欲得到参数估计量，不管最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数样本最小容量必须不少于模型中解释变量的数目（包括常数项）。目（包括常数项）。2 2、满足基本要求的样本容量、满足基本要求的样本容量 从参数估计角度：从参数估计角度：3解释变量数目解释变量数目 从检验的有效性角度：从检验的有效性角度：303 3、模型的良好性质只有在大样本下才能得、模型的良好性质只有在大样本下才能得到理论上的证明到理论上的证明六、六、多元线性回归模型实例多元线性回归模型实例中国

20、消费函数模型中国消费函数模型 根据消费模型的一般形式，选择消费总额为被解释变量，国内生产总值和前一年的消费总额为解释变量，变量之间关系为简单线性关系，选取1981年至1996年统计数据为样本观测值。 中国消费数据表 单位：亿元 年 份 消费总额 国内生产总值前一年消费额 年 份 消费总额 国内生产总值 前一年消费额1981330949012976198910556164669360198236385489330919901136218320105561983402160763638199113146212801136219844694716440211992159522586413146198

21、55773879246941993201823450115952198665421013357731994272164711120182198774511178465421995345295940527216198893601470474511996401726849834529 模型估计结果D ep en d en t V ariab le: C O N S M eth od : L east S q u ares D ate: 0 2 /2 5 /0 3 Tim e: 1 7 :4 7 S am p le: 1 9 8 1 1 9 9 6 In clu d ed ob servation s: 1 6 V ariab le C oefficien t S td .