3.1 多元线性回归模型及参数估计ppt课件

1、2.3多元线性回归模型的参数估计多元线性回归模型的参数估计Estimation of Multiple Linear Regression Model 一、一、多元线性回归模型多元线性回归模型二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质四、样本容量问题四、样本容量问题五、五、多元线性回归模型实例多元线性回归模型实例1.2一、一、多元线性回归模型多元线性回归模型31 1、多元线性回归模型的形式、多元线性回归模型的形式由于：由于： 在实际经济问题中，一个变量往往受到多个原因变量的影响；在实际经济问题中，一个变量往往受到多个

2、原因变量的影响； “从一般到简单从一般到简单”的建模思路。的建模思路。所以，线性回归模型中的解释变量往往有多个，至少开始是这样。这样所以，线性回归模型中的解释变量往往有多个，至少开始是这样。这样的模型被称为的模型被称为多元线性回归模型多元线性回归模型。多元线性回归模型参数估计的原理与一元和二元线性回归模型相同，只多元线性回归模型参数估计的原理与一元和二元线性回归模型相同，只是计算更为复杂。是计算更为复杂。4 多元线性回归模型的一般形式为：多元线性回归模型的一般形式为： 习惯上，把常数项习惯上，把常数项i看成为一个看成为一个虚变量虚变量的系数，在参数估计过程中该虚变量的系数，在参数估计过程中该虚

3、变量的样本观测值始终取的样本观测值始终取1。这样：。这样： 模型中解释变量的数目为（模型中解释变量的数目为（k+1）。）。 i=1,2,n ikikiiiXXXY 221105 多元线性回归模型的矩阵表达式为：多元线性回归模型的矩阵表达式为：YX 其中 01211kk() 121nn121nnYYYY) 1(212221212111111knknnnkkXXXXXXXXXX6 2 2、多元线性回归模型的基本假定、多元线性回归模型的基本假定多元线性回归模型在满足下列基本假设基本假设的情况下，可以采用普通最小二乘法普通最小二乘法（OLS）估计参数。关于多元线性回归模型的基本假定关于多元线性回归模型

4、的基本假定标量符号1、解释变量kXXX,21是非随机的或固定的；而且各 X 之间互不相关（无无多多重重共共线线性性(no multicollinearity)）矩阵符号1、)1( kn矩阵 X 是非随机的；且 X 的秩1)( kX，此时XXT也是满秩的7标量符号2、随机误差项具有零均值、同方差及不序列相关 0)(iE ni, 2 , 1 22)()(iiEVar ni, 2 , 1 0)(),(jijiECov ji 矩阵符号2、INNENET2)(, 0)( 0)()()(11nnEEENE nnTENNE11)(21121nnnEI222008标量符号3、解释变量与随机项不相关 0),(i

5、jiXCov ni, 2 , 1矩阵符号3、0)(NXET，即 0)()()(11iKiiiiiKiiiiEXEXEXXE9标量符号4、 （为了假设检验） ，随机扰动项服从正态分布 ), 0(2Ni ni, 2 , 1 矩阵符号4、向量 N 为一多维正态分布，即 ), 0(2INN10二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计111 1、普通最小二乘估计、普通最小二乘估计普通最小二乘估计普通最小二乘估计随机抽取被解释变量和解释变量的 n 组样本观测值： kjniXYjii, 2 , 1 , 0, 2 , 1),(如果模型的参数估计值j已经求得，则有： kikiiiiXXXY2

6、2110（i=1,2,n ） 12根据最小二乘原理，参数估计值应该是下列方程组的解： 0120000QQQQk其中 2112)(niiiniiYYeQnikikiiiXXXY1222110)(13 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值, , ,jjk 012 。于是得到关于待估参数估计值的正规方程组： 0)(0)(0)(0)(221102221102122110122110kikikiikiiikikiiiiikikiiiikikiiiXXXXXYXXXXXYXXXXXYXXXY14 上述估计过程的矩阵表示：上述估计过程的矩阵表示：对于模型YX，如果模

7、型的参数估计值B已经得到，则有： YXeXY其中 e eeen12从而，被解释变量的观测值与估计值之差的平方和为： 2112)(niiiniiYYeQ)( )(XYXYee15根据最小二乘原理，参数估计值应该是下列方程组的解： () ()YXYX 0求解过程如下： 00)(2(0)2(0)(0)(XXYXXXYXYXXXYYXXXYYXYYXYXYYY16随机误差项的均值为随机误差项的均值为0，方差的估计量为：，方差的估计量为： 21e enk于是，得到正规方程组：于是，得到正规方程组： X YX X参数的最小二乘估计值为：参数的最小二乘估计值为： () X XX Y1172 2、最大或然估计

8、、最大或然估计Y Y的随机抽取的的随机抽取的n组样本观测值的联合概率组样本观测值的联合概率 LP yyyeennyxxxnniiikkin(,)(,)()()()() ()212121212122201 122222YXYX18对数或然函数为对数或然函数为参数的最大或然估计参数的最大或然估计 结果与参数的普通最小二乘估计相同结果与参数的普通最小二乘估计相同 LLn LnLn*( )()() () 2122YXYX() X XX Y119三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质对于满足基本假设的多元线性回归模型YX，其参数的普通最小二乘估计具有线性、无偏性和有效性三个特性。

9、201线性 由() X XX Y1， 可知参数j), 2 , 1 , 0(kj的普通最小二乘估计j为), 2 , 1(niYi的线性函数。 2无偏性 参数估计量的无偏性证明如下： )()()()()()(1XXXXXXXYXXX11EEEE这里利用了解释变量与随机误差项不相关的假设，即 E()X 0213有效性 12112121111)()()()()()()()()()()() )()()( XXXXXXXXXXXXXXXXXX1XXXXXXIXXEEEEEECov其中利用了 ()X XX Y1XXXXXXX11)()()(E() 2I根据高斯马尔可夫定理，上述方差在所有无偏估计量的方差中是

10、最小的，所以普通最小二乘参数估计量具有有效性。 22主对角线给出了各参数估计j的方差，其余部分给出了不同参数估计i与j的协方差，故称为参数估计向量B的方方差差- -协协方方差差矩矩阵阵。 由于矩阵 k k k k E B B B B E ) )( ( 1 1 0 0 1 1 0 0 2 1 1 0 0 1 1 2 1 1 0 0 1 1 0 0 1 1 0 0 2 0 0 ) ( ) )( ( ) )( ( ) )( ( ) ( ) )( ( ) )( ( ) )( ( ) ( k k k k k k k k k k E E E E E E E E E (3. 参数估计量的方差参数估计量的方差

11、- -协方差矩阵协方差矩阵234随机误差项方差估计量的性质 由于被解释变量的估计值与观测值之间的残差 eYXMXXXXIXXXXXXXXXX)()()()(111残差的平方和为: e eM M因 为XXXXIM1)(为 对 称 等 幂 矩 阵 ， 即 MM，MMMM2 所以有 e eM)1()()()()(212121kntrtrtrEEXXXXIXXXXIXXXXIee其中符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是 21Enk()e e所以，随机误差项方差的无偏估计量为 21 een k24关关于于YXBYYee的的证证明明：MYYXX)XX(IYXX)XX(YBXYYYe

12、11MYMY(MY)(MYee可以证明，)XX)XX(IM1为对称等幂矩阵， 即 MM ，MM2，于是： BXYYYYXX)XX(YYYYXX)XX(IYMYYee11由于BXY为一数量，故 YXB)BXY(BXY，于是： YXBYYee25四、样本容量问题四、样本容量问题1、 最小样本容量最小样本容量2 2、满足基本要求的样本容量、满足基本要求的样本容量 计量经济学模型，说到底是从表现已经发生的经济活动的样本数据计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖

13、性。性。 26 最小样本容量最小样本容量最小样本容量：是指从最小二乘原理出发，欲得到参数估计量，不管其质最小样本容量：是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。量如何，所要求的样本容量的下限。样本容量必须不少于模型中解释变量的数目（包括常数项），这就是最小样本容量必须不少于模型中解释变量的数目（包括常数项），这就是最小样本容量：样本容量： nk1272 2、满足基本要求的样本容量、满足基本要求的样本容量 虽然当虽然当 nk+1 时，可以得到参数估计量，但除了参数估计量质量不好以外，时，可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的

14、后续工作也无法进行。一些建立模型所必须的后续工作也无法进行。 一般经验认为，当一般经验认为，当n 30或者至少或者至少nk 31()时，时，才能说满足模才能说满足模型估计的基本要求。型估计的基本要求。 28五、五、多元线性回归模型实例多元线性回归模型实例29中国消费函数模型中国消费函数模型根据消费模型的一般形式，选择消费总额为被解释变量，国内生产总值和前一年的消费总额为解释变量，变量之间关系为简单线性关系，选取1981年至1996年统计数据为样本观测值。 30中国消费数据表 单位：亿元 年 份 消费总额 国内生产总值前一年消费额 年 份 消费总额 国内生产总值 前一年消费额1981330949

15、0129761989105561646693601982363854893309199011362183201055619834021607636381991131462128011362198446947164402119921595225864131461985577387924694199320182345011595219866542101335773199427216471112018219877451117846542199534529594052721619889360147047451199640172684983452931模型估计结果D ep en d en t V ari

16、ab le: C O N S M eth od : L east S q u ares D ate: 0 2 /2 5 /0 3 Tim e: 1 7 :4 7 S am p le: 1 9 8 1 1 9 9 6 In clu d ed ob servation s: 1 6 V ariab le C oefficien t S td . E rror t-S tatistic P rob . C 5 4 0 .5 2 8 6 8 4 .3 0 1 5 3 6 .4 1 1 8 4 8 0 .0 0 0 0 G D P 0 .4 8 0 9 4 8 0 .0 2 1 8 6 1 2 2 .0

17、 0 0 3 5 0 .0 0 0 0 C O N S 1 0 .1 9 8 5 4 5 0 .0 4 7 4 0 9 4 .1 8 7 9 6 9 0 .0 0 1 1 R -sq u ared 0 .9 9 9 7 7 3 M ean d ep en d en t var 1 3 6 1 8 .9 4 A d ju sted R -sq u ared 0 .9 9 9 7 3 9 S .D . d ep en d en t var 1 1 3 6 0 .4 7 S .E . of reg ression 1 8 3 .6 8 3 1 A kaike in fo criterion 1 3 .4 3 1 6