第3讲多元回归分析估计ppt课件

1、第三讲第三讲 多元回归分析：估计多元回归分析：估计Multiple Regression Analysis: Estimation一、根本概念一、根本概念二、二、OLS估计估计三、三、OLS估计量的性质估计量的性质一、根本概念一、根本概念根本概念根本概念多元回归分析的普遍性：一些例子多元回归分析的普遍性：一些例子因变量因变量自变量自变量猪肉需求量猪肉需求量猪肉价格；牛肉价格；收入猪肉价格；牛肉价格；收入工资工资学历；工龄学历；工龄货币需求货币需求利率；国民收入利率；国民收入学习成绩学习成绩智商；性别；学习时间；学习支出；智商；性别；学习时间；学习支出；家庭收入；父母受教育程度；家庭收入；父母受

2、教育程度；教师；班级平均成绩；学校类型教师；班级平均成绩；学校类型根本概念根本概念多元线性回归模型多元线性回归模型multiple linear regression model为什么要采用多元回归分析？为什么要采用多元回归分析？假设采用简单回归模型假设采用简单回归模型2，任务阅历对工资的影响被放，任务阅历对工资的影响被放到误差项里。而任务阅历与受教育程度是相关的，从而到误差项里。而任务阅历与受教育程度是相关的，从而E(u|education)0，不满足，不满足SLR.4零条件均值假定，因零条件均值假定，因此此2式中式中1的的OLS估计量是有偏的估计量是有偏的简单回归模型难以做到坚持其它相关条

3、件不变简单回归模型难以做到坚持其它相关条件不变uXXXYkk 22110)2()1(10210ueducationwageuexperienceeducationwage 根本概念根本概念参数参数/系数系数parameter/coefficient一个关键的假定：零条件均值假定一个关键的假定：零条件均值假定为为斜斜率率为为截截距距，其其中中，称称为为参参数数或或系系数数。、中中，在在总总体体回回归归函函数数), 1(010110kjuXXYjkkk 112112221102121),|(,),|(0)(),|(XXXYEXXXXXXXXXXYEuEXXXuEkkkkkk 的的影影响响为为：改改

4、变变不不变变，保保持持，总总体体回回归归函函数数为为：假假定定n OLS的估计方法的估计方法n 拟合优度拟合优度二、二、OLS估计估计OLS的估计方法的估计方法样本回归函数样本回归函数SRF为了估计出总体回归函数中的参数，需求从总体中抽取一个为了估计出总体回归函数中的参数，需求从总体中抽取一个样本。用样本。用(X1i , , Xki , Yi): i=1, ,n 表示从总体中得到表示从总体中得到的一个样本容量为的一个样本容量为n的随机样本。经过这个样本可以估计的随机样本。经过这个样本可以估计样本回归函数：样本回归函数： uXXXYXXXYkkkk 2211022110或或OLS的估计方法的估计

5、方法 kkikiikikikiiikikiiknikikiiniiiniikkkXXYXXXYXXXYQQQXXYYYuQ 、个个方方程程，可可以以解解出出个个未未知知数数有有针针对对一一阶阶条条件件：和和最最小小：，使使得得残残差差项项的的平平方方之之、找找到到一一组组1011011011101012110121210110)(0)(0)(0/0/0/)()(minOLS的估计方法的估计方法在本课程中，只需了解多元回归在本课程中，只需了解多元回归OLS估计的原理，不需了解估计的原理，不需了解详细的计算过程，计算过程交由统计软件完成详细的计算过程，计算过程交由统计软件完成OLS的估计方法的估计

6、方法回归系数估计值的含义回归系数估计值的含义多元回归分析：在非实验环境中完成受控实验，即坚持其他多元回归分析：在非实验环境中完成受控实验，即坚持其他条件不变条件不变jjjjjljkkjjkkjjjjljjjjkkXYXXXjlXXXXXXXYXXjlXYXXeffectpartialYXkjXXY ，则则：不不变变，同同理理，若若，则则：不不变变，若若变变化化的的数数量量。变变化化一一个个单单位位时时以以外外的的自自变变量量不不变变，即即保保持持），的的偏偏效效应应（对对）表表示示（任任意意一一个个中中，在在样样本本回回归归方方程程)()1(1)(, 1110110110OLS的估计方法的估计

7、方法例题例题3_1课本课本p71，例，例3.1colGPA: 大学平均成果大学平均成果hsGPA：高中平均成果：高中平均成果ACT：大学才干测试成果：大学才干测试成果141009404530291 nACT.hsGPA.colGPAOLS的估计方法的估计方法例题例题3_2 课本课本p72，例，例3.2位位任任职职年年数数）：资资历历（在在当当前前工工作作单单：工工作作经经验验（工工龄龄）：受受教教育育年年限限小小时时工工资资的的对对数数tenureexpereduclwagetenureexpereduclwage:022. 0004. 0092. 0284. 0 OLS的估计方法的估计方法例

8、题例题3_3 ：简单回归和多元回归的比较课本：简单回归和多元回归的比较课本p75，例，例3.3多元模型多元模型简单模型简单模型prateCoefficientmrate5.521age.243_cons80.119prateCoefficient拟合优度拟合优度拟合优度拟合优度与简单回归分析类似，为了衡量根据与简单回归分析类似，为了衡量根据OLS估计得出的样本回估计得出的样本回归函数对真实数据的拟合程度，引入复断定系数归函数对真实数据的拟合程度，引入复断定系数multiple coefficient of determination度量模型的拟合优度度量模型的拟合优度自自变变量量的的关关联联程

9、程度度用用于于度度量量因因变变量量与与所所有有被被定定义义为为复复相相关关系系数数，解解释释的的比比例例。另另外外，异异能能够够被被所所有有自自变变量量表表示示因因变变量量的的样样本本总总变变为为模模型型的的复复判判定定系系数数，定定义义RSSTSSRSSTSSERuSSRYYSSEYYSSTniiniinii 1;)(;)(2121212拟合优度拟合优度例题例题3_4课本课本p77，例，例3.5narr86Coefficientpcnv-0.150 ptime86-0.034 qemp86-0.104 _cons0.712 R20.0413narr86Coefficientpcnv-0.15

10、1 ptime86-0.037 qemp86-0.103 avgsen0.007 _cons0.707 R20.0422拟合优度拟合优度o 添加解释变量普通会使复断定系数变大。因此，不能简单地添加解释变量普通会使复断定系数变大。因此，不能简单地根据复断定系数能否增大来决议能否参与某个解释变量根据复断定系数能否增大来决议能否参与某个解释变量o 例题例题3_5o colGPA: 大学平均成果；大学平均成果；hsGPA：高中平均成果：高中平均成果o ACT：大学才干测试成果；：大学才干测试成果；skipped: 每周平均逃课数每周平均逃课数234008300150412039011760009404

11、5302861172048204151222.Rskipped.ACT.hsGPA.colGPA.RACT.hsGPA.colGPA.RhsGPA.colGPA n 多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定n OLS估计量的无偏性估计量的无偏性n OLS估计量的方差估计量的方差n OLS估计量的性质估计量的性质三、三、OLSOLS估计量的性质估计量的性质多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o 与简单回归分析一样，为了判别点估计的无偏性、有效性与简单回归分析一样，为了判别点估计的无偏性、有效性等性质并进展假设检验，还需对回归模型做出一些假定等性质并

12、进展假设检验，还需对回归模型做出一些假定o 多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定2kkkkXXuVarMLRXXuEMLRMLRMLRMLRuXXY ),|(5 .0),|(4 .3 .2 .1 .11110同同方方差差性性：零零条条件件均均值值：全全的的线线性性关关系系且且自自变变量量之之间间不不存存在在完完异异个个解解释释变变量量具具有有一一定定变变不不存存在在完完全全共共线线性性；每每的的从从总总体体中中随随机机抽抽样样得得到到样样本本的的随随机机性性：样样本本是是的的型型对对于于参参数数而而言言是是线线性性参参数数的的线线性性性性：回回归归模模对对于于总总体体

13、回回归归函函数数多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o 完全共线性完全共线性perfect collinearity：回归模型中的某些解：回归模型中的某些解释变量之间存在完全的线性关系释变量之间存在完全的线性关系o 区别区别o MLR.3关注自变量之间的关系，关注自变量之间的关系，MLR.4关注自变量与误差关注自变量与误差项之间的关系。项之间的关系。2211032133221100, 0XXXuXXXY ，令令存存在在譬譬如如，对对于于多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o 存在完全共线性时将无法得到存在完全共线性时将无法得到OLS估计量估计

14、量o 例题例题3_6课本课本p81-82的的偏偏效效应应不不变变，因因此此无无法法得得到到保保持持变变化化时时，无无法法完完全全相相关关，那那么么当当和和事事实实上上，如如果果、已已知知，仍仍无无法法得得到到、，即即便便和和只只能能得得到到估估计计实实际际上上只只有有两两个个，根根据据这这样样，真真正正的的解解释释变变量量则则有有：若若，对对于于1212121010203322033211201021013322110)()(XXXXXOLSuXXuXXYXXuXXXY OLS估计量的无偏性估计量的无偏性OLS估计量的无偏性证明见课本估计量的无偏性证明见课本p106，附录，附录3A.3保证保证

15、OLS估计量无偏性的关键性假定是零条件均值假定估计量无偏性的关键性假定是零条件均值假定MLR.4，这一假定成立意味着自变量与误差项不相关，这一假定成立意味着自变量与误差项不相关，此时称该自变量为外生变量此时称该自变量为外生变量 exogenous variable；假；假设某个自变量与误差项相关，称这个自变量为内生变量设某个自变量与误差项相关，称这个自变量为内生变量 endogenous variable。k,j ,)(EOLSMLR.jjjj1041 的无偏估计量。即：的无偏估计量。即：是是估计量估计量下，下，在假定在假定OLS估计量的无偏性估计量的无偏性违反零条件均值假定的几种常见情况：违

16、反零条件均值假定的几种常见情况：脱漏解释变量脱漏解释变量丈量误差丈量误差样本选择样本选择本讲讨论第本讲讨论第1种情况，第种情况，第2种和第种和第3种情况在教材第种情况在教材第9章及章及17章章讨论讨论OLS估计量的无偏性估计量的无偏性脱漏变量对脱漏变量对OLS估计量无偏性的影响课本估计量无偏性的影响课本p84-8811121211112112111211110221100)1()()()()2()1( 的无偏估计就取决于的无偏估计就取决于是否为是否为，那么，那么为正确模型，即为正确模型，即如果如果因此，偏差为：因此，偏差为：估计值。估计值。的简单回归的斜率系数的简单回归的斜率系数对对为为其中，

17、其中，以及，以及可以证明：可以证明：如果模型设定为：如果模型设定为：正确的模型为：正确的模型为： EbiasXXEXYXXYOLS估计量的无偏性估计量的无偏性脱漏变量对脱漏变量对OLS估计量无偏性的影响课本估计量无偏性的影响课本p84-88有有向向上上的的偏偏误误，即即，那那么么若若有有向向下下的的偏偏误误，即即，那那么么若若如如果果）有有向向下下的的偏偏误误（，称称，那那么么若若）有有向向上上的的偏偏误误（，称称，那那么么若若如如果果的的无无偏偏估估计计仍仍然然是是，那那么么如如果果的的符符号号相相同同，因因此此有有：的的样样本本相相关关系系数数和和与与1112111221111211122

18、111112121211)(0)(00),()3()(0)(00),()2()(0),()1(),( EEXXCorrbiasdownwardEbiasupwardEXXCorrEXXCorrXXCorrXXOLS估计量的无偏性估计量的无偏性例题例题会会有有向向下下的的偏偏误误，即即因因此此。，而而且且可可以以预预期期由由于于，使使用用了了如如果果遗遗漏漏了了为为家家庭庭收收入入为为生生师师比比，为为学学校校平平均均成成绩绩，假假若若正正确确的的模模型型为为：会会高高估估真真实实的的会会有有向向上上的的偏偏误误，即即即即因因此此。，而而且且可可以以预预期期由由于于，使使用用了了如如果果遗遗漏漏

19、了了假假若若正正确确的的模模型型为为：1121210210111121112102100)(000)()(00 bias)incomeratio,(CorruratiocoresincomeincomeratioscoreuincomeratiocoresEbias)abilityschooling,(CorruschoolingwageabilityuabilityschoolingwageOLS估计量的无偏性估计量的无偏性小结小结假设脱漏的变量与现有的自变量不相关，那么即使脱漏了这假设脱漏的变量与现有的自变量不相关，那么即使脱漏了这个变量也不会影响现有自变量的个变量也不会影响现有自变量的O

20、LS估计的无偏性；但假估计的无偏性；但假设脱漏的变量与现有的自变量相关，就会影响现有自变量设脱漏的变量与现有的自变量相关，就会影响现有自变量的的OLS估计的无偏性估计的无偏性脱漏相关变量的重要缘由是这些变量难以观测如才干、永脱漏相关变量的重要缘由是这些变量难以观测如才干、永久性收入，这时可以采用一些方法来处理，如教材第久性收入，这时可以采用一些方法来处理，如教材第9章章引见的代理变量，第引见的代理变量，第15章引见的工具变量法等。章引见的工具变量法等。OLS估计量的无偏性估计量的无偏性包含无关变量对包含无关变量对OLS估计量无偏性的影响估计量无偏性的影响可以证明，在模型中包含对因变量无影响的自

21、变量不会影响可以证明，在模型中包含对因变量无影响的自变量不会影响现有现有OLS估计量的无偏性课本估计量的无偏性课本p84。但是假设这个无关变量与现有的自变量相关，就会添加但是假设这个无关变量与现有的自变量相关，就会添加OLS估计量的方差，从而影响其有效性估计量的方差，从而影响其有效性OLS估计量的无偏性估计量的无偏性例题例题工资收入：工资收入：wage；受教育年限：；受教育年限：schooling才干：才干：ability; 兄弟姐妹的数量：兄弟姐妹的数量：sibling在工资方程中包含了兄弟姐妹的数量这个无关变量，那么在工资方程中包含了兄弟姐妹的数量这个无关变量，那么1的的OLS估计依然是无

22、偏的。但由于受教育年限能够与兄弟估计依然是无偏的。但由于受教育年限能够与兄弟姐妹的数量相关，因此会添加姐妹的数量相关，因此会添加1的的OLS估计量的方差，从估计量的方差，从而影响其有效性。而影响其有效性。esiblingabilityschoolingwageuabilityschoolingwage 3210210 包包含含了了无无关关变变量量：假假定定正正确确的的模模型型为为：OLS估计量的方差估计量的方差回归规范误：误差项规范差的估计证明见课本回归规范误：误差项规范差的估计证明见课本p762，附录，附录E.2为为回回归归标标准准误误的的无无偏偏估估计计量量是是：下下，误误差差项项方方差差

23、在在假假定定 22221151 . iuknMLROLS估计量的方差估计量的方差OLS估计量的方差和规范误证明见课本估计量的方差和规范误证明见课本p107，附录，附录3A.5为简便起见，以下只讨论我们最关注的斜率系数为简便起见，以下只讨论我们最关注的斜率系数eXXXXXRkXRXXXSSTVarSERSSTVarkjMLRkkjjjjjjjjnijjijjjjjjj 1111110221222)1(,)()()()11()(, 151 .：模模型型的的系系数数，即即下下列列多多元元回回归归进进行行回回归归而而得得到到复复判判定定）个个解解释释变变量量（含含截截距距项项对对其其余余为为的的样样本

24、本总总变变异异。称称为为变变量量；的的方方差差和和标标准准误误为为：，下下，对对于于在在假假定定OLS估计量的方差估计量的方差例题例题3_7colGPA: 大学平均成果；大学平均成果；hsGPA：高中平均成果：高中平均成果ACT：大学才干测试成果；：大学才干测试成果；skipped: 每周平均逃课数每周平均逃课数2340)026. 0()011. 0()094. 0()332. 0(083. 00150412039011760)011. 0()096. 0()314. 0(009404530286122.RskippedACT.hsGPA.colGPA.RACT.hsGPA.colGPA OL

25、S估计量的方差估计量的方差OLS估计量方差的决议要素估计量方差的决议要素OLS估计量的方差越小，那么阐明估计量越准确，它取决于估计量的方差越小，那么阐明估计量越准确，它取决于三个要素三个要素越越小小程程度度越越低低，与与其其它它解解释释变变量量的的相相关关越越小小，即即容容量量实实现现越越小小，可可通通过过增增加加样样本本越越大大，适适变变量量实实现现，但但不不一一定定合合越越小小，可可通通过过增增加加解解释释越越小小，)()()()11()(2222 jjjjjjjjjVarXRVarTSSVarRSSTVar OLS估计量的方差估计量的方差o 假设回归模型中的某些解释变量之间存在一定程度的

26、线性假设回归模型中的某些解释变量之间存在一定程度的线性关系，称为多重共线性关系，称为多重共线性multicollinearity。o 多重共线性普通来说都会存在，因此很多计量经济学家对多重共线性普通来说都会存在，因此很多计量经济学家对此颇为担忧。但多重共线性不会影响此颇为担忧。但多重共线性不会影响OLS估计量的无偏性估计量的无偏性，而且，而且OLS估计量的方差偏大经常来源于样本容量过小，估计量的方差偏大经常来源于样本容量过小，从而解释变量的样本变异较小。有的计量经济学家把后一从而解释变量的样本变异较小。有的计量经济学家把后一种情况称为微数缺测性种情况称为微数缺测性micronumeriosit

27、y，并以为对多，并以为对多重共线性不用过分担忧。重共线性不用过分担忧。会会比比较较大大和和从从而而会会比比较较大大，和和的的相相关关程程度度较较高高，那那么么和和如如果果譬譬如如，对对于于)()(322322323322110 arVarVRRXXuXXXYOLS估计量的方差估计量的方差对多重共线性的进一步阐明对多重共线性的进一步阐明很多时候，在建立模型时引入较多的解释变量是将它们作为很多时候，在建立模型时引入较多的解释变量是将它们作为控制变量，因此，假设我们最关怀的解释变量与其它解释控制变量，因此，假设我们最关怀的解释变量与其它解释变量相关性不强，那么即使其它解释变量之间相关程度很变量相关性不强，那么即使其它解释变量之间相关程度很高，对于我们所关注的变量的参数估计也不会有太大影响高，对于我们所关注的变量的参数估计也不会有太大影响。例如，我们主要关注大学里学生出勤率对期末考试成