多元回归分析估计.pptVIP

第三讲 多元回归分析：估计 Multiple Regression Analysis: Estimation,一、基本概念 二、OLS估计 三、OLS估计量的性质,一、基本概念,基本概念,多元回归分析的普遍性：一些例子,基本概念,多元线性回归模型（multiple linear regression model） 为什么要采用多元回归分析？ 如果采用简单回归模型（2），工作经验对工资的影响被放到误差项里。而工作经验与受教育水平是相关的，从而E(u|education)0，不满足SLR.4（零条件均值假定），因此（2）式中1的OLS估计量是有偏的 简单回归模型难以做到保持其它相关条件不变,基本概念,参数/系数（parameter/coefficient） 一个关键的假定：零条件均值假定,OLS的估计方法 拟合优度,二、OLS估计,OLS的估计方法,样本回归函数（SRF） 为了估计出总体回归函数中的参数，需要从总体中抽取一个样本。用(X1i , , Xki , Yi): i=1, ,n 表示从总体中得到的一个样本容量为n的随机样本。通过这个样本可以估计样本回归函数：,OLS的估计方法,OLS的估计方法 在本课程中，只需理解多元回归OLS估计的原理，不需了解具体的计算过程，计算过程交由统计软件完成,OLS的估计方法,回归系数估计值的含义 多元回归分析：在非实验环境中完成受控试验，即保持其他条件不变,OLS的估计方法,例题3_1（课本p71，例3.1） colGPA: 大学平均成绩 hsGPA：高中平均成绩 ACT：大学能力测试成绩,OLS的估计方法,例题3_2 （课本p72，例3.2）,OLS的估计方法,例题3_3 ：简单回归和多元回归的比较（课本p75，例3.3） 多元模型 简单模型,拟合优度,拟合优度 与简单回归分析类似，为了衡量根据OLS估计得出的样本回归函数对真实数据的拟合程度，引入复判定系数（multiple coefficient of determination）度量模型的拟合优度,拟合优度,例题3_4（课本p77，例3.5）,拟合优度,增加解释变量一般会使复判定系数变大。因此，不能简单地根据复判定系数是否增大来决定是否加入某个解释变量 例题3_5 colGPA: 大学平均成绩；hsGPA：高中平均成绩 ACT：大学能力测试成绩；skipped: 每周平均逃课数,多元回归模型的高斯-马尔科夫假定 OLS估计量的无偏性 OLS估计量的方差 OLS估计量的性质,三、OLS估计量的性质,多元回归模型的高斯-马尔科夫假定,与简单回归分析相同，为了判断点估计的无偏性、有效性等性质并进行假设检验，还需对回归模型做出一些假定 多元回归模型的高斯-马尔科夫假定,多元回归模型的高斯-马尔科夫假定,完全共线性（perfect collinearity）：回归模型中的某些解释变量之间存在完全的线性关系 区别 MLR.3关注自变量之间的关系，MLR.4关注自变量与误差项之间的关系。,多元回归模型的高斯-马尔科夫假定,存在完全共线性时将无法得到OLS估计量 例题3_6（课本p81-82）,OLS估计量的无偏性,OLS估计量的无偏性（证明见课本p106，附录3A.3） 保证OLS估计量无偏性的关键性假定是零条件均值假定MLR.4，这一假定成立意味着自变量与误差项不相关，此时称该自变量为外生变量（ exogenous variable）；如果某个自变量与误差项相关，称这个自变量为内生变量（ endogenous variable）。,OLS估计量的无偏性,违反零条件均值假定的几种常见情况： 遗漏解释变量 测量误差 样本选择 本讲讨论第1种情况，第2种和第3种情况在教材第9章及17章讨论,OLS估计量的无偏性,遗漏变量对OLS估计量无偏性的影响（课本p84-88）,OLS估计量的无偏性,遗漏变量对OLS估计量无偏性的影响（课本p84-88）,OLS估计量的无偏性,例题,OLS估计量的无偏性,小结 如果遗漏的变量与现有的自变量不相关，那么即便遗漏了这个变量也不会影响现有自变量的OLS估计的无偏性；但如果遗漏的变量与现有的自变量相关，就会影响现有自变量的OLS估计的无偏性 遗漏相关变量的重要原因是这些变量难以观测（如能力、永久性收入），这时可以采用一些办法来解决，如教材第9章介绍的代理变量，第15章介绍的工具变量法等。,OLS估计量的无偏性,包含无关变量对OLS估计量无偏性的影响 可以证明，在模型中包含对因变量无影响的自变量不会影响现有OLS估计量的无偏性（课本p84）。 但是如果这个无关变量与现有的自变量相关，就会增加OLS估计量的方差，从而影响其有效性,OLS估计量的无偏性,例题 工资收入：wage；受教育年限：schooling 能力：ability; 兄弟姐妹的数量：sibling 在工资方程中包含了兄弟姐妹的数量这个无关变量，则1的OLS估计仍然是无偏的。但由于受教育年限可能与兄弟姐妹的数量相关，因此会增加1的OLS估计量的方差，从而影响其有效性。,OLS估计量的方差,回归标准误：误差项标准差的估计（证明见课本p762，附录E.2）,OLS估计量的方差,OLS估计量的方差和标准误（证明见课本p107，附录3A.5） 为简便起见，以下只讨论我们最关注的斜率系数,OLS估计量的方差,例题3_7 colGPA: 大学平均成绩；hsGPA：高中平均成绩 ACT：大学能力测试成绩；skipped: 每周平均逃课数,OLS估计量的方差,OLS估计量方差的决定因素 OLS估计量的方差越小，则表明估计量越精确，它取决于三个因素,OLS估计量的方差,如果回归模型中的某些解释变量之间存在一定程度的线性关系，称为多重共线性（multicollinearity）。 多重共线性一般来说都会存在，因此很多计量经济学家对此颇为担心。但多重共线性不会影响OLS估计量的无偏性，而且OLS估计量的方差偏大经常来源于样本容量过小，从而解释变量的样本变异较小。有的计量经济学家把后一种情况称为微数缺测性（micronumeriosity），并认为对多重共线性不必过分担心。,OLS估计量的方差,对多重共线性的进一步说明 很多时候，在建立模型时引入较多的解释变量是将它们作为控制变量，因此，如果我们最关心的解释变量与其它解释变量相关性不强，那么即便其它解释变量之间相关程度很高，对于我们所关注的变量的参数估计也不会有太大影响。 例如，我们主要关注大学里学生出勤率对期末考试成绩的影响，可能会加入一些解释变量作为控制变量，如学生的高考成绩和上一学期期末考试的成绩。显然，高考成绩和上一学期期末考试的成绩之间存在正相关的关系，但本学期的出勤率与高考成绩和上一学期期末考试的成绩之间可能没有太大联系，因此对于出勤率这一变量的参数估计影响不大。,OLS估计量的方差,遗漏变量对OLS估计量方