04：第三讲 多元回归模型：估计与推断.ppt

1、第三讲 多元回归模型：估计与推断,陈创练 ,1, 1 前言 2 本章框架及思路 3 模型设定及说明 4 假设以及OLS估计量的无偏性 5 多元普通最小二乘法的推导 6 拟合优度 7 OLS估计量的方差 8 多元回归分析：推断,第三讲 多元回归模型：估计与推断,为什么需要多元线性回归模型？ 简单线性回归方程： 多元线性回归模型： 既然exper与edu相关，为得到 的无偏估计，明确将两个变量同时放在模型中是有益的。, 1 前言,4, 1 前言,How to interpret the parameters ？, 2 本章框架及思路,高斯马尔科夫定理 多元回归分析：推断,性质,1. 古典多元线性回

2、归模型的一般形式 矩阵记为：, 3 模型设定及说明,局部影响效应： （线性影响）； （线性影响） 例3.1 大学城GPA的决定因素 例3.2 小时工资方程,2.方程解释,清楚多元回归中“保持其他因素不变”的含义，同时改变不止一个自变量的解释。 如 exper：在劳动市场上的工作经历； tenture：现任职务的任期。 各增加一年： 增加2.6%。,2.方程解释,OLS拟合值和残差具有某些能直接从单变量情形推广而得到的重要性质： （1）残差的样本平均值为零； （2）每个自变量和OLS协残差之间的样本协方差为零 （3）点 总位于OLS回归线上。,3. 代数性质,Here， 为利用现有样本 对 回归

3、而得到的OLS残差。 （ 排除了 影响之后的部分）,4. 对多元回归“排除其他变量影响”的解释,将 对 进行回归，用回归中 的拟合值及其残差来表示 ： 对于 ， 将其代入一阶方程可得 由于 可得 由于 可得 由于 可求得 。（得证）,证明：,对于模型为 当存在下列两种情况时，简单回归的系数 与多元回归的系数 相等。 （1）样本中 对 的局部效应为零，即 （2）样本中 和 不相关。, 3 模型设定说明,在回归模型中包含了无关变量 在一个多元回归模型中包含或多一个无关自变量，或对模型进行了过度设定（因为无关变量系数 ），并不会影响到OLS估计量的无偏性。但是却对OLS估计量的方差具有不利的影响。,

4、3 模型设定说明,假定MLR.1 （对参数而言为线性） 总体模型可写成 Here, 为我们所关心的未知参数（常数），u 为观测不到随机误差或随机干扰项。,4 假设以及OLS估计量的无偏性,假定MLR.2 （随机抽样性） 我们有一个含n 次观测的随机样本 它来自假定MLR.1描述的总体模型。,4 假设以及OLS估计量的无偏性,假定MLR.3 （条件均值为零、严格外生性） 给定自变量的任何值，误差u的期望值为零。换句话说，即 1) 2),4 假设以及OLS估计量的无偏性,严格外生性假定不成立的情况： 1）当i 代表时间，回归模型为时间序列模型，严格外生性可表述为： 解释变量与过去、当前和将来的扰动

5、项正交。 对大多数时间序列模型来说，不能得到满足。,4 假设以及OLS估计量的无偏性,例如，含有滞后因变量的模型（动态模型）： （一阶自回归模型） 根据外生性要求 ，那么 也就是说解释变量与过去的扰动项相关，违背了严格外生性的假定。,4 假设以及OLS估计量的无偏性,2）被解释变量与解释变量的函数关系设定错误。 例3.2（续） 设定一个简单的工资方程： 如果工资方程中的被解释变量被错误设定为 wage，那么严格外生性假定不成立，系数估计量就会有偏。,4 假设以及OLS估计量的无偏性,3) 遗漏重要解释变量。 遗漏变量的偏误：简单模型,4 假设以及OLS估计量的无偏性,而由 代入可得 两边除以

6、并求期望可得,4 假设以及OLS估计量的无偏性,设定 ，则 偏误 通常被称为遗漏变量偏误 （omitted variable bias） 可以判断是否有偏，但是很难判断偏误的方向。 例如，上述的工资方程中遗漏了重要的解释变量个人的智力水平。,4 假设以及OLS估计量的无偏性,4）测量误差。 例如，如果上述的工资方程中教育的衡量有测量误差，那么严格外生性也不成立。 5）联立方程,4 假设以及OLS估计量的无偏性,假定MLR.4 （不存在完全共线性） 样本（因而在总体中），没有一个自变量是常数，自变量之间也不存在严格的线性关系。 无完全共线性允许解释变量之间相关，只是不允许它们完全相关。,4 假设

7、以及OLS估计量的无偏性,假定4不成立的情况： 1）没有谨慎小心地设定回归模型。 情况1：用不同单位衡量相同变量。 情况2： 情况3：,4 假设以及OLS估计量的无偏性,2）可得数据的限制。 观察值的数目少于解释变量的个数。 由于数据的限制使得部分解释变量具有完全共线性。 例3.2(续) 重新设定一个多元的工资方程： 如果我们观测的经济主体都没有改换过工作，那么 和 就会完全共线。,4 假设以及OLS估计量的无偏性,定理3.1 （OLS的无偏性） 在假定MLR.1MLR.4下，下式对总体参数的任意值都成立： 即OLS估计量是总体参数的无偏估计量。,4 假设以及OLS估计量的无偏性,利用 代入式

8、（2）可得 因此，,证明,最小二乘原理原理：,5 多元最小二乘估计,1. 可决系数R2 R2 等于 的实际值及其拟合值 之间的相关系数的平方。 关于决定系数R2 的讨论： 1）R2是非常数的解释变量的解释强度的度量。,6 拟合优度,2）决定系数R2 的开根号 表示 与 的相关系数，有时也称为复相关系数。 特殊情形：在简单线形回归模型 中， 与 的相关系数等于 与 的相关系数。 掌握好相关系数与R2的联系有助于理解下文“解释平方和的分解”。,6 拟合优度,3）只要回归方程包含常数项，中心化的 R2满足 如果不包含常数项，根据不同的公式，中心化的R2 有可能是负值、正值。 其原因是没有截距时，回归

9、拟合因变量的方法可能劣于样本均值拟合因变量的方法。,6 拟合优度,4）添加解释变量，决定系数R2非降。因此，R2不是一个好指标用以决定一个(或多个)变量是否应该纳入回归方程。但可以用R2计算F统计量，用以决定一个(或多个)变量是否应该纳入回归方程。 5) 决定系数的高低与数据类型有关，当数据是时序， R2一般很高；当数据是横截面时，R2一般较低。,6 拟合优度,6）过远点的回归。 R2可能为负，这意味着样本平均比解释变量更多地“解释”了 的方差。我们要么在回归中包含一个截距项，要么断定解释变量对 的解释很差。,6 拟合优度,2. 调整的决定系数： 关于调整的决定系数 的讨论： 1） 与 相比，

10、 对相对复杂的模型进行了惩罚。 2） 有可能为负。 3） 可用于非嵌套模型的选择。但要注意 或 的使用前提是被解释变量的函数形式相同的。,6 拟合优度,例子：(RDCHEM.raw)R H1：b11,65,计算t检验的p值,事前指定一个显著性水平的不足之处： 不存在一个“正确的”的显著性水平； 可能隐藏假设检验结果方面的有用信息 t=1.85， c（40，5%）=2.021， c（40，10%）=1.684， 检验p值：给定t统计量的观测值，能拒绝虚拟假设的最小显著性水平是多少？,66,1.T表示一个自由度为n-k-1的t分布随机变量；t表示该检 验统计量的数值。 2.P值的解释：观察到一个t

11、统计量至少和虚拟假设正确时的t统计量一样大的概率： 小p值是拒绝虚拟假设的证据； 大p值不能提供拒绝虚拟假设的证据。,67,68,一般情况的拒绝规则,a表示检验的显著性水平； p值a，则拒绝虚拟假设；否则，在100a%的显著性水平下，就不能拒绝H0。 单侧对立假设检验P值： 1.考虑参数估计值方向与对立假设的关系； 2.将双侧对立假设的p值除以2即得到单侧对立假设的p值。,69,统计检验值得注意的问题,当H0未被拒绝时，应该如何表述： 在a%的水平上我们不能拒绝H0； 在a%的水平上我们接受了H0。,70,经济或实际显著性与统计显著性 统计显著性：t值 经济显著性： 1.统计显著并不意味着实际

12、作用显著 2.实际作用显著并不意味着统计显著 3.大样本选择较小的显著性水平，反之亦然。,71,Example 4.6: Participation Rates in 401(k) Plans P125,72,Example 4.7 Effects of Job Training Grants on Firm Scrap Rates P 125,8 多元回归分析：推断,检验关于参数的一个线性组合的假设,原假设可改写为, , 则新检验为: P129,计算其对应p值为0.075, 拒绝原价设 因此，,3.对多个线性约束的检验：F检验 （施加了q个排除性约束） F统计量（ Fstatistic或F比率）为 由 和 得,8 多元回归分析：推断,4. 回归整体显著性的 统计量 （ ） 受约束模型为： （所有自变量都从方程中去掉，所以 ） 总的来说，多个假设检验要用F检验，它优于进行多个t检验。,8 多元回归分析：推断,F distribution,0,c,a,(1 - a),f(F),F,The F 同计量c (cont