第一部分5-IV和GMM

1 第五章第五章 IV 和和 GMM 一 一 IV 估计量估计量 1 内生解释变量 内生解释变量 1 什么是内生性 什么是内生性 回顾经典假设 对于回归模型 YXu OLS 的基本假设 见陈强 书 P15 严格外生性假定可以推出 Cov X u 0 即 解释变量 X 与随机项不相关 定义 内生解释变量 如果 X 与随机项 u 之间存在相关性 称 X 为内生解释变量 2 内生性解释变量产生的原因 内生性解释变量产生的原因 遗漏了重要的解释变量 True 012 wageeduabilu Do 01 wageeduu 观测误差 True X X e X 为真实值 Do 01011 Y XeuXue X 与是否相关 比如吸烟与健康的调查中 不吸烟者的误 1 ue 差为零 吸烟者对吸烟次数的报告有较大的偏差 2 滞后被解释变量 t0121 Y tt XYu 如果时间序列中有自相关的话 联立方程中 说明见陈强书 第十章 P120 121 3 内生性的后果 内生性的后果 参数估计是有偏的 有时甚至 同期相关 是不一致的 难以通 过扩大样本改善估计性质 内生性问题 1 1 1 1 1 Cov X u 0 X XX Y EE X XXXu E X XX XE X XX u E X XX u 参数估计 因为 所以 OLS 估计是有偏的 EX0u 此时参数估计的偏差不仅仅存在于内生解释变量的参数上 而是 所有的参数估计值都会受到影响 3 2 工具变量 工具变量 对内生变量的解决思路对内生变量的解决思路 增加遗漏的变量 或者其代理变量 面板数据 工具变量法 Instrument variables 1 工具变量的定义 工具变量的定义 工具变量 在模型估计过程中被作为工具使用 以替代模型中 与随机误差项相关的随机解释变量 2 工具变量要满足的条件 工具变量要满足的条件 工具变量相关性 工具变量与所替代的随机解释变量高度相关 cov 0Z X 工具变量外生性 工具变量与随机误差项不相关 cov 0Z u 另外 所找的工具变量要尽量与模型中其它解释变量不相关 以避 免出现多重共线性 3 IV 估计量和估计量和 TSLS 1 思路 X 的变动中 一部分与 u 无关 一部分与 u 相关 用工具变量抓住 X 变动中与 u 无关的部分 忽略那些与 u 相关的 X 的变动 正是这 4 部分变动导致了 估计的有偏 2 一个工具变量的情形 X 为内生变量 找到一个工具变量 Z 01 YXu 第一阶段 做回归 011 XZv X 被分解为两个部分 与 u 无关的部分 由于 Z 与 u 无关 因此线性部分是 X 011 Z 中没有问题的部分 与 u 有关的部分 v 忽略 v 第二阶段 做回归 01 YXu 得到 TSLS 的估计量 3 多个工具变量的情形 对于模型 假设 为内生变量 若存在两个工 01 YXu 具变量 z1 和 z2 将得到两个 IV 估计量 问题 如何将这两个 IV 估计量合并起来 第一阶段 得到 x 的拟合值 视为 x 的工 01122 XZZ X X 具变量 第二阶段 01 YXu 5 说明 TSLS 软件会直接执行两个步骤 无需分开自行求解 自行求解时 残差序列是错误的 工具变量个数一定不能少于内生变量个数 如果工具变量个数恰好等于内生变量个数 称为系数恰好识别 如果工具变量个数大于内生变量个数 称为系数过度识别 可以把外生变量 看做自己的工具变量 也就是此时可见 OLS 是 IV 估计的特例 4 4 矩阵的视角看 矩阵的视角看 IV 估计 估计 IV 估计可以解决问题吗 估计可以解决问题吗 YXe Z YZ XZ e 因为工具变量外生性 所以 0Z e 1 IV Z YZ XZ eZ X Z XZY IV 估计不是用 Z 代替 X 而只是分离出与 u 不相关的部分 只是部分的代替 5 IV 估计的性质估计的性质 在大样本下 IV 估计是一致的 6 4 工具变量有效性的检验 工具变量有效性的检验 1 假设 假设 1 工具变量相关性 工具变量相关性 什么是弱工具变量 几乎不能解释 变动的工具变量称为弱工具变量 为什么若工具变量是个问题 如果工具变量较弱 TSLS 不再是可靠的 事实上 如果工具变量较弱 TSLS 估计严重偏向 OLS 估计的方向 有偏 以一元为例 说明为什么弱工具变量是一个问题的 OLS 估计 对于 计算 01 YXu 011 cov cov cov cov X YXXuX XX u OLS cov cov X Y X X IV 估计 011 cov cov cov cov Z YZXuZ XZ u cov cov IV Z Y Z X 如果是弱工具变量 与 相关性很小 甚至为 则导致结果严 重偏离 7 弱工具变量检验的经验法则 问题问题 工具变量与 X 的相关性多大才能使估计效果好 思路思路 TSLS 的第一阶段 衡量了 与 Z 的关系 第一阶段用 F 统计 量检验工具变量系数都为 0 的假设 F 统计量度量了工具变量包含 的信息 包含的信息越多 则 F 统计量的期望值越大 方法 方法 利用 F 统计量检验 TSLS 第一阶段中工具变量系数都为 0 的假 设 经验法则是 如果 F 统计量超过 10 无需担心弱工具变量 此时 TSLS 的偏差大约只有 OLS 偏差的 1 9 左右 如果存在弱工具变量怎么办 如果有很多工具变量 其中一些是弱工具变量 在 TSLS 分析中忽 略弱工具变量而选用相关性最强的工具变量子集 若系数恰好识别 工具变量数与内生变量数一样 此时 要么 寻找其他较强的工具变量 要么 利用弱工具变量进行实证分析 但不要用 TSLS 而采用 LIML 有线信息最大似然估计 LIML 的估计量比 TSLS 更靠近参数 的真实值 8 2 假设 假设 2 工具变量的外生性 工具变量的外生性 能否从统计上检验工具变量的外生性 能也不能 当系数恰好识别时 工具变量个数 m 内生变量个数 k 无法检验 评估工具变量外生的唯一方法是 利用专家观点和你对于待解决问 题的认识 当系数过度识别时 工具变量数量 m 内生变量个数 k 可以检验 原因 为何此时可以检验工具变量外生性的原因 假设只有一个内生变量 但有两个工具变量 如果两个工具变量都 是外生的 则两个估计量 都是一致的 比较接近 如果两个估计 量非常不同 可以得到一个或者两个工具变量都不是外生的 过度识别约束检验 为什么要进行过度识别约束检验 由于工具变量多余内生变量 需要检验这些工具变量是否与扰动项 相关 即工具变量是否合理 9 思路 工具变量的外生性意味着他们与 u 不相关 也就是说 Z 与 tslsu 近似不相关 其中 用 TSLS 的估计 而不是 OLS 估计 有偏 0111 tslsTSLSTSLSTSLSTSLSTSLS kkkkk rr uYXXWW X 为内生变量 个数k W 为外生变量 个数r 分析 如果工具变量是外生的 则上述残差关于工具变量和外生变 量回归中 工具变量的系数为 0 步骤 工具变量外生性检验 过度识别约束检验 步骤 工具变量外生性检验 过度识别约束检验 J J 统计量 统计量 S1S1 计算 TSLS 的估计残差 为基于所有 0111 tslsTSLSTSLSTSLSTSLSTSLS kkkkk rr uYXXWW 工具变量的 TSLS 回归估计残差 注意 残差是利用解释变量 X W 而不是拟合值 Xhat 计算的 S2S2 构造辅助回归 01111 tsls mmmm rr uZZWWe 其中 e 为回归误差项 Z 为工具变量 m 个 W 为外生变量 r 个 S3 计算统计量 0 1 1 0 m H H 否则 可以证明同方差 并且 H0 成立时 其中 m k 为过度识 22 J n m k R 别度 m 为工具变量个数 k 为内生变量 10 前提是同方差 若异方差需要修正 见斯托克计量经济学第 12 章 S4S4 判断 判断 如果 J 临界值 拒绝原假设 则工具变量与扰动项相关 工具变量 不是外生的 如果 J 临界值 不拒绝原假设 可以认为工具变量是外生的 如果是恰好识别 则 J 统计量的自由度为 0 因此无法进行工具变 量外生性检验 5 OLS vs IV 我们假设解释变量有内生性 那么解释变量是否真的有内生性 1 如果所有解释变量都是外生变量 则 OLS 比 IV 更有效 此时 使用 IV 虽然估计量是一致的 但会增加估计量的方差 2 如果存在内生变量 OLS 是不一致的 而 IV 是一致的 3 检验思想 如果所有解释变量都是外生的 无论是 OLS 还是 IV 估计都是一致 的 则两个估计量差距不大 IVOLS 如果有部分解释变量是内生的 则 OLS 估计是不一致的 而 IV 估 计是一致的 两个估计量差距较大 IVOLS 4 检验方法 11 H0 所有解释变量均为外生变量 H1 至少有一个解释变量为内生变量 构造统计量 1 IVOLSIVOLS D 可以证明在 H0 成立时 上述统计量服从卡方分布 其中 r 为内生 2 r 解释变量的个数 计算统计量 1 IVOLSIVOLS D 查卡方分布表 得到临界值 2 r 判断 如果计算的统计量大于临界值 拒绝原假设 2 r 如果计算的统计量不超过临界值 则认为原假设合理 2 r 工具变量的寻找是很困难的 时间序列或面板数据模型中的工具变量 有时可以用滞后值 12 二 广义矩估计法 GMM Generalized Method of Moments 1 为什么要用 GMM 1 OLS 和 MLE 的缺陷 OLS 的局限 只有在经典假设满足的条件下 估计量才具有 优良性质 MLE 的局限 必须对随机扰动项的分布作出某种假设 2 GMM 的优势 不考虑随机扰动项的准确分布信息 GMM 估计量的一致性 仅取决于矩条件的正确设定 允许随机扰动项存在异方差 自相关等情况 为传统估计方 法计算困难提供了方便的方法 大样本情况下 GMM 估计量渐进有效 OLS MLE IV 都可以看做是 GMM 的特例 为 OLS IV MLE 提供了一个统一的分析框架 13 2 矩估计法 矩估计法 MM Method of Moments 1 矩法 什么叫做矩 对于随机变量来说 矩是其最广泛 最常用的数 字特征 矩法的思想 母体 的各阶矩一般与 的分布中所含的未知 参数有关 有的甚至就等于未知参数 由辛钦大数定律知 简单随 机子样的子样原点矩依概率收敛到相应的母体原点矩 这就启发我 们想到用子样矩替换母体矩 进而找出未知参数的估计 基于这种 思想求估计量的方法称为矩法 矩估计 用矩法求得的估计称为矩法估计 简称矩估计 它是 由英国统计学家皮尔逊 Pearson 于 1894 年提出的 矩条件 就是一个同时含有随机变量和待估计参数的式子 2 OLS 矩估计 GMM 估计的特例 矩条件 考虑经典线性回归模型的 OLS 估计量 该模型的一个 重要假设条件是解释变量与扰动项无关 即 iiiii EEy x uxx 0 样本对应物 这组矩条件的样本对应物是 11 11 nn i iiii ii ey nn xxx 0 14 例如 01 12233 1 2 iiiii yxxxin 如果满足所有基本假设 OLS 的正规方程组为 01 12233 01 122331 01 122332 01 122333 0 0 0 0 iiii iiiii iiiii iiiii yxxx yxxxx yxxxx yxxxx 即 总体矩要求0 1 00 1 2 3 1 n ji ii i x ejx 其中 EXu 0 求解上述矩条件 样本矩 可以得到参数估计 不难看出 这些矩条件正好是 OLS 估计量的正规方程 因此我们看到 OLS 估 计量是矩估计量 3 IV 估计是矩估计 GMM 估计 的特例 例如 01 12233 1 2 iiiii yxxxin 如果 x2 为随机变量 内生解释变量 z2 为它的工具变量 IV 的正 规方程组为 01 12233 01 122331 01 122332 01 122333 0 0 0 0 iiii iiiii iiiii iiiii yxxx yxxxx yxxxz yxxxx 15 4 个等于 0 的矩条件 求解 4 个参数 3 广义矩法广义矩法 1 GMM 的引出 矩估计 矩条件的个数恰好等于要估计参数的数目 即方程 个数等于未知参数的个数 所以存在未知参数的唯一解 广义矩 如果矩条件的数目大于参数的个数 就是广义矩法 广义矩的例子 01 12233 1 2 iiiii yxxxin 如果 x2 为内生变量 z1 z2 为它的工具变量 GMM 关于参数 估计量的矩条件为 01 12233 01 122331 01 122331 01 122332 01 122333 0 0 0 0 0 iiii iiiii iiiii iiiii iiiii yxxx yxxxx yxxxz yxxxz yxxxx 1 1 2 3 0 0 0 0 0 i ii ii ii ii e e x e z e z e x 5 个等于 0 的矩条件 求解 4 个参数 如何求解 下面看一下广义矩的思想 16 2 GMM 的思想 OLS 看做矩估计 矩条件为 E Xu 0 IV 估计看做矩估计 矩条件为 E Zu 0 一般的 将上式写成 0 tttt E g yE g x z 0 x 或简记为 其中 其中 g 表示有 R 个元素的向量函数 R 个矩条件 为 K 维未知参数向量 X Y 为观测值 Z 为工具变 12 k 量向量 矩条件的一般形式为 1 2 0 0 0 ttt ttt Rttt g y gy E g xE gy x z x z x z R 个矩条件 K 个待估参数 为了估计 我们考虑上式的样本对应物 1 1 n nttt t gg y n x z 1 1 1 1 2 1 1 1 1 1 1 0 0 0 n n n n n n R n Rn g x gx g x gx 17 R K 唯一解 如果矩条件的个数 R 未知参数的个数 K 则令 的 R 个元素等于 0 解出 的唯一解 得到一个一 ttt E f y x z 0 致估计量 R K 无法识别 如果矩条件的个数 RK 如何求解 如果矩条件的个数 R 参数的个数 K 我们 无法通过令 等于 0 求解 因为方程数目多于 1 1 n nttt t gf y n x z 变量个数 识别与中学阶段的方程求解有不同哦 分析 舍弃多余的矩条件 转化为矩法 但是损失信息 而且利用 不同的矩条件 得到的结果不一致 尽可能满足 R 个矩条件 不可能同时满足 使得他们尽可能 和 0 接近 GMM 的基本思想便是 求解 得到估计量 g y x z GMM 若模型是 恰足识别 的 则可直接求解上述矩条件 若模型是过度识别的 工具变量的个数超过参数的个数 此时可寻找使 尽量接近于零 GMM g y x z 18 具体做法 构造距离函数 使得距离函数最小 通常 我们求解如下一般化目标函数 使之最小化 其中 W 为权重矩阵 1 1 RR RR Qgg W Q 既和参数有关 待求 也和 有关 指定 类似于加权的思 路 至此 我们将矩条件的个数大于参数的个数情况下参数的估计 问题化为如下的最小化问题 求如下最小化问题 1 1 min min RR RR Qgg W 求解此最优化问题 一阶条件 得到的估计量就是广义矩估计 量 GMM 估计量 由一阶条件可得 X ZWZ X X ZWZ Y GMM inv 其中 X 是解释变量构成的矩阵 Z 是工具变量构成的矩阵 W 是权重矩阵 Y 是被解释变量构成的列向量 这个最小值 可以通过将求出的估计值带入 从而计算得到 Hansen 1982 即后文提到的 J 统 GMMGMMGMM JgW g 计量 19 权重的确定 尽管不同的权矩阵 W 都可得到 的一致估计量 但估计量的方 差 协方差矩阵可能是不同的 因此 可以选择最佳的 W 以使估计 量更有效 不同的权矩阵会导致不同的一致估计量 关于权矩阵的选择 是 GMM 估计方法的一个核心问题 权矩阵可根据每个样本矩条件估计的精确程度来设置 例如 对估计较精确的矩条件给予较大的权重 对估计较不精 确的矩条件给予较小的权重 最优权矩阵 估计量的 渐进 方差 协方差矩阵不同 为了得到最小协方差 矩阵 必须选择合适的权矩阵 我们称与此最小协方差矩阵对应的 权矩阵为最优权矩阵 Hansen 1