经济计量分析讲义第4章

经济计量分析 第 4 章 最小二乘估计的大样本性质 1 第 4 章 最小二乘估计的大样本性质和工具变量估计 LARGE SAMPLE PROPERTIES OF THE LEAST SQUARES ESTIMATOR AND INSTRUMENTAL VARIABLES ESTIMATORS 4 1 介介 绍绍 我们前面在正态扰动和独立样本假设下获得了参数估计和检验统计量的确切分布 这 些性质和分布与样本数量无关 但是随机误差的正态性和样本之间的独立性是古典回归模 型中两个比较强的假设 在一些面版数据情形或者时间序列情形下 这些性质不一定成立 为此 我们需要推广这两个基本限制 在本章中我们讨论最小二乘估计的大样本性质 即 极限性质 4 2 最小二乘估计的渐近性质最小二乘估计的渐近性质 Asymptotic properties of LSE 由于我们开始讨论大样本性质 因此不再要求误差的正态分布假设 而是对数据生成 机制的不同假设给出分析 4 2 1 最小二乘估计的相合性最小二乘估计的相合性 Consistency of the least squares estimator 假设的生成过程可以不加以指定的 即它可以是常数或者是由与误差独立的随机过x 程生成的 下面我们做出两个关键假设 1 是独立样本观测数据 ii xni 2 1 2 数据的大样本行为满足 是正定矩阵Q XX nnlim pQ 由于最小二乘估计可以表示为 nn XXX b 1 则得到 n X Qblimplimp 1 假设其中的解释变量与误差向量的相交项为 n i i n i ii nnn 11 111 wwx X 因此有 wQblimplimp 1 根据解释变量的外生性假设 可以得到 0 xxxww XX iiiiii EEEEE 因此有 0 wE 现在我们考虑方差 利用条件方差公式 可以得到 XwXwwEVarVarEVar 上式中的第二项为零 而第一项为 经济计量分析 第 4 章 最小二乘估计的大样本性质 2 nnn E n EVar XX XX XXwwXw 2 1 1 因此得到 nn Var XX w 2 如果解释变量矩阵乘积的极限为正定矩阵的话 则上述方差收敛到零 即 00 lim QwVar n 因此 由于的均值为零 方差收敛到零 因此可以知道均方收敛到零ww convergence in mean square to zero 因此也可以推导出它按概率收敛到零 因此有 0limp w 因此有 blimp 这说明最小二乘估计按照概率收敛到参数 它古典线性模型中的相合估计 如果时 间序列当中包含时间的一次趋势 二次趋势等现象经常违背上述严格假设 此时需要推广 一些条件 例如称为Grenander条件等 这是最小二乘估计仍然是相合估计 4 2 2 最小二乘估计的渐近正态性最小二乘估计的渐近正态性 Asymptotic normality of the least squares estimator 我们假设样本观测值之间是独立的 则可以表示下述公式 X XX b n n n 1 1 连续函数的概率收敛定律满足 因此可以得到 1 1 limp Q XX n 因此上述分布的极限分布与下述概率极限的分布相同 XQ X XX nn n 11 limp 1 1 这样一来 我们需要寻求下述变量的极限分布 1 ww XEn n 0 wE 我们利用多元情形下的Linderberg Feller中心极限定理来获得上述极限分布 这是个n 独立随机向量的和的极限问题 的均值为零 而方差矩阵为 iii xw iii xw iiiii EQxxx 22 Var 则的方差为 wn 1 Var 1 22 nn n nQQQw 在通常假设下 可以得到上述极限为 QQw 22 lim Var lim n nn n 利用中心极限定理可以得到 经济计量分析 第 4 章 最小二乘估计的大样本性质 3 1 2Q 0 X N n d 总结可以得到 定理4 1 独立观测数据的渐近分布 如果是具有均值零和方差的独立随机变量 i 2 并且解释变量数据满足Grenander条件 则有 ik x 1 2 Q b n N a 在具有应用中 需要利用参数的估计量替代分布中的未知参数 4 2 3 的相合性和渐近方差的估计的相合性和渐近方差的估计 2 s 为了完成最小二乘估计渐近性质的推导 我们需要得到最小二乘估计方差的渐近估计 类似地推导可以得到 命题 最小二乘估计中 有 1 22 limp s 2 12 Var Asy Est XXbs 4 2 4 最小二乘系数估计函数的渐近分布最小二乘系数估计函数的渐近分布 在具有应用中 需要利用参数的估计量替代分布中的未知 4 2 5 渐近有效性渐近有效性 前面提出的Gause Markov定理表明 在有限样本情形下最小二乘估计是最优的 为了 建立最小二乘估计更为广泛范围内的优良性质 我们需要给出另外的评价标准 定义4 1 渐近有效性 asymptotic efficiency 在所有相合和渐近正态分布的估计量中 如 果一个估计量的渐近方差在正定意义下是最小的 则称该估计量是渐近有效的 如果最小二乘估计也是极大似然估计 则最小二乘估计是渐近有效的 4 3 工具变量与二阶段最小二乘估计工具变量与二阶段最小二乘估计 instrumental variable and two stage least squares estimation 到目前为止 与之间的不相关性假设起到了关键作用 但是 在一些重要的经济 i x i 问题当中 这样的假设地不到满足 典型的情况是解释变量的度量当中存在误差 或者模 型包含涉及到预期的动态过程 如果没有这样的假设 则上述关于最小二乘估计的相合性 的证明就都不再成立了 因此对应的最小二乘估计就不再是吸引人的估计了 这时另外一 种估计方法被称为工具变量法 instrumental variable IV 最小二乘估计只是特例 而工具 变量方法则更为一般 目前分析的问题是 在古典线性回归模型中 个解释变量可能与误 iii y xK i x 差是相关的 现在假设存在个变量 至少与一样大 与相关 但与不 i L i zLK i z i x i 相关 此时我们无法通过利用解释变量获得参数的相合估计 但是我们可以通过假设 i x 和之间的关系来获得的相合估计 i z i x i 为了方便起见 我们假设样本独立且具有有限矩 这个条件可以拓展到相依样本情形 经济计量分析 第 4 章 最小二乘估计的大样本性质 4 其他假设包括 1 XX Q XX n limp 2 iii E x 3 x ii E 4 X n 1 limp 5 kkik xE 2 xx Q 6 llzzil zE 2 Q 7 lkzxikilx zE Q 8 0 ii Ez 在上述假设下可以得到 zz QZZ n 1 limp ZX QXZ n 1 limp 0 Z n 1 limp 对于这个更为一般的模型 古典线性模型中的一些推断不再成立了 例如此时最小二 乘估计是有偏估计 XX X X b 1 E 因此Gauss Markov定理也不再满足 此时最小二乘估计也不再是相合估计了 因为 Q XXX b 1 1 plimplimplim XX nn 现在我们转向讨论工具变量估计 由于工具变量满足 并且每一项具有有0 ii E z 限方差 我们可以表示为 XZ Z XZyZ nnnn plimplimplimplim 为了简单起见 先假设与中的变量数量一样多 我们已经假设矩阵的秩是ZXX Z K 所以是一个可逆方阵 则有 X Z yZXZ nn plimplim 1 由此可以得到参数的工具变量估计 instrumental variable estimator 为 yZXZb 1 IV 上面我们已经在推导过程中证明了工具变量估计的相合性 现在我们开始讨论它的渐 近分布 首先有 Z XZ b n n n 1 1 IV 类似分析可以证明 1 2 ZZ Q0 Z N n d 经济计量分析 第 4 章 最小二乘估计的大样本性质 5 则有 1 112 1 XZZZZX QQQ0 Z XZ N n n d 总结上述结论 可以得到下述定理 定理定理4 3 工具变量估计的渐近分布工具变量估计的渐近分布 如果 且关于工具变量等极限假设成立 KL 则工具变量估计的渐近分布为 yZXZb 1 IV yQQQ b XZZZZX 11 2 IV n N d 这里 lim pnXZQZX lim pnZZQzz 为了估计渐近协方差矩阵 我们需要估计其中的方差参数 一个自然估计选择是 2 n i ii y n 1 2 IV 2 1 bx 此时利用自由度进行修正是相当复杂的 因为这时所有结果都是渐近的 并且不会 2 在任何意义上无偏的 将残差向量表示为 yZXZXybXy 1 IV 将代入 X y ZXZXI X ZXZXIbXy 11 IV 因此得到 nnnnnnnnnn ZXZX ZXZXXZXZ 111 2 2 利用概率极限的乘积性质 通过简单运算可以证明 22 plim 这说明是的相合估计 因此我们获得渐近方差的估计为 2 2 112 11 IV 1 Var Asy Est ZXZZXZ ZXZZXZ b nnnnn 上述推导中我们忽略了一个细节 那就是一旦中包含的变量个数比中包含的变量ZX 个数多时 是一个阶矩阵 且秩数小于变量个数 这时的逆矩阵不再X Z KL KLX Z 存在了 前面分析中一个关键假设是 即的每一列与是渐近无关的 0 plim n ZZ 这也意味着的所有列的线性组合与是渐近无关的 这就建议可以选取的各列之间的Z Z 线性无关的个线性组合 如果仅仅是从中选取列 则显然将丢失其余各列所包含的信KK 息 为此 一个比较好的做法是将的各列在的各列生成的线性子空间中进行投影 这XZ 时可以得到 XZZZZX 1 稍后我们将说明这样的工具变量选取具有很多优点 如果利用代替工具变量 则X Z 新的工具变量估计为 yZZZZXXZZZZXyXXXb 1111 IV 将代入到渐近方差的表达式中 可以发现它的表达式是不变的 相合性和渐近正态X 性的证明也是类似的 经济计量分析 第 4 章 最小二乘估计的大样本性质 6 使用上述估计的原因既有理论上的 也有应用上的 在所有的不同的线性组合中 Z 是最有效的 其意义是它的渐近方差在非负定意义下是最小的 即作为工具变量 X ZF 另外 对工具变量的表达式进行运算 可以得到 yXXX yMIXXMIX yXXXb zz 1 1 1 IV 因此 当是工具变量时 工具变量估计可以通过基于进行回归的最小二乘估计X yX 得到 这个结论建议 只是在逻辑上的 事实上并不一定如此去做 工具变量估计可以按 照两步去计算 首先计算 这是计算一次最小二乘回归 然后计算基于的最小二乘X yX 回归 出于这样的原因 这被称为两阶段最小二乘 two stage least squares 2SLS 需要注意的是 渐近协方差的估计并不是基于的 如果采用下述估计 X 1 IVIV 2 IV bXybXy n s 无论是否具有自由度的修正 上述估计都不是方差的相合估计 2 关于工具变量估计的一个重要问题是如何选取工具变量 在许多时间序列情形 模型 中解释变量的滞后变量提供了工具变量的一种自然的选择 在其他情形 回答则是不确定 的 4 4 Hausman指定检验及在工具变量估计上的应用指定检验及在工具变量估计上的应用 Hausman s specification test and an application to instrumental variable estimation 在一般情况下 解释变量与随机误差之间的相关性或者解释变量存在度量误差都不是 显然的 如果这些都不是显然的 则使用普通最小二乘估计要比使用工具变量估计更具有 优势 假设 这个假设相当于假设普通最小二乘估计和工具变量估计都0 lim p n X 是相合估计 这时考虑比较这两个估计的渐近协方差矩阵的差 plim plim plim Var Asy Var Asy 111 2 1 2 1 12 LSIV XXXZZZZX XXXZZZZX bb n n nnnn 为了比较上述公式中括号内的矩阵 我们需要比较这些矩阵的逆矩阵 其中第一个矩 阵的逆矩阵是 XMXXXXMIXXZZZZX ZZ 1 上式表明 非负定矩阵等于非负定矩阵减去非负定矩阵 XZZZZX 1 X X XMX Z 从逆矩阵的角度出发 我们认为工具变量估计的渐近方差是大于最小二乘估计的方差的 这就是说 一旦成立 则最小二乘估计是相合的 则它就是一个具有优0 lim p n X 良性质的估计 我们对两个估计差的兴趣已经超出了有效性问题的本身 我们感兴趣的原假设通常是 特别指定是否成立 由于正规方程能够产生的结果 则通过0 lim p n X0 1 e Xn 来寻求和的协方差是没有显著收获的 为此 Hausman 1978 提出了另外一e X 1 nX 种检验策略 其方法的逻辑关系是 在的原假设下 我们可以获得参数0 lim p n X 经济计量分析 第 4 章 最小二乘估计的大样本性质 7 的两个相合估计 即最小二乘估计和工具变量估计 此时的备选假设是其中只有 LS b IV b 一个估计是相合估计 即只有是相合估计 Hausman方法建议检验 在原 IV b LSIV bbd 假设成立下有 在备选假设成立下有 我们使用