第五章 多元回归分析.pdf

第五章 多元回归分析 大样本性质 小样本和大样本性质 一致估计 大样本推论 渐进有效 小样本和大样本性质 小样本性质 估计量在样本大小为有限 的情况下表现出来的性质 例如 无偏估计 t F检验 大样本性质 估计量在样本大小为无限 的情况下表现出来的性质 例如 大数定律 一致估计 LM检验 一致性的证明 在MLR1 MLR5的假设下 OLS 是 BLUE 最优的线性无偏估计 但是在其它 一些情况下 无偏估计并不总是存在的 在那些情况中 我们可能会使用一致估 计 这里的 一致 指的是当n 时 估 计量的分布收敛于系数的真实值 当n 时样本 估计 的分布 1 n1 n2 n3 n1 n2 n3 OLS估计的一致性 在MLR1 MLR5假设下 OLS估计值是一致 的 也是无偏的 我们可用类似证明无偏性的方法来证明简 单回归的一致性 一致性的证明会用概率极限 converge in probability 的方法 一致性的证明 2 11111 2 11 11111 11111 1 plim 0 iii iii xx yxx nxx unxx Cov x uVar x Cov x u 因为 一个更弱的假设 在无偏性的证明中 我们假设了条件均值 为零 E u x1 x2 xk 0 证明一致性 我们只要相对较弱的假设 均值为零 E u 0 不相关 Cov xj u 0 j 1 2 k 没有这个假设 OLS就是有偏和不一致的 遗漏变量 一致 正如我们前面推导遗漏变量导致的有偏估计一 样 现在我们来看不一致性 或者说渐进有偏 的情况 01 122 01 1 22112 121 plim yxxv yxu uxv Cov x xVar x 真实模型 估计的模型因此 且 其中 遗漏变量 续 因此 考虑渐进有偏的方向就如同分析遗 漏变量导致的有偏的方向一样 两者的不同在于分析渐进有偏时使用的是 总体的方差和协方差 而分析有偏时采用 的是样本的相应统计量 注意 不一致性是大样本中的问题 样本 量的增大并不能解决不一致性的问题 大样本的检验 前面提到在经典线性模型 CLM 的假设 下 样本呈正态分布 因此我们可以推导 出相应的t 分布和F 分布用来进行检验 这里样本的正态分布是通过假设总体的扰 动项呈正态分布后得到的 这个关于扰动项的正态假设意味着在给定x 的情况下y 也呈正态分布 大样本的检验 续 很容易可以举出一些情况 正态分布的假 设不能满足 任何偏斜的变量 如工资 储蓄 逮捕 等 就不是正态分布 因为正态分布总是 对称分布 OLS 是最优的线性无偏估计 BLUE 并 不需要正态假设 正态假设只有在检验时 才会用到 中心极限定理 即使没有正态假设 MLR6 根据中心极限定理 我们可以证明OLS 的估计值是渐进正态的 渐进正态意味着 当 n P Z z z 或者 P Z z z 中心极限定理表明 标准化后的 任何均值为 方差为 2的总体的平均值 渐进的服从标准正 态分布 或者表示为 1 0 N n Y Z a Y 渐进正态 22 212 22 MLR1 MLR5 i Normal 0 plim ii iii Normal 0 1 a jjj jij a jjj na anr se 在假设下 其中 是的一致估计 渐进正态 续 因为 t 分布在很大自由度的情况下趋近于 正态分布 我们可以认为 1 kn a jjj tse 注意 虽然我们不再需要正态分布的假设 但 是我们仍然需要同方差的假设 渐进的标准差 如果 u 不是正态分布 我们有时把标准差称作 渐进的标准差 因为 ncse RSST se jj jj j 1 2 2 因此我们可以预计标准差会收敛于一个与 n 的倒数成比例的比值 拉格朗日乘子统计量 当我们使用大样本并根据渐进正态分布做 检验时 我们会用到t 和 F 以外的一些统计 量 拉格朗日乘子 LM 统计量是用来检验多 元排除变量的假说的统计量之一 LM 要使用辅助的回归 因此也被称为nR2 统计量 拉格朗日乘子统计量 续 假设我们的标准模型为 y 0 1x1 2x2 kxk u 虚拟假设为 H0 k q 1 0 k 0 首先 我们做符合虚拟假设的回归 01 1 12 22 k qk q k uu yxxu uu x xx LMnRR 然后从以上回归中得出再用 对即所有变量 进行回归 其中来自第二个回归 拉格朗日乘子统计量 续 22 2 p a qq q LM 从而我们可以根据 分布选择一个临界值c 根据 分布计算相应的 值 在大样本的情况下 F 检验和LM 检验应该是相 似的 在单个排除变量的检验中 F 和t 检验是完全相 同的 但 LM 检验和 F 检验并不相同 2 三种渐进等价检验 lnL c lndL d ln L ln R L 拉格朗 日乘数 检验 沃尔德检验 似然比检验 渐进有效 OLS 和其它一些估计值都是一致的 但是