复旦大学经济学院谢识予计量经济学第八章多重共线性.ppt

第八章 多重共线性 1 第一节 多重共线性及其影响 第二节 多重共线性的发现和检验 第三节 多重共线性的克服和处理 本章结构 2 第一节 多重共线形及其影响 一、多重共线形及其分类 二、严格多重共线形及其危害 三、近似多重共线形的原因及其影响 3 一、多重共线性及其分类 n多元线性回归模型要求解释变量之间不 存在线性关系，包括严格的线性关系和 高度的近似线性关系。 n但事实上由于模型设定和数据等各方面 的问题，模型的解释变量之间很可能存 在某种程度的线性关系。这时候称多元 线性回归模型存在多重共线性问题。 4 n多重共线性可以分为两类。 n如果多元线性回归模型中，存在两个或 多个解释变量之间存在严格的线性关系 ，则称为“完全多重共线性”，也称为“严 格的多重共线性”。 n而解释变量之间存在近似的而不是严格 的线性关系，这种情况被称为“近似多重 共线性”。 5 二、严格多重共线形及其危害 n完全多重共线性不可能由于数据问题引 起，通常是由于模型设定问题，把有严 格联系的变量引进同一个模型，或者虚 拟变量设置不当引起的。 n设两个解释变量的线性回归模型为： 回归方程为： 6 n求参数最小二乘估计量的正规方程组为 ： 其中 、 和 分别是 、 和 的离差 。 n设 和 两个变量之间有严格的线性关 系 ，这个模型当然就存在完全的 多重共线性。 7 n此时 也成立。把该关系式代入上 述正规方程组中的第二式可得： n得到： n很显然，这个方程与上述正规方程组的 第一个方程是完全相同的。 8 n这意味着我们得到了包含两个未知参数估计量 的两个相同的方程，这时该方程组有无穷组解 而不是有唯一一组解。 n这实际上意味着被解释变量究竟受哪些变量的 影响变得很不清楚，变量关系是无法识别的。 n有完全多重共线性的多元线性回归模型都无法 顺利进行参数估计，会使多元线性回归模型参 数估计失败，回归分析无法进行。 9 n完全多重共线性虽然破坏性很大，却不是最需 要担心的问题。 n因为完全多重共线性是由于模型设定问题，把 有严格联系的变量引进同一个模型，或者虚拟 变量设置不当引起的，因此只要在建模时适当 注意就可以避免。 n即使由于模型设定的疏忽使得模型存在完全多 重共线性问题，也比较容易发现。因为参数估 计失效马上会提示我们这方面的问题。 10 n完全多重共线性问题的处理也比较简单 ，只需要针对性地修改模型，放弃、调 整相互之间形成线性关系，导致完全多 重共线性的部分解释变量。 n注意一般不需要也不应该放弃存在线性 关系的全部变量，否则容易使模型失去 意义。 11 三、近似多重共线形的原因及其影响 n近似多重共线性既与变量选择有关，也 与数据有关。 n虽然解释变量的选择不当，把内在相关 性较强的变量引进同一个模型，是导致 近似多重共线性的重要原因，但近似多 重共线性更经常的原因是经济数据的共 同趋势。 12 n近似多重共线性不会导致参数估计失效，最小 二乘参数估计能够得到唯一解。 n在模型存在近似多重共线性的情况下，参数的 最小二乘估计不仅仍然是唯一存在的，而且仍 然是最小方差线性无偏估计。 n但问题是当存在比较严重的近似多重共线性问 题时，参数估计方差的绝对水平可能并不小， 而且会随着多重共线性程度的提高急剧上升。 13 n如果 用记变量 的离差平方和， 记变量 对其余 个解释变量的回归 平方和， 表示原模型第k 个解释变量对 其余 个解释变量回归的决定系数， 那么 的方差可以写成： 14 n如果第k个解释变量与其余 个解释变量完 全没有相关性，那么 ， 。 n当第k 个解释变量与其他解释变量之间有相关 性时， 。 n当第k 个解释变量与其他解释变量之间有很强 的相关性，也就是模型存在很强的近似多重共 线性时， 接近1，此时 的方差 会变 得非常大。 15 n参数估计量方差的增大，必然导致参数估计的 不稳定性提高，容易出现参数符号和数值大小 的异常情况，从而使最小二乘估计的有效性受 到很大影响。 n多重共线性正是通过这样的机制，对多元线性 回归模型的最小二乘估计产生不利影响，其后 果常表现为参数估计不稳定，数据的很小变化 会引起参数估计值的较大变化，而且参数估计 的异常值增多，包括显著性水平不符合实际， 或反映解释变量作用方向的符号相反等。 16 n近似多重共线性表现形式和原因的多样 性，数据问题导致多重共线性的隐蔽性 ，使得近似多重共线性的发现、判断和 处理也比较困难。 n正是因为这些原因，近似多重共线性是 我们重点关心的问题，在多数情况下多 重共线性指的就是近似多重共线性。 17 第二节 多重共线性的发现和检验 n多重共线性的根源是解释变量之间的相关性， 因此分析解释变量之间的相关性，进行单相关 或多元相关性的分析检验，是发现和判断多重 共线性问题的基本方法。 n当然，解释变量之间总是有不同程度相关性的 ，因此要认定模型确实存在较严重、必须处理 的共线性问题，必须结合参数估计的符号、大 小和显著性等是否异常，或者参数估计是否表 现出很大不稳定性（可通过改变少量数据检验 ）等进行判断。 18 n因为多重共线性是通过对参数估计方差的放大 作用对多元线性回归产生不利影响的，而解释 变量的共线性程度与参数估计量方差的大小有 一致性，因此可以根据参数估计方差被“放大” 的程度，判断模型是否存在多重共线性问题， 以及是由哪些变量引起的共线性问题。 n以参数估计 为例。 的方差为： 19 n而 中的因子 ，正是第k个解释 变量与其他解释变量之间的相关性导致方差 扩大的倍数。 n我们把这个因子称为“方差扩大因子”，记为： n这个方差扩大因子正是反映各个解释变量与其 他变量之间的相关性，对参数估计方差和模型 有效性影响程度的关键指标，可以用来检验多 重共线性的存在以及根源。 20 n这种检验方法称为“方差扩大因子检验”，是检 验多重共线性的常用方法。 n通常以方差扩大因子 是否大于10，即 是否大于0.9，或第k个解释变量是否90%以上 由其他解释变量反映，作为判断k个解释变量 是否存在必须加以处理的多重共线性的标准。 n事实上，当解释变量之间存在严重的共线性问 题时，相关变量的方差扩大因子常常会达到几 十、上百甚至更大。 n例81。详见Eviews演示。 21 第三节 多重共线性的克服和处理 一、增加样本容量 二、差分模型 三、模型修正 四、分布估计参数 22 一、增加样本容量 n由于近似多重共线性意味着 对 任意i都必须成立，因此若样本容量较小 ，近似多重共线性的可能性就较大，若 样本容量大，多重共线性的可能性就越 小，因此增加样本容量常能降低解释变 量之间的多重共线性。 n增加样本容量是理论上降低多重共线性 最简便的方法之一。 23 增加样本容量方法的缺陷 n首先是增加样本容量并不必然降低多重 共线性。事实上如果所增加的数据与原 来的数据有基本相同的性质，即也有类 似的共线性，那么就完全起不到作用。 n其次在许多实际的计量经济分析中，数 据数量会受到很大限制，增加样本容量 事实上无法实现。因此增加样本容量的 方法在解决多重共线性方面的作用是很 有限的。 24 二、差分模型 n因为多重共线性往往是经济变量的共同 变化趋势引起的，差分变换常常能使数 据中趋势性部分的比重降低，波动和变 化部分的比重加强，从而降低多重共线 性问题。 n例如线性回归模型为： 且已知 和 之间存在多重共线性问题 。 25 n如果我们对数据作如下的一阶差分变换 ： n那么 和 之间的共线性通常会比 和 之间的共线性程度低。 26 n因此若改用差分模型： 进行回归，受多重共线性的影响通常会 比较小。采用增长率模型也能起到同样 的作用。 n需要注意的一个问题是，用差分模型解 决多重共线性问题可能会导致误差项出 现序列相关。 27 n因为差分模型的误差项为 ， ，所以相邻两个误差项之 间会有一定的相关性。 n当然，如果原模型既有多重共线性问题 ，又有较强的一阶正自相关性，那么差 分方法也可能会同时解决这两种问题。 n运用差分模型往往还会使参数估计的方 差扩大，样本信息也会有一些损失。 28 三、模型修正 n由于近似多重共线性既是数据的问题， 也是变量选择和模型设定问题，因此修 改模型设定，也是克服多重共线性问题 的基本方法。 n修改模型的方法也有多种。 29 1、删减解释变量 n引起多重共线性的直接原因之一，是在模型中 引进过多相似有内在联系的解释变量，因此在 根据方差扩大因子等判断导致共线性的变量中 ，如果删减掉一些与其他解释变量意义相近的 变量，常可起到有效降低多重共线性的作用。 n例如资产和流动资产两个指标之间，就常有较 强的相关性，而且它们的意义也近似，因此同 时引进这两个变量的线性回归模型常会因它们 而有共线性问题，放弃其中一个指标往往能使 共线性大大降低。 30 2、整合解释变量 n以某种方式将经济意义相近、相关性较 强的解释变量整合成一个新变量，也是 降低共线性的有效方法。 n当然整合解释变量要注意经济理论和实 证的根据，如加权的权重要符合经济理 论、经验结论，或者原模型回归分析的 试算结果等。 31 3、先验信息参数约束 n如果有关于模型或者其中参数的某些“先 验信息”，也可以利用来克服模型的多重 共线性问题。 n例如已知生产函数为 ，经过对 数变换建立了线性回归模型： n因为劳动力和资本的增长往往有同步性 ，因此上述模型往往有多重共线性问题 。 32 n不过，有时候根据对经济的实证研究， 能够预先知道所研究的经济有规模报酬 不变的性质，也就是上述模型中的参数 和 满足 。这种先验信息就可以 用来克服多重共线性问题。 n把 代入模型，有： 33 n整理可得： n最后这个函数相当于两变量线性回归模 型，当然不会有多重共线性问题。 34 四、分布估计参数 n利用先验信息修正模型克服多重共线性 的方法很有启发性。 n如果先用某种方法估计出模型中的部分 参数，就可以把它们作为先验信息简化 模型，从而克服原模型的多重共线性问 题。 n分步估计参数方法的典型应用，是在时 间序列数据模型中结合截面数据分析。 35 n例如通常会考虑用模型： 作为研究需求规律的模型。其中Q 为消费需求 ，可以是针对特定商品的，也可以指总的消费 需求，Y 为可支配收入或收入，P 为价格或价 格指数。 n由于价格只有时间序列数据，因此这种模型通 常是分析时间序列数据规律的。 n但问题是Y 和P 两个变量之间常常有共同的时 间趋势，因此很容易存在共线性问题，从而影 响回归分析的可靠性。 36 n可以先利用截面数据得到模型中参数 的估计值。 n例如通过调查得到不同收入组别居民在 同一时点的平均需求，形成Q和Y的截面 数据样本，利用这些数据对两变量模型 进行回归分析，得到参数估计值。 37 n虽然这个模型与前一个时间序列数据回 归模型不同，但这个