第三章 线性回归模型的扩展计量经济学ppt课件.ppt

第三章线性回归模型的扩展 第一节多重共线性第二节异方差第三节自相关 一 多重共线性的基本知识 一 多重共线性的涵义在多元线性回归模型经典假设中 其重要假定之一是回归模型的解释变量之间不存在线性关系 也就是说 解释变量中的任何一个都不能是其他解释变量的线性组合 第一节多重共线性 如果违背这一假定 即线性回归模型中某一个解释变量与其他解释变量间存在线性关系 就称线性回归模型中存在多重共线性 多重共线性违背了解释变量间不相关的经典假设 将给普通最小二乘法带来一些后果 二 多重共线性的类型 指线性回归模型中至少有一个解释变量可以被其他解释变量线性表示 存在严格的线性关系 存在不全为零的数 使得下式成立 则可以说解释变量之间存在完全的线性相关关系 即存在完全多重共线性 4 54 1 完全多重共线性 从矩阵形式来看 就是 即观测值矩阵是降秩的 表明在矩阵 中至少有一个列向量可以由其他列向量线性表示 2 不完全多重共线性 指线性回归模型中解释变量间存在不严格的线性关系 即近似线性关系 如对于模型 3 1 1 存在不全为零的数 使得下式成立 其中为随机干扰项 则可以说解释变量之间存在不完全多重共线性 随机干扰项表明上述线性关系是一种近似的关系式 完全多重共线性与完全非线性都是极端情况 一般说来 统计数据中多个解释变量之间多少都存在一定程度的相关性 对多重共线性程度强弱的判断和解决方法是本章讨论的重点 二 多重共线性产生的原因与后果 1 经济变量之间的内在联系如工业生产函数中资本投入量与劳动投入量 需求函数中商品自身价格与其替代品价格 消费函数中收入与财产 农业生产函数中耕地面积与施肥量等 都存在一定的相互关系 一 多重共线性产生的原因 有些经济变量并没有明显的内在联系 但由于在样本期内 其变化的方向是一致的 这就使得样本数据高度相关 2 经济变量在时间上有共同变化的趋势 例如在经济上升时期 收入 消费 投资 价格 就业率等都趋向于增长 而当经济收缩期 又几乎一致地下降 即使是在同期无多重共线性 异期也会存在多重共线性 在计量经济学模型中 往往需要引入滞后解释变量来反映真是的经济关系 例如 消费 当前收入 前期收入 显然 两期收入存在较强的线性关系 3 解释变量与其滞后变量同作解释变量时也会导致多重共线性问题 由于完全符合理论模型所需要的数据较难收集 特定样本可能导致多重共线性 例如由于数据的缺失需要进行数据补充的 采用数据生成器生成的数据可能导致多重共线性的存在 4 样本资料的限制 1 完全共线性下参数估计量不存在且解释变量的单独影响难以区分 二 多重共线性产生的后果 多元线性回归模型 的普通最小二乘参数估计量为 如果出现完全共线性 则不存在 无法得到参数的估计量 对二元线性回归模型 则该二元线性回归模型退化为一元线性回归模型 这时 只能确定综合参数的估计值 如 X1和X2前的参数并不反映各自与被解释变量之间的结构关系 而是反映它们对被解释变量的共同影响 所以各自的参数已经失去了应有的经济含义 甚至参数的符号也发生了改变 经验告诉我们 在多元线性回归模型的估计中 如果出现参数估计量的经济意义明显不合理的情况 应该首先怀疑是否存在多重共线性 2 近似共线性下普通最小二乘法参数估计量的方差变大 在近似共线性下 虽然可以得到普通最小二乘参数估计量 但是由参数估计量方差的表达式 可见 由于此时 引起主对角线元素较大 使得参数估计量的方差增大 从而不能对总体参数做出准确推断 存在多重共线性时 参数估计值的方差与标准差会变大 从而容易使通过样本计算的t统计量的值小于t临界值 误导作出参数为零的推断 这可能将重要的解释变量排除在模型之外 3 t检验的可靠性会下降 当多元线性回归模型存在着多重共线性时 样本数据即使有微小的变化 也可能导致系数估计值发生明显的变化 4 回归模型缺乏稳定性 三 多重共线性的检验 一 观察回归估计式法 1 拟合优度比较高 而t统计量的值却普遍较低 这是多重共线性的 经典 特征 如果回归估计式的拟合优度的值很大 一般来说在0 8以上 然而回归估计式中的全部或部分参数值估计值的t检验通不过 那么解释变量间有可能存在较严重的多重共线性 如果从经济理论或常识来看某个解释变量对被解释变量有重要影响 但是从线性回归模型的拟合结果来看 该解释变量的参数估计值经检验不显著 那么可能是解释变量间存在多重共线性所导致的 2 理论性强 检验值弱 在多元线性回归模型中新引入一个变量后 发现模型中原有参数估计值的方差明显增大 则说明新加进来的解释变量与模型中的原解释变量可能存在多重共线性 3 新引入解释变量后 方差增大 二 拟合优度检验 对多元线性回归模型中各个解释变量相互建立回归方程 分别求出各回归方程的拟合优度 如果其中最大的一个接近1 Fi显著大于临界值 该变量可以被其他变量线性解释 则其所对应的解释变量与其余解释变量间存在多重共线性 分别求出上述各个方程的拟合优度 如果其中最大的一个接近于 则它所对应的解释变量与其余解释变量间存在多重共线性 如设某多元线性回归模型中原有k个解释变量将每个解释变量对其他解释变量进行回归 得到k个回归方程 三 相关系数矩阵法 考察模型 其解释变量之间的相关系数矩阵为 因为 所以上面相关阵为对称阵 只需考察主对角线元素上方 或下方 某个元素绝对值是否很大 一般在0 8以上 就可以判断两个解释变量间是否存在多重共线性 四 多重共线性的修正 一 增大样本容量 除完全多重共线性的情况外 样本容量越大 解释变量观测值之间的相关性越弱 二 先验信息法 先验信息法是指根据经济理论或者其他已有研究成果事前确定回归模型参数间的某种关系 将这种约束条件与样本信息综合考虑 进行最小二乘估计 运用参数间的先验信息可以消除多重共线性 如对C D生产函数进行回归估计 由先验信息可知劳动投入量L与资金投入量K之间通常是高度相关的 如果按照经济理论 生产规模报酬不变 的假定 则 其中Y L K分别表示产出 劳动力和资本 则 此时上式为一元线性回归模型 不存在多重共线性问题 两边取对数 三 改变变量的定义形式 1 用相对数变量替代绝对数变量 如设需求函数为 其中Y X P P1分别代表需求量 收入 商品价格与替代商品价格 由于商品价格与替代商品价格往往是同方向变动 该需求函数模型可能存在多重共线性 考虑用两种商品价格之比作解释变量 代替原模型中商品价格与替代商品价格两个解释变量 则模型为如下形式 原模型中两种商品价格变量之间的多重共线性得以避免 2 删去模型中次要的或可替代的解释变量 如果回归模型解释变量间存在较严重的多重共线性 根据经济理论 实践经验 相关系数检验 统计分析等方法鉴别变量是否重要及是否可替代 删去那些对被解释变量影响不大 或认为不重要的变量 则可减轻多重共线性 3 差分法 模型中解释变量X1t与X2t间存在多重共线性 X1t与X2t都是时间序列资料 对于t 1期 令一阶差分为 如设原回归模型为 可以得到一阶差分模型 值得注意的是 差分变换法也有一定负面作用 由于 而与 等必然相关 因此差分变换法在减少多重共线性的同时 却带来了随机干扰项序列相关问题 四 逐步回归法 逐步回归法是指利用被解释变量Y对每一个解释变量Xi作一个回归方程 构造统计量 进行统计检验 并根据相应的经济理论进行解释 从中选取最优的回归方程 然后逐步引入其他的解释变量 再做相应的回归方程 扩大模型的规模 同时对所有解释变量的回归系数进行检验 多重共线性对回归参数估计量的影响并非总是导致它的符号与经济理论不同 多重共线性对假设检验的影响并非总是使得t检验本应显著而降低到不显著 因此 除非所面对的多重共线性极其严重 否则 通常的补救方法是无为而治 即不对多重共线性进行任何补救 具体而言 对于一个估计的多元线性回归模型 如果假设检验的结论是正确或者与经济理论一致 其估计结果与经济学的理论或者预期吻合 或者估计结果已经揭示了经济现实的特征 体现出明显的现实意义 对于这种估计的模型中所隐含的多重共线性 不予检验 也不予补救 这就是无为而治 什么也不做的内涵 例3 1 一 异方差的概念 如果出现 一 异方差的基本知识 设线性回归模型为 同方差假设为 第二节异方差 即对于不同的样本点 随机误差项的方差不再是常数 而互不相同 则认为出现了异方差性 二 异方差的几种常见类型 如图3 2 1所示 异方差一般可归结为三种类型 1 单调递增型 随X的增大而增大 2 单调递减型 随X的增大而减小 3 复杂型 与X的变化呈复杂形式 异方差时 图3 2 1常见的异方差类型示意图 非纯异方差 假设略去了前期消费Yi 1 如果被略去的解释变量Yi 1与Xi呈同方向变化的趋势 这就使得Y的观察值Yi与回归值的离差ei随着Xi增大 减小 而增大 减小 从而ui不是同方差 二 异方差的原因与后果 异方差产生的原因主要有 1 由于略去了某些解释变量设消费模型 一 异方差产生的原因 由于测量误差在时间范围内逐渐累积 所以误差量也趋于增加 这时ui的方差随着X值的递增而递增 另外 由于抽样技术和其他各种数据收集技术方法的改进 测量误差可能减少 这时 ui的方差随着时间而变化 因此 在时间序列数据中 常常由于测量误差的影响 使得ui项不是同方差 2 由于测量误差引起 在截面数据中 常常涉及一定时点上的总体单位 如个别消费者 家庭 企业家等 这些单位各有不同的规模和水平 因而包括在ui项中的误差量也不相同 也会产生异方差 3 由于截面数据中各总体单位数值的不同而引起 经验表明 采用横截面样本数据建模 由于在不同的样本点上解释变量之外的其他影响因素的差异较大 因而往往存在异方差性 计量经济学模型一旦出现异方差性 如果仍采用OLS估计模型参数 参数估计量的部分优良性将受到影响 1 回归系数的OLS估计量不再具有最小方差性 OLS估计量仍然具有无偏性 但不具有有效性 因为在有效性证明中利用了 而且 在大样本情况下 尽管参数估计量具有一致性 但仍然不具有渐近有效性 二 异方差的后果 2 t检验和F检验失效 以一元回归模型 当随机干扰项ui同方差时 的标准差的估计量是一个固定的值 当ui是异方差时 与X的变化有关 因而不是固定的值 t检验失去意义 其它检验也是如此 为例 计量模型显著性检验之一是构造t统计量 3 模型的预测功能失效 在预测值的置信区间中也包含有参数方差的估计量随机干扰项共同的方差 当模型出现异方差性时 参数OLS估计值的变异程度增大 从而造成对Y的预测误差变大 降低预测精度 预测功能失效 检验思路 由于异方差性就是相对于不同的解释变量观测值 随机误差项具有不同的方差 那么 检验异方差性 也就是检验随机误差项的方差与解释变量观测值之间的相关性及其相关的 形式 三 异方差的检验 几种异方差的检验方法 一 图示检验法 1 相关图形分析 用X Y的散点图进行判断看是否存在明显的散点扩大 缩小或复杂型趋势 即不在一个固定的带型域中 对的散点图进行判断 看是否形成一斜率为零的直线 2 残差检验法 1 同方差 2 递增方差 3 递减方差 4 复杂型方差 例3 2 1 戈德菲尔德 匡特 Goldfeld Quandt 检验G Q检验的基本思想是 二 解析分析法 以引起异方差的解释变量的大小为顺序 去掉中间若干个值 从而把整个样本分为两个子样本 用两个子样本分别进行回归 并计算残差平方和 用两个残差平方和构造检验异方差的统计量 G Q检验以F检验为基础 检验有两个前提条件 1 该检验只应用于大样本 异方差为单调递增或单调递减的情况 2 除了同方差假定不成立以外 要求其他假设都成立 随机项没有自相关并且服从正态分布 该检验假设检验设定为 具有同方差 具有异方差 不防设具有递增型异方差 G Q检验的步骤 1 将观测值按照某一被认为有可能引起异方差的解释变量的大小顺序排序 2 将序列中间的c n 4个观察值除去 再将剩余的观测值分成相等的两个部分 每个部分的个数为 n c 2 3 分别对上述两个部分的观测值进行回归 得到两个部分的回归残差平方和 4 构造F统计量在H0成立条件下 F统计量满足 5 给定显著性水平 确定分布中相应的临界值 判别规则如下 若 接受H0 具有同方差 若 拒绝H0 具有异方差 下面我们用G Q检验法来检验例3 2中模型是否存在异方差性 2 怀特 White 检验 White检验的基本思想为 如果ei2与解释变量Xj 解释变量的平方项Xj2以及交叉乘积项 XiXj 不相关 则不存在异方差 由此 White检验的辅助回归模型 White检验的原假设H0 1 首先对上式进行OLS回归 求残差平方 怀特检验不需要排序 且适合任何形式的异方差怀特检验的步骤 以二元为例 2 然后做如下辅助回归 3 White检验的原假设和备择假设是H0 ui不存在异方差 H1 ui存在异方差 4 利用辅助回归得到的R2 计算统计量nR2 其中n表示样本容量 R2是辅助回归式的OLS估计的可决系数 自由度5表示辅助回归式中解释变量项数 注意 不计算常数项 5 判别规则是 若 接受H0 具有同方差 若 拒绝H0 具有异方差 在同方差假设条件下 统计量 下面我们用怀特检验法来检验例3 2中模型是否存在异方差性 3 帕克 Park 检验 帕克 Park 检验的基本思想是 如果存在异方差 异方差方差能与一个或者多个解释变量系统相关 为了弄清楚情况是否真的如此 可以作对一个或者多个解释变量的回归 或 若 在统计上是显著的 表明可能存在异方差性 如 帕克检验常用的函数形式 下面我们用帕克检验法来检验例3 2中模型是否存在异方差性 戈里瑟 Gleiser 检验实质上与帕克 Park 检验很相似 从原始数据中获得残差之后 戈里瑟建议以为被解释变量 以原模型的某一解释变量为解释变量 建立如下方程 4 戈里瑟 Gleiser 检验 戈里瑟建议的一些函数形式如下 每种情形下的零假设都是不存在异方差 即 如果零假设被拒绝 则表明可能存在异方差 下面我们用戈里瑟检验法来检验例3 2中模型是否存在异方差性 加权最小二乘法的基本思想 加权最小二乘法是对原模型加权 使之变成一个新的不存在异方差性的模型 然后采用OLS估计其参数 在采用OLS方法时 对较小的残差平方ei2赋予较大的权数 对较大的残差平方ei2赋予较小的权数 四 异方差的修正 一 加权最小二乘法 WLS 例如 如果对一多元模型 经检验知 新模型中 存在 即满足同方差性 可用OLS法估计 可以用 去除原模型 二 异方差稳健标准误法 在有些情况下很难得到正确的随机误差项的方差与解释变量的函数关系式 这时 可采用异方差稳健标准误法来消除异方差的存在带来的不良后果 怀特1980年提出 用普通最小二乘估计的残差的平方作为相应的代表 如在一元线性回归中 估计的斜率正确的方差应为 于是用普通最小二乘估计的残差平方作为相应的代表 即用下式作为的估计 怀特证明了大样本下 是的一致估计 式的平方根称为的异方差稳健标准误 用怀特异方差一致估计量代替OLS估计值 解决了异方差性造成系数的置信区间和假设检验结果不可信赖的问题 也解决了在异方差性存在的情况下能否使用OLS法估计方程的问题 结论是仍可用OLS法估计模型的参数 三 模型的对数变换 如果在模型 多元类似 中 变量分别用取代 则对模型进行回归 通常可以降低异方差性的影响 其原因在于 1 对数变换能使测定变量值的尺度缩小 2 经过对数变换后的线性模型 其残差表示为相对误差 而相对误差往往具有较小的差异 四 广义最小二乘法 对于多元线性回归模型 为常数 为n阶实对称矩阵 根据线性代数知识 存在n阶可逆矩阵 使得 令 用左乘式 得 则 称式为模型的广义最小二乘估计量 GLS 当模型仅存在异方差 这时随机干扰项的方差 协方差矩阵为 而利用加权最小二乘法修正模型时 若为权数 则可得 加权最小二乘法是广义最小二乘估计的一个特例 修正例3 2中的异方差性 对已经存在的异方差必须进行严格的修正吗 Mankiw 1990 指出 一个好的模型绝不会因异方差的原因而被抛弃 JohnFox则提出如下警言 异方差对OLS推断的可靠性所产生的影响取决于 样本容量 的变异程度 X值的结构及误差方差与X之间的关系 Fox指出一个经验法则 只有当最大方差是最小方差的10倍甚至还大时 我们才担心这个问题 不难看出 Fox隐含的意思是 一般可以不处理异方差 如果对于不同的样本点 随机干扰项之间不再是不相关的 而是存在某种相关性 则认为出现了自相关性 随机干扰项互不相关的基本假设表现为Cov ui uj 0i j i j 1 2 n 对于模型 一 自相关性的基本知识 一 自相关性的概念 第三节自相关 或 在其他假设仍成立的条件下 自相关即意味着 称为一阶自相关 autocorrelation 其中 被称为自协方差系数或一阶自相关系数 如果仅存在 自相关往往可写成如下形式 由于自相关性经常出现在以时间序列为样本的模型中 因此 本节将用下标t代表i 是满足以下经典假定的随机干扰项 ut的一般表达式为 所以当时 则有 将它逐期代入 可得 二 随机干扰项为一阶线性自回归形式时ut的期望 方差与协方差公式 同理 一般地 令 且的协方差矩阵用表示 则有 从而验证了当回归模型的随机干扰项ut存在一阶自回归形式时 同理也可证明当ut为高阶自回归形式时 仍有 自相关现象大多出现在时间序列数据中 而经济系统的经济行为都具有时间上的惯性 二 自相关产生的原因与后果 一 自相关产生的主要原因 1 经济系统的惯性 例如 GDP 价格 就业等经济数据 都有随经济系统的周期而波动 又如 在经济高涨时期 较高的经济增长率会持续一段时间 而在经济衰退期 较高的失业率也会持续一段时间 这种情况下经济数据很可能表现为自相关 2 经济活动的滞后效应 滞后效应是指某一指标对另一指标的影响不仅限于当期而是延续若干期 由此带来变量的自相关 例如 居民当期可支配收入的增加 不会使居民的消费水平在当期就达到应有水平 而是要经过若干期才能达到 因为人的消费观念的改变客观上存在自适应期 那么就很可能存在自相关 3 模型设定的偏误 模型设定偏误包括模型数学形式设定不当 模型丢失了重要的解释变量 例如 模型本应该设定为 但在模型设定中作了下述回归 ut无自相关 由于该现象是由于设定失误造成的自相关 因此 也称其为虚假自相关 4 数据处理造成自相关 在实际研究中 有些数据是由已知数据经处理得到的 因此 新生成的数据与原数据间有了内在联系 表现出自相关 例如 季度数据来自月度数据的简单平均 这种平滑处理减弱了月度数据的波动性 而使得生成数据表现出自相关 一般经验告诉我们 对于采用时间序列数据作样本的计量经济学问题 由于在不同样本点上解释变量以外的其他因素在时间上的连续性 带来它们对被解释变量的影响的连续性 所以往往存在序列相关性 二 自相关性产生的后果 1 所得到的参数估计量虽是无偏的 但却非有效 考虑具有一阶自回归形式的随机干扰项模型 由于所以 用普通最小二乘法可得 其中 关于估计量的方差 有 由于自相关的存在 所以这时的方差已不同于经典假设之下的方差 因此 若不考虑自相关性 仍用普通最小二乘法估计的方差 则可能会导致不小的偏误 2 参数的显著性检验失去意义 由于估计量的方差已不同于经典假设之下的方差 所以由估计量和其方差估计量所构造的t检验统计量和F检验统计量将不能给出有效的结论 所用的t检验和F检验一般来说是不可靠的 3 模型的预测失效 区间预测与参数估计量的方差有关 在方差有偏误的情况下 使得预测估计不准确 预测精度降低 所以 当模型出现序列相关性时 它的预测功能失效 然后 通过分析这些 近似估计量 之间的相关性 以判断随机干扰项是否具有自相关性 自相关性检验方法有多种 但基本思路相同 首先采用普通最小二乘法估计模型 以求得随机干扰项的 近似估计量 用表示 三 自相关的检验 一 图示检验法 利用残差项的变化图形来判断随机干扰项的自相关性 1 绘制的趋势图 的趋势图 1 正自相关 2 负自相关 的散点图 1 正自相关 2 负自相关 2 绘制的散点图 例3 3 二 杜宾 瓦森 Durbin Watson 检验法 DW检验是杜宾和瓦森于1951年提出的一种检验自相关的方法 该方法的假定条件是 1 解释变量X非随机 2 随机干扰项为一阶自回归形式 3 因变量的滞后期不能在回归模型中作解释变量 即不应出现下列形式 4 样本容量应充分大 DW检验步骤 给出假设 不存在自相关 存在自相关 用残差值计算统计量其中分子是残差的一阶差分平方和 分母是残差平方和 把上式展开 因为在样本容量充分大条件下有可表示为 无自相关 与值的对应关系及意义 024 正相关 负相关 DW检验步骤 1 计算DW值 2 给定显著性水平 由n和k的大小查DW分布表 得临界值和 3 比较 判断 1 若DW值在之间 拒绝原假设 认为存在正自相关 2 若DW取值在之间 拒绝原假设 认为存在负自相关 3 若DW取值在之间 接受原假设 认为非自相关 DW判别规则 4 若取值在或之间 这种检验没有结论 即不能判别是否存在自相关 这是DW检验的一个局限性 当值落在第4种情况时 有两种处理方法 加大样本容量或重新选取样本 重新做检验 选用其他检验方法 用杜宾 沃森检验法来检验例3 3中模型是否存在一阶自相关性 三 拉格朗日乘数 Lagrangemultiplier 检验 拉格朗日乘数检验克服了DW检验的缺陷 适合于高阶序列相关以及模型中存在滞后被解释变量的情形 它是由布劳殊 Breusch 与戈弗雷 Godfrey 于1978年提出的 也被称为BG检验 对于模型 如果怀疑随机扰动项存在p阶自相关 BG检验可用来检验如下受约束回归方程 约束条件为 约束条件为真时 大样本下 其中 n为样本容量 为如下辅助回归的可决系数 给定 查临界值 2 p 与LM值比较 做出判断 实际检验中 可从1阶 2阶 逐次向更高阶检验 在EViews中可以直接进行BG检验 以例3 3为例 四 回归检验法 如果存在某一种函数形式 使得方程显著成立 则说明原模型存在序列相关性 回归检验法的优点是 1 能够确定自相关的形式 2 适用于任何类型自相关性问题的检验 以为被解释变量 以各种可能的相关量 诸如等为解释变量 建立各种方程 四 自相关性的修正 如果模型的随机干扰项存在自相关 首先应分析产生自相关的原因 一种方法是利用回归估计的残差对解释变量的较高次幂进行回归 然后对新的残差作DW检验 如果此时