第二章一元线性回归分析.ppt

白鸿钧制作 第二章 计量经济学 回归分析是大量地运用于揭示经济现象之间相互影响关系的一种统计分析技术 是计量经济学的重要组成部分 通过本章学习 要求学生在明确本章的有关概念基础上 充分理解一元线性回归分析的经典假定理论 重点掌握最基本的一元线性回归模型的参数估计及其相关的检验和预测的方法 本章的目的与要求 本章内容 第一节经济变量间的一些基本关系 第二节一元线性回归模型的参数估计 第三节一元线性回归模型的检验 一 现象间的关系 函数关系 相关关系 二 线性相关系数 三 相关与回归分析的关系 一 一元线性回归模型的基本假定 二 一元线性回归模型的参数估计 一 对估计值的理论意义检验 二 拟合优度检验 三 线性相关检验 四 总体与样本回归函数 四 总体回归系数的估计与检验 五 一元线性回归模型的预测 1 点估计 2 总体回归系数的置信区间 区间估计 3 总体回归系数的假设检验 1 回归分析结果的报告 2 回归预测 3 影响预测区间大小的因素 1 非线性回归模型的两种基本类型 2 几种常见的非线性回归模型 六 回归模型的其他函数形式 学习重点 学习难点 一 回归分析的基本概念二 一元线性回归分析的经典假定三 一元线性回归模型的估计与检验四 一元线性回归模型的预测 一 回归分析经典假定的理解二 变差分解的理论与应用三 一元线性回归模型的检验与参数的检验 第一节经济变量间的一些基本关系 1 函数关系 一个变量的数值变动 是由另一个或几个变量的数值按一定规律唯一确定 这种关系就是函数关系 一 现象间的相互关系 2 相关关系 现象与现象之间确实存在的 但它们的数值对应并不确定的相互依存关系 相关关系是相关分析与回归分析的研究对象函数关系数学表达式是回归分析的分析工具 二 相关分析与回归分析 一 概念 1 相关分析 2 回归分析 相关与回归是研究现象间相互关系的两种基本方法 分析现象间相互依存关系密切程度的方法属相关分析方法 根据现象间关系的具体形式 选择一个合适的数学模型 用于近似地表达变量间的平均变化关系的方法属回归分析方法 二 联系与区别 区别 联系 1 具有共同的研究对象 2 在具体应用时 两者相互补充 3 一般都先相关分析 再进行回归分析 因为只有当变量间具有较密切关系时 回归才有意义 1 研究的目的不一样 3 相关分析两变量都是随机的 而回归分析自变量是给定的 因变量才是随机的 2 研究的方法不一样 相关分析不要求确定自变量和因变量 结果只有一个相关系数 回归则必须事先确定因果变量 结果可能有多个回归方程 三 线性相关系数 一 概念 在线性相关条件下 说明两个变量 X与Y 之间关系密切程度的统计分析指标 二 计算公式 总体相关系数 样本相关系数 相关分析中通常计算的都是样本的相关系数 总体与样本的相关系数分别用 和 r 表示 其中 称为两变量的协方差 为自变量的方差 为因变量的方差 积差法 例7 2 2 其公式如下 由于 积差法 公式的计算受到相关两变量平均数与的限制 计算起来颇为麻烦 所以 在实际计算时 可以采用 简捷法 这是众多相关系数公式中最好用的一个 此外还有 这些相关系数公式的证明学生自己给出 三 相关系数由来 相关系数是由回归变差与总变差的比求得 即 四 相关系数取值范围 1 r 1 狭义相关情况 相关程度 0 8 r 1高度相关 0 5 r 0 8显著相关 0 3 r 0 5低度相关 0 r 0 3微弱相关 视为不相关 五 相关系数的计算举例 六 相关系数的性质 1 r的取值介于 1与 1之间 是可正可负的数 2 当r 0时 两变量为正相关 当r 0时 两变量为负相关 3 当r 1 表明两变量完全正相关 当r 1时 则两变量为完全负相关 4 如果X与Y在统计上相互独立 即两变量不存在线性关系 则相关系数为零 但若r 0 并不一定说明两变量之间一定独立 这是因为相关系数r只适用于变量之间的线性关系 而变量之间可能存在非线性关系 5 相关系数r具有对称性 即X与Y之间的相关系数和Y与X之间的相关系数相同 四 一元线性回归模型 一 关于总体的模型 Yi 0 1Xi ui 式中 Y是因变量 或称被解释变量 1 总体回归模型 是根据总体的全部资料建立的回归模型 又称理论模型 其模型形式为 X是自变量 或称解释变量 0 截距项 与 1 斜率项 称为回归系数 ui为随机误差项 也叫随机扰动项 2 总体回归线 E Yi 0 1Xi 显然 ui Yi E Yi 这是一条理论直线 就是假定两变量间存在完全相关关系时 所呈现出来的理论直线 如果E ui 0 总体回归模型就是一条直线E Yi 0 1Xi 二 关于样本的模型 1 样本回归模型 2 样本回归线 式中 yi与xi分别为因变量与自变量的样本观测值 显然 根据样本资料建立的回归模型 其模型形式为 与分别是 0与 1的估计量 ei为随机误差项 也叫随机扰动项 通过上述讨论 有以下四个关系式 1 真实关系式 总体回归模型 2 真实回归直线 总体回归线 3 样本关系式 样本回归模型 Yi 0 1Xi ui E Yi 0 1Xi yi xi ei 4 样本估计直线 样本回归线 一 一元线性回归模型的基本假定 假定1 随机误差ui的均值为零 即 假定2 所有随机误差ui都有相同的方差 即随机误差ui的方差为常数 E ui 0 Var ui E ui E ui 2 E ui2 2 假定3 任意两个随机误差ui和uj i j 互不相关 其协方差为零 即 Cov ui uj E ui E ui uJ E uj E uiuj 0 第二节一元线性回归分析 一 关于随机误差项ui的假定 假定4 解释变量Xi是给定的确定变量 与随机误差ui线性无关 假定5 随机误差ui服从正态分布 即服从均值为0 方差为 2的正态分布 Cov ui xi 0 ui N 0 2 以上这些基本假定 是德国数学家高斯 C F Gauss 最早提出来的 也称高斯假定或标准假定 满足上述基本假定的一元线性回归模型 称为标准的一元线性回归模型或经典线性回归模型 记为CLRM 假定1 解释变量x是非随机的 所以无观测误差 与随机误差项无关 假定2 被解释变量y 对应于每一固定的x 是随机的 所以可能包含观测误差 假定3 当随机扰动项满足高斯假定时 被解释变量满足 1 E Yi E 0 1Xi 二 对解释变量x和被解释变量y的假定 2 Var Yi E Yi E Yi 2 E ui 2 2 3 Cov Yi Yj E Yi E Yi Yj E Yj E ui uj 0 4 Yi N 0 1Xi 2 二 一元线性回归模型的估计 一 参数的估计 普通最小二乘法 OLS法 利用样本数据拟合一元线性回归直线 并使得最小 1 与的求解公式 标准方程组 按此公式求得的直线能满足最小平方的要求 与的直接求解公式 也可按下式计算 请注意回归系数与相关系数r很相似 即 2 利用普通最小二乘法求得的回归直线 有如下特点 4 残差ei与解释变量xi不相关 1 样本回归直线必然通过点 2 的均值与yi的均值相等 所以 3 残差ei的均值为零 即 5 残差ei与被解释变量yi不相关 3 回归系数与相关系数r的关系 根据 1 用r表示 2 用表示r 无偏性 即 E 0 也就是说 利用普通最小二乘法估计的与是一个无偏估计量 线性特性 即 viyi wiyi 也就是说 估计与是样本观测值yi的线性组合 3 普通最小二乘估计量与的性质 一致性 P 0 1 P 1 1 也就是说 随着样本容量n的逐步扩大 估计量与逐渐地向总体真值 0与 1靠近 所以是 0的一致估计量 是 1的一致估计量 有效性 即方差最小 即估计量与有最小方差 分别为 Var 和Var 或 可见 参数与服从正态分布如下 以上两方差中的 u2为总体随机扰动项的方差 是参数 其无偏估计量应是 二 极大似然法 ML法 所谓极大似然法 顾名思义 就是要在估计未知参数时使得观测到的Y的概率尽可能的大 为此 了解Y的概率密度函数就成为重要的条件 由于与是随机误差ui的线性组合 这是因为 Yi是ui的线性函数 而与是Yi的线性函数 而ui服从正态分布 与也服从正态分布 另外 Yi也是ui的线性函数 所以Yi也服从正态分布 即 Yi N Yi N 如果将Y1 Y2 Yn的联合概率密度函数写为 f Y1 Y2 Yn LF f Y1 f Y2 f Yn 由于诸Y的独立性 此联合概率密度函数可写为n个单丁密度函数之积 似然函数用LF表示 其中 f Yi 得 LF f Y1 f Y2 f Yn 求解与使得联合概率密度的函数值最大 即Yi的概率最大 为此 可对上述似然函数求微分 两边求对数 ln LF 对上式的 与 2求偏导数得 令这些方程为0 最优化的一阶条件 并记ML估计量为与得 整理得出前两方程的简化式 与OLS法同 利用直观判断的方法 检验模型是否符合经济理论 经济规律和经济事实 比如 检验的符号和的取值大小 一 对估计值的直观判断 即所谓的经济意义检验 利用一个样本的n对观测值数据 xi yi 就可以通过最小二乘法求解出回归系数与 从而给出样本回归方程 xi 然而 这回归方程是否有意义呢 是否符合经济意义和统计意义呢 所以 要对方程进行检验 第三节一元线性回归模型的检验 二 拟合优度的检验 所谓拟合优度 是指样本观测值聚集在样本回归线周围的紧密程度 判断回归模型拟合程度的优劣 最常用的指标是判定系数也叫可决系数 用r2表示 1 判定系数r2的理论公式 目的 为了了解x对y的解释程度 x对y的解释程度越强 残差ei的绝对值越小 r2 判定系数r2的计算公式 r2 2 判定系数r2的两个重要性质 1 r2是一个非负的量 2 r2的取值范围介于0 1之间 越接近1 拟合程度越好 越接近0 拟合程度越差 r2 反之 根据前一页公式的证明 拟合系数r2与回归系数有如下关系 3 判定系数r2与回归系数的关系 三 相关系数r的检验 由于不同的样本有不同的相关系数 被抽中的样本的相关系数是否能代表总体的实际情况 这就要求对相关系数进行检验 检验步骤如下 第一步建立统计假设 假设样本取自相关系数 0的总体 零假设H0 0 或称原假设 备择假设H1 0 或称对立假设 第二步构造t检验值 t 第三步选择显著性水平 并作出判断 值通常取5 或1 当计算结果 t t 2 说明总体之间并非无关 拒绝原假设 表明Y与X存在显著关系 当计算结果 t t 2 说明总体之间不存在显著的线性关系 所以应接受原假设 一 总体回归系数的估计 第四节总体回归系数的估计与检验 一 总体回归系数的点估计 所以用和直接作为 0和 1的估计值 即 由于 E 0 是最简单的估计方法 二 总体回归系数的区间估计 N N 即 1 回归系数与的抽样分布 要知道 0与 1的置信区间 首先应明确与的抽样分布 以上为大样本条件下的Z分布 对与进行标准化处理 得服从标准正态分布的Z统计量如下 N 0 1 N 0 1 在小样本条件下 即n 30时为t分布 t n 2 t n 2 2 与的区间估计 i 0 1 的置信区间 1 当总体方差 u2已知 且ui方差服从正态分布情况下 N 0 1 i 0 1 当 0 05 即1 0 95 查标准正态分布表可知 Z值在区间 1 96 1 96 的概率为0 95 即P 1 96 Zi 1 96 0 95 即 P 1 96SE i 1 96SE 0 95 置信区间 2 当总体方差 u2未知 且为大样本 ui方差仍服从正态分布情况下 N 0 1 i 0 1 P t 2 SE i t 2 SE 1 t n 2 i 0 1 3 当总体方差 u2未知 且为小样本 ui的方差 u2要用其无偏估计量代替 则 置信区间 二 总体回归系数的假设假设 原假设H0 i i i 为预先给定的 备择假设H1 i i 构造Z统计量 Z 一 Z检验 1 当总体方差 u2已知 且为大样本情况下 根据显著性水平 作出判断 如果计算结果 Z Z 2 拒绝原假设 如果计算结果 Z Z 2 接受原假设 原假设H0 i i i 为预先给定的 备择假设H1 i i 构造t统计量 t 二 t检验 1 当总体方差 u2未知 且为小样本情况下 根据显著性水平 作出判断 如果计算结果 t t 2 拒绝原假设 如果计算结果 t t 2 接受原假设 原假设H0 0 0 备择假设H1 0 0 构造t统计量 t 三 零假设检验 1 对于截距项 0的检验 根据显著性水平 作出判断 如果计算结果 t t 2 拒绝原假设 如果计算结果 t t 2 接受原假设 原假设H0 1 0 备择假设H1 1 0 构造t统计量 t 2 对于斜率项 1的检验 显然 如果H0成立 就有Yi 0 ui 表明解释变量X对被解释变量Y没有影响 回归模型不能成立 根据显著性水平 作出判断 如果计算结果 t t 2 说明解释变量X并非对被解释变量Y无影响作用 而是有着显著影响 所以拒绝原假设 如果计算结果 t t 2 说明X对Y影响不显著 接受原假设 需要说明的是 相关系数r与回归系数的t检验 都是检验X对Y的影响关系 影响作用 所以两者是等价的 计算结果是一致的 三 总体回归模型的显著性检验 F检验 1 F检验的思路及检验步骤 第一步假设回归方程的回归系数为零 即 零假设H0 1 0 备择假设H1 1 0 即假设解释变量X1对被解释变量Y的线性影响不显著 从而 总体线性回归模型 Yi 0 1X1i ui 就为 Yi 0 ui 第二步构造F检验值 式中 2为回归方程参数的个数 包含 0 1为第一自由度 n 2为第二自由度 第三步给定显著性水平 并作出判断 如果计算结果F F 1 n 2 说明解释变量X对被解释变量Y并非无影响作用 而是有着显著影响 所以拒绝原假设 接受备择假设 如果计算结果F F 1 n 2 说明X对Y影响不显著 接受原假设 一 回归分析结果的报告 Yi 0 1Xi 回归模型经过估计检验后 得到了一系列数据 在以后的计量经济分析中还可能得到一些说明模型特性的有用数据 为了更清晰 简明地表现这些数据 通常将这些数据加以整理 并用一定的标准格式去报告回归分析的结果 以便于分析应用 第五节一元线性回归模型的预测 SE i SE 0 SE 1 t t0 t1 R2df 自由度 1 模型分析结果的一般格式 2 回归结果的分析 1 系数的说明 3 系数的显著性 样本回归方程的显著性 4 根据DW检验值说明是否存在误差项的自相关 2 拟合情况 二 利用模型进行预测 1 点预测 根据总体回归模型Yi 0 1Xi ui 当X X0时 Y0 0 1X0 u0 所谓点预测 就是给定X X0时 利用OLS法所估计得到的模型求出相应的样本拟合值 以此作为因变量个值Y0与其均值E Y0 的估计值 其总体均值 E Y0 0 1X0 可见 由样本回归方程计算的是总体个值Y0与总体均值E Y0 的无偏估计 所以可以直接作为Y0与E Y0 的预测值 而的期望 E 0 1X0 2 区间预测 对于任一给定样本 估计值只能作为Y0与E Y0 的无偏估计量 不可能真实的等于Y0与E Y0 也就是说两者之间必定存在误差 这个误差称为预测误差 为了估计这个误差 我们必须讨论对Y0与E Y0 误差的概率分布 从而进行区间预测 1 总体均值的预测区间 对E Y 误差 的抽样分布 即 i E Y 的期望值 E i E E Y 0 1Xi 0 1Xi 0 的方差 Var i 即 N 0 计算概率度 通常 u2未知 可用样本的Se2代替 t t n 2 那么E Y 的预测区间为 E Y 下限 上限 2 总体个值的预测区间 对Yi误差e的抽样分布 即 ei Yi e的期望值 E ei E Yi 0 1E Xi E ui 0 1E Xi 0 e的方差 Var ei 即 ei N 0 计算概率度 通常 u2未知 可用样本的Se2代替 t t n 2 那么Yi的预测区间为 Yi 下限 上限 Y均值与个值的置信区间图示 第六节回归模型的其他函数形式 一 非线性回归模型的两种基本类型 二 几种常见的非线性回归模型 一 双对数模型 二 半对数模型 三 倒数变换模型 1 E Yi 是参数 1的线性函数 是解释变量Xi的非线性函数 例如 一 非线性回归模型的两种基本类型 经济变量之间的非线性关系 可以分为两大类 E Yi 0 1Xi2 E Yi 0 1 E Yi 0 1 等等都是这类的非线性函数 式2 6 1 式2 6 2 式2 6 3 2 E Yi 是参数 1的非线性函数 而对解释变量Xi可能是线性的 也可能是非线性的 例如 E Yi 0 12Xi E Yi 0 Xi E Yi 0 Xi 本节主要讨论的是第一类经过适当变换可以变换为线性函数的非线性回归模型 式2 6 4 式2 6 5 式2 6 6 二 几种常见的非线性回归模型 一 双对数模型 对于以下幂函数 Yi 两边取对数 得 lnYi ln 0 1lnXi ui 通过变换不难看出 尽管Xi和Yi之间属于非线性关系 但lnXi和lnYi之间是线性关系 如果我们用Xi Yi 和 0 分别代替lnXi lnYi和ln 0 则上式就为 Yi 0 1Xi ui 式2 6 7 式2 6 8 式2 6 9 式2 6 8 是个双对数模型 又称为对数线性模型 对上式求微分 dlnYi 1dlnXi 整理得 式2 6 10 式2 6 11 由于Y的变化率与X的变化率之比是Y关于X的弹性 可见 2 6 7 式的斜率系数 1就是Y关于X的弹性 这就是双对数模型的一个重要特