《部分线性回归》PPT课件.ppt

第二部分线性回归 一 一元线性回归 一 基本思想及参数的估计 问题的提出 必要性 通过协方差或相关系数证实变量之间存在关系 仅仅只是知道变量之间线性相关的性质 正 负 相关和相关程度的大小 既然它们之间存在线性关系 接下来必须探求它们之间关系的表现形式是什么 最好用数学表达式将这种关系尽可能准确 严谨的表示出来 y a bx u 把它们之间的内在联系挖掘出来 也就是直线中的截距a 直线的斜率b 解决问题的思路 可能性 寻找变量之间直线关系的方法很多 于是 再接下来则是从众多方法中 寻找一种优良的方法 运用方法去求出线性模型 y a bx u中的截距a 直线的斜率b 正是是本章介绍的最小二乘法 根据该方法所得 即表现变量之间线性关系的直线有些什么特性 所得直线可靠吗 怎样衡量所得直线的可靠性 最后才是如何运用所得规律 变量的线性关系 最小二乘法产生的历史 最小二乘法最早称为回归分析法 由著名的英国生物学家 统计学家道尔顿 F Gallton 达尔文的表弟所创 早年 道尔顿致力于化学和遗传学领域的研究 他研究父亲们的身高与儿子们的身高之间的关系时 建立了回归分析法 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意已经成为探索变量之间关系最重要的方法 用以找出变量之间关系的具体表现形式 后来 回归分析法从其方法的数学原理 误差平方和最小 平方即二乘 出发 改称为最小二乘法 父亲们的身高与儿子们的身高之间关系的研究 1889年F Gallton和他的朋友K Pearson收集了上千个家庭的身高 臂长和腿长的记录企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式下图是根据1078个家庭的调查所作的散点图 略图 回归 一词的由来 从图上虽可看出 个子高的父亲确有生出个子高的儿子的倾向 同样地 个子低的父亲确有生出个子低的儿子的倾向 得到的具体规律如下 如此以来 高的伸进了天 低的缩入了地 他百思不得其解 同时又发现某人种的平均身高是相当稳定的 最后得到结论 儿子们的身高回复于全体男子的平均身高 即 回归 见1889年F Gallton的论文 普用回归定律 后人将此种方法普遍用于寻找变量之间的规律 最小二乘法的思路 1 为了精确地描述Y与X之间的关系 必须使用这两个变量的每一对观察值 才不至于以点概面 作到全面 2 Y与X之间是否是直线关系 协方差或相关系数 若是 将用一条直线描述它们之间的关系 3 在Y与X的散点图上画出直线的方法很多 任务 找出一条能够最好地描述Y与X 代表所有点 之间的直线 4 什么是最好 找出判断 最好 的原则 最好指的是找一条直线使得这些点到该直线的纵向距离的和 平方和 最小 三种距离 距离是度量实际值与拟合值是否相符的有效手段 点到直线的距离 点到直线的垂直线的长度 横向距离 点沿 平行 X轴方向到直线的距离 纵向距离 点沿 平行 Y轴方向到直线的距离 也就是实际观察点的Y坐标减去根据直线方程计算出来的Y的拟合值 这个差数以后称为误差 残差 剩余 最小二乘法的数学原理 纵向距离是Y的实际值与拟合值之差 差异大拟合不好 差异小拟合好 所以又称为拟合误差或残差 将所有纵向距离平方后相加 即得误差平方和 最好 直线就是使误差平方和最小的直线 于是可以运用求极值的原理 将求最好拟合直线问题转换为求误差平方和最小 数学推证过程 关于所得直线方程的结论 结论之一 由 5 式 得即拟合直线过y和x的平均数点 结论之二 由 2 式 得残差与自变量x的乘积和等于0 即两者不相关 拟合直线的性质 1 估计残差和为零2 Y的真实值和拟合值有共同的均值3 估计残差与自变量不相关4 估计残差与拟合值不相关 1 估计残差和为零 ResidualsSumtozero 由 1 式直接得此结论无须再证明 并推出残差的平均数也等于零 2 Y的真实值和拟合值有共同的均值 3 估计残差与自变量不相关 4 估计残差与拟合值不相关 关于回归直线性质的总结 实例 教材P92 94例5 1美国家庭收入与支付税收的关系例5 25 3男女学生数学分数与词汇分数的关系例5 5及5 6通过实例进一步理解一元回归线性模型的经济含义 二 一元线性回归模型的检验 一 线性回归模型的基本假设 严格来说是针对普通最小二乘法 二 参数估计量的性质 包括回归系数 随机误差项 线性 无偏性和有效性 三 模型的检验 包括方程的显著性检验和变量的显著性检验 一 线性回归模型的基本假设 1 自变量 解释变量 是非随机的确定性的变量 而且彼此之间不相关即 2 解释变量与随机误差项之间不相关 3 随机误差项具有零均值和同方差 即4 随机误差项之间不相关 即5 当样本容量趋于无强大时 由中心极限定理 对于任何实际模型都是满足 二 参数估计量的性质 1 模型参数估计主要包括 一是结构参数的估计量 即回归系数的估计量 二是随机误差项的分布参数 包括均值和方程 由前面得回归系数的估计量为 而对于随机误差项其均值已被假定为0 则只估计方差了 对于随机误差项方差的估计量为 2 参数估计量的性质 线性 即是y的线性函数 这可从表达式可看出 无偏性 即有效性 最小方差性 我们可得到 由高斯 马尔可夫 G M 定理 在满足线性回归模型的基本假定上 则在所有的无偏估计量中 OLS估计量具有最小方差性 给OLS估计量是最优线性无偏估计量 BLUE 可知上述无偏估计量具有最小方差 即有效性估计量 4 随机误差项估计量的无偏性问题由前面随机误差项的方差估计量为 通过变化可得 三 模型的检验 1 方程的显著性检验 F检验 旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否成立作出推断 用以进行方程的显著性检验的方法主要有三种 F检验 t检验 r检验 他们的区别在于构造的统计量不同 而在目前使用的计量经济学软件包中都有关于F统计量的计算结果 我们只介绍F检验 即检验方程中的参数是否显著不为0 即检验零假设 2 变量的显著性检验 t检验 主要对多元线性回归模型而言 在方程的总体线性关系呈显著性时 并不能说明每个解释变量对被解释变量的影响是显著的 必须对每个解释变量进行显著性检验 以决定是否作为解释变量保留在模型中 其检验的思路与方程显著性检验相似 用以检验的方法主要有三种 F检验 t检验 z检验 它们区别于方程显著性检验在于构造统计量不同 其中应用最为普遍的为t检验 如果变量x是显著的 则参数b应该是显著的 于是在变量的显著性检验中即检验零假设 构造检验用统计量 统计量t服从自由度为n 2的t分布 对于给定的显著性水平 查t分布表 得临界值若 t 小于临界值 则未通过检验 大于临界值则通过检验 四 模型的评价 在不同模型之间择优 拟和优度检验 由最小二乘法所得直线究竟能够对这些点之间的关系加以反映吗 对这些点之间的关系或趋势反映到了何种程度 于是必须经过某种检验或者找出一个指标 在一定可靠程度下 根据指标值的大小 对拟合的优度进行评价 1 平方和的分解 1 总平方和 TSS 回归平方和 ESS 残差平方和 RSS 的定义 2 平方和的分解 3 自由度的分解 1 总平方和 回归平方和 残差平方和 TSS为总体平方和 反映样本观测值总体离差的大小 ESS为回归平方和 反映由模型中解释变量所解释的那部分离差的大小 RSS为残差平方和 反映样本观测值与估计值偏离的大小 也是模型中解释变量未解释的那部分离差的大小 2 平方和的分解 平方和分解的意义 TSS ESS RSS被解释变量Y总的变动 差异 解释变量X引起的变动 差异 除X以外的因素引起的变动 差异 如果X引起的变动在Y的总变动中占很大比例 那么X很好地解释了Y 否则 X不能很好地解释Y 平方和分解图 3 自由度的分解 总自由度 dfT n 1回归自由度 dfE k 1 k为自变量的个数 残差自由度 dfR n k 1 n 2自由度分解 dfT dfR dfE 2 拟合优度 或称判决定系数 目的 企图构造一个不含单位 可以相互进行比较 而且能直观判断拟合优劣 拟合优度的定义 意义 拟合优度越大 自变量对因变量的解释程度越高 自变量引起的变动占总变动的百分比高 观察点在回归直线附近越密集 取值范围 0 1 修正的 在应用过程中 如果在模型中增加一个解释变量 模型的解释功能增强了 回归平方和增大了 也增大了 从而给人一个错觉 要使得模型拟合得好 就必须增加解释变量 但是在样本容量一定的情况下 增加解释变量必定使得自由度减少 于是实际应用中引进修正的决定系数 具体表达式为 其中n是样本容量 n k 1 n 1 1为残差平方和的自由度 n 1为总体平方和的自由度 3 拟合优度等于实际值与拟合值之间简单相关系数的平方 五 预测 计量经济学模型的一个重要应用是经济预测 对于模型如果给定样本以外的解释变量的观测值 可以得到被解释变量的预测值 但严格来说我们得到的仅是预测值的一个估计值 预测值仅以某一个置信水平处于以该估计为中心的一个区间中 预测区间的推导 六 正态性检验 在回归模型的参数和统计检验中都是建立在随机误差项服从正态分布的基础之上 在实际中如何检验随机误差项服从正态分布 一般的检验方法有三种 残差直方图 正态概率图 J B检验 其中主要用J B检验 正态性的J B Jarque Bera 检验