南开大学计量经济学02 一元线性回归分析(2012-09-10).ppt

1 Econometrics 计量经济学 攸频nkeconometrics 南开大学经济学院数量经济研究所 2 第1章Review 什么是计量经济学 计量经济学的研究内容和目的是什么 计量经济学一般建模过程是什么 为什么要养成画散点图的习惯 模型的检验包括几个方面 3 计量经济学 Econometrics 是用定量的方法研究经济活动规律及其应用的科学 是经济学与统计学 数学相结合的交叉学科 1 1 1计量经济学的定义 4 1 2计量经济学的研究内容和目的 1 定量描述与分析经济活动2 做经济预测 5 1 3计量经济学的建模步骤 6 7 根据数据结构模式 初步确定模型形式 线性or非线性 是否存在结构变化 是否存在异常值 什么原因 如为时间序列 存在季节性吗 可能存在异方差吗 画散点图的重要性 8 1 经济意义检验 根据拟定的符号 大小 关系 2 统计检验 由数理统计理论决定 3 计量经济学检验 由计量经济学理论决定 4 预测检验 由模型的应用要求决定 模型的检验 异方差性检验序列相关性检验共线性检验 稳定性检验 扩大样本重新估计预测性能检验 对样本外一点进行实际预测 拟合优度检验 R2检验 变量的显著性检验 t检验 方程的显著性检验 F检验 9 对整个回归方程的检验 对各回归系数的检验 显著性检验 从基本假设角度检验OLS的适用性及其改进 计量经济检验 线性回归模型的检验 统计检验 从统计学的角度检验样本回归函数估计量的有效性 拟合优度检验 异方差 多重共线性 随机解释变量 自相关 10 时间序列分析 单方程回归分析 一元回归 多元回归 非线性模型的线性化 违背古典假定条件的计量经济学问题 联立方程分析 时间序列模型 非经典计量经济学 初级计量经济学 本课程的内容体系 11 Y X Height Weight 第二章一元线性回归模型 12 第三章多元线性回归模型 Y 0 1X1 2X2 3X3 u 13 第四章非线性回归模型的线性化 对数函数模型 多项式函数模型 生长曲线模型 幂函数模型 14 第五章异方差 X Y 概率密度 X 收入Y 储蓄或消费支出 15 第六章自相关 a 正相关序列b 正相关 c 负相关序列d 负相关 e 非自相关序列f非自相关 16 第七章多重共线性 17 第八章特殊解释变量 1 随机解释变量2 滞后变量3 虚拟变量 18 教学基本要求 了解线性单方程计量经济学模型的基本理论与方法 掌握普通最小二乘估计 OLS 有关的参数估计过程和结论 掌握关于线性单方程计量经济学模型的基本假设 了解各类违背基本假设的模型的经济背景 掌握各类违背基本假设的计量经济学模型的主要检验方法和主要克服方法 了解它们的基本原理 学完本阶段 要用所学知识独立完成一个综合练习 19 第二章一元线性回归模型 2 1模型的建立及古典假定 2 2最小二乘估计 OLS 2 3OLS的统计性质 2 4回归方程的拟合优度检验 2 5回归系数估计值的显著性检验与置信区间 2 6预测 2 7案例分析 20 2 1模型的建立及古典假定 2 1 1回归分析的性质 2 1 2一元线性回归模型的建立 21 1 回归分析的定义2 相关分析3 回归分析与相关分析的区别 2 1 1回归分析的性质 22 1 回归分析的定义 回归分析研究一个变量关于另一个或多个变量的依赖关系 主要是从已知的或者确定的解释变量的值 x1 x2 xk 来估计或预测被解释变量 y 的总体均值 y被解释变量 ExplainedVariable 因变量 DependentVariable x被解释变量 ExplanatoryVariable 自变量 IndependentVariable 23 F Galton 1822 1911 回归 的由来 英国生物统计学家F Galton首次提出 回归 父辈身高 x 子辈身高 y 遗传的身高向平均数方向的回归 1855年 yi f xi ui或E yi xi f xi 24 2 相关分析 1 变量之间是否存在关系 2 如果存在 它们之间是什么样的关系 3 变量之间的关系强度如何 4 相关分析有何局限性 25 相关分析 一些人相信他们手掌生命线的长度可以用来预测他们的寿命 M E Wilson和L E Mather在 美国医学协会学报 上发表的一封信中 通过对尸体的研究对此给予了驳斥 死亡时的年龄与手掌生命线的长度被一起记录下来 作者得出死亡时的年龄与生命线的长度不存在显著相关的结论 手相术失传了 手也就放得下了 看手相 26 1 变量间是什么样的关系 a 函数关系 b 相关关系 27 2 用散点图描述相关关系 28 3 相关系数 相关系数 度量变量之间线性关系强度的一个统计量 总体相关系数用 表示 计算公式为 29 30 相关系数的性质 性质1 r的取值范围是 1 1 r 1 为完全相关r 0 不存在线性相关关系 1 r 0 为负相关0 r 1 为正相关 r 越趋于1表示关系越强 r 越趋于0表示关系越弱性质2 仅仅是x与y之间线性关系的一个度量 它不能用于描述非线性关系 这意为着 r 0只表示两个变量之间不存在线性相关关系 并不说明变量之间没有任何关系 性质3 r虽然是两个变量之间线性关系的一个度量 却不一定意味着x与y一定有因果关系 31 32 注意 相关性易受异常值影响 y x r 0 95 r 0 70 33 判断对错 如果 Xi Yi 的相关系数r为正值 判断下列陈述对错 1 Xi Yi 之间的相关系数也是正的 2 Xi Yi 之间以及 Xi Yi 的相关系数可正可负 3 Cov Xi Yi 的取值范围为 1 1 4 如果r 0 意味着两个变量之间没有任何关系 34 4 相关系数的局限性 相关系数的计算是一个数学过程 但不能揭示变量间关系的实质 一般说二变量相关时 可能属于如下一种关系 单向因果关系双向因果关系另有隐含因素影响二变量变化 虚假相关 35 回归分析是在相关分析和因果关系分析的基础上 去研究解释变量对被解释变量的影响 从对变量的处理看 相关分析对称地处理变量 X和Y都为随机变量 不考虑因果关系 回归分析对变量的处理是不对称的 假定X是非随机的 Y是随机变量 需要考虑因果关系 3 回归分析与相关分析的区别 36 计量经济学成绩与统计学成绩家庭收入与恩格尔系数计算机销量与电视机销量被访者初婚年龄与当前的收入水平葡萄酒的质量和品酒师的评分值中国羊肉消费量和牙买加短跑成绩 虚假相关 思考如下变量之间的关系 37 2 1 2一元线性回归模型的建立 1 一元线性回归模型的定义2 随机误差项的来源3 回归分析的主要目的 38 如下数据发表在1984年3月1日的 华尔街日报 上 它将1983年21家企业的广告预算 以百万美元计 与阅读者每周对其保留的印象次数 以百万次计 相联系 这些数据基于对4000个读者的调查 你认为这两个变量之间的关系具有什么样的性质 你认为值得做广告吗 案例1 广告支出的影响 39 印象次数与广告支出的调查数据 如何设定模型 40 案例2 凯恩斯消费函数模型 凯恩斯绝对收入假设消费理论 消费 C 是由收入 Y 唯一决定的 是收入的线性函数 C Y 但实际中上述等式不能准确实现 1 消费除受收入影响外 还受其他因素的影响 2 线性关系只是一个近似描述 3 收入的观测值是近似的 其本身并不绝对准确地反映收入水平 41 因此 一个更符合实际的数学描述为 C Y 其中 是一个随机误差项 代表其他随机因素的影响 线性回归模型的特征 通过引入随机误差项 将变量之间的关系用一个线性随机方程来描述 并用随机数学的方法来估计方程中的参数 在线性回归模型中 被解释变量的特征由解释变量与随机误差项共同决定 42 1 一元线性回归模型的定义 Yt 0 1Xt ut其中 Yt 被解释变量Xt 解释变量ut 随机误差项 0 常数项 截距项 1 回归系数 0和 1又统称为模型参数 回归参数 Xt是影响Yt变化的重要解释变量 回归参数 0和 1具体描述这种关系 0和 1通常是未知的 需要估计 ut包括除Xt以外的影响Yt变化的众多微小因素 其变化是不可控的 模型可分为两部分 1 0 1Xt是非随机部分 2 ut是随机部分 E yt 0 1xt ut 第3版教材第7页 43 2 设定随机误差项ut的原因 1 在解释变量中被忽略的因素的影响 2 存在观测误差 3 人的随机行为 第3版教材第7页 44 根据样本回归函数SRF 去估计总体回归函数PRF 如果是的良好的估计 就可用样本函数代替总体函数 研究Y与X之间的关系及变化规律 3 回归分析的主要目的 回归分析的主要任务是采用适当的方法 充分利用样本信息 使估计的样本函数尽可能地接近于真实总体回归函数 需要对解释变量和随机项作出假设 45 总体回归函数 假设一个总体有60个家庭构成 其周收入 X 和周消费 Y 支出数据如下表 表1 1周家庭收入与消费支出 美元 46 样本回归函数 47 注意 准确区分4个式子的关系 48 2 1 3古典假定条件 49 古典线性回归模型 CLRM 的基本假定 Yi 0 1Xi ui i 1 2 n 1 随机误差项具有 均值 E ui 0 2 随机误差项具有同方差 Var ui 2 3 随机误差项在不同样本点之间是独立的 不存在序列相关 Cov ui uj 0i ji j 1 2 n 4 随机误差项与解释变量之间不相关 Cov Xi ui 0 5 随机误差项服从 均值 同方差的正态分布 ui N 0 2 2 1 3古典假定条件 第3版教材第9页 50 1 随机误差项具有零均值 E i 0 表明 平均地看 随机误差项有互相抵消的趋势 2 随机误差项具有同方差 Var i 2 表明 对每个Xi 随机误差项 i的方差等于一个常数 2 即Y取不同值时 i相对各自均值 零均值 的分散程度是相同的 Yi具有与 i相同的方差 Yi可能取值的分散程度也是相同的 51 Cov i j 0 3 随机误差项在不同样本点之间是独立的 不存在序列相关 无自相关假定表明 产生误差 干扰 的因素是完全随机的 此次干扰与彼次干扰互不相关 互相独立 由此应变量Yi的序列值之间也互不相关 因为 i与 j相互独立 有 52 Cov Xi i 0 4 随机误差项与解释变量之间不相关 Xi与 i相互独立 互不相关 即随机误差项 i和解释变量Xi是各自独立对应变量Yi产生影响 事实上 在回归分析中 Xi在重复抽样 观测 中固定取值 是确定性变量 该假定自动满足 5 随机误差项服从正态分布 在对回归参数进行统计检验时 须作此假定 并结合假定1 2 i N 0 2 随机误差项 i正态分布的假定对模型的统计检验是很重要的 如果认为每一个误差很小且相互独立 则正态分布的假定就是合理的 研究表明 如果一个随机变量受到大量微小的 相互独立的随机因素的影响 则这个随机变量就服从正态分布 如果误差项 i服从正态分布 则Yi也服从正态分布 因Xi在重复抽样中是常数 yt N 0 1xt 53 重要提示 几乎没有哪个实际问题能够同时满足所有基本假设 通过模型理论方法的发展 可以克服违背基本假设带来的问题 违背基本假设问题的处理构成了单方程线性计量经济学理论方法的主要内容 异方差问题 违背同方差假设 序列相关问题 违背序列不相关假设 共线性问题 违背解释变量不相关假设 随机解释变量 违背解释变量确定性假设 54 2 2一元线性回归模型的参数估计 2 2 1普通最小二乘法 2 2 2随机误差项及相关的一些分布 Yt 0 1Xt ut我们如何决定 0和 1 选择能够最接近这些点的拟合直线 56 1 确定回归直线的方法2 普通最小二乘法3 OLS回归直线的性质 2 2 1普通最小二乘法 OrdinaryLeastSquare OLS 57 x y Xn Yn X1 Y1 X2 Y2 Xi Yi 通过这些样本点 可以得到很多条拟合直线 但是最佳的只有一条 从上图可以看出拟合残差 Residual 58 用 残差和最小 确定直线位置即 达到最小 由于出现正负抵消 所以不能保证所求拟合直线为最佳 用 残差绝对值和最小 确定直线位置即 达到最小 消除了正负抵消的缺陷 但绝对值在数学处理上带来了不方便 以 残差平方和最小 确定直线位置即 达到最小 既消除了正负抵消的影响 同时数学处理上是方便的 得到的估计量还具有优良特性 1 确定回归直线的方法 59 谁提出的OLS估计方法 CFGauss 1777 1855 CFGauss1809年提出OLS估计方法 60 解此方程组便得到参数估计值 从而得到样本回归方程 OLS回归线的性质 2 普通最小二乘法 OLS 第3版教材第11页 61 例题2 1人均鲜蛋需求量Y与人均可支配收入X关系 OLS估计结果 第3版教材第15页 file li 2 1 Yt 千克Xt 元 62 3 OLS回归直线的性质 1 残差之和为0 ei 0 2 残差与解释变量不相关 Cov Xi ei 0 3 样本回归线通过Y和X的样本均值 4 Y估计值的均值等于观测值的均值 第3版教材第13页 63 3 OLS回归直线的性质 证明过程 64 区分估计量和估计值 估计量是系数的估计量 随机变量 估计值是估计量的计算值 65 关于截距项估计值 如果观测值离y轴较远 要注意截距项估计值的准确性 66 思考 自己推导离差形式 原点变换 的OLS估计结果过原点的回归 regressionthroughtheorigin 考虑截距为零的一元线性回归模型的参数估计 只有在充分理论保证下才能使用零截距模型 比如奥肯定律或其他经济和金融理论 第3版教材第13页 第3版教材第14页 67 第3版教材第14页 68 一 的估计量二 yt的分布三 的分布 2 2 2随机误差项及相关的一些分布 69 Y X2 例 每月家庭收入与消费支出调查的数据 单位 元 如下 试建立回归模型 70 模型参数估计值及其标准差的计算如下 71 例题2 1人均鲜蛋需求量Y与人均可支配收入X关系 估计结果 第3版教材第29页 file li 2 1 72 一 的估计量 根据已有的样本信息可以求得的一个无偏估计量为 可用来考察观测值对回归直线的离散程度 其平方根为Y对估计的回归线的标准误差 也称为回归方程的精度 第3版教材第28页 73 二 yt的分布 对于一元线性回归模型 yt 0 1xt ut根据假定条件ut N 0 u E yt E 0 1xt ut 0 1xt E ut 0 1xtVar yt Var 0 1xt ut Var 0 1xt Var ut u yt是ut的线性函数 所以yt N 0 1xt u 74 三 的分布 由线性性 可得 证明略 第3版教材第18 21页 公式 2 29 2 33 2 37 75 两个系数的标准误差都包含随机误差项方差的估计量s2 s2越大 则误差项关于均值的离散程度就越大 从而y关于其均值的离散程度就越大 两个系数的标准误差都包含X的离差平方和 x2 x2越大 这两个系数的方差 标准误差 越小 样本容量n越大 这两个系数的标准误差越小 包含 X2 X2测度散点距离y轴的远近 对系数的标准误差估计量的一些总结 76 思考 影响回归系数方差的因素有哪些 77 课堂习题 对于计量经济学模型Y 0 1X u 其OLS估计量参数的特性在下列情况下会受到什么影响 1 观测值数目n增加 2 X各观测值差额增加 3 X各观测值近似相等 78 基本概念 总体回归函数总体回归模型样本回归函数样本回归模型随机误差项和残差项条件期望回归系数或回归参数回归系数的估计量最小二乘法 79 2 3最小二乘估计量的统计性质 高斯 马尔可夫定理 Gauss Markovtheorem 如果经典线性回归的假定 1 4 成立 则最小二乘估计量是具有最小方差的线性无偏估计量 80 1 线性性 Linearity 参数估计量是Y的线性函数 故为随机变量 第3版教材第18页 81 2 无偏性 Unbiasedness 参数估计量的均值等于总体回归参数真值 第3版教材第18页 82 3 有效性 Efficiency 在所有线性无偏估计量中 最小二乘估计量具有最小方差 在无偏性及有效性的证明过程中 用到基本假定1 4 证明过程略 第3版教材第19页 83 4 一致性 Consistentcy 随着样本容量无限的增大 估计量将收敛到它们的真值 84 普通最小二乘估计量具有线性性 无偏性 最小方差性等优良性质 具有这些优良性质的估计量又称为最佳线性无偏估计量 即BLUE估计量 theBestLinearUnbiasedEstimators 结论 第3版教材第23页 85 经济解释 基本含义 X增加1个单位 Y将平均增加个单位 86 家庭可支配收入与消费的例子 其中 X表示月收入 样本范围为800到2600元 Y表示月消费 单位 元 斜率项0 51 X每增加1元 平均每月消费估计增加0 51元 截距项244