第二章一元线性回归2010

第二章 一元线性回归模型 2.1 回归分析概述 2.2 一元线性回归模型的参数估计 2.3 一元线性回归模型的统计检验 2.4 一元线性回归模型的应用：预测 2.5 实例：时间序列问题2.1 回归分析概述回归分析概述一、回归分析的基本概念二、总体回归函数三、随机干扰项四、样本回归函数一、回归分析的基本概念一、回归分析的基本概念 最早由高尔顿引入 给定父母的身高，儿女辈的平均身高趋向于全体人口的平均身高 研究一个变量关于另一个（些）变量的依赖关系的方法和理论，目的在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值1、变量间的相互关系（ 1） 函数关系 ：确定性现象的变量之间的关系，变量不具有随机性如：（ 2） 统计相关关系 ：非确定性现象的变量之间的关系，涉及随机变量如： 变量间的 相关关系 的可以通过 相关分析 (correlation analysis)或 回归分析 (regression analysis)来研究 相关分析主要研究随机变量间的 相关形式 与 相关程度 正相关正相关线性相关线性相关 不相关不相关 负相关负相关 正相关正相关非线性相关非线性相关 不相关不相关负相关负相关 线性线性 相关程度：相关程度： 相关系数相关系数 测度测度 线性相关线性相关 两个变量：单相关系数两个变量：单相关系数 多个变量：复相关系数多个变量：复相关系数偏相关系数偏相关系数 相关并不意味着因果关系相关并不意味着因果关系2、相关分析与回归分析 相关形式相关形式 具有相关关系的变量间有时存在 因果关系 ，这时可以通过回归分析研究其间的具体依存关系 回归分析 (regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系 的计算方法和理论。 前一个变量（结果变量）称为 被解释变量 （ Explained Variable）或 因变量 （ Dependent Variable），记为 Y； 后一个（些）变量（原因变量）称为 解释变量 （ Explanatory Variable）或 自变量 （ Independent Variable），记为 Xi。 具体依赖关系体现为 Y和 X的一个关系式： Y f(Xi） 。其目的在于：通过解释变量 Xi的已知或设定值，去估计和 (或 )预测被解释变量 Y的（总体）均值。 回归分析是经典计量经济学的主要分析方法 主要内容包括： 根据样本观察值对计量经济学模型参数进行估计，求得回归方程； 对回归方程、参数估计值进行显著性检验 利用回归方程进行分析、评价及预测3、回归分析构成计量经济学的方法论基础 二者都是研究相关关系的方法，并能测度线性依赖程度的大小。 相关分析是回归分析的基础。 相关分析中变量的地位是 对称 的，而回归分析中变量是 不对称 的，具有被解释变量和解释变量之分。 相关分析中变量都可以是 随机 的；而回归分析中，被解释变量是 随机 的，而解释变量往往被看成是 非随机 的。 相关分析只关注变量的间的相关程度，不关注具体依赖关系；而回归分析更加关注这一 具体依赖关系 ，因而可以通过解释变量的变化来估计和预测被解释变量的变化。A1：相关分析和回归分析的联系区别 虽然回归分析通常用于研究具有因果关系的变量之间的具体依赖关系，但是回归关系式本身并不一定意味着因果关系 “ 一个统计关系式，不管多强也不管多么有启发性，却永远不能确立因果方面的联系；对因果关系的理念，必须来自于统计学以外，最终来自这种或那种理论 ” Kendall & Stuart 回归分析本身实质上只是一种数据分析方法和手段，而非确定因果的逻辑基础或理论A2：回归分析与因果关系二、总体回归函数二、总体回归函数（ population regression function， PRF） 描述总体中解释变量 X和被解释变量 Y的平均值 E(Y)之间的变化规律的关系式： E(Y) f（ Xi） 回归分析关注的核心【 例 2.1】 假定 一个待研究的经济 总体 仅包括 100户家庭，考察 家庭月消费支出 Y与 家庭月可支配收入 X的关系。（ 1）对 同一 收入水平 X， 不同家庭的消费支出 Y不完全相同 ，说明在给定X的情况下， Y取值的不定性 随机性（ 2）随着 X的增加， Y“ 平均地 ” 也在增加 统计规律性直观观察 ：（ 3）由于调查的完备性，我们可以计算给定收入水平 X的条件下，消费支出 Y的 总体（条件）均值 ，如： E(Y=|X=800） =605。 这里 Y的均值是在给定 X的条件下计算的，称之为 条件均值（ conditional mean） 或 条件期望（ conditional expectation） ： E(Y|X=Xi)进一步的分析 ：表 2.1.2 各收入水平 组 相 应 家庭消 费 支出的条件概率与各 组 家庭消 费 支出的条件均 值收入水平 800 1100 1400 1700 2000 2300 2600 2900 3200 3500条件概率 1/4 1/6 1/11 1/13 1/13 1/14 1/13 1/10 1/9 1/6条件均 值 605 825 1045 1265 1485 1705 1925 2145 2365 25850500100015002000250030003500500 1000 1500 2000 2500 3000 3500 4000每月可支配收入 X（ 元）每月消费支出Y（元）（ 4）描出散点图发现： 随着收入 X的增加 ，消费 “ 平均地说 ” 也在增加，且 Y的条件均值均落在一条正斜率的直线上 。这条线，我们称为 总体回归线（ population regression line， PRL） 在几何意义上，给定解释变量 Xi条件下，被解释变量 Yi的条件均值或期望的轨迹称为 总体回归线（ population regression line）， 或更一般地称为 总体回归曲线（ population regression curve） 。称为（双变量） 总体回归函数（ population regression function, PRF） 或 总体回归方程（ Equation） 。 在代数意义上，与总体回归线相应的函数：PRF的定义 ： 其具体函数形式由所考察总体固有的特征决定，基于总体的无法全部可观察性，总体回归函数形式的选择是一个经验的问题，经济理论在这一选择过程中具有基础性地位。 从数学角度而言，这一函数在形式上 可以是 线性或非线性的 。例 2.1中， 居民消费支出可看成是其可支配收入的线性函数 : 称为 线性总体回归函数线性总体回归函数 。 其中， 0， 1是 未知参数 ，称为 回归系数（ regression coefficients）。 总体回归函数（ PRF）表明了被解释变量 Y的 平均状态 （总体条件期望）随解释变量 X变化的规律 对变量为线性 解释变量以一次方的形式出现 从几何上看，此时总体回归线是一条直线A1： “ 线性 ” 的含义 对参数为线性 回归系数以一次方的形式出现 从几何上看，此时总体回归线并不一定是直线三、总体回归模型与随机干扰项三、总体回归模型与随机干扰项（ population regression model， PRM & stochastic disturbance/error） 描述总体中解释变量 X和被解释变量 Y的个体值 Yi之间的变化规律： Yi f（ Xi） i 总体回归函数说明在给定的收入水平 Xi下，该社区家庭 平均的 消费支出水平 E(Y|Xi） 。 但对某一个别的家庭，其消费支出 Yi可能与该平均水平有偏差。称 i为观察值 Yi围绕它的期望值 E(Y|Xi)的 离差（ deviation） ， 是一个 不可观测 的随机变量，又称为 随机干扰项（ stochastic disturbance） 或随机误差项（ stochastic error） 。 记记1、随机干扰项的出现2、总体回归模型（ PRM） 借助于随机干扰项，个别家庭的消费支出可表达为：称为 总体回归函数的随机设定形式， 也称为 总体回归模型（ PRM） 。 总体回归模型表明：从 总体中的个体层次 看，被解释变量 Yi除了受解释变量的系统性影响（ E(Y|X)）外，还受其它因素的随机性影响 i 是这些因素的综合代表。随机误差项主要包括下列因素的影响： 1）在解释变量中被忽略或未知因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）众多细小的影响因素； 5）变量的内在随机性 1）理论的含糊性； 2）数据的欠缺； 3）节省原则。3、随机干扰项的内容和原因产生随机误差项的原因：四、样本回归函数四、样本回归函数（ sample regression function， SRF）描述样本中解释变量 X和被解释变量 Y的之间的平均变化规律： Yi f（ Xi）问题：能否从样本估计总体回归函数？例例 2.2： 从从 例例 2.1的总体中获得如下一个样本：的总体中获得如下一个样本： 总体的信息往往无法掌握，因此 PRF实际上 未知 现实的情况只能是在一次观测中得到总体的一个样本，通过样本的信息来估计 总体回归函数。1、样本回归函数（ SRF） 做该样本的 散点图 样本散点图近似于一条直线，这与总体中体现的 X和 Y的关系是一致的。 画一条直线以尽可能地拟合该散点图，由于样本取自总体，可用该线近似地代表总体回归线。 该线称为 样本回归线（ sample regression lines） 。记样本回归线的函数形式为：称为 样本回归函数 （ sample regression function， SRF）。 2、 SRF与 PRF的关系 样本回归函数（ SRF）是总体回归函数（ PRF）的 近似替代（估计） 。样本回归函数总体回归函数关系 样本回归函数（ SRF）描述了样本所展示的 X和 Y之间的 平均变化联系 ，这一联系与总体中的联系具有内在一致性。 同样地，引入 ei后，样本回归函数也有如下的 随机形式 ： 称为 样本回归模型（ sample regression model）， 描述了样本中， 从个体层次看 ，解释变量 X与被解释变量 Y之间的联系。 基于样本回归函数所得到的 i与实际观测的 Yi之间同样存在着误差，记为ei，有： ei 称为（样本） 残差项 或 剩余项（ residual） ，代表了其它影响 Yi的随机因素的集合3、 样本回归模型（ SRM）4、残差 e与误差 残差 e 反映了实际观测值与其估计值之间的差异。直观上， e是实际观测值与 样本回归直线 上的对应值的距离。 在获得了样本回归函数后，利用 i可以得到 e的具体值 概念上， e与误差项 相对应，可以看作是 的估计 。 误差 反映了 Y的实际观测值与其总体平均值之间的差异，直观上是实际观测值与 总体回归直线 上的相应值的距离。 由于总体均值的未知性， 具有 不可观