《线性回归》课件.ppt

1、高等学校经济学类核心课程,计 量 经 济 学,Econometrics,第二章 一元线性回归模型, 2.1 回归分析概述 2.2 一元线性回归模型的参数估计 2.3 一元线性回归模型的统计检验 2.4 一元线性回归模型的应用：预测 2.5 实例：时间序列问题,2.1 回归分析概述,一、回归分析的基本概念 二、总体回归函数 三、随机干扰项 四、样本回归函数,一、回归分析的基本概念,最早由高尔顿引入给定父母的身高，儿女辈的平均身高趋向于全体人口的平均身高 研究一个变量关于另一个（些）变量的依赖关系的方法和理论，目的在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值,1、变量间的相互关

2、系,（1）函数关系：确定性现象的变量之间的关系，变量不具有随机性 如：,（2）统计相关关系：非确定性现象的变量之间的关系，涉及随机变量 如：,变量间的相关关系的可以通过相关分析(correlation analysis)或回归分析(regression analysis)来研究 相关分析主要研究随机变量间的相关形式与相关程度, 线性相关程度：相关系数 测度线性相关 两个变量：单相关系数 多个变量：复相关系数 偏相关系数 相关并不意味着因果关系,2、相关分析与回归分析, 相关形式,具有相关关系的变量间有时存在因果关系，这时可以通过回归分析研究其间的具体依存关系 回归分析(regression a

3、nalysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。 前一个变量（结果变量）称为被解释变量（Explained Variable）或因变量（Dependent Variable），记为Y； 后一个（些）变量（原因变量）称为解释变量（Explanatory Variable）或自变量（Independent Variable），记为Xi。 具体依赖关系体现为Y和X的一个关系式：Yf(Xi）。其目的在于：通过解释变量Xi的已知或设定值，去估计和(或)预测被解释变量Y的（总体）均值。,回归分析是经典计量经济学的主要分析方法 主要内容包括： 根据样本观察值对计量经济学模型

4、参数进行估计，求得回归方程； 对回归方程、参数估计值进行显著性检验 利用回归方程进行分析、评价及预测,3、回归分析构成计量经济学的方法论基础,二者都是研究相关关系的方法，并能测度线性依赖程度的大小。相关分析是回归分析的基础。 相关分析中变量的地位是对称的，而回归分析中变量是不对称的，具有被解释变量和解释变量之分。 相关分析中变量都可以是随机的；而回归分析中，被解释变量是随机的，而解释变量往往被看成是非随机的。 相关分析只关注变量的间的相关程度，不关注具体依赖关系；而回归分析更加关注这一具体依赖关系，因而可以通过解释变量的变化来估计和预测被解释变量的变化。,A1：相关分析和回归分析的联系区别,虽

5、然回归分析通常用于研究具有因果关系的变量之间的具体依赖关系，但是回归关系式本身并不一定意味着因果关系 “一个统计关系式，不管多强也不管多么有启发性，却永远不能确立因果方面的联系；对因果关系的理念，必须来自于统计学以外，最终来自这种或那种理论” Kendall & Stuart 回归分析本身实质上只是一种数据分析方法和手段，而非确定因果的逻辑基础或理论,A2：回归分析与因果关系,二、总体回归函数（population regression function，PRF）,描述总体中解释变量X和被解释变量Y的平均值E(Y)之间的变化规律的关系式：E(Y)f（Xi） 回归分析关注的核心,【例2.1】假定

6、一个待研究的经济总体仅包括100户家庭，考察家庭月消费支出Y与家庭月可支配收入X的关系。,（1）对同一收入水平X，不同家庭的消费支出Y不完全相同，说明在给定X的情况下，Y取值的不定性随机性 （2）随着X的增加，Y“平均地”也在增加统计规律性,直观观察：,（3）由于调查的完备性，我们可以计算给定收入水平X的条件下，消费支出Y的总体（条件）均值，如： E(Y=|X=800）=605。 这里Y的均值是在给定X的条件下计算的，称之为条件均值（conditional mean）或条件期望（conditional expectation）：E(Y|X=Xi),进一步的分析：,（4）描出散点图发现：随着收入

7、X的增加，消费“平均地说”也在增加，且Y的条件均值均落在一条正斜率的直线上。这条线，我们称为总体回归线（population regression line，PRL）, 在几何意义上，给定解释变量Xi条件下，被解释变量Yi的条件均值或期望的轨迹称为总体回归线（population regression line），或更一般地称为总体回归曲线（population regression curve）。,称为（双变量）总体回归函数（population regression function, PRF）或总体回归方程（Equation）。, 在代数意义上，与总体回归线相应的函数：,PRF的定义：,

8、其具体函数形式由所考察总体固有的特征决定，基于总体的无法全部可观察性，总体回归函数形式的选择是一个经验的问题，经济理论在这一选择过程中具有基础性地位。 从数学角度而言，这一函数在形式上可以是线性或非线性的。,例2.1中，居民消费支出可看成是其可支配收入的线性函数:,称为线性总体回归函数。其中，0，1是未知参数，称为回归系数（regression coefficients）。,总体回归函数（PRF）表明了被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律,对变量为线性解释变量以一次方的形式出现 从几何上看，此时总体回归线是一条直线,A1：“线性”的含义,对参数为线性回归系数以一次方的形

9、式出现 从几何上看，此时总体回归线并不一定是直线,三、总体回归模型与随机干扰项（ population regression model，PRM & stochastic disturbance/error）,描述总体中解释变量X和被解释变量Y的个体值Yi之间的变化规律：Yif（Xi）i,总体回归函数说明在给定的收入水平Xi下，该社区家庭平均的消费支出水平E(Y|Xi）。 但对某一个别的家庭，其消费支出Yi可能与该平均水平有偏差。,称i为观察值Yi围绕它的期望值E(Y|Xi)的离差（deviation），是一个不可观测的随机变量，又称为随机干扰项（stochastic disturbance）

10、或随机误差项（stochastic error）。,记,1、随机干扰项的出现,2、总体回归模型（PRM）,借助于随机干扰项，个别家庭的消费支出可表达为：,称为总体回归函数的随机设定形式，也称为总体回归模型（PRM）。,总体回归模型表明：从总体中的个体层次看，被解释变量Yi除了受解释变量的系统性影响（E(Y|X)）外，还受其它因素的随机性影响 i 是这些因素的综合代表。,随机误差项主要包括下列因素的影响：,1）在解释变量中被忽略或未知因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）众多细小的影响因素； 5）变量的内在随机性,1）理论的含糊性； 2）数据的欠缺；

11、 3）节省原则。,3、随机干扰项的内容和原因,产生随机误差项的原因：,四、样本回归函数（sample regression function，SRF）,描述样本中解释变量X和被解释变量Y的之间的平均变化规律：Yif（Xi）,问题：能否从样本估计总体回归函数？,例2.2：从例2.1的总体中获得如下一个样本：,总体的信息往往无法掌握，因此PRF实际上未知 现实的情况只能是在一次观测中得到总体的一个样本，通过样本的信息来估计总体回归函数。,1、样本回归函数（SRF）,做该样本的散点图 样本散点图近似于一条直线，这与总体中体现的X和Y的关系是一致的。 画一条直线以尽可能地拟合该散点图，由于样本取自总体

12、，可用该线近似地代表总体回归线。 该线称为样本回归线（sample regression lines）。,记样本回归线的函数形式为：,称为样本回归函数（sample regression function，SRF）。,2、 SRF与PRF的关系,样本回归函数（SRF）是总体回归函数（PRF）的近似替代（估计）。,样本回归函数,总体回归函数,关系,样本回归函数（SRF）描述了样本所展示的X和Y之间的平均变化联系，这一联系与总体中的联系具有内在一致性。,同样地，引入ei后，样本回归函数也有如下的随机形式：,称为样本回归模型（sample regression model），描述了样本中，从个体层次

13、看，解释变量X与被解释变量Y之间的联系。,基于样本回归函数所得到的i与实际观测的Yi之间同样存在着误差，记为ei，有：,ei 称为（样本）残差项或剩余项（residual），代表了其它影响Yi的随机因素的集合,3、 样本回归模型（SRM）,4、残差e与误差,残差e 反映了实际观测值与其估计值之间的差异。直观上，e是实际观测值与样本回归直线上的对应值的距离。 在获得了样本回归函数后，利用i可以得到e的具体值 概念上，e与误差项 相对应，可以看作是的估计。,误差 反映了Y的实际观测值与其总体平均值之间的差异，直观上是实际观测值与总体回归直线上的相应值的距离。 由于总体均值的未知性， 具有不可观测性

14、。,x,(xi , yi),i,y,(x2 , y2),总体回归方程,残差,样本回归方程,误差,5、回归分析的目的,获得一个优良的样本回归函数SRF，作为总体回归函数PRF的估计，描述X和Y之间的变化规律。 这就要求：寻求好的方法，构造尽可能好的SRF 换言之，构造PRF中未知参数的优良估计量,2.2 一元线性回归模型的参数估计,一、基本假设 二、普通最小二乘估计 三、最大似然估计 四、最小二乘估计的性质 五、参数估计量的概率分布及随机干扰项方差的估计,一元线性回归模型的基本形式,最简单的回归模型：线性模型，只有一个解释变量X,i=1,2,N,Y 为被解释变量，X 为解释变量，i 代表样本点

15、0 与 1 为回归系数，是未知常数，待估计 为随机干扰项,“线性”的含义： Y和X之间呈线性 Y和之间呈线性,一、基本假设,保障普通最小二乘法（OLS）适用的基本条件,1、基本假设的提出,回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。,估计方法有多种，其种最广泛使用的是普通最小二乘法（ordinary least squares, OLS）。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,严格而言，这些基本假设并非针对模型的，而是针对普通最小二乘法的,寻求恰当的估计方法，使,是i的优良估计量参数估计,2、基本假设的内容, 假设1

16、：解释变量X是确定性变量，不是随机变量； 假设2：随机误差项具有零均值、同方差和不序列相关性： E(i)=0 i=1,2, ,N Var (i)=2 i=1,2, ,N Cov(i, j)=0 ij i,j= 1,2, ,N 假设3：随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,N 假设4：服从零均值、同方差、零协方差的正态分布 iN(0, 2 ) i=1,2, ,N,3、基本假设的意义,假设1：模型中只有是随机变量，从而Y是与具有类似性质的随机变量 假设2： E(i)=0 E(Yi)01Xi Var(i)=2 1）各样本点上，误差项的分布离散程度是相同的 2）

17、Yi与i具有相同的方差： var(Yi)=2 Cov(I,j)=0 1）各样本点上，随机因素是相互独立的 2） Yi, Yj也相互独立： cov(Yi,Yj)=0 假设3：解释变量X和随机误差项对Y的影响是完全独立的 假设4：1）参数估计并不需要，但假设检验和预测需要 2） Yi与i具有相同的分布，只是均值不同,4、暗含假设, 假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。即, 假设6：回归模型是正确设定的,假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spurious regres

18、sion problem）。 假设6也被称为模型没有设定偏误（specification error）,二、普通最小二乘估计（OLSE）,最基本和常用的估计方法 估计值与实际观测值的误差平方和最小,给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值。,样本回归线上的点 与真实观测值 的“总体误差”尽可能小，即被解释变量的估计值与真实观测值总体上最为接近。,普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和最小,1、最小二乘原理,2、最小二乘估计（OLSE）,正规方程组 （normal equation

19、s）,OLSE的离差形式,记,上述参数估计量可以写成：,称为OLS估计量的离差形式（deviation form）。,将（2.2.5）式看成的一个表达式，则称为“估计量”（estimator）。 利用具体样本资料，可以计算得到的具体数值，这些值称为“估计值”（estimated value）。 从估计量的角度看，是随机变量，其取值依赖于具体的样本资料,估计量（estimator）和估计值（estimated value）,三、最大似然估计（MLE）,1、最大似然法的基本原理,最大似然法（Maximum Likelihood，ML），也称最大或然法，是不同于最小二乘法的另一种参数估计方法，是从最

20、大或然原理出发发展起来的其它估计方法的基础。 更本质地揭示出通过样本估计总体参数的内在机理 基本原理： 当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。,n个样本观测值同时出现的概率，体现为n个样本观测值的联合概率。 这一联合概率与总体参数有关，由其联合概率函数表达 样本观测值的联合概率函数称为变量的似然函数 所以，最大似然法是一种通过让似然函数极大化以求得参数估计量的方法,2、似然函数（Likelihood function）,在满足基本假设条件下，对一元线性回归模型，随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。,那么Yi

21、服从如下的正态分布：,于是，Y的概率函数为:,假如模型的参数估计量已经求得，为,因为Yi是相互独立的，所以，所有样本观测值的联合概率，也即似然函数为：,3、对数似然函数,将该似然函数极大化，即可求得到模型参数的极大似然估计量。,似然函数的极大化与似然函数的对数的极大化是等价的,4、最大似然估计（MLE）,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型参数的最大似然估计量（MLE）与普通最小二乘估计量（OLSE）是相同的。,# 参数估计实例（计算过程）,例2.2.1：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,因此，由该样本

22、估计的回归方程为：,四、最小二乘估计量的性质,估计量是随机变量 满足基本假设的前提下，是最佳线性无偏估计量,1、判断估计量优劣的准则,一个用于考察总体的估计量，可从如下几个方面考察其优劣性 （1）线性性：它是否是另一随机变量的线性函数； （2）无偏性：它的期望值是否等于总体的真实值； （3）有效性：它是否在所有线性无偏估计量中具有最小方差。 （4）渐进无偏性：样本容量趋于无穷时，均值序列趋于总体真值 （5）一致性：样本容量区域无穷时，依概率收敛于总体真值 （6）渐进有效性：样本容量趋于无穷时，在所有的一致估计量中具有最小的渐进方差,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参

23、数的真值，或者说需考察参数估计量的统计性质。,前三个准则称作估计量的小样本性质，不以样本大小而改变 拥有这类性质的估计量称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）。 后三个准则称为估计量的大样本性质或渐进性质 如果小样本下不能满足估计的准则，则应考察参数估计量的大样本性质,2、OLSE的性质,高斯马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,线 性 函 数,易知:,故:,由前:,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数 则容易

24、证明,五、参数估计量的概率分布及随机干扰项方差的估计,估计量是随机变量 满足基本假设的前提下，服从正态分布,1、参数估计量的概率分布,由于随机项i不可观测，只能从i的估计残差ei出发，对总体方差进行估计。,2又称为总体方差。,可以证明：2的最小二乘估计量为：,它是关于2的无偏估计量，即：,2、随机干扰项方差的估计,# 2的最大似然估计,因此， 2的最大似然估计量与最小二乘估计量不同 从而， 2的MLE不具有无偏性，但却具有一致性。, 回归估计的标准误（Standard Error of Regression）,随机误差项方差的估计量的平方根，称为估计标准误差或者回归标准误差，记为S.E,S.E

25、 反映了被解释变量的实际值与估计值的平均误差程度，S.E 越大，则回归直线的精度越低。,实际计算中，误差方差的估计可以采用如下公式计算,3、OLSE的样本方差与标准差,2.3 一元线性回归模型的统计检验,一、拟合优度检验 二、方程的显著性检验 三、变量的显著性检验 四、参数的置信区间,模型检验的必要性,回归分析是通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。不可避免地，这种估计存在着误差。 因此，尽管从统计性质上看，参数估计量具有良好的性质。即：如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值。但是在一次抽样中，估计值不一定就等于该真值。

26、 那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。 主要包括拟合优度检验、变量的显著性检验、方程的显著性检验、参数的区间估计。,一、拟合优度检验,SRF对样本观测值的拟合程度 实质上可理解为对拟合优度的测定,1、拟合优度（Goodness of Fit）的含义,拟合优度：SRF对样本观测值的拟合程度，即样本回归直线与观测散点之间的紧密程度,问题：采用普通最小二乘估计方法，已经保证了SRF最好地拟合了样本观测值，为什么还要检验拟合程度？,测度指标：判定系数（可决系数）R2。 这是一个基于总离差分解基础之上的指标,答案：定量测定的需要 相互比较的需要,2、

27、总离差平方和的分解,对于一个实际观测值Yi，定义总离差：,引入回归直线后，总离差可以分解为：,可以理解为：采用均值“估计”实际值时的“总误差”,离差分解示意图,对于所有样本点，定义如下离差平方和(Sum Square)：,总离差平方和 （样本观测值总体离差大小）,回归离差平方和 （SRF所能解释的离差大小）,残差平方和 （SRF无法解释的离差大小）,可以证明： TSS=ESS+RSS,Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。,显然，在给定样本中，TSS不变，因此，如果样本回归线离实际观测点越近，

28、即回归直线的拟合程度越好，则体现为ESS在TSS中占的比重越大 所以可用回归平方和ESS占总离差平方和TSS的比例来判断回归线与样本观测值的拟合程度,3、可决系数R2,称 R2 为（样本）可决系数/判定系数 （coefficient of determination)。,【1】可决系数的取值范围：0，1。R2越大，拟合程度越好。,问题： R2多大才算好？,【2】可决系数是一个样本统计量。它也是随着抽样的不同而不同。为此，对可决系数的统计可靠性也应进行检验。 【3】对模型好坏的判断不能仅仅依据这一指标。,答案：没有绝对标准。 时间序列数据：0.8、0.9很常见。 横截面数据：0.4、0.5不算低

29、,# 可决系数的计算方法1,在例2.2.1的收入-消费支出例中，,# 可决系数的计算方法2,计算TSS：,计算RSS：,二、方程的显著性检验,考察Y与所有X之间的线性关系在总体上是否显著成立 采用右侧F检验,1、方程显著性检验的含义,拟合优度检验对于模型总体线性关系的成立给出了一个模糊的推测，但还需要统计上严格的结论 方程的显著性检验，旨在对模型中被解释变量与全部解释变量之间的线性关系在总体上是否显著成立作出推断。 所用的方法是数理统计中的假设检验。,方程显著性检验即是检验模型 Yi=0+1X1i+2X2i+ +kXki+i i=1,2,n 中的参数j是否至少有一个显著不为0。,可提出如下原假

30、设与备择假设：,H0： 12 k0 H1： j不全为0（j1,2,k),2、方程显著性检验原假设和备择假设,特别地，对于一元线性回归模型（k1）： Yi=0+1Xi+， 方程显著性检验的原假设和备择假设为：,H0： 10 H1： 10,F检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS 回归平方和 ESS 是解释变量X的联合体对被解释变量Y的线性作用的结果，考虑比值：,如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值的大小对总体线性关系进行推断。,可以证明，在原假设H0成立的条件下，统计量,服从自由度为(k ,

31、 n-k-1)的 F分布,3、方程显著性检验检验统计量,特别地，对于一元线性回归模型: k1 Y=0+1X+， 方程显著性检验的F检验统计量为,4、方程显著性检验完整步骤,【1】提出原假设和备择假设：,H0： 10 H1： 10,【2】在H0成立的条件下，计算检验统计量的值：,【3】给定显著性水平，检验临界值：F(1,n-2),【4】如果 F F(1,n-2)，拒绝原假设，即总体线性关系成立 如果 F F(1,n-2)，接受原假设，即总体线性关系不成立,这是一个右侧检验，为什么？,三、变量的显著性检验,考察Y与某个Xj之间的线性关系在总体上是否显著成立 采用双侧t检验,1、变量显著性检验的含义

32、,方程的显著性检验是对Y和全部X之间的线性关系在总体上是否显著成立作出的判断；Y与全部X之间存在显著线性关系，并不代表Y与每一个X之间均存在显著的线性关系 变量的显著性检验旨在对模型中某一个具体的X与Y之间的线性关系在总体上是否显著成立作出判断，换言之，是考察所选择的X在总体上是否对Y有显著的线性影响 变量显著性检验所应用的方法同样是假设检验,2、变量显著性检验原假设和备择假设,变量的显著性检验主要是检验变量所对应的回归系数的真实值是否为零来进行的。,对应这一问题的假设分别是： H0： 10（变量的参数真值为零） H1： 10,一元线性回归模型中，对变量X的显著性检验主要是检验回归系数1的真实

33、值是否为零。,这是一个双侧检验！,3、变量的显著性检验检验统计量,正态变换,【1】提出原假设和备择假设： H0： 10 H1： 10,【2】在H0成立的情况下借助样本信息构造检验统计量：,【3】给定显著性水平，查t分布表，得临界值： t/2(n-2),4、变量的显著性检验完整步骤,【4】 比较，判断： 若 |t| t/2(n-2)，则拒绝H0 ，即X对Y具有显著影响 ； 若 |t| t/2(n-2)，则接受H0 ，即X对Y不具有显著影响；,在上述收入-消费支出例中，首先计算2的估计值,t统计量的计算结果为：,给定显著性水平=0.05，查t分布表得临界值：t0.05/2(8)=2.306 |t1

34、|2.306，落在拒绝域，拒绝原假设。说明家庭可支配收入在95%的置信度下显著，即是消费支出的主要解释变量,# 变量的显著性检验:实例,四、参数的置信区间,参数估计量是随机变量 对未知参数进行区间估计,LSE或MLE给出的只是总体参数的一个点估计。这种估计虽然是真实值的无偏估计，但是但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。 要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计。,1、置信区间的含义,这一区间，称之

35、为置信区间（confidence interval）； 1-称为置信系数（置信度）（confidence coefficient）； 称为显著性水平（level of significance）； 置信区间的端点称为置信限（confidence limit）,3、的置信区间,在变量的显著性检验中已经知道：,给定置信度（1-），对于临界值t/2 (n-2)，t值处在(-t/2, t/2)的概率是1-。表示为：,于是得到:(1-)的置信度下, i的置信区间是,2.4 一元线性回归模型的应用：预测,一、预测的理解 二、点预测及其性质 三、区间预测及其性质 四、预测区间的说明,一、预测的理解,预测是指给定样本以外的解释变量的观测值X0，对相应的被解释变量的值作出定量的估计。所以预测问题实质上