第2章-一元线性回归模型.ppt

2020/5/3,经济贸易学院熊维勤,1,计量经济学基础,第二章一元线性回归模型,2020/5/3,经济贸易学院熊维勤,2,主要内容,一、模型的建立及其假定条件二、一元线性回归模型的参数估计三、一元线性回归模型的统计检验四、回归预测,2020/5/3,经济贸易学院熊维勤,3,第一节模型的建立及其假定条件,1、变量间的关系及回归分析的基本概念2、一元线性回归模型3、随机误差项的假定条件,2020/5/3,经济贸易学院熊维勤,4,1、变量间的关系及回归分析的基本概念,确定性关系或函数关系：,统计依赖或相关关系：,1、变量间的关系,如广告支出与商品销售额:,2020/5/3,经济贸易学院熊维勤,5,对变量间统计依赖关系的考察主要是通过相关分析(correlationanalysis)或回归分析(regressionanalysis)来完成的,变量间的关系,正相关,线性相关,不相关,相关系数：,统计依赖关系,负相关,有因果关系,回归分析,正相关,无因果关系,相关分析,非线性相关,不相关,负相关,-1XY1,2020/5/3,经济贸易学院熊维勤,6,变量间的关系,请注意：,有相关关系并不意味着一定有因果关系。,相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。,回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。,不线性相关并不意味着不相关,2020/5/3,经济贸易学院熊维勤,7,“回归(regression)”一词最早由英国生理学家高尔顿（Galton,1886）提出，用以指儿女的身高有回复到同龄人口总体平均身高的趋势回归分析(regressionanalysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其目的在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值（Gujarati，1995）被解释变量（ExplainedVariable）或因/应变量、左端变量（DependentVariable）解释变量（ExplanatoryVariable）或自变量、右端变量（IndependentVariable）,回归分析的基本概念,2020/5/3,经济贸易学院熊维勤,8,回归分析构成计量经济学的方法论基础。其主要内容包括：模型建立参数估计模型检验：计量经济检验、统计推断检验、经济意义检验、预测检验模型应用：结构分析、政策评价、经济预测、检验和发展经济理论,回归分析的基本概念,2020/5/3,经济贸易学院熊维勤,9,2、一元线性回归模型,假定两变量间的统计依赖关系如下：Yi=0+1Xi+ui上式表示变量Yi和Xi之间的真实关系。其中：Yi称被解释变量（因/应变量、左端变量）Xi称解释变量（自变量、右端变量）ui称随机误差项0称常数项1称回归系数,0、1通常未知,称模型Yi=0+1Xi+ui为一元线性回归模型,2020/5/3,经济贸易学院熊维勤,10,的条件分布当解释变量取某固定值时（条件），的值不确定，的不同取值形成一定的分布，即的条件分布。的条件期望对于的每一个取值，对所形成的分布确定其期望或均值，称为的条件期望或条件均值,1、条件分布和条件期望,注意几个概念：,2020/5/3,经济贸易学院熊维勤,11,变量线性,因变量的条件均值是自变量的线性函数。在这种情况下，解释变量的单位变动所引起的因变量的变化率为一常数，即斜率为常数。,参数线性,因变量的条件均值是参数（自变量前的回归系数）的线性函数，而变量之间并不一定是线性的。也就是说这个参数是一次方的。,2、线性,2020/5/3,经济贸易学院熊维勤,12,变量、参数均为“线性”参数“线性”，变量”非线性”变量“线性”，参数”非线性”计量经济学中:线性回归模型主要指就参数而言是“线性”,因为只要对参数而言是线性的,都可以用类似的方法估计其参数。,“线性”的判断,2020/5/3,经济贸易学院熊维勤,13,回归线:对于每一个的取值，都有的条件期望与之对应，代表这些的条件期望的点的轨迹所形成的直线或曲线，称为回归线。,3、回归线与回归函数,2020/5/3,经济贸易学院熊维勤,14,回归函数：应变量的条件期望随解释变量的的变化而有规律的变化，如果把的条件期望表现为的某种函数这个函数称为回归函数。回归函数分为：总体回归函数和样本回归函数,回归线与回归函数,2020/5/3,经济贸易学院熊维勤,15,2020/5/3,经济贸易学院熊维勤,16,（1）由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；,因此，给定收入X的值Xi，可得消费支出Y的条件均值或条件期望：E（Y|X=Xi）在该例中：E（Y|X=800）=605,分析：,（2）但由于调查的完备性，给定收入水平X后的消费支出Y的分布是确定的，即Y的条件分布是已知的，如：P（Y=638|X=800=1/4）,2020/5/3,经济贸易学院熊维勤,17,描出散点图：,随着收入的增加，“平均而言”消费也在增加，且Y的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。,2020/5/3,经济贸易学院熊维勤,18,概念：,在给定解释变量Xi的条件下，被解释变量Yi条件期望值的轨迹称为总体回归线（populationregressionline）。相应地，被解释变量的条件期望值与解释变量之间的函数关系：,称为总体回归函数（populationregressionfunction,PRF）。,2020/5/3,经济贸易学院熊维勤,19,回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律。,含义：,函数形式：可以是线性或非线性的。,例2.1中，若将居民消费支出看成是其可支配收入的线性函数时，可得到总体回归函数为:,它是一线性函数。其中，0，1是未知参数，称为回归系数（regressioncoefficients）,2020/5/3,经济贸易学院熊维勤,20,3.2、随机误差项,总体回归函数说明在给定的收入水平Xi下，该社区家庭平均的消费支出水平。但对某一个别的家庭，其消费支出可能与该平均水平有偏差。,称ui为Yi围绕它的期望值E(Y|Xi)的离差，是一个不可观测的随机变量，又称为随机干扰项或随机误差项,记,2020/5/3,经济贸易学院熊维勤,21,由此可得，在例2.1中个别家庭的消费支出为：,（1）式称为总体回归函数（方程）的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。,该收入水平下所有家庭的平均消费支出E(Y|Xi)，称为系统性（systematic）或确定性（deterministic)部分。其他随机或非确定性（nonsystematic)部分ui。,即，给定收入水平Xi,个别家庭的支出可表示为两部分之和:,由于方程中引入了随机项，成为计量经济学模型，因此也称（1）式为总体回归模型。,2020/5/3,经济贸易学院熊维勤,22,为什么回归模型中必须包含随机误差项？,随机误差项主要包括下列因素：在解释变量中被忽略的因素的影响；影响不显著的因素未知的影响因素无法获得数据的因素变量观测值的观测误差的影响；模型关系的设定误差的影响；其它随机因素的影响。,2020/5/3,经济贸易学院熊维勤,23,3.3、样本回归函数（SRF）,问题：能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？,回答：能,例2.1.2：在例2.1.1的总体中有如下一个样本，问：能否从该样本估计总体回归函数PRF？,总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。,2020/5/3,经济贸易学院熊维勤,24,描绘出核样本的散点图（scatterdiagram)：,样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为样本回归线（sampleregressionlines）。,2020/5/3,经济贸易学院熊维勤,25,记样本回归线的函数形式为：,则称其样本回归函数（sampleregressionfunction，SRF）,注意：我们在这里将样本回归线看成总体回归线的近似替代,样本回归函数SRF,2020/5/3,经济贸易学院熊维勤,26,SRF的特点,每次抽样都能获得一个样本，就可以拟合一条样本回归线，所以样本回归线随抽样波动而变化，可以有许多条（SRF不唯一）。,2020/5/3,经济贸易学院熊维勤,27,样本回归模型：,同样地，样本回归函数也有如下的随机形式：,由于方程（2）中引入了随机项，成为了一个计量经济模型，因此也称其为样本回归模型。,式中ei为残差项，也叫拟合误差，代表了影响Yi的其它随机因素，可以看着是是ui的估计量。在样本回归模型中，它表示样本观察值与其估计值的差异，即：,2020/5/3,经济贸易学院熊维勤,28,回归分析的主要目的：,由样本回归函数估计总体回归函数,总体回归线与样本回归线之间的关系,显然，样本回归线与总体回归线之间总存在差异，回归分析的目的就是设计出一种方法，以使SRF尽可能“接近”PRF；或者说使尽可能“接近”,注意：这里PRF可能永远无法知道。,2020/5/3,经济贸易学院熊维勤,29,第二节简单线性回归模型的最小二乘估计,本节基本内容:简单线性回归的基本假定普通最小二乘法OLS回归线的性质,2020/5/3,经济贸易学院熊维勤,30,一、简单线性回归的基本假定,1.为什么要作基本假定？模型中有随机扰动，参数的估计量也是一个随机变量，只有对随机扰动的分布作出假定，才能确定所估计参数的分布性质，也才可能进行假设检验和区间估计。,2020/5/3,经济贸易学院熊维勤,31,1、关于模型的假定,假设1、回归模型的设定正确，不存在模型设定偏误,变量设定正确，既无多余变量，也无遗漏变量,模型选择了正确的函数形式,2020/5/3,经济贸易学院熊维勤,32,2、关于解释变量的假定,假设2、解释变量X为确定性变量而非随机变量，在重复抽样中取固定值,假设3、解释变量X在所抽取的样本中具有变异性，且随样本容量的无限增加，其方差趋于一非零有限常数,2020/5/3,经济贸易学院熊维勤,33,3、关于随机扰动项u的假定,假设4、随机误差项ui满足零均值、同方差和无序列相关性,2020/5/3,经济贸易学院熊维勤,34,2020/5/3,经济贸易学院熊维勤,35,假设5、随机误差项与解释变量之间不相关,3、关于随机扰动项u的假定,假设6、随机误差项服从零均值、同方差的正态分布,2020/5/3,经济贸易学院熊维勤,36,被解释变量Y的分布性质,由于的分布性质决定了的分布性质。对的一些假定可以等价地表示为对的假定：假定1：零均值假定假定2：同方差假定假定3：无自相关假定假定4：正态性假定,2020/5/3,经济贸易学院熊维勤,37,OLS的基本思想不同的估计方法可得到不同的样本回归参数和，所估计的也不同。理想的估计方法应使与的差即剩余越小越好因可正可负，所以可以取最小即,二、普通最小二乘法（OrdinaryLeastSquares）,2020/5/3,经济贸易学院熊维勤,38,OLS估计原理,根据多元函数极值原理，应有：,2020/5/3,经济贸易学院熊维勤,39,OLS估计原理,即,式(1)称为正规方程组（或简称为正规方程）,使用消元法可求得总体回归系数的估计值为：,2020/5/3,经济贸易学院熊维勤,40,OLS估计原理,(其中xi，yi分别称为对应的样本值与其均值的离差),将其代入与方程组（2），则得到OLS估计的离差形式为：,由于：,2020/5/3,经济贸易学院熊维勤,41,OLS估计原理,牢记！,请注意：在计量经济学中，往往以小写字母表示变量观测值对其均值的离差！,2020/5/3,经济贸易学院熊维勤,42,几个常用结果,被解释变量的样本均值等于其估计值的均值即有：,残差ei与解释变量Xi不相关,残差ei的均值为零,样本回归线经过点，从而可得到样本回归方程的离差形式,2020/5/3,经济贸易学院熊维勤,43,一元线性回归模型举例,例2.2右表给出了某城镇居民年人均鲜蛋需求量Y（公斤），年人均可支配收入X（元，1980年不变价格）的抽样调查数据,试估计Y与X之间的关系,2020/5/3,经济贸易学院熊维勤,44,作出X、Y之间的散点图：,2020/5/3,经济贸易学院熊维勤,45,建立回归模型,由散点图可知，Y随X的增加而线性增加，因此建立线性回归模型：,2020/5/3,经济贸易学院熊维勤,46,估计回归系数,2020/5/3,经济贸易学院熊维勤,47,附：EViews回归结果,DependentVariable:YMethod:LeastSquaresDate:02/23/08Time:01:03Sample:111Includedobservations:11VariableCoefficientStd.Errort-StatisticProb.C10.766161.3967367.7080870.0000X0.0050690.0011834.2833280.0020R-squared0.670895Meandependentvar16.57273AdjustedR-squared0.634328S.D.dependentvar1.845042S.E.ofregression1.115713Akaikeinfocriterion3.219829Sumsquaredresid11.20333Schwarzcriterion3.292174Loglikelihood-15.70906F-statistic18.34690Durbin-Watsonstat1.320391Prob(F-statistic)0.002040,2020/5/3,经济贸易学院熊维勤,48,第三节最小二乘估计量的统计性质,线性性无偏性有效性（最小方差性）,2020/5/3,经济贸易学院熊维勤,49,线性性,线性性表明：参数估计量与被解释变量和误差项服从相同名称的分布线性性的证明：只要把参数估计量的表达式进行适当的变形即可,所谓线性性是指参数估计量可以表示为被解释变量观测值的线性组合；即均为Yi（i=1,2,n）的线性函数,2020/5/3,经济贸易学院熊维勤,50,附：线性性的证明,2020/5/3,经济贸易学院熊维勤,51,无偏性,所谓无偏性，是指即估计量的数学期望（均值）等于总体回归参数真实值。即：,无偏性表明：样本回归模型的参数估计量是以总体参数的真实值为分布中心的随机变量，反复进行抽样估计即可得总体参数的真实值。,2020/5/3,经济贸易学院熊维勤,52,附：无偏性的证明,2020/5/3,经济贸易学院熊维勤,53,有效性,所谓有效性，是指在的所有线性无偏估计量中，最小二乘估计量具有最小的方差,有效性表明：在一元线性回归模型的各种线性无偏估计量中，OLS估计量的效果最好。,有效性的证明请参考教材P40,2020/5/3,经济贸易学院熊维勤,54,总结：高斯马尔科斯定理,在满足经典假设的条件下，线性回归模型的最小二乘估计量是具有最小方差的线性无偏估计量,称线性回归模型的OLS估计量为最优线性无偏估计量(TheBestLinearUnbiasedEstimator)，简称BLUE性质,2020/5/3,经济贸易学院熊维勤,55,1、参数估计量的概率分布,参数估计量的概率分布及随机误差项方差的估计,2020/5/3,经济贸易学院熊维勤,56,2、随机误差项u的方差2的估计,2又称为总体方差。由于随机项ui不可观测，只能从i的估计残差ei出发，对总体方差进行估计。,可以证明，2的最小二乘估计量为：,它是关于2的无偏估计量。,2020/5/3,经济贸易学院熊维勤,57,3、参数估计量的方差和标准差,因此有：,2020/5/3,经济贸易学院熊维勤,58,本节基本内容:什么是拟合优度总变差的分解可决系数,第四节、回归方程的拟合优度检验,2020/5/3,经济贸易学院熊维勤,59,一、为什么要进行拟合优度检验?,一、样本回归线是对样本数据的一种拟合：（1）同一因变量，不同的回归方程拟合出的回归线与样本观测值的偏离不一样。（2）样本回归线对样本点的拟合程度究竟有多高？即如何衡量样本回归线对样本观测数据拟合的优劣程度拟合优度,2020/5/3,经济贸易学院熊维勤,60,二、对于一个由OLS法估计出来的回归函数，自变量的变化在多大程度上由因变量的变化所解释，在多大程度上由模型所省略的其它因素（即随机误差项）所解释？这也可由拟合优度指标来回答。拟合优度的度量建立在总离差平方和分解的基础上,一、为什么要进行拟合优度检验?,2020/5/3,经济贸易学院熊维勤,61,1）总离差平方和的分解,Yi,2020/5/3,经济贸易学院熊维勤,62,1）总离差平方和的分解,残差的绝对值越小，则观测值越靠近样本回归线，从而样本回归线对观测值的拟合程度越高,样本第i个观测值Yi与样本均值的离差可以分解为两部分：,前者是不能由回归直线解释的部分，后者是由样本回归线解释了的部分。,2020/5/3,经济贸易学院熊维勤,63,为综合考虑样本回归线对所有样本点的拟合程度，考虑将Y的离差平方和进行如下分解：,1）总离差平方和的分解,2020/5/3,经济贸易学院熊维勤,64,记：,总离差平方和,回归平方和,残差平方和,即有：TSS=ESS+RSS,1）总离差平方和的分解,表示总离差平方和中被样本回归线解释了的部份,表示总离差平方和中不能被样本回归线解释的部份,2020/5/3,经济贸易学院熊维勤,65,）样本可决系数,在给定样本中，TSS不变。如果ESS在TSS中占的比重越大，这说明样本回归线对样本值的拟合优度越好。令：,2020/5/3,经济贸易学院熊维勤,66,）样本可决系数,由R2的定义知：其取值范围为0，1。R2越接近1，说明被解释变量的实际观测值离样本回归线越近，即样本回归线对样本数据的拟合程度越高，也即解释变量X对被解释变量Y的解释力越强。,则称R2为样本可决系数，或决定系数、判定系数,R2的经济含义是：在被解释变量Y的变动中，有R2（%）的部分可由自变量X的变动得到解释。,2020/5/3,经济贸易学院熊维勤,67,回归分析的目的之一是要判断解释变量X是否是被解释变量Y的一个显著性的影响因素。在一元线性回归模型中，就是要判断自变量X是否对因变量Y具有显著的线性影响。这就需要进行变量的显著性检验。,变量的显著性检验所应用的方法是数理统计学中的假设检验。在计量经计学中，主要是针对变量的参数真值是否为零来进行显著性检验的。,第五节、回归系数估计值的显著性检验与置信区间,2020/5/3,经济贸易学院熊维勤,68,1）随机变量u的方差,对一元线性回归方程，已知：,由于总体方差无从知道，因此参数估计量的方差也不能算出,2020/5/3,经济贸易学院熊维勤,69,解决办法：用u的估计值e的方差作为的估计值,可以证明：，即的无偏估计量,由此可算出标准差的估计值分别为：,1）随机变量u的方差,2020/5/3,经济贸易学院熊维勤,70,由数理统计学的知识可以证明：,2020/5/3,经济贸易学院熊维勤,71,2）回归系数估计值的显著性检验,基本步骤：,1.提出检验假设：,原假设H0：0=0（或1=0）,备择假设H1：00（或10）,2.在H0成立的条件下构造检验统计量：,2020/5/3,经济贸易学院熊维勤,72,2）回归系数估计值的显著性检验,3.给出显著性水平，确定拒绝域,4.计算统计量值，并确定是否拒绝原假设,若，则拒绝原假设,若，则不能拒绝原假设,2020/5/3,经济贸易学院熊维勤,73,2）回归系数估计值的显著性检验,例2.4检验例2.2中回归方程系数的显著性（=0.05）,解：由于,而t0t0.025(9)=2.26，故t0t0.025(9)，t1t0.025(9)即回归系数0、1均显著异于零,2020/5/3,经济贸易学院熊维勤,74,参数显著性检验的p值检验法（双侧检验）,假设检验的p值：p值是基于既定的样本数据所计算的统计量t的伴随概率（也称为边际显著性水平），它是拒绝原假设的最低显著性水平。统计分析软件中通常都给出了相关检验的p值,方法：将给定的显著性水平与值进行比较：若，则在显著性水平下拒绝原假设，即认为对有显著影响若，则在显著性水平下不能拒绝原假设，即认为对没有显著影响,2020/5/3,经济贸易学院熊维勤,75,例2.2的EViews回归结果,DependentVariable:YMethod:LeastSquaresDate:02/23/08Time:01:03Sample:111Includedobservations:11VariableCoefficientStd.Errort-StatisticProb.C10.766161.3967367.7080870.0000X0.0050690.0011834.2833280.0020R-squared0.670895Meandependentvar16.57273AdjustedR-squared0.634328S.D.dependentvar1.845042S.E.ofregression1.115713Akaikeinfocriterion3.219829Sumsquaredresid11.20333Schwarzcriterion3.292174Loglikelihood-15.70906F-statistic18.34690Durbin-Watsonstat1.320391Prob(F-statistic)0.002040,2020/5/3,经济贸易学院熊维勤,76,显著性检验可以通过一次抽样的结果检验总体参数可能的假设值（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计。,3）回归系数的置信区间,2020/5/3,经济贸易学院熊维勤,77,如果存在这样一个区间，称之为置信区间；1-称为置信系数（置信度)，称为显著性水平；置信区间的两个端点分别称为置信上、下限。,3）回归系数的置信区间,基本思路：要判断参数的估计值离参数的真实值有多“近”，可以预先选择一个概率(01)，并求出一个正数，使得随机区间包含参数真实值的概率为1-。即：,2020/5/3,经济贸易学院熊维勤,78,具体方法：在变量的显著性检验中已知：,这意味着，如果给定置信度1-，从分布表中查得自由度为(n-2)的临界值t/2，那么t值处在(-t/2,t/2)的概率是为1-。即有：,3）回归系数的置信区间,2020/5/3,经济贸易学院熊维勤,79,于是在(1-)的置信度下,i的置信区间为:,即有：,3）回归系数的置信区间,2020/5/3,经济贸易学院熊维勤,80,在例2.2中，我们已经知道：,例：,当分别取1%和5%时，查表求得：,因此0，1置信度为99%的置信区间分别为：,因此0，1置信度为95%的置信区间分别为：,2020/5/3,经济贸易学院熊维勤,81,增大样本容量n。在相同置信水平下，n越大，t分布表中的临界值越小；同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型拟合优度越高，残差平方和应越小。,缩小置信区间的方法,由于置信区间一定程度上给出了样本参数估计值与总体参数真值的“接近”程度，因此在给定置信度的前提下，置信区间越小越好。,3）回归系数的置信区间,2020/5/3,经济贸易学院熊维勤,8