第三章-多元回归模型.ppt

1,第三章多元线性回归模型,引子:中国汽车的保有量将会达到1.4亿辆吗?,中国汽车工业协会发布:年中国汽车工业迅猛发展，已成为世界第一汽车生产和消费国。中国交通部副部长2004年9月2日预测:“2020年，中国的民用汽车保有量将比2003年增长倍，达到1.4亿辆左右”。工信部装备工业司副司长王富昌2010年9月5日指出，预计到2020年中国汽车保有量将超过2亿辆。公安部交管局近日公布的数据显示，截至2011年8月底，全国汽车保有量首次突破1亿辆。是什么因素导致中国汽车数量快速增长?显然,影响中国汽车行业发展的因素并不单一，经济增长、居民收入、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。,2,很明显，分析中国汽车行业未来的趋势，只用一个解释变量已经很难分析汽车产业的实际发展,还需要去寻求有更多个解释变量情况的回归分析方法。而且,在汽车产业发展问题上,多种因素同时在发挥作用,要分析其中某一个因素的影响作用,也必须控制其他因素不变才行。显然，简单线性回归模型不能解决这类多因素问题的分析。需要把简单线性回归的方法拓展到多个解释变量的情况。,怎样分析多种因素对汽车行业的影响呢？,3,第三章多元线性回归模型,本章讨论:如何将简单线性回归的的研究方式推广到多元的情况多元线性回归模型多元线性回归参数的估计多元线性回归模型的检验多元线性回归预测,4,第一节多元线性回归模型及古典假定一、多元线性回归模型的意义一般形式：对于有K-1个解释变量的线性回归模型注意：模型中的（j=1,2,-k）是偏回归系数样本容量为n偏回归系数：控制其它解释量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，即对Y平均值“直接”或“净”的影响。,5,(可视为有“变量”),对偏回归系数的理解,怎样理解多元线性回归中的参数是偏回归系数呢?例如：若与相关，并且可证明(证明见古加拉蒂计量经济学第三版附录7A.5)结论:虽然和都是的变动对Y平均值的影响，但只要，与是有区别的。不仅包括对Y平均值的“直接”影响，还包括由于的变动对Y平均值的“间接”影响。,对比,（误差项）,6,三个回归之间有什么关系呢?,(解释变量可分为控制变量和关注变量),多元线性回归中的“线性”指对各个回归系数而言是“线性”的，对变量则可以是线性的，也可以是非线性的例如：生产函数取对数这也是多元线性回归模型，只是这时变量为lnY、lnL、lnK,7,多元总体回归函数条件期望表现形式：将Y的总体条件期望表示为多个解释变量的函数，如:注意：这时Y总体条件期望的轨迹是K维空间的一条线个别值表现形式：引入随机扰动项或表示为,8,多元样本回归函数Y的样本条件均值可表示为多个解释变量的函数或回归剩余（残差）：其中,由于有n组样本观测值，而且都满足这样的关系,象这样的方程事实上有n个.,9,条件均值形式:,个别值形式:,二、多元线性回归模型的矩阵表示,多元线性回归模型的n组样本观测值，可表示为用矩阵表示,10,解释变数据矩阵,总体回归函数或样本回归函数或其中：都是有n个元素的列向量是有k个元素的列向量（k=解释变量个数+1）是第一列为1的nk阶解释变量数据矩阵，(截距项可视为解释变量总是取值为1),矩阵表示方式,11,三、多元线性回归中的基本假定,假定1：零均值假定或假定2和假定3：同方差和无自相关假定（球型扰动）：或假定4：随机扰动项与解释变量不相关,（i=j）,(ij),0,12,或,假定5:无多重共线性假定(多元回归中增加的)假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵X的秩为K(注意X为n行K列)。Ran(X)=kRak(XX)=k即(XX)可逆假定6:正态性假定或,13,第二节多元线性回归模型的估计,一、普通最小二乘法（OLS）原则：寻求剩余平方和最小的参数估计式充要条件:求偏导，并令其为0即,14,整理后的正规方程组表示为解方程组可得参数的最小二乘估计:正规方程也可写为矩阵形式:,-,多元回归的正规方程,(解释变量多时估计量已经难以用代数式表示),15,样本回归函数,由最小二乘,OLS估计式由正规方程多元回归中参数的最小二乘估计量为:例如只有两个解释变量时：的代数式可用离差简化地表示为：注意：为X、Y的离差,对比,简单线性回归中,16,二、OLS估计量的统计性质,1、线性特征是Y的线性函数，因是非随机或取固定值的矩阵2、无偏特性(证明见教材P101附录3.1)3、最小方差特性在所有的线性无偏估计中，OLS估计具有最小方差(证明见教材P101或附录3.2)结论：在古典假定下，多元线性回归的OLS估计量是最佳线性无偏估计量（BLUE）,17,三、OLS估计的分布性质基本思想：是随机变量，必须确定其分布性质才可能进行区间估计和假设检验是服从正态分布的随机变量，决定了Y也是服从正态分布的随机变量是Y的线性函数，决定了也是服从正态分布的随机变量,18,的期望(由无偏性)的方差和标准误差：可以证明的方差协方差矩阵为（证明见p81）（其中是矩阵中第j行第j列的元素）所以（j=1,2,-k）,的期望与方差,19,这里的,四、随机扰动项方差的估计,一般未知，可证明多元回归中的无偏估计为:(证明见P103附录3.3)已知时，将作标准化变换：,20,回顾简单线性回归中,(注意:红色字体是与一元回归不同的部分),未知时的标准化变换,因是未知的，可用代替去估计参数的标准误差:当为大样本时，用估计的参数标准误差对作标准化变换，所得Z统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对作标准化变换，所得的t统计量服从t分布：,21,(注意:红色字体是与一元回归不同的部分),五、回归系数的区间估计,由于给定，查t分布表的自由度为n-k的临界值,22,即,(注意:红色字体是与一元回归不同的部分),第三节多元线性回归模型的检验,一、多元回归的拟合优度检验多重可决系数：在多元回归模型中，由各个解释变量联合起来解释了的Y的变差，在Y的总变差中占的比重，用表示与简单线性回归中可决系数的区别只是不同多元回归中多重可决系数可表示为(注意:红色字体是与一元回归不同的部分),23,多重可决系数的特点可用离差的代数式表达为特点:分子各项为正数，多重可决系数是模型中解释变量个数的不减函数，这给对比不同模型的多重可决系数带来缺陷，所以需要修正。,24,修正的可决系数思想：可决系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。回顾:自由度：统计量的自由度指可自由变化的样本观测值个数，它等于所用样本观测值的个数减去对观测值的约束个数。,25,可决系数的修正方法总变差TSS自由度为n-1解释了的变差ESS自由度为k-1剩余平方和RSS自由度为n-k修正的可决系数为,26,对比未修正时为:,修正的可决系数与可决系数的关系容易导出：注意：可决系数必定非负，但所计算的修正可决系数有可能出现负值解决办法：若计算的，这时规定取值为0,27,二、回归方程的显著性检验（F检验）,基本思想：在多元回归中包含的多个解释变量与被解释变量是否有显著关系呢？但为了说明所有解释变量联合起来对被解释变量影响的显著性,或整个方程总的联合显著性，需要对方程的总显著性在方差分析的基础上进行F检验。1、方差分析在讨论可决系数时已经分析了被解释变量总变差TSS的分解：并且注意到:Y的样本方差=总变差/自由度即显然，Y的样本方差也可分解为两部分，可用方差分析表分解,28,TSS=ESS+RSS即,总变差TSS=自由度n1模型解释了的变差ESS=自由度k1剩余变差RSS=自由度nk,变差来源平方和自由度样本方差归于回归模型ESS=k-1归于剩余RSS=n-k总变差TSS=n-1基本思想:如果多个解释变量联合起来对被解释变量的影响不显著,“归于回归的方差”应该比“归于剩余的方差”显著地小（即这应是大概率事件）。,方差分析表,29,2、F检验,原假设:（所有解释变量联合起来对被解释变量的影响不显著）备择假设:不全为0建立统计量(可以证明):给定显著性水平，查F分布表中自由度为k-1和n-k的临界值，并通过样本观测值计算F值检验思想:如果原假设成立，F值较小应是大概率事件如果原假设成立，F值较大应是小概率事件,30,(在原假设成立的条件下,F值较小应是大概率事件),F检验方法,如果计算的F值大于临界值(小概率事件发生)则拒绝，说明回归模型有显著意义，即所有解释变量联合起来对Y确有显著影响。如果计算的F值小于临界值(大概率事件发生)则不拒绝，说明回归模型没有显著意义，即所有解释变量联合起来对Y没有显著影响。也可以用p值判断F检验的显著性:当给出F统计量对应的P值时，可将P值与显著性水平比较，判断F检验是否显著。,31,修正的可决系数与F检验的关系,由方差分析可以看出，F统计量与修正的多重可决系数都建立在对被解释变量变差分解的基础上，而且都与自由度有关。二者关系：可证明F与同方向变化，F检验等价于对的显著性检验。,32,三、各回归系数的假设检验（t检验）,注意:在一元回归中F检验与t检验等价,且(见教材P88证明)但在多元回归中，F检验显著，不一定每个解释变量都对Y有显著影响。还需要分别检验当其他解释变量保持不变时，各个解释变量X对被解释变量Y是否有显著影响。方法：原假设（j=1,2,k）备择假设统计量t为：,33,(注意:红色字体是与一元回归不同的部分),给定显著性水平，查t分布表的临界值为如果(大概率事件发生)就不拒绝，而拒绝即认为所对应的解释变量对被解释变量Y的影响不显著。如果(小概率事件发生)就拒绝而不拒绝即认为所对应的解释变量对被解释变量Y的影响是显著的。讨论：在多元回归中，可以作F检验，也可以分别对每个回归系数逐个地进行t检验。F检验与t检验的关系是什么？,对各回归系数假设检验的作法,34,35,第四节多元线性回归模型的预测,一、被解释变量平均值预测1.Y平均值的点预测方法：将解释变量的预测值代入估计的方程：多元回归时：或注意:预测期的是第一个元素为1的行向量,不是矩阵,也不是列向量,35,36,2.Y平均值的区间预测,基本思想：（与简单线性回归时相同）由于存在抽样波动，预测的平均值不一定等于真实平均值，还需要对作区间估计。为了对Y作区间预测，必须确定平均值预测值的抽样分布。必须找出与和都有关的统计量,并要明确其概率分布性质。,36,37,服从正态分布，可证明即标准化当用代替时，可构造t统计量,37,区间预测的具体作法（多元时）,(注意:红色字体是与一元回归不同的部分),38,给定显著性水平，查t分布表，得自由度为n-k的临界值，则或,区间预测的具体作法,38,(注意:红色字体是与一元回归不同的部分),39,二、被解释变量个别值预测,基本思想：（与简单线性回归时相同）由于存在随机扰动的影响，Y的平均值并不等于Y的个别值。为了对Y的个别值作区间预测，需要寻找与预测值和个别值有关的统计量，并要明确其概率分布性质。,40,已知剩余项是与预测值和个别值都有关的变量并且已知服从正态分布，且多元回归时可证明当用代替时，对标准化的变量t为：,个别值区间预测具体作法,40,(注意:红色字体是与一元回归不同的部分),41,给定显著性水平，查t分布表得自由度为n-k的临界值则因此，多元回归时Y的个别值的置信度1-的预测区间的上下限为,个别值预测具体作法（续）,41,(注意:红色字体是与一元回归不同的部分),第五节案例分析,案例1：中国税收增长的分析提出问题改革开放以来，随着经济体制改革的深化和经济的快速增长，中国的财政收支状况发生很大变化，为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势，需要建立计量经济模型。,42,理论分析：影响中国税收收入增长的主要因素可能有：（1）从宏观经济看，经济整体增长是税收增长的基本源泉。（2）社会经济的发展和社会保障等都对公共财政提出要求，公共财政的需求对当年的税收收入可能会有一定的影响。（3）物价水平。中国的税制结构以流转税为主，以现行价格计算的GDP和经营者的收入水平都与物价水平有关。（4）税收政策因素。,43,变量选择：以各项税收收入Y作为被解释变量以GDP表示经济整体增长水平（X2);以财政支出表示公共财政的需求(X3);以商品零售价格指数表示物价水平(X4);税收政策因素较难用数量表示,暂时不予考虑.,建立模型,数据来源：中国统计年鉴其中:各项税收收入（亿元）国内生产总值（亿元）财政支出（亿元）商品零售价格指数（%）,数据收集(1978-2007),44,45,在数据表“Group”中点“View/graph/line”，出现序列Y、X2、X3、X4的线性图：,可以看出Y、X2、X3都是逐年增长的，但增长速率有所变动，而且X4在多数年份呈现出水平波动。说明变量间不一定是线性关系，可探索将模型设定为以下对数模型：,模型函数形式,假定模型中随机项满足基本假定，可用OLS法估计其参数。具体操作：用EViews软件，命令：“LSLNYCLNX2LNX3X4”估计结果为：,参数估计,46,用EViews生成对数变量的数据，在“Workfile”工作框中点“genr”，分别输入新变量名及生成方式，例如：LN（Y）=LOG（Y）、LNX2=LOG（X2）、LNX3=LOG（X3）等，回车，生成LNY、LNX2、LNX3等对数变量的数据。,生成对数变量数据:,模型估计的结果可表示为,拟合优度：可决系数较高，修正的可决系数也较高，表明模型拟合较好。,模型检验：,47,(0.6397)(0.1355)(0.1557)(0.0055)t=(-4.4538)(3.0420)(4.2788)(2.0856),F=673.7521n=30,显著性检验,F检验：针对，取查自由度为和的临界值由于，应拒绝，说