线性回归模型的异方差问题ppt课件.ppt

9.1一元线性回归分析总结（一元线性回归的思想）,总体一元线性回归方程:,样本一元线性回归方程：,以样本统计量估计总体参数,斜率（回归系数）,截距,(估计的回归方程),（一元线性回归方程）,一元线性回归方程中参数a、b的确定：,最小二乘法,基本数学要求：,一元线性回归分析总结（回归系数的计算方法）,整理得到由两个关于a、b的二元一次方程组成的方程组：,进一步整理，有：,一元线性回归分析总结（回归系数的计算公式）,残差之和为零所拟合直线通过样本散点图的重心误差项与解释变量不相关a与b分别是总体回归系数的无偏估计量a与b均为服从正态分布的随机变量,一元线性回归分析总结（最小二乘法的优良性质）,b与r的关系：,一元线性回归分析总结（相关系数与回归系数的差别）,假定1回归模型参数是线性的，但不一定是变量线性的，回归模型形式如下：,一元线性回归分析回归的假定条件,假定2解释变量X与扰动误差项u不相关。但是，如果X是非随机的，则该假定自然满足。,一元线性回归分析回归的假定条件,假定3给定X，扰动误差项u的数学期望或均值为0，即E（u|X）0。,X,Y,0,u,u,u,u,u,u,E(Y|X)=+*X,一元线性回归分析回归的假定条件,假定4误差扰动项u的方差为常数，即Var（u）2，称之为同方差(homoscedasticity)同方差的含义：每个Y值以相同的方差分布在其均值周围，即Y偏离其均值的程度相同。,X,Y,0,u,u,u,u,u,u,E(Y|X)=+*X,同方差(homoscedasticity),异方差(heteroscedasticity),一元线性回归分析回归的假定条件,假定5无自相关假定，即两个误差项之间不相关。Cov（ui,uj）=0。,正相关,负相关,不相关,假定6回归模型是正确设定的，即实证分析的模型不存在设定误差或设定错误。,一元线性回归分析回归的假定条件,假定7在总体回归函数中，,误差项u服从均值为0，方差为2的正态分布。即uN(0，2),中心极限定理独立同分布的随机变量，随着变量个数的无限增加，其和的分布近似服从正态分布。,虽然古典线性回归模型强调了同方差假定，但在实践中无法保证总能够满足。本章内容就是讨论同方差假定不满足条件下，回归模型可能会出现的问题，以及如何解决问题：异方差有什么性质？异方差的后果是什么？如何诊断存在异方差？如果存在异方差，如何解决？,异方差性回归问题的引入,9.2异方差的性质,例9.1美国创新研究：1988年美国研究与开发费用支出,9.2异方差的性质,例9.1美国创新研究：销售对研究与开发的影响R&D266.2575+0.030878*Salesse(1002.963)(0.008347)t(0.265471)(3.699508)p(0.7940)(0.0019)R20.461032从回归结果可以看出：（1）随着销售额的增加，R&D也逐渐增加，即销售额每增加一百万美元，研发相应的增加3.1万美元。（2）随着销售额的增加，R&D支出围绕样本回归线的波动也逐渐变大，表现出异方差性。,9.2异方差的性质方程回归结果图,9.2异方差的性质残差与观察值（销售额）关系图,9.2异方差的性质,从残差图可以看出：残差的绝对值随着销售额的增加而增加。尽管残差ei与扰动项ui是两个不同的概念，根据ei的变化并不能断言ui的方差也是变化的。但是，实践中很难观察到ui，只能利用检验ei的变动来推断ui的变化。问题：如何理解残差ei与扰动项ui两个概念的差别？,9.3异方差的后果,如果CLRM其它假设保持不变，放松同方差假定，允许扰动项方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的。2、OLS估计量仍是无偏的。3、OLS估计量不再具有最小方差性，即不再是有效的。4、根据常用估计OLS估计量方差的公式得到的方差通常是有偏的，无法先验地辨别偏差是正的还是负的。如果OLS高估了估计量的真实方差，则产生正的偏差，如果OLS低估了估计量的真实方差，则产生负的偏差。,9.3异方差的后果,如果CLRM其它假设保持不变，放松同方差假定，允许扰动项方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的，是指关于随机变量Y线性的。,9.3异方差的后果,5、方差的产生是由于，不再是真实2的无偏估计量，因为在计算OLS估计量的方差时已经用了。6、建立在t分布与F分布之上的置信区间和假设检验是不可靠的。如果沿用传统的假设检验方法，则很可能得出错误的结论。,3.2一元线性回归分析普通最小二乘估计量的方差与标准误差,系数估计量的误差：是既然估计量是通过样本计算出来的，因此随着样本的变化，这些估计量是存在抽样变异性的，其变异性是由估计量的方差或其标注误差来度量。,2是误差扰动项u的方差，但是在多数情况下它是未知的。,9.4异方差的诊断方法1：图形检验法,例子不同收入阶层人群的消费状况。不同收入阶层的消费方差很可能是不同的。异方差的诊断方法：1、残差的图形检验：即考虑解释变量X与误差ei之间的关系。从例9.1看出随着Sales增大，误差ei的平方呈逐渐增大趋势。,9.4异方差的诊断方法1：图形诊断法,9.4异方差的诊断方法2：帕克(R.E.Park)检验法,如果存在异方差，则异方差i2可能与一个或多个解释变量系统有关。是否相关，做i2对一个或多个解释变量X的回归。例如，在一元回归模型中进行如下回归：其中，vi是残差项。此即为帕克检验。在许多情况下，是无法知道i2的，因此就用ei代替ui，建立如下回归模型：,(9.1),(9.2),ei2可以从原始回归模型中得到。,9.4异方差的诊断方法2：帕克(R.E.Park)检验法,帕克检验步骤：做普通最小二乘回归，不考虑异方差问题；从原始回归方程求得残差ei，并求其平方，再取对数形式；利用原始模型中得一个解释变量做形如(9.2)的回归，如果有多个解释变量，则对每个解释变量做形如(9.2)的回归，或者做ei2对Y估计值的回归；检验零假设B20，即不存在异方差。如果lnei2和lnXi之间是统计显著的，则拒绝零假设，表示存在异方差的可能。如果接受零假设，则回归方程中的B1可以理解为同方差i2的一个给定值。,Park检验的弱点在哪？,9.4异方差的诊断方法3：格莱泽(Glejser)检验法,该检验方法实际上与帕克检验方法类似，从原始模型中获得残差ei后，格莱泽所做的回归模型的方程不同，他采取的是下列函数形式：,(9.3),(9.4),(9.5),Gleiser检验与Park检验存在同样的弱点。,9.4异方差的诊断方法4：怀特(White)检验法,1、首先用普通最小二乘法估计方程(9.6)，获得残差ei2、做如下辅助回归：,(9.6),(9.7),(9.8),3、求辅助回归方程(9.7)的R2值，在不存在异方差的原假设下，怀特证明了从方程(9.7)中得到的R2值与样本容量(n)的积服从2分布，自由度等于方程(9.7)中解释变量的个数。,9.4异方差的诊断方法4：怀特(White)检验法,4、如果从方程(9.8)中得到的2值超过了所选显著水平的2临界值，或者说计算2的p值很低，则拒绝原假设：不存在异方差。p值大，则不能拒绝原假设。,(9.8),9.4异方差的诊断方法4：怀特(White)检验法,样本容量为19，自由度为2，19*0.179238=3.41则22=2.77(=25)3.4122=4.61(=10)，存在异方差的可能性还是较大的。,9.4异方差的诊断方法4：怀特(White)检验法,9.4异方差的诊断方法4：怀特(White)检验法,怀特检验的缺陷在于它过于一般化，如果有若干个解释变量，那么在回归方程中要包括这些变量，变量的平方以及它们的交叉乘积项，就会迅速的消耗自由度。因此，在回归模型(9.7)中，引入太多变量时，必须谨慎。有时可以去掉回归模型(9.7)中的交叉乘积项。,9.5异方差的解决办法,解决异方差的方法就是对原始模型进行变量代换，使得异方差的模型变为同方差的模型。采取的办法就是取决于真实方差i2是已知还是未知的：（1）当i2已知时：加权最小二乘法,(9.9),(9.10),9.5异方差的解决办法,(9.10),(9.11),9.5异方差的解决办法,（2）当i2未知时：作变量代换情形1：如果误差方差与Xi成比例，作平方根变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X之间是否线性相关，或者说与X成比例，即2i=E(ui2)=k*Xi,(9.11),(9.12),9.5异方差的解决办法,（2）当i2未知时：作变量代换情形2：如果误差方差与X2i成比例，作倒数变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X2之间是否线性相关，或者说与X2成比例，即2i=E(ui2)=2*X2i,(9.13),(9.14),9.5异方差的解决办法,（3）重新建立模型除了推测i2以外，有时也可以通过重新建立PRF模型消除异方差。例如，利用双对数模型，半对数模型等。但实际上，选择更合适的模型更加困难。,异方差问题的概念异方差问题的来源异方差问题的后果OLS估计量仍是线性的OLS估计量仍是无偏的OLS估计量不再具有方差最小性，即有效性不再存在。根据常用估计OLS估计量方差公式得到的方差通常是有偏的。无法先验的辨别偏差是正的还是负的。方差的产生是由于不再是真实2的无偏估计量。建立在t分布和F分布之上的置信区间和假设检验是不可靠的，即沿用经典的假设检验方法，则很可能得到错误结论。,9.6异方差问题的总结,异方差诊断方法图形检验法帕克（R.E.Park）检验法格莱泽(Glejser)检验法怀特（White）检验法解决异方差问题的方法已知2，对原始方程两边同除以未知2，对原始方程两边同除以(Xi)1/2未知2，对原始方程两边同除以(1/Xi)改变方程形式，重新建立方程,9.6异方差问题的总结,9.7异方差问题例子,例9.2经济计量学精要p.306.139Ln(R&D)-7.2828+1.3144*ln(Sales)se(1.86167)(0.16924)t(-3.91198)(7.76697)p(0.0012)(0.0000)R20.790373从回归结果可以看出：（1）在双对数模型中，R&D支出与销售额正相关，即销售额每增加1%，研发相应的增加1.3%。,9.7异方差问题例子,例9.2经济计量学精要p.306.139Sales与残差resid作图：,9.7异方差问题例子,例9.2经济计量学精要p.306.139Sales与残差resid作图：,9.7异方差问题例子,例9.2经济计量学精要p.306.139对回归的残差进行帕克检验和格莱泽检验，得出什么结论？Park检验：ln(e2)=3.4125+0.9377*ln(Sales)se=(4.9726)(0.4520)t=(0.6863)(2.0744)p=(0.5024)(0.0545)R2=0.2119从Park检验可知，回归模型存在异方差。,9.7异方差问题例子,例9.2经济计量学精要p.306.139对回归的残差进行帕克检验和格莱泽检验，得出什么结论？Glejser检验：|e2|=573.5345+0.0124*(Sales)p=(0.4071)(0.0418)|e2|=-522.8083+8.175*(Sales)(1/2)p=(0.6069)(0.0263)|e2|=2135.75-19863530*(1/Sales)p=(0.0016)(0.1304)从Glejser检验的前2个方程可知，回归模型存在异方差。,9.7异方差问题例子,例9.2经济计量学精要p.306.139如果在双对数模型中发现了异方差，你会选择用哪种WLS变换来消除它？lnYiB1B2*lnXi+ui根据ui或残差ei与lnXi的关系建立WLS变换。,9.7异方差问题例子,例9.2经济计量学精要p.306.139如果有证据表明在线性回归模型中存在异方差，而在双对数模型中不存在异方差，那么你将选择哪个模型，为什么？选择双对数模型，因为对数变换压缩了变量的度量规模，把两个变量值的10倍差异缩小为2倍差异，例如90是9的10倍，而ln