异方差的解决方法

1、5.4 异方差性问题的解决方法异方差性问题的解决方法一、对原模型进行变换一、对原模型进行变换设原模型为iiiyxu(5.4.1) 其中ui具有异方差性(其余假定都满足)。假定现在已知 (5.4.2)其中k2为常数。现在的问题是经典假定遭到了破坏的情况下，如何求出参数、的最佳线性无偏估计量? 22()()iiuiV uk f x解决这个问题的基本想法是对原模型(5.4.1)作适当的变换，使变换后的随机项不再具有异方差，从而可用OLS法求出参数的最佳线性无偏估计量。用 去除(5.4.1)式两端，则得到新的模型： ( )if x)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 记

2、)(,)(,)(1,)(*2*1*xfuuxfxxxfxxfyyiiiiiiiiiii(5.4.4) 则模型(5.4.3)变为uxxyiiii*2*1*(5.4.5) (5.4.5)中的参数和即原模型中的参数，但是随机项 已经没有异方差性了。因为：*iu2*2()( )()()( )( )( )iiiiiiiuV uk f xV uVkf xf xf x因此，对模型(5.4.5)应用OLS法，即可得出参数、的最佳线性无偏估计量，问题得以解决。例例5.4.1 设模型(5.4.1)中ui的异方差结构为 (这是一种最常见的异方差结构)，求、的最佳线性无偏估计量。xkiiu222在本例中 ， ，用 x

3、i 去除(5.4.1)式各项，得xxfii2)(xxfii)(xuxxyiiiii改写成*iiiyxu其中xuuxxxyyiiiiiiii*,1,由于变换后的模型中的随机项 已没有异方差，应用OLS法得和的最佳线性无偏估计量：ui*2iiix yx *yx二、加权最小二乘法二、加权最小二乘法(WLS)在OLS法中，其基本原则是使残差平方和)(22xyiii(5.4.6) 达到最小，这是对满足经典回归假定而言，也就是在等方差的情况下进行的。当随机项具有异方差时，用 作为i2的权数是合理的。 211( )iiuV u现在我们可以用权数将普通最小二乘法修正为：使加权残差平方和)(12222xyiii

4、iiuu(5.4.7) 达到最小。这就是加权最小二乘法。下面我们说明，这种加权最小二乘法同样可以消除异方差性的影响。设异方差是xi的函数22( )iuik f x(5.4.8) 将(5.4.8)代入(5.4.7)得加权最小二乘法，要求)()(12222xyxfkiiiiiu(5.4.9) 达到最小。现在对原模型(5.4.1)作变换：)()()()(xfuxxfxfxfyiiiiiii(5.4.3) 对(5.4.3)应用普通最小二乘法，要求残差平方和：)()(1)()()()(222xyxfxfxfxfyxfiiiiiiiii(5.4.10) 最小。显然，能使(5.4.10)达到最小的 也一定能

5、使(5.4.9)式达到最小，因为二者只差一个常数因子。即两种方法得到的结果相同。两种方法实质上是一回事。对原模型进行变换的方法实际上是加权最小二乘法当 时的特例，也可以看作是加权最小二乘法的直接应用。 、112k三、广义最小二乘法三、广义最小二乘法 ( GLS )广义最小二乘法是处理广义线性模型的一种估计方法。广义线性模型是指线性模型 (5.4.11)并且有YXU2( )0()uE UE UU(5.4.12) 其中 为未知常数，是一个已知的nn阶正定对称矩阵：2u111212122212nnn nnnnn (5.4.13) 其它基本假定不变，称之为广义线性模型。若将换成In，则模型(5.4.1

6、1)就变成一般古典线性模型。由于为正定对称矩阵，必存在一个(nn)阶非奇异矩阵P，使得nP PI (5.4.14) 且有1P P(5.4.15) 利用矩阵P对原模型进行变换，用P左乘(5.4.11)得，PYPXPU (5.4.16) 令PUUPXXPYY*(5.4.17) 则(5.4.16)变为*YXU(5.4.18) 此时IPUUPEPUPUEUUEnu2*)()() (5.4.19) 可见，变换后的模型(5.4.18)，已满足全部基本假定，可以对模型(5.4.18)应用普通最小二乘法，求得的广义最小二乘估计量为YXXX*1*)(5.4.20) 将(5.4.17)代入(5.4.20)YXXX

7、PYPXPXPXPYPXPXPX11111)()()()( )()( (5.4.20) (5.4.20)(或(5.4.20)称为广义最小二乘估计式。这种将原模型(5.4.11)进行适当变换，变为模型(5.4.18)，然后对新模型(5.4.18)应用普通最小二乘法，求得参数估计量，称作对原模型的广义最小二乘法，记作GLS。当 = In时，1()X XX Y(5.4.21) 此时广义最小二乘法就是普通最小二乘法。参数的协方差矩阵)( )()()()(112121*2XXPXPXXXCOVVuuu(5.4.22) *2*111() ()111() ()11()()111uYXYXnknkPYPXPY

8、PXnkYXYXnknk (5.4.23) 其中为广义最小二乘估计量所对应的模型(5.4.11)的样本残差。四、广义最小二乘法的应用之一四、广义最小二乘法的应用之一 异方差问题的处理异方差问题的处理 设模型YXU(5.4.24) 或 ),(), , 2 , 1(21xxxXniuXykiiiiiii假定随机项存在异方差，即22)(uiuEi (5.4.25) 其余条件皆满足基本假定，此时u的方差协方差矩阵具有对角形式：22221)(uuunUUE(5.4.26) 因为是对角阵，所以 是1222111121uuun(5.4.27) 于是uuunP11121(5.4.28) 便有1PPIPPn且且

9、(5.4.29) 作变换*YPYXPXUPU(5.4.30) 则模型(5.4.24)变为*YXU(5.4.31) 此时U*已无异方差，可以应用OLS法，得到YXXX111)()()(11XXCOVV (5.4.32) (5.4.33) 以上结果中，都要用到，而的计算需要知道 ，因而Park、Glejser检验所得到的方差结构信息对应用广义最小二乘法处理异方差问题至关重要。2ui上述结果，可以看作是我们把广义最小二乘估计量中的 换成了 得出的结果。换句话说，是把异方差问题作为广义线性模型的特例来处理的。这实际上也是加权最小二乘估计的一种表达形式。因为对模型(5.4.31)应用OLS法是使11)(

10、)(*XYXY(5.4.34) 达到最小。将原数值(5.4.30) 代入(5.4.34)便有)()()()()()(1*XYXYPXPYPXPYXYXY把 的表达式(5.4.27)代入(5.4.35)可简写成 1niiiuiXy122)(5.4.36) 这便是加权最小二乘法。从而说明了，加权最小二乘法可以看作是广义最小二乘法的特例。例例5.4.2 我们仍利用例5.3.1中表5.3.1给出的数据。（见课本129-132）帕克检验已给出xiui056229. 32000105444. 0本例在Eviews中可直接应用加权最小二乘法（WLS 法），将参数估计出来，只需定义一个权数： GENR W1=

11、1/(X1.5281145)然后在方程的对话框的Options栏中选Weighted LS项，并在Weight 项中输入权数即可。计算结果如图5.4.1所示。 五、五、权函数的一个权函数的一个可行的可行的GLS估计量估计量在GLS处理异方差的关键是找到权函数hi，如果用估计值 代替hi 就可应用WLS得到参数的估计量，被称为可行的可行的GLS估计量。估计量。对于模型 hiuyxxxkk22110(5.3.18) )exp()/(221102xxxkkXuV假定方差具有函数形式(5.3.19) 式中 x1，x2，xk为(5.3.18)的自变量，j为未知参数。记 )exp()(22110 xxxkkxh在(5.3.19)条件下，可以写成vxxxukk)exp(1111022(5.3.20) 其中 ，(5.3.20)两边取对数1)/(XvE(5.3.21) exxxukk221102)ln(其中e=lnv,v的均值为1,e的均值为0且与x无关。u2135u2中的代替用).(2再对(5.3.21)应用OLS，得到估计值xxxukk)(n l221102便得到)()exp(221102xhxxx