计量经济学-中-7非线性似然估计ppt课件

1、 高斯-马尔科夫定理在满足根本假定的前提下，对于线性回归模型，普通最小二乘法得到的参数估计量，具有BLUE 性质最小方差线性无偏估计量第10章 非线性估计与极大似然估计10.1 非线性估计10.2 极大似然估计法10.3 ARCH模型与GARCH模型10.1 非线性估计前面讨论的一方程回归模型中，它们都是关于参数线性的。通常利用普通LS法、加权LS法等估计这些参数。下面将参数线性模型拓宽到本质上非线性的情形，如模型这些模型无法变换为线性模型，因此线性LS不再适用。但误差平方和最小化原那么依然可以施行，所得到的参数估计，我们称为非线性LS估计。思索普通 模型2122110XXY221121XXe

2、eY),(2121pkXXXfY其中f是k个自变量X1,X2,Xk和p个参数1,2,p的非线性函数。假设具有Y与X1,X2,Xk的T个观测，利用误差平方和最小化可得参数的非线性LS估计：1、非线性估计的计算方法求解参数的非线性LS估计，要比线性模型的LS估计复杂的多，通常采用数值解法。以下三种方法较常见：直接查找法：是指对不同的参数值比较误差平方和S函数的值，使S最小的那组值就是参数的估计值。这种方法适用于一切参数仅有假设干取值的情形。2p21k21T1t),X,X,X(fYS直接优化法误差平方和S关于各参数求偏导，得到相应的正规方程经过求解正规方程组，获得参数估计。由于正规方程关于参数是非线

3、性的，通常采用数值解法如梯度法(参数从初始数值集朝使函数值下降最快的方向逼近，亦称最速下降法)0f),X,X,X(fY20f),X,X,X(fY20f),X,X,X(fY2pp21k21T1t2p21k21T1t1p21k21T1t循环线性化法是指将非线性方程在某个参数的初始数值集附近线性化，然后用普通LS法得到参数的新数值集；再把非线性方程在新的数值集附近重新线性化，用普通LS法得到参数更新的数值集，如此循环反复直至数值集变化很小(即数值集收敛)，作为参数的最终取值。其中利用了关于以参数为变元函数的一阶泰勒级数展开式)(f),X,X,X( fY0, iip1i0i0,p0, 20, 1k21

4、。,0,p0,20, 1为参数的初始数值集其中上式可变形为这是关于参数的线性模型，用普通LS法可以得到参数的LS解，作为参数新的数值集，交换(10.1)式的初始数值集。如此循环下去直至这里为指定的一个正数，如0.01。1 .10ff),X,X,X( fYp1i0iip1i0i0 , i0 , p0 , 20 , 1k21jpjpjpjjjjjj,1, 2, 21, 2, 1, 11, 1,2、非线性回归方程的评价由于非线性回归方程的残差不再服从正态分布，因此残差平方和也不再服从2分布，原来线性模型中的F分布、t分布不在适用了。但拟合优度R2依然是有用的3、非线性回归方程的预测一旦得到了非线性方

5、程的估计，就可以用它来预测。因此Y的点预测为),X,X,X(fYp21ktt2t1tt2t2t2y1R),X,X,X(fYp211T,k1T,21T, 11T但由于YT+1不再服从正态分布，因此其预测区间无法类似于第8章那样给出。但经过参数服从正态分布的假定，利用蒙特卡罗模拟方法，可以得到YT+1的一个近似预测区间。下面阐明模型的预测区间产生方法。确定蒙特卡罗模拟方程其中0,1,2是最后一次循环线性回归参数的数值解，利用残差平方和及参数估计的规范差构造相应的正态随机变量与0,1,2，它们均值都等于0，规范差为对应值。2110XY2211100XY产生与0,1,2的正态随机数，由上式可以计算YT

6、+1的预测值。反复第二步100至200次，获得YT+1的预测值的样本规范差，从而得到YT+1的近似预测区间。n10.2 极大似然估计法n参数极大似然估计，在普通情况下具有一致性和渐近有效性这两个优良性质。n1、极大似然估计法n如今先从最简单的一元线性模型阐明极大似然估计法), 0(NXY2iii1iYi的密度函数为那么似然函数是密度函数在一切N个观测取值的乘积，即极大似然估计的目的是寻觅最能够生成样本观测Y1,YN的参数,2的值，即使对数似然函数logL最大的参数值。2)(exp21)(22iiiXYYp2)XY(exp21)Y(p),(L2N1i2iiN2N1ii2N1i2ii22)XY(2

7、1)2log(2NLlog对数似然函数关于参数求偏导可得 解出参数,2的值，就得到了对应参数的极大似然估计。不难发现方程组中含,的前两个方程与普通LS估计是一样的。2的极大似然估计为 N1i2ii2222N1iiii2N1iii20)XY(212NLlog0)XY(X1Llog0)XY(1LlogN2i2对普通非线性模型服从N(0,2)，其对数似然函数定义为类似于一元线性模型可以求出参数的极大似然估计，只是在许多情况下只能得到数值解，但总有有趣的是可以得到各个参数估计方差的近似值费歇信息量)log()(22iiLEIN1i2p1kii 1i22),X,X( fY21)2log(2NLlog),

8、X,X,X( fYp21k21N2i2 1Nlog)2log(2NLlog2iMax2、似然比检验下面用极大似然比检验模型中一些参数=0的原假设。用L(UR)表示没有限制条件时对数似然函数的最大值，L(R)表示有限制条件时对数似然函数的最大值，显然有L(UR) L(R)，假设原假设成立，两者应非常接近。称为似然比。通常更多地思索两者的差，即统计量其中m为限制条件个数。假设统计量大于临界值，就以为两者存在较大的差别，即原假设不成立，这些参数不为0。)(L)(LURR2mURR)(L)(L 23、一个运用：Box-Cox模型思索下面的Box-Cox模型当参数=1时，模型化为线性模型当趋于0时，有

9、所以对X作类似处置， Box-Cox模型化为对数线性模型iii1X1Yiii1X1YiYlogiYlog1eYiiiYlog1YiiiXlogYlog实践上Box-Cox模型是广义的非线性模型，参数当然也不是随意指定，通常可经过极大似然法获得。下面先思索Y的似然函数两边对yi求导数可得)11()()(iiiiiYyYPyYPyFi)1X1y(P)1y1X(Piiiiii)1X1y(Fiii)1X1y(y)y(ii1iiYii所以Y的对数似然函数为从这个对数似然函数最大化，可以求得的数值解。假设 ，Yg是Y值N个观测的几何平均；对Y的原始观测进展如下数据变换Y*=Y/Yg，那么线性模型=1：对数

10、线性模型=0：显然2ii22i)1X1y(21)2log(2Nylog) 1(LlogNN21gYYYY*XY*XlogYlog0YlogYlogYlog1YYY*N*2*1*N*2*1这样两者的对数似然函数方式(第一项都为0)就完全一致了，,的极大似然估计不仅方式一致且等价于LS估计。这从另一个侧面阐明最小误差平方和的参数估计准那么，具有很好的性质。对于非线性模型来说，由于R2最大等价于误差平方和最小，拟合优度R2仍是评价一个模型好坏的规范。n4、拉格朗日乘数 (LM)检验法n 利用F分布对参数进展结合检验，这一方法也称为Wald检验法(其范围更广)。它从无限制条件模型开场，检验给模型加上限

11、制条件(某些参数=0)能否减弱了回归模型的解释才干。而LM检验法，却是从限制条件出发，检验假设向无条件限制方向变化能否能显著提高模型的解释才干。LM检验法也以极大似然函数为根底。LM检验法是最大化以下目的函数由极大化的一阶偏导条件可得称为拉格朗日乘数。假设限制条件是有效的，参与它们将不导致目的函数最大化值的显著不同，即值将很小， 因此有统计量为)()(LlogRURURURUR)(Llog0)(logRRL为限制条件个数m)( I)(LM2mRR2LM检验法可以很容易地用于思索能否在回归模型中参与另外解释变量的情形。假设曾经估计了有条件模型下面思索对另外q个变量全部或部分参与的无条件模型。对q

12、个变量中每一个系数都等于0的原假设，LM检验法首先计算有条件模型的残差 ，然后将残差对无条件模型中的K个解释变量(k-q+q)进展回归：假设参与的q个解释变量可以加强回归方程的解释才干，那么(10.3)式拟合优度 就应在较高的程度，有统计量Rqkqk221XXYR kkRXX22120R为样本容量NNRLM2q20假设LM超出临界值，那么就回绝有条件模型。第6章异方差的White检验可以看作是LM检验法的特例。5、Wald检验、似然比检验和LM检验的比较它们是三个最普遍运用的检验过程。下面以一元线性模型为例，阐明三者间的关系。Wald检验统计量为对于一元线性模型q=1，k=2，Wald检验简化

13、为这里有条件模型 ，LS估计所以)kN/()R1(q/)RR(F2UR2R2URkN,qXY)R1 (R)2N(F2UR2UR2N, 1*YY*0RTSS)YY(ESS2R2i2*iLM统计量 有条件模型 的残差残差对解释变量X回归：因此所以LM统计量为*YYY*X21*22)()(XXYYXXiii2UR2i2i2ii2i2i2220R)YY()XX()YY( )XX()YY()XX(R2UR20NRNRLM似然比检验统计量对极大对数似然函数，有有条件模型 残差 因此而无条件模型 有 ) 1Nlog2(log2NLlog2iMax*YYY*)1NTSSlog2(log2NLlogMaxRXY

14、)1NESSlog2(log2NLlogURMaxUR所以因此三种检验是渐近等价的，即假设样本容量充分大，它们得出同样的检验结果。但是在普通情况下，三个检验确实是不同的，能够会给出不同甚至相互矛盾的结果。对于线性模型，在一样样本情况下，Wald统计量总是最大的，而LM统计量总是最小的。因此LM检验回绝有条件模型，其它两种检验也必然回绝。URURMaxURMaxRTSSESSlogNLlogLlog 2LR)R1log(NLR2UR10.3 ARCH与GARCH模型在第6章异方差问题的讨论中，我们思索了误差项方差直接随一个或多个自变量变化的情形，经过修正可以得到更有效的参数估计。这里将进一步讨论

15、误差项的方差随着时间变化，依赖于过去误差大小的问题。ARCH模型(自回归条件异方差)假定误差项的方差满足 留意表达式中含有平方，与自回归明显不同。该式阐明方差由两部分组成，一个常数项，另一项称为ARCH项。ARCH项是前一时辰的误差项的平方，因此t存在着以t-1为条件的异方差。21t102t下面以二元线性模型为例。(10.4)和(10.5)就构成了一个ARCH模型。 (10.5)式更普通的方式这里误差项滞后p期，记为ARCH(p)。GARCH模型(广义自回归条件异方差) 假设(10.5)式中又出现了误差项方差的滞后项(相当于第9章的几何滞后模型)，那么称模型为GARCH模型(广义自回归条件异方差模型)。5 .1021t102t4 .10XXYtt33t221t2ptp22t221t102t下面也以二元线性模型为例。(10.6)和(10.7