西安交通经济研究中心

1、Estimation with SA1西安交通大学arlio经济2006.041这是我在平时学习过程中整理的笔记。非常感谢导师先生带我走进计量经济学的多彩世界，并介绍给我一非常难得的朋友- SA。同时，也要感谢中心的博士在 LATEX的使用方面给与的帮助。如果发现笔记中有任何错误和不妥之处，或是对我还没有想出来有任何解决的建议，烦请发邮件给我，或登陆中心计量版进行，地址为 HYPERLINK http:/j/ http:/j/。目录第八章 GMM 估计 8.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2、. . . . . . . . . . . . . 8.2 矩估计方法(MM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22345567888.2一致性和渐进正态性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .假设条件和确认条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.3 广义估计(GMM). . . .

3、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..2一致性和渐进正态性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .最优权重 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.4 过度约束检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、. . . . . . . . 8.5 一些估计量的GMM 解释 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..2IV 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .GLS 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1第八章 GMM 估计 8.1简介经济分析中，常采用线性回

5、归来描述两个变量之间的关系。考虑如下线性回归模型：yi = xi + i假设该模型符合经典OLS 的基本假设，但允许 x 是随(8.1)量1。那么解释变量 x 应当与干扰项 不相关，即 E xi i = 0, 于是，参数向量 应满足如下关系式：E xi (yi xi ) = 0(8.2)由此可以得到： = E xi xi 1 E xi yi (8.3)N若给定变量 y 和 x 对应的样本观察值yi , x ，则(8.2) 式可表示为：ii =1N 1N x (y x ) = 0(8.4)iiii =1由此可以得到一般的OLS 估计量： 1NN = xxx y(8.5)ii iii =1i =1

6、上述获得参数估计量的方法称为“矩估计”方法，可以看出它包含以下步骤：首先，构造矩条件”，即 (8.2) 式；继而构造相应的“样本矩条件”，即 (8.4) 式；最后由样本矩条“件得到参数估计值。上面的例子中，的参数向量 为 K 1 ，而矩条件也恰恰是 K 个，这称为“恰足确认”。但在多数情况下，的矩条件往往多于参数的个数，从而产生“过度确认”，此时就需要采用“广义矩估计”(Generalized Method of Moment, 简称GMM ) 。该方法在近 20 年来得到了广泛的应用，前面提到的几乎所有估计量 (如 OLS 、 GLS 、 IV )都可以在 GMM的框架下推导出来，而且目前许

7、多新的估计量也都是采用GMM 方法得到的。本章的结构安排如下： 8.2 节介绍恰足确认的矩估计方法（MM）， 8.3 节介绍“过度确认”情况下的广义矩估计方法（GMM）。看看MLE和GMM的区别和优劣在什么地方介绍比较合适。1在经典 OLS 模型的设定中，假设 x 是非随量。2 8.2. 矩估计方法(MM)3 8.2矩估计方法 (MM)首先给出矩估计量的一般性结果，继而给出证明，最后用一个简单的例子加以说明。，用参数 来描述，其真实值为 0 。 x1, x2, , xn 为从这个假设有一个中随机抽取的一组样本观察值。如果能够确认一组反映随即变量 x 和参数 之间关系的向量函数 g(x ; )

8、, 使得参数的真实值 0 是下列“PMC) 的唯一解，E g(x ; ) = 0并且，估计量 是其“样本矩条件”(Sle Moment Condition, 简称SMC)的唯一解，n矩条件”(Population Moment Condition, 简称(8.6) 1ngx ; ) = 0(8.7)(ii =1那么，在一系列假设条件成立的情况下，可以证明 具有一致性和渐进正态性：1 G( 0) 1 ( 0)G( 0) 1),A(8.8)N (0,n其中， g(x; ) G() = E(8.9)0和 ( 0) = E g(x ; )g(x ; ) .(8.10)在 8.1 小节中提到的例子， g

9、(xi ; ) = xi (yi xi ) ，而 PMC 为 (8.2) 式，相应对于的 SMC 为 (8.4) 式。为了加深对矩估计的理解，利用上面给出的一般性结果来推导出模型(8.1) 参数估计量的渐进分布。易于求得： x (y x )iiiGE x x () = E= (8.11)ii 和 () = E xi i i xi = E 2xi xi = 2 E xi xi .n(8.12)假设 11 limX X = limxx = Q(8.13)iin nn ni =1其中， Q 是一个有限、正定矩阵。那么， E xi xi = Q , 于是。根据(8.8) 式：， () = 2Q 及 G

10、() = Qn( ) d 2Q1).N (0, (8.14)至于 的一致性将在下一小节介绍。 8.2. 矩估计方法(MM)48.2.1一致性和渐进正态性下面说明矩估计量的一致性和渐进正态分布性，以便对矩估计的基本有更为深入的理解。一致性如果 g(x ; ) 的二阶矩存在，则根据大数定理：n 1npx ; ) gE g(xi ; ).(8.15)(ii =1这说明 PMC (8.6) 可以用其 SMC (8.7) 来近似表示。如果由 SMC (8.7) 得到的估计量 与样本数 n 无关，那么它的概率极限 (probability limit) 也一定是 (8.7) 式的概率极限的解，而后者便是

11、PMC (8.6) 。根据定义，参数的真实值 0 是 PMC (8.6) 的唯一解，所以概率极限 也必然等于真实值 0 。因此， 是 的一致估计量。换言之，如果知道某个参数的真实值是其母体矩条件的解，那么对应的样本矩条件的解是目标参数的一致估计量。渐进正态性极限定理。假定 依概率收敛到 0 ，且 g 是利用公式将 (8.7) 式在真实值 0 附近展开渐进正态性的证明主要基于展开式和参数 的可微函数，那么对于大样本而言，将得到：nnn 1n1gx ; ( )i 0 x ; ) 0 =ggx ; ) +( )(8.16)(ii00ni =1i =1i =1或 1nn 1ngx ; 1n( )n(

12、0) i0g(xi ;n(8.17) 0).i =1i =1给定 g(xi ; 0)/ 的二阶矩存在，由大数定理可知：n 1gx ; ( )pi 0G( 0)(8.18)n i =1同时，利用极限定理： n 1ndng(xi ; 0) E g(xi ; 0) u N (0, ( 0),(8.19)i =1其中， E g(xi ; 0) = 0 。最终，n( 0) d至此， (8.8) 式得证。得到：G( 0)1 u N (0, G( 0)1 ( 0)G( 0) 1)(8.20) 8.3. 广义估计(GMM)5可以得到 GMM 估计量 的方差-协方差矩阵 G( 0)1 ( 0)G( 0) 1 的

13、根据大数法则，一致估计量如下： 1 1nn n gx ; )1 gx ; ) 111n(iig(xi ; )g(xi ; ) (8.21)nnn i =1i =1i =18.2.2假设条件和确认条件在上一小节证明 GMM 估计量的一致性和正态性过程中，使用了极限定理和大数法则。事实上，在使用这些定理之前，需要做一些必要的假设。这些保证 GMM 估计量合理性的假设条件通常称为“正则条件”(regularity conditions)，可导致分为如下四类：1. 保证 g(x ; ) 对 可微的条件。如，通常假设 g(x ; ) 对 二阶连续可微。2. 对 g(x ; ) 的矩以及其离差 (devi

14、ation) 的约束条件。如，其一阶离差都是有限的。通常假设 g(x ; ) 的二阶矩和3. 对参数 的取值范围进行限定的条件。一般而言，若 为参数空间(所有 的可能取值的集合) ，那么假设 中的元素是有限的。同时， 的取值不能落在参数空间 的边缘处。因为，若 落于 的边缘处，则其无法从各个方向地向真实值 0 收敛。矩条件 E g(x ; ) = 0 的解必须是唯一的，且这个唯一的解必须是参数的真实值 0 。4.上述正则条件的前三个都是技术性的。但在实际应用的过程中，个假设条件的合理性。该条件通常称为“确认条件”，因为它使需要特别注意最后一得以确认模型估计参数的真实值 0 。显然，模型参数得以

15、确认的一个必要条件是矩条件的个数 m (向量 g(x ; ) 的行数)不小于参数的个数K (参数向量 的行数)。如果 m K 时，就会出现“过度确认”，这和实证分析中最为常见的情况，当然也是本章后续几节的重点。 8.3广义估计 (GMM)已经提到，当矩条件的个数大于待估参数的个数，即 m K 时，会出现，使得无法根据样本矩条件 (8.7) 求得参数的估计值，因为此时方程上一小节中“过度确认”的个数多于参数的个数，无法找到一组唯一的 值使它们同时满足所有的样本矩条件。此时，可以从 m 个矩条件中获得多个包含 K 个矩条件的“条件”，但不同的组合将得 8.3. 广义估计(GMM)6无法获得唯一的参

16、数估计值。2到不同的 GMM 估计量，也就是说在“过度确认”的情况下为了解决这个问题，Hansen(1982) 提出了广义矩估计方法 (GMM)。其基本在于找到一组 值，使得所有样本矩条件 (8.7) 都尽可能地接近于零，也就是说使得满足。这一目的可以通过极小化如下目标函数得以实现：矩条件得到最大程度的J() = g( ) Wg( ) (8.22)其中，n 1ng( ) =gx ; ),(8.23)(ii =1W 是一个对称且正定的 m m 维矩阵，其作用在于为不同矩条件设定不同的权重，以反映这些矩条件的相对重要性。其原理与前面介绍的最小二乘法中的权重的设定是相似的。8.3.1一致性和渐进正态

17、性假定 G() 为满秩矩阵，而其他正则条件也都成立，则GMM 估计量 具有一致性。为了说先看(8.22) 式对应的一阶条件：明这一点，D() W g( ) = 0(8.24)其中，n gx ; 1() i D() =矩条件为：.n i =1显然， (8.24) 式对应的G() WE g(xi ; ) = 0.(8.25)给定 G() 为满秩矩阵，且 Wn 为非奇异矩阵，那么只有参数的真实值 0 才能满足 (8.25) 式确定的矩条件，这进而表明GMM 估计量 是一致的。同时，可以证明 服从渐进正态分布：3 N ( 0,G WGG W WG G WG)1 A11 (8.26)n其中， G = G

18、( 0) ， = ( 0) 。2参见 Arellano(2003)，pp.179。p3假定 0 ，且 g 对 二阶可微，那么若样本数 n 足够大，则将 (8.24) 式在 0 附近进行展 开，： 0 = D() Wg() D( ) Wg () + D( )/ Wg( )+ D( ) WD( ) ( )。由 (8.15) 式0000000可知， D( 0)/ Wg 0 ，所以， n( 0) = D( ) WD( p1 )D( ) Wg( )。 接着可以参考0000p(8.18) 和 (8.19) 的处理方法：由大数法则可知， D( 0) G( 0) ；再利用， n g( 0) 极限定理dd 1E

19、 g(xi ; 0) u N (0, ( 0) 。因此，最终得到 n( 0) G( 0) WG( 0)G( 0) W u N 0, G( 0) WG( 0) 1 G( 0) W ( 0)WG( 0) G( 0) WG( 0) 1 。 8.3. 广义估计(GMM)78.3.2最优权重由 (8.26) 式可知，选取不同的权重矩阵 W 将得到不同的估计值的方差-协方差矩阵的渐进分布。换言之，方差-协方差矩阵的渐进分布决定于对不同的样本矩条件分配权重的方式。那么，是否存在一个最优的权重矩阵使得的估计量最有效呢？事实上，这个最重矩阵为W = ( 0)1 ，因为对于任何一个权重矩阵 W 而言，有如下关系成

20、立：4 G WG 1 G W ( 0)WG G WG 1 G ( 0)1G 1(8.27)因此，可以用任意一个 ( 0) 的一致估计量 代替 W ，即 W = ，然后求解如下极小化问题： = arg min g() g (),(8.28)便可以得到最具有效性的 GM M 估计量 ，显然， 具有一致性和渐进正态分布性： N ( 0, G( 0) ( 0)1G( 0)1A1(8.29)n然而，要得到 乎会存在死循环 就必须先得到 ，但后者的估计又需要以前者的获得为基础，整体上看似 。但注意到， 的估计仅需要 的一致估计量即可，所以可以先设定 W = I ，继而通过求解如下简单的极小化问题， nn

21、11nming(xi ; )g(xi ; ) ,(8.30)ni =1i =1先得到 的一致估计量 。接着， 就可以估计出 ：n 1n = gx ; )gx ; ) .(8.31)(iii =1将由(8.31) 得到的 带入(8.28) 即到 ，由此 可以得到方差-协方差矩阵的一致估计量为： D() ()1D() 1 = 1 1nnn 11g x( ; )11ng x( ; )ig(xi ; )g(xi ; ) i(8.32)nnn i =1i =1i =1以上步骤可总结如下：4由于 W 是对称矩阵，所以 W = W 。 (8.26) 式等价于 G WG G W ( 0)WG 1 G WG G

22、 ( 0)1G ,为此只需要证明 G ( 0)1G G WG G W ( 0)WG 1 G WG 为一半正定矩阵即可。此式可以表示为AI B(B B)1B A = APA 的形式，其中， A = G 1/2 , B = 1/2WG , P = I B(B B)1B 。由于 P 是一个 幂等 (Idempotent) 矩阵，所以 APA 为半正定矩阵。至此， (8.26) 式得证。 8.4. 过度约束检验81. 求解(8.30) 式，得到 的一致估计量 ；2. 将 带入(8.31) 式，得到 ； 3. 利用第二步得到的 求解(8.28) 式，得到 ；4. 将 带入(8.32) 式，得到方差-协方

23、差的一致估计量，进而进行统计推断。去心估计量Alastair Hall(2000) 建议采用如下“去心”权重估计量： 1 1nn 1n1ngigi=W =gi gi gng n(8.33)i =1i =1 /n1 g(xi ; ) , gi = g(xi ; ) gn。 所谓“去心”，是指从每个观察值对应的矩n其中， g = 1ni =条件中减去所有观察值的平均值。Alastair Hall(2000) 研究表明，相对于传统的“去心”的权重估计量， (8.33) 式是一个相对较好的选择。因为当进行假设检验时，在被择假设下，矩条件不再成立，即 E g(xi ; ) =0 ，所以“去心”的权重会包

24、含一些有偏的估计项，这会使基于此构造的统计量的检定力受到较大的影响。持续更新估计量面介绍的权重估计量都假设与模型的参数不相关，至多是 X 的函数。Hansen,Heaton 和 Yaron (1996) 建议将权重矩阵设定为 的函数，于是目标函数变为： 1n 1nJ() = g( ) g(xi ; )g(xi ; )g( ),(8.34)1其中， g(xi ; ) = g(xi ; ) g(xi ; ) 。相对于传统的 GMM 统计量，该统计量具有一些良好的统计性质，但有些时候计算的比较复杂，这也是一个正在发展中的新课题。异方差、序列相关稳健估计量 8.4 过度约束检验一些估计

25、量的 GMM 解释IV 估计考虑如下线性回归模型：yi = xi + i(8.35) 8.5. 一些估计量的GMM 解释9其中， xi 为 k 1 向量， 为 k 1 系数向量。模型 (8.35) 满足所有 OLS 回归的经典假设，但 E xi i =0，显然此时 OLS 估计是有偏的。假如存在一组变量 zi 同时满足 E zi i = 0 和Corr zi , xi =0 则可以基于此构造如下矩条件：E zi (yi xi ) = 0(8.36)通常称 zi 为工具变量。这里假设 zi 为 r 1 维列向量，且 r k 。对照前面的定义，本例中，g(xi ; ) = zi (yi xi )与

26、(8.36) 式对应的样本矩条件为：n 1n z (y x ) = 0(8.37)iiii =1同时，依据(8.9) 式和(8.10) 式的定义： gx ; ()i Gz x () = E= E (8.38)ii和 () = E g(xi ; )g(xi ; ) = E zi i i zi = 2 E zi zi 分两种情况进行:(1) 恰足确认 ( r = k )此时，采用 8.2 小节介绍的一般矩估计方法即可。由 (8.37) 式可(8.39)下面得：Z (y X) = 0其中， Z = (z1, z2, , zn) , X = (x1, x2, , xn) ，及 y = (y1, y2,

27、 , yn) 。由此如下矩估计量：IV 1 = (Z X)1Z y同时，也可以很方便地得到其渐进分配：5可以得到(8.40)n( IV 1 0) d 2Q1).N (0, (8.41)其中 Q 的定义同 (8.13) 式。 (8.41) 与OLS 估计具有相同的有效性。在 (8.14) 式得到的结果相同，这表明 IV 估计与经典5G()=E zi xi = limn Z X/n ， ()= 2 E zi zi = 2 limn Z Z/n 。所以 ，G() 1 ()G()1 = limnZ X/n 1( 2Z Z/n)Z X/n1 = limn 2X X/n1 = 2Q1。需 是，推导过程中要

28、注意到 X Z = Z X 。明的 8.5. 一些估计量的GMM 解释10(2) 过度确认( r k )此时，需要采用GMM 估计方法，GMM 估计量的获得基于：min g() Wg ()(8.42)其中：n 1n g() =z (y x )iiii =1W为最优权重： 1 1nn 1n1nW = ()1 =zi i i zi= 2zi zi,i =1i =1因此， (8.42) 式可采用矩阵表示为：12) Z(Z Z)1Z (y X)min (y X(8.43)n：6由一阶条件IV 2 = X Z(Z Z)1Z X1X Z(Z Z)1Z y(8.44)这里得到的 IV 估计量 IV 2 往往

29、也被称为“两阶段最小二乘估计量”(2SLS)，这个名称的含义可以通过对(8.44) 式做一些简单的变换得到：设X = X Z(Z Z)1Z (8.45)则(8.44) 式可以表示为：IV 2 = X X 1X y此式可以视为用 y 对 X 回归的OLS 估计量。还可进一步将 X 表示为：X = Z(Z Z)1Z X = Z 其中， = (Z Z)1Z X，可以视为用 X 对 Z 回归得到的 OLS 估计量。因此，所谓“两阶段最小二乘法”包括如下两个步骤：第一步： 用 X 对工具变量 Z 作回归，得到 X 的拟合值 X ；第二步： 用 y 对 X 作回归，得到 2SL S ，即 IV 2 。6，

30、(8.43) 式对应的一阶条件为： X Z(Z Z)1Z (y X) = 0 。 8.5. 一些估计量的GMM 解释11在 8.3.1 小节中给出的 GMM 的一般性结论表明 IV 2 是 的一致估计量，且具有如下渐进分布：n( 1d ) 2 1 N (0, E(x z )E(z z )E(z x ).(8.46)iiiIV 20iii实际操作中， IV 2 的方差-协方差矩阵的渐进估计量为 s2(X X)1 。7 其中， s2 为 2 的一致估计量，如n 1n Ks2 =其中， ei = yi xi IV 2 为IV 估计的残差。8.5.2GLS 估计考虑如下异方差设定的模型，2e(8.47)ii =1yi = xi + ifor i = 1, 2, , n(8.48) N (0, 2 )其中， 为对角矩阵， = (1, 2, , n) 。在第四章中已经采用 GLS 方法对此模型进行了估计，这里明的是，采用矩估计方法 (MM) 将得到 OLS 估计量和 White 异方差稳健型方差估计量；而采用广义矩估计方法(GMM) 将得到GLS 估计量。(1) MM 估计 此时，PMC和SMC分别为 (8.2) 和 (8.4) 式，而 MM 估计量为 (8.5)，即 OLS估计量。但方差-协方差估计量有所变化，2 () = E gx ; )gx ; ) = E x x