第4讲-面板数据：随机效应与随机效应

第四讲面板数据分析随机效应模型vs.固定效应模型Random-EffectModelvs.Fixed-EffectModel随机效应面板模型

Random-EffectPanelModel• 随机效应模型的基本假设• 随机效应模型的参数估计• 随机效应模型的参数检验对UnobservedEffect存在性的检验PanelDataCommandsinStataforRandomEffectModelling• 如果总体很大，抽取的样本单位具有较大的随机性，那么与个体有关的效应将被视为具有随机分布的性质idyearyx1x2x3x41001120002540024007.7810012240026300054008.5910013027000.0010021038000.0010022200039400060008.7010023360040036008.19100317001807006.5510032100019010006.911003302030303.43基本假设• 假设RE.1• (a)严格外生性E(uit|xi,ci)=0,xi=xi1,xi2,⋯,xiTt=1,2,⋯,T(b)ci独立于xit，即E[ci|xi]=E[ci]=0讨论RE.1(b)• 可将独立性条件放宽为不相关条件，即Cov(ci,xi)=0或E(cixi)=0，从而保证一致性。• 线性模型写为：其中，vit，称为合成误差• 对于所有T期，模型改写为：yi=xit'β+ciJT+ui=Xi'β+vi=ci+xit'β+uit=xit'β+vityitJT=[1 1 .....

1]'1×T=ci+uit• 记Ω=E(vv')，Ω正定从而可逆• Ω对于每一个i都是一样的，因为在RE模型中，vi来自于同一个总体• 容易证明：E[vi|xi]=0• 随机扰动项的方差-协方差矩阵为：i

i• RE.3假设(a)同方差假设：E(u

u'|x)=σ2I

(b)E(c2|x)=σ2

i

i

i u

Ti

i

c• 假设RE.2• 具体表述：• 这种结构表明误差项是同方差且存在序列相关的• 在RE.1-RE.3成立时，如果我们用PooledOLS来估计模型，估计量是一致的• 但是POLS估计量忽略了随机误差项的结构信息，所以不是有效的• 而且其方差-协方差矩阵不会等于σ2(X'X)−1• 因此可以考虑GLS的方法• RE.1和RE.2假设保证后面的GLS估计结果是一致的，RE.3保证v具有同方差结构，从而假设保证FGLS估计结果是最有效的v

随机效应模型的参数估计RandomEffect方法原理估计σv

2估计σ2• 由随机效应方差结构可知，σ2=Ev

v ,t≠scc it

is对每个个体i，

β的随机效应可行估计量•把和代入Ω的表达式，进而得到•从而得到

β的随机效应可行估计量实际应用中得到的可能不是正数–负的表明可能存在比较大的负的序列相关假设RE3.a或其他假设被违反了–此时，应该考虑加入时间dummy–或者更一般的FGLS方法•计算和

RandomEffect方法步骤•首先进行PooledOLS估计•根据RE.3构造

理解随机效应可行估计量•可以证明，随机效应可行估计量等价于下

式的POLS估计量

•误差项

不存在自相关并且对所有的i

和t都有相同的方差，即

，所以对上面的

回归模型的POLS估计是BLUE的• 前面的式子表明随机效应估计量实际上是通过准去除时间均值（quasitimedemeaning）而得到的• 随机效应并不是在每个时间t去掉因变量和自变量的时间均值，而是在每个时间t去掉时间均值的一部分的统计性质• 在假设RE.1-RE.3下，

是渐进等价的，所以在所有满足E(ui|Xi)=0假设下一致的估计量中是最有效的

稳健方差矩阵估计量• 已知• 在估计βRE方差矩阵时，估计Ω

用的是随机效应回归残差

• 此时得到的估计量称为稳健方差矩阵估计量，因为无论假设RE.3成立与否，它都是正确的方差矩阵估计量• 而且在T固定n比较大时，有比较好的有限样本特性ˆˆˆ一般FGLS方法••••不依赖于RE.3仅仅假定特别适用于uit存在异方差、序列相关的情况此时,

Ω可以由下式来估计：

•β的一般FGLS估计量为：是POLS回归的残差• β的一般FGLS估计量与随机效应估计量的形式完全相似，只是这里的Ω不具有RE.3的随机效应结构，而是具有的更为一般的结构–可能包含异方差和序列相关• 若RE.1-3都满足，那么RE与FGLS的两个估计结果都是有效的• 若RE.3不满足，那么FGLS更有效比较RE与FGLS方法• 但是，如果RE.3满足，那么FGLS会导致更多的噪音–T增加时FGLS估计的元素会增加，待估参数的个数为T(T+1)/2个,使得方差、误差增大–FGLS有限样本特性可能比较差–RE只需要估计2个参数：

• RE有明显的模型设定，FGLS没有• 实际应用中，特异性误差uit在t上一般会存在序列相关，不能采用随机效应方法，而一般FGLS方法在n不是很大时的有限样本特性不好• 可以采取中间路线–例如，我们可以假设uit服从AR(1)自相关，这时我们只需要估计序列自相关参数ρ，σu 与σc2 2就可以估计Ω• 对Q个多重假设H0:Rβ=r进行假设检验• 在RE.3成立时，可用F检验• 不论RE.3是否成立，都可以用Wald检验：• RE.3成立与否，决定对Σ

的估计方法随机效应模型的参数检验对UnobservedEffect存在性的检验如果不存在UnobservedEffect，直接用PooledOLS估计就可以了对UnobservedEffect存在性的检验也可以看成是模型设定检验–在PooledModel和REModel之间进行选择• 检验假设：H0:σc =0，即vit不存在序列相关2BreuschandPagan(1980)检验–拉格朗日乘数检验(LM)–依赖于对uit的正态假设• 具体检验统计量为• 原假设成立下，LM统计量卡方分布，自由度为1Wooldridge(2002)检验统计量BPW• 在原假设成立下，vit序列不相关，BPW的渐进分布是标准正态分布• 该统计量能够探察vit中的许多种序列相关• 但是拒绝原假设并不意味着RE的误差结构就是正确的–如果xit中没有包括滞后的被解释变量，vit即使满足RandomEffect的误差结构，原假设仍然会被拒绝面板数据分析：固定效应模型Fixed-EffectPanelModel主要内容• 固定效应模型的基本假设• 固定效应模型的固定效应转换估计• 固定效应模型的虚拟变量回归• 固定效应模型的FGLS• 固定效应模型与随机效应模型PanelDataCommandsinStataforFixedEffectModelling复习随机效应模型RE估计：GLS固定效应模型的基本假设• 与RE模型最大的不同在于FE模型假设ci可以与uit相关，即对ci⊥uit是否成立不做假定FE.1• FE.1严格外生性假定E(uit|xi,ci)=0, t=1,2,⋯,Txi=xi1,xi2,⋯,xiT• FE.1少了RE.1中的(b)独立性假定，因此从这一点而言，FixedEffectsMethods比RandomEffectsMethods更加稳健FE.2xit=xit−x• FE.2离差阵满秩，即可逆rank[E(Xi'QXi)]=K矩阵Q称为去时间均值算子上面条件还可写为：讨论FE.2• 该假定保证估计方程有解• 该假定保证估计量具有良好的渐进性质• 该假设要求X中不能包含不随时间改变的变量–解释变量如果包含不随时间变化的变量，我们无法识别这些变量对的影响–不随时间变化的变量指的是对所有的样本单位都不随时间而变化•如果该变量对部分样本单位随时间变化，就可以包含进来FE.3• FE.3球形随机扰动项假设该假定保证了FixedEffect估计量是有效的，且可以进行渐进推断固定效应转换估计• 固定效应模型的估计策略是转换方程消去不可观测的效应ci• 我们可以采用一阶差分的方法，也可以采用固定效应转换(fixedeffectstransformation)• 固定效应转换也叫做组内转换(withintransformation)β的固定效应估计量• β

FE是对组内模型进行的POLS估计，所以也称为组内估计量＾• 在固定效应模型假设下，

是无偏且一致的–FE.1严格外生性假设中中假定E(uit|xi,ci)=0–可以推出• 但是如果在随机效应模型假设下，

仅仅用了组内的信息，因此它不是有效估计量的有效性• 首先考察组内转换模型的随机误差项•在球形随机扰动项假设下：有•

在时间t上无条件同方差，但存在着负序列相关• 这是否表明转换模型的POLS估计量（或固定效应估计量）在假设FE.1-FE.3成立下不是有效估计量呢？是否我们应当采用GLS的方法来得到模型有效估计量呢？• 可以证明，GLS估计量和OLS估计量是一样的，采用GLS估计量没有效率上的任何改善• 虽然模型的随机误差项负序列相关，由于去时间均值算子Q的特性，模型的OLS估计量是有效的•稳健方差矩阵估计量• 同方差与无序列相关假设不成立时：• 线性约束检验：Wald统计量虚拟变量回归(LSDV)• 虚拟变量回归是传统的固定效应估计方法• 把ci看成参数，和β一起进行估计• 对此，可以采用最小二乘虚拟变量回归• 定义

有yit=xit'β+di'c+uit估计结果• 可以证明：• 最小二乘虚拟变量回归得到的的估计量和固定效应估计量是一样的Wooldridge(2002)认为这里βLSDV和βFE相等仅仅是一种巧合• 很多情况下，尤其在非线性面板数据模型中，把c看成参数和β一起进行估计得到的估计量是不一致的＾＾非主要参数问题• 当截面观测增加时，ci的个数也增加了，所以当n趋于无穷大，ci并没有截面信息的积累，而时间长度T是固定的，随着截面长度n趋于无穷大，非主要参数ci的个数也趋于无穷大，加上非线性模型的复杂性很难先行消去ci，参数的估计也被污染（contaminated），从而在一般情况下也无法得到一致估计量虚拟变量回归估计量性质• β

FE是β的一个无偏估计量，当T固定而n趋于无穷时，β

FE是β的一个一致估计量；而cˆi仅仅是ci的无偏估计量，在T固定时ci不是一致估计量• 计量软件一般不汇报固定效应ci的估计值，不过经常会汇报整体截距项的值μ＾＾＾固定效应的FGLS• 当FE.3球形随机扰动项假设不成立时：–条件方差不为常数–条件方差与无条件方差不等–存在异方差或序列相关• 可以考虑FGLS，前提是：–条件同方差成立：E(uu'|X,c)=E(uu')=Σ

–而在时间t上uit异方差或序列相关E(uu'|X,c)≠σ2Ii i i i u T

iii

i

i

i固定效应FGLS的估计结果• 的渐进方差估计：• 当假设FE.1－3都满足时，FE的FGLS不一定比FE估计更好，但是当FE.3不满足时，用FE的FGLS更好随机效应和固定效应估计量的比较• 可以证明：–RE估计量是Between估计量和FE估计量的加权平均• FE模型对ci与xi的关系不作假定，因此比RE更Robust，其代价是–FE中由于包含了一个均值x，自由度自动减少了一个，并且β

的精度降低；–解释变量过多，易引起多重共线性(LSDV)；–FE观察不出不随时间改变的变量的影响FE＾随机效应和固定效应估计量的比较或E(ci|Xi)=E(ci)=0Cov(ci,xit)=0RE还是FE：Hausman检验• 仅仅从估计量的性质来说，我们可能认为，随机效应估计量要好于固定效应• 在对两个估计量进行比较时，我们发现当个体效应方差非常大的情况或T非常大时，FE估计量是RE估计量的一个极限• 但是，随机效应模型有一个非常强的假设：• FE是无论原假设成立与否都是一致的，但在原假设下不是有效的• RE在原假设下是一致的，并且渐进有效（样本越大越有效），但如果原假设被拒绝，则RE不是一致的• 不论在原假设还是备择假设下，我们都保持严格外生假设。如果严格外生假设被违反，则固定效应和随机效应估计量都是不一致的RE还是FE：应用考虑• 数据–当数据为省份、国家、单位资料时，即为非随机抽取的资料时用FE较合适；为随机抽取的资料时用RE较合适• 研究问题：政策分析–政策变量通常会与观察不到的个体特征ci与观察到的xi相关–ci与xi存在相关性–FE模型更合适Stata程序应用实例假设有3期的跟踪数据，变量及数据如下：idyabcd100120002540024007.781002038000.0010037001807006.55idyabcd1001240026300054008.591002200039400060008.701003100019010006.91idyabcd1001027000.001002360040036008.191003100019010006.91截面1：截面2：截面3：use"D:\cross1.dta"foreachaaaofvarlisty-d{ ren`aaa'`aaa'1 }sortidsave"D:\ff1.dta",replace

use"D:\cross2.dta"foreachbbbofvarlisty-d{ ren`bbb'`bbb'2 }sortidsave"D:\ff2.dta",replace

use"D:\cross3.dta"foreachcccofvarlisty-d{ ren`ccc'`ccc'3 }sortidsave"D:\ff3.dta",replace1.创建paneldata：调整过后，各截面的变量名修正为（数值不变）：idy1a1b1c1d1100120002540024007.781002038000.0010037001807006.55idy2a2b2c2d21001240026300054008.591002200039400060008.701003100019010006.91idy3a3b3c3d31001027000.001002360040036008.191003100019010006.91截面1：截面2：截面3：2.截面合并:use"D:\ff1.dta"mergeidusing"D:\ff2.dta"drop_mergesortidmergeidusing"D:\ff3.dta"drop_mergesave"D:\total.dta",replaceidy1a1b1c1d1y2a2b2c2d2y3a3b3c3d3100120002540024007.78240026300054008.59027000.001002038000.00200039400060008.70360040036008.1910037001807006.55100019010006.91100019010006.91合并后的文件”total”中，数据格式如下：3.转化为面板数据：i