第五讲OLS的渐进性PPT课件

1、.,1,第五章：OLS的渐进性 (OLS Asymptotics ),5.1 一致性,5.2 渐近正态和大样本推断,5.3 OLS的渐进有效性,.,2,第一节 一致性(consistency),一、一致性的含义,令Wn是基于样本y1,y2yn的关于参数的估计量，如果对任意0，当n时，Pr(|Wn|)0，Wn就是的一个一致估计量(consistent estimator)。当Wn具有一致性时，我们也称为Wn的概率极限(probability limit of Wn)，记作Plim(Wn)=。,1.定义,.,3,2.为什么要考虑一致性,我们已经讨论了有限样本(finite sample)，也就是小

2、样本(small sample)中OLS估计量(OLS estimators )和检验统计量(test statistics)具有的如下性质：,在MLR. 1-4下 OLS估计量具有无偏性(Unbiasedness),在MLR. 1-5下 OLS估计量是最优线性无偏无计量(BLUE),在MLR. 1-6下 OLS估计量是最小方差无偏估计量(MVUE),T统计量的分布为t分布,样本容量为任意n时，这些性质都成立。,.,4,由于在很多情形下误差项可能呈现非正态分布，了解OLS 估计量和检验统计量的渐近性，即当样本容量任意大时(when the sample size grows without b

3、ound)的特性就是重要的问题。,虽然在高斯马尔可夫假定下OLS 是最优线性无偏估计量，但在别的情形下不一定能找到无偏估计量。因此，在那些情形下，我们只要找到一致的估计量，即n 时, 这些估计量的分布退化为参数的真值即可。,.,5,当n增加时样本的分布(Sampling Distributions as n increases),b1,n1,n2,n3,1的样本分布,例：n1:每次从班上抽取10人， 抽若干次后，平均身高的分布； n2:每次从班上抽取100人， 抽若干次后，平均身高的分布； n3:每次从班上抽取200人， 抽若干次后，平均身高的分布。,.,6,.,7,3.一致性和无偏性的关系(

4、Consistency v.s. unbiasedness),一个估计量是否有可能在有限样本（小样本）中是有偏的但在大样本条件下又具有一致性？,假设Z的真值为0，一个随机变量X以(n-1)/n的概率取值为Z，而以1/n的概率取值为n。那么，X的期望为1，也就是：,记plim(x) 为n趋向无穷大时x的取值，则有：,plim(x)=z=0,.,8,是否有可能一个估计量是无偏的但又不具备一致性？,依然假设Z的真值为0，一个随机变量X以0.5的概率取0.5，而以0.5的概率取-0.5，那么X的期望为0，也就是说，X是Z的无偏估计量。 但是，X总是在X=0这条线上下摆动，当n趋向无穷大时，它的方差并不

5、会趋于0。因此，X并不是Z的一致估计量，也就是说X不具备一致性。,无偏估计量未必是一致的，但是那些当样本容量增大时方差会收缩到零的无偏估计量是一致的。,.,9,二、OLS估计量的一致性,1.定理5.1,在假设MLR.1到MLR.4下，OLS截距估计量和斜率估计量都是一致的估计量。,2.证明一致性,在简单回归中，斜率的估计量为：,n时，分子趋近于0，但分母却不趋近于0，因此，当n时， Plim( )=,.,10,3.一个更弱的假定,要获得估计量的无偏性(unbiasedness)，我们假定零条件期望(zero conditional mean)：E(u|x1, x2,xk) = 0 而要获得估计

6、量的一致性(consistency)，我们可以使用更弱的假定：零期望和零相关性假定，即：E(u) = 0，Cov(xj,u) = 0, j = 1, 2, , k。 如果连这个较弱的假定也不成立，OLS将是有偏(biased)而且不一致的(inconsistent)。,上述讨论表明：如果OLS估计量是无偏的，那么它一定是一致的；但是如果OLS估计量是一致的，却不能保证它是无偏的。,.,11,推导不一致性,定义渐近偏差(asymptotic bias)为： ， 并考虑下面的真实模型和待估计模型。,真实的模型为：,实际进行估计的模型为：,显然：,.,12,则：,.,13,因此，考虑渐近偏差的方向就

7、像是考虑存在一个遗漏变量时偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。,值得注意的是，不一致性是一个大样本问题。因此，当数据增加时候这个问题并不会消失。也就是说，即使样本容量再大，OLS估计的偏误也不会消失，而且会收敛到一个有偏误的值。,.,14,4.存在内生性时的一致性,考虑真实模型为y = b0 + b1x1 + b2x2 + u ，但u和x1相关，即cov(u , x1)0。,则OLS估计量的不一致性（inconsistency）为：,.,15,若x1 和x2相关，即cov(x1 , x2 ) 0，而u和x2不相关，即co

8、v(u , x2 )=0时，则对b1和b2的OLS估计量都是不一致的。 若x1 和x2不相关，即cov(x1 , x2 )=0，且u和x2不相关，即cov(u , x2 )=0时，则只有对b1的OLS估计量是不一致的。,存在内生性时对其他参数估计量的一致性的影响,.,16,5.渐近有效性,我们知道，如果总体回归模型满足MLR.1-5，那么OLS估计量是最优线性无偏估计量。 事实上，可以证明在这些假定下， OLS估计量是渐近有效的（asymptotic efficient）。也就是说，随着样本容量无限增大， OLS估计量具有最小的渐近方差。,.,17,第二节 渐近正态和大样本推断 (Asympt

9、otic Normality and Large Sample Inference),估计量的一致性是一条重要性质，但我们并不能只靠它来进行统计推断。在经典线性模型假设下，样本的分布是正态分布，因而我们推出t分布和F分布用于检验。,这种准确的正态分布来自于总体误差(population error)的分布是正态分布的假定。这个正态误差的假定意味着当x给定时，y的分布也是正态分布。,.,18,为什么需要正态性假定？,为了证明无偏性？,为了证明最优线性估计量？,为了能够用t统计量和F统计量做精确的推断？,很容易碰到一些例子，其中严格的正态性假定并不能成立。因为正态分布是对称的，所以，任何一个明显不

10、对称(clearly skewed)的变量，像拘捕次数，储蓄量等都不可能服从正态分布。,当样本容量变大时是否估计量会渐近地趋向于正态分布？我们关注的OLS估计是否量满足渐近正态性。,.,19,中心极限定理(Central Limit Theorem),基于中心极限定理，我们能够证明OLS估计量是渐近正态。渐近正态意味着当n 时，P(Zz) F(z) 或者P(Zz) (z) 。,中心极限定理指出任何一个均值为，方差为2的总体的标准化平均值的分布渐近趋同于N(0,1)，或者记作：,1.中心极限定理是研究独立随机变量和的极限分布为正态分布的问题。,.,20,2.定理5.2：OLS的渐近正态性 (As

11、ymptotic Normality of OLS),在高斯马尔科夫假设MLR.1 MLR.5前提下：,1） 符合渐近正态分布，也就是说：,其中， 是 的渐近方差； ，而 是xj对其他解释变量进行回归所得到的残差。,.,21,2） 是 的一个一致性估计。,3）随着样本容量n的扩大，对任意j，都有：,.,22,在定理5.2中什么才是我们的假定,误差的分布具有有限的方差(finite variance) 零条件期望(Zero conditional mean) 同方差性(Homoskedasticity) 线性结构(Linear structure) 随机样本(random sample),1）去

12、掉了正态性假定(normality assumption)MLR.6,2）仍然保留以下假定：,.,23,对定理5.2的理解,为什么在1）中考虑的是 ，而不是,因为,注意到 的样本方差为,的样本方差为,.,24,其中， 是 的总体方差。,令 ，那么有：,当 时， 以 的速度减小到零，因此，只有按照 的比例增大 ，才能讨论渐近分布。,.,25,因为自由度很大的 t分布接近于正态分布，我们也可以得到：,注意到尽管我们在大样本中不再需要正态性假定，我们仍然需要同方差性(homoskedasticity)。,.,26,渐近标准误差(Asymptotic Standard Errors),所以，我们预计标

13、准误差减小的速度与 成正比。,如果u不是正态分布，我们有时把标准误差称作渐近标准误差，因为：,.,27,大样本推断(Large sample inference),OLS估计量的渐近正态性告诉我们，如果样本容量足够大，而且总体回归模型满足MLR.1-5，那么t统计量近似地服从标准正态分布或t分布，从而可以进行t检验。此时，不必要求满足正态性假定。,如果样本容量足够大，而且总体回归模型满足MLR.1-5，那么通常的F检验也是适用的。,需要注意的是，进行大样本推断的前提是MLR.5（同方差假定）必须成立。,.,28,拉格朗日乘子统计量(Lagrange Multiplier statistic),

14、当我们使用大样本并且依靠渐近正态性(asymptotic normality)进行推断时，除了t和F统计量，我们还可以使用别的统计量。,拉格朗日乘子或LM统计量是检验多重限定性约束(multiple exclusion restrictions)的另一种选择，LM统计量使用一个辅助性的回归(auxiliary regression)，因此它有时也被叫做nR2统计量。,对于大样本数据，可以使用LM检验对多个线性假设进行检验，前提是高斯马尔科夫假定（ MLR.1-5 ）成立,.,29,假设我们有一个标准模型: y = b0 + b1x1 + b2x2 + . . . bkxk + u,而我们的零假

15、设为: H0: bk-q+1 = 0, . , bk = 0,我们的备选假设为: H1: bk-q+1, . , bk 中至少有一个不为零,.,30,LM检验的特性(Characteristics of LM test),LM统计量有时被称作是nR2，或者得分统计量(score statistic),约束q的个数(number of restrictions, q ) 辅助R2的大小(the size of the auxiliary R-squared ) 样本容量(the sample size),相关的因素只有:,未约束模型中自由度的个数 未约束模型和被约束模型的R2,不相关的因素有:,

16、.,31,LM检验与F检验和t检验的优劣对比 LM test vs F test & t test,在大样本中，F检验和LM检验得到的结果相似。 只有一个约束时，F检验和t检验是等价的，然而LM检验和F检验并不等价。 主回归和辅助回归必须使用相同的一组观测值。,.,32,例5.3: Economic Model of Crime(crime1.raw),narr86= 0+1pcnv+2avgsen+3tottime+4ptime86+5qemp86+u H0: 2= 3=0 H1: 2和3至少有一个不为0 Steps （i）对约束模型进行回归，得到残差,（ii）用 对无约束模型的所有解释变量

17、进行回归，得到Ru2,可知Ru2 =0.0015，从而LM=nRu2 = 27250.0015=4.09 Df=2，显著性水平为5%的2 分布临界值为5.99，显然有LM5.99，因此不能拒绝H0.,.,33,渐近有效(Asymptotic Efficiency),在高斯-马尔可夫假定下，OLS估计量以外的估计量可以具有一致性。 但是，在高斯-马尔可夫假定下，OLS估计量具有最小的渐近方差(asymptotic variances)。 我们说在高斯-马尔可夫假定下OLS估计量是渐近有效的估计量。,值得注意的是如果同方差(homoskedastic)的假定不成立，上述结论也不能成立。,.,34,定理5.3： OLS估计量的渐近有效性 Asymptotic Efficiency of OLS Estimators,在高斯马尔科夫假定下，将 记为如下方程的估计量：,其中， 为任何一个观测值i的所有自变量的函数,进一步，让 为OLS估计量，那么，OLS有最小的渐近方差，即：,.,35,证明OLS估计量的渐近有效性,简单回归模型yi = b0 + b1xi + ui中b1OLS估计量的方差为：,现在考虑一个新的估计量：,其中，xi可以转化为z： zi=xi2,.,36,我们首先证明 是一致