3.多元回归分析3：渐近性课件

多元回归分析：大样本性质（渐近性）,y=b0+b1x1+b2x2+.bkxk+u,1,在高斯-马尔科夫假定下，OLS估计量是BLUE。但并不是在任何情况下都能得到无偏估计量。OLS估计量的有限样本、小样本或精确性质对任何样本容量都成立无偏性（假设1-假设4：参数线性、随机抽样、解释变量有变化、零条件均值；P48）；但无偏性并非总能实现最优线性无偏估计量（+扰动项的方差假设）：CH3.5OLS估计量的抽样分布（+扰动项的正态分布假设）CH4如果扰动项是正态分布的，则OLS估计量也是正态分布的，因此可以根据t分布和F分布构造检验统计量扰动项是不可观测的，因此对扰动项分布的检验通常转化为对因变量分布的检验,2,3,4,在样本容量增大的过程中，估计量的偏差会如何变化一致性正态分布的假定是否可以放松渐近正态性渐近有效性在不能得到无偏估计量的情形下，我们希望得到的估计量具有一致性，即随着n，估计值收敛于真实值。一致性指的是随着样本容量逐渐增大过程中的趋势性特征，并不针对某一特定的样本量即使没有正态性假定，OLS估计量也会渐近地服从正态分布；针对OLS估计量的t和F统计量在样本容量增大的情形下，会渐近地服从t和F分布,5,n增大时的抽样分布,6,b1,n1,n2,n3,n1n2n3,7,无偏性和一致性,估计量在有限样本中有偏的，但可能具有一致性估计量是无偏的，但可能不具有一致性假设z的真值为0，随机变量X以0.5的概率取1，而以0.5的概率取-1，那么,E(x)=0=z。但是,当n趋向无穷大时,X总是在X=0这条线上下摆动，它的方差并不会趋于0。因此，它不是Z的一致估计量。无偏估计量何时具有一致性对于无偏估计量，参数真值始终在其分布中心，即总是不会偏离真值太远随着样本容量的增加，如果无偏估计量的方差趋于0，则表明其取值范围以真值为中心不断集中如果一个的无偏估计量Wn的方差var(Wn)0asn，则，Wn是的一致估计量,8,OLS估计量的一致性,在Gauss-Markov假定下，OLS估计量是一致的（也是无偏的）在简单回归的情形下，一致性的证明与无偏性的证明是相同的证明一致性需要利用概率极限(plim),9,一个弱一点的假设,对于无偏性，利用的假定条件是：E(u|x1,x2,xk)=0为得到一致性，所需要的假设要弱一些：零均值和零相关性E(u)=0cov(xj,u)=0,forj=1,2,k没有这一假定(cov(xj,u)0)，OLS估计量可能是有偏的、且非一致的!cov(xj,u)=0与E(u|x1,x2,xk)=0的关系E(u|x1,x2,xk)=0cov(xj,u)=0E(u|x1,x2,xk)=0不成立，但cov(xj,u)=0成立：OLS估计量是有偏但一致的E(u|x1,x2,xk)=0成立，意味着总体回归模型是正确设定的,10,渐近偏差偏误的方向取决于x1和u之间的协方差如果x1和u之间的协方差相对于的x1方差很小，则这种不一致性就可以忽略,11,推导非一致性：遗漏变量,误差项与任意解释变量相关，都会导致所有的OLS估计量失去一致性与考虑省略变量偏误类似：,12,不一致性可以看成是偏误不一致性与偏误主要的区别在于，偏误使用的是总体方差和总体协方差，无偏性用的是样本方差和样本协方差不一致性的严重程度取决于解释变量与遗漏变量之间的相关程度非一致性是大样本问题，不会因为样本容量的增大而消失遗漏变量不仅会导致与之具有相关性的解释变量对应的估计系数不具有一致性，也会导致与之不具有相关性的解释变量对应的估计系数不具有一致性；除非遗漏的变量与所有的解释变量都不相关，从而使得扰动项满足高斯-马尔科夫经典假定考虑一个模型为：y=b0+b1x1+b2x2+u其中，u和x1相关，即cov(u,x1)0(x1为内生变量)，cov(u,x2)=0(x2为外生变量)，若cov(x1,x2)0，则b1和b2的OLS估计量均不一致。若cov(x1,x2)=0，则只有b1的OLS估计量不一致。,13,OLS估计量的渐近分布,在CLM（经典线性模型）假定下，样本分布是正态的，因此可以导出用以检验的t分布和F分布因为假定误差项的分布是正态的误差项服从正态分布，则对于给定的x，y也服从正态分布OLS估计量是误差项的线性函数，所以也是正态的正态性的假定是很容易违背的！一些变量具有明显的偏态，如工资、犯罪、储蓄，而正态分布是对称的某些变量的分布是截断的正态性假定并不是OLS估计量是BLUE这一结论所必须的，仅仅出自于统计推断的需要即使y不是来自于正态总体的样本，当样本容量不断增加时，OLS估计量也会渐近地趋向于正态分布，即OLS估计量具有渐近正态性,14,15,16,17,18,19,中心极限定理,根据中心极限定理，可以证明OLS估计量是渐近正态的令Zn:n=1,2,为一系列随机变量，渐近正态是指，当n时，P(Znz)F(z)，或者P(Znz)(z)，记为:ZnaN(0,1)中心极限定理表明，任意总体的平均值根据均值m和标准差s进行标准化后渐近服从于N(0,1),渐近正态性,20,根据t分布的定义以及正态分布的自由度，有：,21,在大样本中，不一定需要正态性假定，但必须要求满足同方差，即所有样本是独立同分布的、来自同一总体；扰动项具有有限方差,随着自由度的增大，t分布会逐渐趋近于标准正态分布,理解定理5.2,Gauss-Markov假定：线性结构Linearstructure随机抽样randomsampling无严格共线性Noperfectcollinearity零值条件期望Zeroconditionalmean对于误差项u的唯一限制就是，假定误差的分布具有有限的方差：同方差性:Var(u|x)=s2误差项u的正态性假定MLR.6被放弃,22,(i)渐近正态性与渐近方差,24,渐近标准误,当u不是正态分布时，标准误有时指的是渐近标准误,标准误收敛，收敛速度为样本容量平方根的倒数需要同方差假设,拉格朗日乘数统计量,在大样本情形下或渐近正态性假定，我们可以利用t统计量和F统计量进行统计推断拉格朗日乘数检验，可用于检验对参数所施加的额外约束由于LM统计量利用了辅助回归，有时被称为nR2统计量,25,假设标准模型为：y=b0+b1x1+b2x2+.bkxk+uH0:bk-q+1=0,.,bk=0首先回归受约束模型,26,在大样本情形下，LM检验与F检验的结果通常是非常类似的,LM统计量决定于三个因素：辅助回归，是将受约束模型回归所得残差2对所有自变量x1xk-q,xk-q+1,xk回归。主回归(受约束模型回归)和辅助回归(2对所有自变量x1xk-q,xk-q+1,xk回归)必须使用相同的样本观测值。在大样本下，LM检验和F检验的结果比较相近。对于单个约束的检验，F检验和t检验是等价的；但是LM检验和F检验，则并不等价。,27,渐近有效,有限样本下，在Gauss-Markov假定下,OLS估计量是BLUE(bestlinearunbiasedestimators).已经知道:在大样本下，在假定MLR.1-4下，OLS估计量具一致性。在大样本下，在Gauss-Markov假定下，OLS估计量的渐近正态性和渐进方差。OLS的渐近方差的相对大小：在Gauss-Markov假定下，在某种类型的估计量中，OLS估计量是否具有最小的渐近方差？如果具有最小的渐近方差，则称OLS估计量是渐近有效(asymptoticallyefficient)的估计量。,28,29,对于一个简单回归模型：y=b0+b1x1+uz1=g(x1)在Gauss-Markov假定下：E(u|x1)=0,有：(1)E(u)=0,Cov(u,x1)=0;(yi-b0-b1xi1)=0,x1(yi-b0-b1xi1)=0(2)E(u)=0,Covu,z1=Covu,g(x1)=0(yi-b0-b1xi1)=0,g(x1)(yi-b0-b1xi1)=0,30,由(1)得OLS估计量：,31,由(2)得估计量：,若Cov(z1,x1)!=0,Cov(z1,u)=0，则存在且一致。又称为工具变量估计量(aninstrumentalvariablesestimator)。当z1=g(x1)=x1时，与OLS估计量相同。,32,渐近方差,33,比较渐近方差：,故，对于简单回归模型而言，OLS估计量是渐近有效的。,34,一般情形,对于多元回归模型，y=b0+b1x1+b2x2.+bkxk+u取zj=gj(xj),j=0,1,k,在Gauss-Markov假定下，由E(u|xj,j=1,K)=0有：Cov(u,xj)=0，且Covu,