计量经济学讲义_第1页
计量经济学讲义_第2页
计量经济学讲义_第3页
计量经济学讲义_第4页
计量经济学讲义_第5页
已阅读5页,还剩176页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、计量经济学讲义浙江工商大学金融学院 姚耀军目录第一讲 OLS的代数2第二讲 OLS估计量17第三讲 假设检验33第四讲 异方差63第五讲 自相关81第六讲 多重共线106第七讲 虚拟变量121第八讲 时间序列初步:平稳性与单位根133第九讲 协整与误差修正模型157第十讲 ARCH模型及其扩展164第一讲 OLS的代数一、 问题假定y与x具有近似的线性关系:,其中是随机误差项。我们对这两个参数的值一无所知。我们的任务是利用样本去猜测的取值。现在,我们手中就有一个样本容量为N的样本,其观测值是:。问题是,如何利用该样本来猜测的取值?一个简单的办法是,对这些观察值描图,获得一个横轴x,纵轴y的散点

2、图。既然y与x具有近似的线性关系,那么我们就在散点图中拟合一条直线:。该直线是对y与x的真实关系的近似,而分别是对的猜测(估计)。问题是,如何确定与,以使我们的猜测看起来是合理的呢?二、 OLS的两种思考方法法一:与是N维空间的两点,与的选择应该是这两点的距离最短。这可以归结为求解一个数学问题:在这里定义了残差。法二:给定,看起来与越近越好(最近距离是0)。然而,当你选择拟合直线使得与是相当近的时候,与的距离也许变远了,因此,存在一个权衡。一种简单的权衡方式是,给定,拟合直线的选择应该使与、与、.、与的距离的平均值是最小的。距离是一个绝对值,数学处理较为麻烦,因此,我们把第二种思考方法转化求解

3、数学问题:由于N为常数,因此上述两个数学问题对于求解与的值是无差异的。三、 求解定义,利用一阶条件,有:方程(1)与(2)被称为正规方程。由(1),有:把带入(2),有:关于正规方程的直觉:无论用何种估计方法,我们都希望残差所包含的信息价值很小,如果残差还含有大量的信息价值,那么该估计方法是需要改进的!对模型利用OLS,至少我们能保证(1):残差均值为零;(2)残差与解释变量x不相关【一个变量与另一个变量相关是一个重要的信息】。练习:(1)利用离差之和为零的代数性质,验证:补充:定义y与x的样本协方差为:;x的样本方差为,则我们用表示总体协方差,表示总体方差。上述定义的样本协方差及其样本方差分

4、别是对总体协方差及其总体方差的一个有偏估计;及其才分别是对总体协方差及其总体方差的一个无偏估计。(2)假定,用OLS法拟合一个过原点的直线:,求证在OLS法下有:并验证: 笔记:现在只有一个正规方程,该正规方程同样表明。无截距回归公式的一个应用假定y与x真实的关系是:对(3),按照无截距回归公式,有:(3) 假定,用OLS法拟合一水平直线,即:,求证。四、 一些基本的性质对于简单线性回归模型:,在OLS法下,存在如下代数性质:(一)拟合直线过点,。(二)由正规方程(1)可知,残差之和为零。注释:只有拟合直线带有截距时才存在正规方程(1)。(三)由正规方程(2)可知,残差与x的样本协方差为零,即

5、残差与x样本不相关。【注意:该性质的获得也利用了性质(二)】。练习:证明残差与也是样本不相关的。(四)定义其中TSS、ESS、RSS分别被称为总平方和、解释平方和与残差平方和。则:TSS=ESS+RSS。证明:练习:(1) 基于前述对Var(x)、Cov(x,y)的定义,验证:其中a,b是常数 本讲义一般利用Var(x)及其Cov(x,y)表示样本方差和协方差,但有时为表述方便,也用它们来表示总体方差和协方差。但无论如何,此处的公式在两种情况下都是可用的。(2)对于简单线性回归模型:,在OLS法下,证明提示:(五)为了判断拟合直线对观测值的拟合程度,我们定义判定系数。显然,而意味着各残差都为零

6、,即拟合直线与样本数据完全拟合。R2也是与的样本相关系数r的平方。证明:练习:(1)对于简单线性回归模型:,在OLS法下,证明R2是y与x的样本相关系数的平方。 (2)对于模型:,在OLS法下,证明R2=0。一个警告!软件包通常是利用公式,其中来计算R2。应该注意到,我们在得到结论时利用了的性质,而该性质只有在拟合直线带有截距时才成立,因此,如果拟合直线无截距,则上述结论并不一定成立,因此,此时我们不能保证R2为一非负值。总而言之,在利用R2时,我们的模型一定要带有截距。当然,还有一个前提是,我们所采用的估计方法是OLS。五、 R2、调整的R2、自由度我们估计总体均值至少需要一个观测值,估计总

7、体方差至少需要两个观测值,进而推之,需要估计的参数越多,那么对样本容量的要求越高。如果在模型中增加解释变量,那么总的平方和不变,但残差平方和至少不会增加,一般是减少的。为什么呢?举一个例子。假如我们用OLS法得到的模型估计结果是:, 此时,OLS法估计等价于求解最小化问题:令最后所获得的目标函数值(也就是残差平方和)为RSS1。现在考虑对该优化问题再施加约束:并求解,则得到目标函数值RSS2。比较上述两种情况,RSS1是全局最小而RSS2是局部最小。因此,RSS1小于或等于RSS2。应该注意到,原优化问题施加约束后对应于模型估计结果:因此,如果单纯依据R2标准,我们应该增加解释变量以使模型拟合

8、得更好。增加解释变量将增加待估计的参数,在样本容量有限的情况下,这并不一定是明智之举。这涉及到自由度问题。什么叫自由度?假设变量x可以自由地取N个值,那么x的自由度就是N,然而,如果施加一个约束,a为常数,那么x的自由度就减少了,新的自由度就是N-1。如果利用公式来估计总体方差,我们将得到的是一个有偏的估计【什么叫有偏?如果我们无限次重复抽取样本容量为N的样本,针对每一个样本都可以计算一个方差的估计值。然后,对这些方差的估计值计算平均值,如果该平均值不等于总体真实方差,那么我们所采取的估计法则是有偏的】。而利用公式,我们将得到一个无偏的估计。事实上,在计算样本方差时,自由度是N-1而不是N。为

9、什么?这是因为存在一个约束:【换个思路看,是因为在计算样本方差时我们先必须利用公式计算样本均值,这实际上是一个约束条件】。再考虑残差的自由度。对残差有多少约束?根据正规方程(1)(2),有:,因此存在两个约束。故残差的自由度是N-2。思考:利用OLS,当拟合函数(样本回归函数)是:时,残差的自由度为多少?R2忽视了自由度问题。我们已知道在这里与都是有偏估计,现在,我们对自由度作调整,重新定义一个指标,即所谓的调整的R2():应该注意到,如果是针对多元线性回归模型,待估计的斜率参数有k个,也含有1个截距(即总的待估计系数参数的个数为k+1个),那么上述公式就是:小于R2,且存在是负数的情况。思考

10、:如果用增加解释变量的方法来提高R2,这一定会提高吗?笔记:我们已经知道,增加解释变量一般是增加R2(至少不会减少),但将减少自由度。直观来看,自由度过少有什么问题呢?举一个例子:对简单线性回归模型,假定我们只有两次观测,显然,我们可以保证R2=1,即完全拟合。但我们得到的这个拟合直线很可能与y与x的真实关系相去甚远,毕竟我们只有两次观测【与抛硬币的例子类比吧,为了说明硬币两面质量均匀,抛一两次硬币能够充分说明问题吗?】。事实上,此时自由度为0!六、 简单线性回归模型拓展到多元线性回归模型考虑,各系数的估计按照OLS是求解数学问题:因此,存在三个正规方程:第一个方程意味着残差之和为零,也意味着

11、及其第二个方程意味着残差与x样本不相关;第三个方程意味着残差与z样本不相关。如果样本回归函数是呢?你应该能够推广相关性质!七、 OLS的矩阵代数(一)矩阵表示总体多元回归模型是:如果用矩阵来描述,首先定义下列向量与矩阵:模型的矩阵表示: (二)如何得到OLS估计量?求解一个最小化问题:,有:而根据矩阵微分的知识(见文本框),有:故,则矩阵微分与都是标量。重要的规则:一个标量关于一个列向量的导数仍是列向量,并且维数保持不变。注意,为了保证的存在,OLS具有一个假设:X列满秩,即不存在完全共线性。关于矩阵的秩是矩阵,为了保证的存在,那么,基于矩阵知识点:,因此这也要求。是矩阵,因此X列满秩。考虑简

12、单线性回归模型的矩阵表示:X列满秩意味着,其中为常数,这也意味着:【你能证明吗?】,注意到,而正是我们所要求的!思考:对于模型,如果我们只有2个观测值,我们能够得到吗?第二讲 OLS估计量一、 估计量与估计值对总体参数的一种估计法则就是估计量。例如,为了估计总体均值为u,我们可以抽取一个容量为N的样本,令Yi为第i次观测值,则u的一个很自然的估计量就是。A、B两同学都利用了这种估计方法,但手中所掌握的样本分别是与。A、B两同学分别计算出估计值与。因此,在上例中,估计量是随机的,而是该随机变量可能的取值。估计量所服从的分布称为抽样分布。如果真实模型是:,其中是待估计的参数,而相应的OLS估计量就

13、是:我们现在的任务就是,基于一些重要的假定,来考察上述OLS估计量所具有的一些性质。二、 高斯-马尔科夫假定与高斯-马尔科夫定理假定一:真实模型是:。有三种情况属于对该假定的违背:(1)遗漏了相关的解释变量或者增加了无关的解释变量;(2)y与x间的关系是非线性的;(3)并不是常数。假定二:在重复抽样中,被预先固定下来,即是非随机的(进一步的阐释见附录),显然,如果解释变量含有随机的测量误差,那么该假定被违背。还存其他的违背该假定的情况。假定三:误差项期望值为0,即。假定四:,即所谓的同方差假定。假定五:,即所谓的序列不相关假定。假定六:,在多元回归中,该假定演变为的逆存在,即各解释变量不完全共

14、线。笔记:都是关于误差项的假定,如果模型:确实是恰当的,那么误差项应该不含有还可以利用的信息价值。如果误差项是序列相关的,显然这表明误差项还含有可以利用的信息价值。另外,由于假定是非随机的,所以误差项与任意xi都是不相关的。OLS估计量作为一种线性估计量,在高斯-马尔科夫假定下,我们将证明它具有良好的统计性质。所谓OLS估计量是线性估计量,是指它能够被表示为的线性函数。例如,。注意,在假定二下,ki是非随机的。练习:把表示成的线性函数(一)无偏性而;在重要假定三:下,练习:证明(二)最小方差性在的所有线性无偏估计量中,OLS估计量具有最小的方差。1、关于方差在重要假定五:及其重要假定四:下,而

15、因此,练习:证明在高斯-马尔科夫假定下:练习:在重要假定四与五下证明:练习:证明在高斯-马尔科夫假定下:练习:证明在高斯-马尔科夫假定下:2、把任意一种线性估计量表示为,当时,该估计量即为的OLS估计量。在所有无偏的的线性估计量中,OLS估计量具有最小的方差。首先强调一个前提,即“在所有无偏的的线性估计量中”。现在我们的任务是,在给定前提下(约束条件),证明OLS估计量所对应的权数使方差(目标函数)取最小值。首先分析前提条件。线性估计量的表达是:为了保证的无偏性,那么应该保证: 因此,其次分析方差表示。在同方差及其无自相关假定下,有最后,形成数学问题:或者说,对上述极值问题,其拉格朗日函数是:

16、应该注意到,把(3group)中各式相加并利用(4)有:,即;把(3group)中第i式两边同乘以并各式相加,然后利用(5),有:,即因此,;因此,而在前面我们已知道这个权数正是的OLS估计量所对应的权数!练习:证明OLS估计量在所有的线性无偏估计量中方差是最小的。总结:在高斯-马尔科夫假定下,OLS估计量是最优线性无偏估计量(best linear unbiased estimator,BLUE),这被称为高斯-马尔科夫定理。应该注意,线性性质不过是OLS估计量在假定一下所具有的代数性质,无偏性与有效性才是高斯-马尔科夫定理所强调。在附录2中,本讲义提供了很多教科书对该定理的另外一种证明形式

17、。笔记:由,当N趋于无穷大时,样本方差收敛于总体方差,故当N趋于无穷大时,趋于0。由于,因此,当N趋于无穷大时,在概率上收敛于,即是的一致估计量。你能够表明是的一致估计量吗?应该注意到,一致性是估计量应该满足的最低要求。想一想,如果把总体都告诉了你,但你的估计或者猜测却与真实参数不一致,你是不是应该检讨一下你的估计方法?三、 补充知识点补充知识点1:在高斯-马尔科夫假定下对的一个无偏估计是:证明:由于xi是非随机的,按照假定,我们在练习中也证明了,因此,有:,按照方差公式及其前述已有结论,因此,有:故,因此,笔记:就是残差的样本方差【在含截距的简单线性回归模型中,残差的自由度是多少?】。误差是

18、观测不到的,但我们能利用样本得到残差。直观来看,我们可以利用残差的样本方差来作为对误差方差的估计。上述证明结果表明,这个估计还是无偏的。应该注意,尽管在高斯-马尔科夫假定下是对的无偏估计,然而并不是对的无偏估计,不过可以证明是对的一致估计。被称为“回归的标准误”(standard error of regression,SER)。为什么在高斯-马尔科夫假定下是对的无偏估计,但并不能由此推出是对的无偏估计?从数学上可以表明,当是非线性函数时,由不能推出。事实上由利用Jensen不等式有:Jensen不等式:,当g是凸函数(凸向原点)时;,当g是凹函数(凹向原点)时。另外可以证明,是对的一致估计,

19、这意味着,的方差随样本容量的增加而趋于零。由于,因此,当样本容量无穷大时,在概率上收敛于,即的概率极限为。概率极限运算具有这样一个性质,即:由上述性质,则,故有:即,如果是对的一致估计,则是对的一致估计,反之亦然。补充知识点2:基于OLS的预测假定真实模型是:,模型满足高斯马尔科夫假定。利用OLS法得到:。现在我们获得一次新的观测,然而此次观测只得到x的取值是xf。(一)如何预测yf?以作为对yf的预测。此时预测误差是:显然,E(e1)=0。笔记一:的随机性来源于。 N是样本容量,正是基于该样本获得估计结果。与是不相关的,因此与无关。笔记二:根据上述表达式可知,当时,预测误差方差最小。直觉是什

20、么呢?以工资对教育水平回归为例。首先你基于一个样本得到估计结果,该样本主要由具有初中和高中学教育水平的人构成。想一想,如果利用已有的回归结果去预测一位博士的收入,预测精度会高吗?如果利用已有的回归结果去预测一位小学可能都未读完的人的收入,预测精度会高吗?(二)如何预测E(yf)?以作为对E(yf)的预测。此时预测误差是:显然,E(e2)=0。比较可知,更适合作为对E(yf)的预测。上述预测实际上是属于点预测。还有一种预测被称为区间预测,参见第三讲附录3。附录1:理解的非随机假定在初级计量经济学中,被假定是非随机的,这样数学处理起来要简单得多。实际上,它并不是一个标准假定。在中高级计量中,可以是

21、随机的,但假定三被修订为:。下面我们考虑一个是非随机的例子。我们想考察受教育年限(x)对收入(y)的影响。假定预先知道总体中有1%的人口接受了22年的学校教育;有3%的人口接受了19年的学校教育;有10%的人口接受了16年的学校教育。现在,我们进行一个样本容量为1000的抽样调查。为了使样本尽量反映总体的情况,我们要求样本中有10人接受了22年的教育;有30人接受了19年的教育;有100人接受了16年的教育。这种抽样技术被称为分层随机抽样(Stratified random sample)。在抽样中,设定前10次观测就是那接受了22年的教育的10人,接下来是接受了19年教育的30人,在多次重复

22、抽样时,我们保持这样的设定。于是,在重复抽样中,被预先固定下来,即是非随机的。附录2:高斯马尔科夫定理另外一种常见的证明方式(一)无偏性在重要假定三:下,即是的无偏估计量。(二)最小方差性在的所有线性无偏估计量中,OLS估计量具有最小的方差。1、关于方差在重要假定五:及其重要假定四:下,2、证明在的所有线性无偏估计量中,OLS估计量具有最小的方差。我们已知道OLS估计量是线性无偏估计量,即, 。假设是用其他估计方法得到的关于的线性无偏估计量,设。因此,当然,令,则必有:现在来求的方差。在重要假定五与重要假定四下,而因此,当时等号成立。注意,恰好是OLS估计量的方差。第三讲 假设检验一、 经典线

23、性模型假定对于,利用OLS有:在高斯-马尔科夫假定下,OLS估计量的抽样分布完全取决于误差项的分布。在高斯-马尔科夫假定中,我们要求误差项是序列无关与同方差的,现在,我们施加更强的假定,即误差项服从正态分布,即。应该注意到,当误差项服从正态分布时,序列无关与独立性是等价的。因此,我们可以把上述分布假设写为:,即误差项服从独立同正态分布。为什么要施加更强的假定呢?这是为了进行小样本下的假设检验。与高斯-马尔科夫假定一起,被称为经典线性模型假定。在经典线性模型假定下,可以证明,OLS估计量是方差最小的无偏估计量(注意!此时不需要把比较范围限制在线性估计量之中)。笔记一: 假设误差项服从正态分布的合

24、理性在于,误差项是由很多因素构成的,当这些因素是独立同分布时,依照中心极限定理,那么这些因素之和应该近似服从正态分布。当然,这并不意味着用正态分布来近似误差项的分布总是恰当的,例如,各因素或许并不同分布。另外,如果y是价格这样的变量,那么假设误差项服从正态分布是不合理的,因为价格不可能是负数,然而,我们可以进行变量变换,例如对价格取自然对数或者考察价格的变化率,那么经过变量变换之后,或许再假设误差项服从正态分布就变得合理了。笔记二:根据可以看出,在大样本下,只要误差项是独立同分布的(并不需要要假定误差项是服从正态分布的),那么根据中心极限定理,是近似服从正态分布的。当然,为了保证误差项的独立性

25、,抽样的随机性是十分关键的。笔记三:我们可以对这个假设进行检验。当然,由于误差是观测不到的,我们不得不利用残差来代替误差。一种常用的正态性检验是Jarqe-Bera(JB)检验,具体可参见相关教科书。二、 利用标准正态分布作假设检验假定是真实模型,当然我们并不知道各参数的真实值是多少。但某一经济经济理论预言。如果你手中掌握一样本,一个问题是,你所掌握的样本支持这个预言吗?在经典线性模型假定下,或者定义,则z就是所谓的z统计量。估计量是用来估计真实参数的,而统计量是用来做统计推断(或者假设检验)的;统计量是随机的,其分布也被称为抽样分布,针对特定样本,我们得到统计量值,它是非随机的。,其中, 。

26、练习:确定的分布。现在,假设经济理论的预言是正确的,那么针对特定的样本你将得到标准正态分布图横坐标上的一个点:在这里,该式是非随机的,而特别应该注意的是,分子中的是估计值,而分母中的是估计量。估计值的标准差是零!。现在来考察标准正态分布。在该分布上,存在对称的两点:与,其中:如果把概率为5%的事件称为小概率事件,那么,当的取值大于或者小于时,我们认为小概率事件发生了!小概率事件一般是不容易发生的,现在居然发生了,因此,我们应该怀疑上述经济理论所作出的预言。*另外一种直觉性的解释:当 这个假设为真时,粗略看来,即使估计值 与完全相等不太可能,但估计值 应该接近于。然而我们也要注意到,对的估计还存

27、在精确性问题,这通过统计量的标准差体现出来。也就是说,在原假设为真时,即使估计值 与有一定的差异,然而如果较大,那么出现 与的较大差异也许是正常的。不过总的来看,当原假设为真时,z统计量值是应该接近于0的,这要么是因为中的分子确实接近于0,要么是因为尽管 与有一定的差异,但较大。当z统计量值与0具有较大差异时,那么 这个假设的真实性是值得怀疑的!* 正式步骤:(1)建立原假设与备择假设:注:原假设与备择假设互斥而假设体系应该是完备的,即原假设与备择假设两者之一必为真,但两者不能同时为真。(2)确定小概率标准a。经常我们把1%、5%或者10%作为小概率标准。对a更加正式的称呼是“显著水平”。 (

28、3)考察统计量值是否落在区间:之内。如果落在上述区间之内,那么在a显著水平上,我们拒绝原假设,接受备择假设;反之,我们不拒绝原假设,拒绝备择假设。思考一:为什么当统计量值落在之外时我们说“不拒绝原假设”而不是说“接受原假设”?解释:你可以作出很多的原假设,例如,而你所计算出来的一些统计量值恰好都落在之外,难道你既接受也接受?显然更恰当的表达方式是,即不拒绝也不拒绝。* “接受原假设”没有留有余地,而“不拒绝原假设”表明我们的结论是留有余地的,即,在另外的原假设下也可能不拒绝。“接受备择假设”留有余地吗?应该注意到,备择假设是,因此,即使说“接受备择假设”,这也是留有余地的。*思考二:设定1%、

29、5%或者10%为显著水平显得有点随意,为何不设2%、6%、7%等为显著水平呢?是否可以依据一个更一般的标准来进行假设检验?解释:可以依据一个更一般的标准来进行假设检验!既然我们已经计算出统计量值,如果z为正,那么根据正态分布表,我们就能够确定的值,我们通常把这个概率值称为伴随概率,简写为P或者Prob.【注:如果z值为负,那么我们能够确定的值】,这个概率值很有用处!例如,假定P值是0.062,那么,显然,以任何小于6.2%的概率为小概率标准,我们并不拒绝原假设;以任何大于6.2%的概率为小概率标准,我们拒绝原假设。总结:在进行双尾检验时,当P小于给定的显著水平时,那么在给定的显著水平下应该拒绝

30、原假设;反之,则不拒绝原假设。上述检验都属于双尾检验,即是拒绝域。如果假设体系是:那么在显著水平a下,拒绝域应该是,我们进行的是单侧(尾)检验。问题是我们为何要设置这样的假设体系呢?这依赖于先验的理论与判断。例如,假定是某正常商品的消费收入弹性,那么不可能为负。我们可以通过建立如下的假设体系:并基于样本来判断是否为真。关于单侧检验的拒绝域见附录1。思考题:在假设体系下,计量软件包计算出统计量值z,而且P值为0.120【注:计量软件包默认的P值是双尾的概率,当z为正时,它计算的是】。问:在假设体系下,以10%为显著水平,我们是否拒绝原假设?提示:这依赖于z值是在0右边还是在左边。三、 t检验虽然

31、在经典线性模型假定下:然而,在之中,经常是未知的,需要我们估计。在第二讲时,我们已知道,在高斯马尔可夫假定下,是对的一个无偏估计。我们记,(注:the standard error,se;the standard deviation,sd)。问题是,服从什么分布?可以证明,此时,在经典线性模型假定下,注:(1)关于随机变量概率分布的知识点见本讲附录2; (2)在经典线性模型假定下可证明具体可参见一些较为高级的教科书。另外,根据附录2的知识点,一个服从卡方分布的随机变量其期望值等于自由度,故。实际上在第二讲我们已经证明了,这验证了该知识点。接下来,检验步骤和应该注意的细节就和第二小节没有差异了,

32、除了所利用的是t分布而不是标准正态分布。笔记一:随着自由度趋于无穷大,t分布渐进于与标准正态分布,见附录2知识点4。事实上,当自由度趋于无穷大时,在概率上收敛于【前者是对后者的一致估计】,因此,随着自由度趋于无穷大,渐进服从于标准正态分布。笔记二:通过观察t分布表可知,给定显著水平,随着自由度的增加,右侧临界值递减。当自由度为10时,有:进行回归分析时自由度一般都大于10。如果情况确实如此,那么当你得到一具体的t值时,你应该能够粗略地判断在多大的显著水平下是否拒绝原假设。 思考题:一样本其容量为30,建立回归模型:等于-4,根据笔记二,请判断在显著水平1%、5%与10%下是否拒绝原假设。在实践

33、中,我们经常感兴趣的是是否为零,显然,此时,在假设体系:下,t统计量是。针对特定的样本,计量软件会自动计算t值。如果原假设被拒绝,那么我们就说在某某显著水平上x是统计上显著的;如果不能被拒绝,则就说x在某某显著水平上是统计上不显著的。你应该注意:即使的绝对值很小很小(即所谓的变量x无经济显著性或者实际显著性(economic significance/practical significance),但在统计上,它可能显著地与0不同。笔记:仅仅关注统计上显著性而忽视经济显著性是不恰当的。事实上,我们可以通过增加样本容量从而试图减小标准误,来达到x在统计上是显著的这个效果。从此种意义上看,仅仅关注

34、统计上显著性无疑是一个统计(数字)游戏!四、置信区间 被称为的区间估计量,而1-a是置信水平。应该注意,当样本并未指定时,是一个随机区间!我们可以说,该随机区间包含真实参数的概率为1-a。然而,当样本给定后, 及其通过计算已经被获得,那么就不再是随机区间了,该区间要么包含的真实值要么不包含,故我们不能说,该确定性区间包含真实参数的概率为1-a。然而,在重复抽样的情景下,我们可以获得无限多的确定性区间,在这些区间中,有百分之100(1-a)的区间将包含的真实值【大数定理的应用】。当原假设为真时,如果根据某一样本所得到的置信区间并未包含,那么小概率事件发生了,因此,我们将拒绝这个原假设。反之,则不

35、拒绝原假设。如此看来,利用置信区间作假设检验本质上是与t检验等价的。思考题:是x的系数,根据一样本,我们得到:。(1)试判断变量x在10%显著水平下是否统计显著;(2)在假设体系:及其10%显著水平下,我们是否拒绝原假设?与置信区间有联系的一个概念是所谓的区间预测,见附录3。五、F检验现在我们把简单线性回归模型扩展为多元线性模型,例如:如果我们对原假设是否成立感兴趣,我们该怎么办?。第一步:在原假设下有受约束模型:,或者估计上述模型得到残差平方和RSSr;第二步:估计不受约束模型得到残差平方和RSSur;第三步:定义F统计量在经典线性模型假定假定下及其原假设下,该统计量服从分布在这里。在这里,

36、dfr是估计受约束模型时所得到的残差的自由度;dfur是估计不受约束模型时所得到的残差的自由度。在我们的例子中, 。*OLS要求残差平方和最小,现在我们得到了两个残差平方和,即RSSr与RSSur,显然RSSr RSSur(?),于是,上述对F的定义满足F0。回忆F分布的图形,它是在第一象限被定义的。*如果原假设为真,即我们所施加的约束是正确的,那么,尽管RSSr RSSur,但RSSr与RSSur应该相差不多,因此,如果相差很大,那么我们就应该怀疑原假设了!由于RSSr与RSSur与被解释变量的测度单位有关,因此,我们把两者的差距除以RSSur,以使其“无单位化”。笔记:为什么除以RSSur

37、而不是RSSr?如果除以RSSr,那么计算所得的F值会更小,从而更容易不拒绝原假设,即犯第二类错误(取误)的概率增加,因此,为提高检验的势(降低犯第二类错误的概率),在此除以除以RSSur而不是RSSr, 除以RSSur相当于“提供一个放大镜,以使我们对原假设更加苛刻,不会轻易相信原假设所告诉的故事,这不正好体现了科学的怀疑精神吗?”【注:犯第一类错误(弃真)的概率就是显著水平,因此,显著水平越小,则犯第一类错误的概率就越低】总而言之,一个直觉是当F值远大于零时我们应该拒绝原假设。多远才算远?设定临界值,当我们依据样本所得到的F值落在时,我们说“在a显著水平下拒绝原假设”。笔记:在经典线性模型

38、假定及其原假设下,与独立吗?只有两者是独立的,我们才能利用附录二知识点5。事实上,当原假设为真时,趋于0,这并不依赖于RSSur的取值,因此,直观看来,与应该是独立的。 同样,当我们依据样本得到值时,我们也能够依据F分布表计算,计量软件包在F值后所给出的P值正是这个概率。F统计量的R-平方型由于(?)因此*从前述注释可以理解,不过一个更直观的理解是,不受约束的样本回归模型由于更具弹性因此应该拟合得更好。*在实践中,我们也许对原假设感兴趣。如果这个假设被拒绝,那么我们就说x1、x2、x3在统计上是联合显著的;如果不能被拒绝,则就说x1、x2、x3在统计上是联合不显著的。练习:真实模型是,对原假设

39、,请写出R-平方型的F统计量的表达式。练习:如果利用F统计量检验原假设,则有关系: (1) (2)试证明。笔记:根据在原假设下的R-平方型的F公式可知,此时的F检验实际上也是检验R2是否显著不为0。补充知识点1:简单线性回归模型下t与F值的联系 对模型,给定一样本,我们得到了参数估计值。我们对是否为0的假设感兴趣,显然,一方面可以进行t检验:另一方面,我们也可以进行F检验。此时,受约束模型是:,根据第一讲,。因此,因此,可以证明:提示:需证.由于,因此,需证:上式左端是什么?对于简单线性回归模型,在假设体系下,我们已证明。事实上,按照附录2知识点4与5,一个服从t(N)分布的随机变量其平方服从

40、F(1,N)分布。补充知识点2:增加解释变量并不一定增加,除非一、简单情形假定我们初始选择的模型是:,那么;如果我们选择的模型是:,则增加了一个解释变量x。我们已知道,此时。而,因此只有当或者时,才会大于零。二、推广在初始模型上增加解释变量,只要增加变量的估计系数的(在计算该t值时所对应的原假设是其真实系数为0),那么调整的判定系数将增加。【应该注意到,并不一定意味着增加变量其估计的系数与0有显著差异】补充知识点3:相关系数的假设检验1、简单相关系数的假设检验我们想判断随机变量x与y的简单相关系数r是否为零。按照Fisher,在假设体系:下,当原假设为真时,【注:是样本相关系数】现在我们考虑另

41、外一种思路。建立回归模型:,再考察是否与0有显著差异。上面最后一个等式之所以成立,首先是因为在简单线性回归模型中,等于y与x的样本简单相关系数的平方,其次是因为当小于零时,是负数,因此t值为正数;当大于零时,是正数,因此t值为正数。总的来看,Fisher的方法与回归检验方法等价。换句话说,如果你试图依据样本判断随机变量x与y的简单相关系数r是否为零,你可以建立简单线性回归模型然后对斜率系数进行t检验,如果与0有显著差异,则可以拒绝r为0的原假设。2、偏相关系数的假设检验x1与x2的简单相关可能是由于两变量分别与x3相关造成的。在控制了x3之后,x1与x2还具有相关性吗?在控制了x3之后,x1与

42、x2的相关关系被称为偏相关,记为。如何计算样本偏相关系数?步骤:第1步:把对进行回归有: (1)第2步:把对进行回归,即有: (2)第3步:计算与的样本简单相关系数,有:可以证明,见附录4。当然我们还能检验是否与0有显著差异。方法是对回归【注:不含截距,当然你可以包含截距,但你会发现,截距的估计结果肯定为0,这是因为与其均值都为零,而基于简单线性回归截距估计量的公式,这意味着截距估计量为0】,在原假设下进行t检验。值得注意的是,此时自由度应该是(N-2)-1=N-3而不是N-1!这是因为与的自由度是N-2。利用上述检验方法来检验x1与x2的偏相关关系显得太复杂了,事实上,基于回归模型:,在原假

43、设下进行t检验即可检验x1与x2的偏相关关系。为什么呢?因为b1就是控制了x3后x2对x1的影响【在第六讲,我们将表明】。3、复相关系数的假设检验 x1与(x2,x3)的相关关系被称为复相关,记为R。如何计算样本复相关系数?基于回归模型:,计算与的样本简单相关系数,并取绝对值,则得到x1与(x2,x3)的样本复相关系数。根据第一讲,与的样本简单相关系数的平方就是上述回归的判定系数R2。 基于回归模型:在原假设下进行F检验,则等价于检验原假设:复相关系数R=0。回忆一下,在原假设下,当判定系数R2=0时,F=0。笔记一:对于回归模型:,在原假设下进行F检验实际上是检验x1与(x2,x3)的复相关

44、关系;在原假设下进行t检验实际上是检验x1与x2的偏相关关系(控制了x3)。笔记二:即使t检验表明及其与0皆无显著差异,但这并不意味着x2与x3是联合不显著的!这就好比一种包含两种成份的药品,其中任何一种成份单独看来或许并无明显药效,然而,两成份的联合药效可能很大。 附录1:关于单侧检验的拒绝域如果假设体系是:那么在显著水平a下,拒绝域应该是。应该注意到,现在,属于“不拒绝域”了!下面提供初步的解释。假定我们在原假设下得到一个统计量值,该值为负数。在原假设为真的情况下,假定有: 注意,只有在原假设为真的情况下,我们才能利用,从而获得上述概率值。如果备择假设为真,并假定的真实值就是,那么我们也可

45、以获得概率值。显然,。因此,比较而言,原假设为真比备择假设为真更加可信!尽管在原假设为真的情况下也出现了小概率事件。你应该能够推广,如果依据一种先验的理论,我们设定假设体系是:那么在显著水平a下,拒绝域应该是前面我们是利用标准正态分布来进行假设检验。事实上,既然,我们完全也可以利用正态分布来做假设检验,其麻烦之处仅在于,此时没有标准的分布表可以利用了。如果采用这样的检验方法,那么在假设体系下,当显著水平为a时,其拒绝域如图1所示:Awa/2a/2-A图1应该注意,当原假设为真时,的分布才是如图1所示!如果备择假设为真,假定,其中,那么此时的分布如图2蓝色曲线所示。当然也可以假定,其中,那么此时

46、的分布如图2绿色曲线所示。现在,针对特定样本得到估计值,如果该值的位置恰好位于-A的左边,那么我们应该拒绝原假设;同样,当估计值的位置恰好位于A的右边时,我们也应该拒绝原假设。-AAwW1W2图2当假设体系是:时,在备择假设为真的情况,的分布如图3绿色曲线所示。在这里。现在,仍然假定针对特定样本所得到估计值其位置恰好位于-A的左边,表面看来,我们也应该拒绝原假设,然而注意到,离W1、W2更远(只要Wi大于W),因此,我们更应该拒绝备择假设!因此,在假设体系是完备的情况下,我们不能把作为原假设的拒绝域。如果把的分布标准化,即变形为标准正态分布,那么与之相应,我们不能把作为原假设的拒绝域 。-AA

47、wW1W2图3附录2:正态分布、卡方分布、t分布与F分布1. X是期望值为,标准差为的随机变量,则X所服从分布的偏度与峰度分别被定义为2. 如果,则。另外,当是奇数时,3. ,则4. 5. , 且两者独立,则当时,渐进分布于。另外,附录3 区间预测假定真实模型是:,模型满足经典线性模型假定。以作为对yf的预测。此时预测误差是:显然,E(e1)=0,(参见第二讲补充知识点2),e1服从正态分布。即因此,在置信水平a下,对的区间预测是:与上述过程类似,我们可以得到E(yf)的区间预测。一个问题是,我们经常需要对进行估计。换句话说,我们不知Sd(e1),但我们可以获得对它的估计Se(e1)。 由于,

48、因此,即,因此,在置信水平a下,对的区间预测是:与上述过程类似,我们也可以利用t分布重新构建对E(yf)的区间预测。附录4:证明证明:基于OLS代数有:故按照判定系数的定义,与分别是回归(1)与回归(2)的判定系数。而在简单线性回归中,判定系数等于被解释变量与解释变量(样本)简单相关系数的平方,因此有:第四讲 异方差回忆高斯-马尔科夫假定,该假定包括了同方差假定:。维持其他假定,并假设真实模型是,那么这意味着:应该注意到,在这里是随机的(由于是随机的)。为了理解该假定,我们先看看下面的一个图。 图一 同方差 在图一中,各空心圆点是,注意,按照我们的假定,是非随机的【注:在重复抽样的情况下,给定

49、i的取值,不随样本的变化而变化。】,而实心圆点表示观测值,其横坐标是,纵坐标是随机变量的一个实现,它与相对应。倾斜的直线代表:图一显示了一个重要特征,即,对应于,尽管的期望值在变化,但它们的离散程度(方差)是不变的,由于,因此,图一意味着是一个与i没有任何关系的常数。 然而,误差项是同方差的可能并不符合经济现实。例如,如果y代表居民储蓄,x代表收入,那么经常出现的情况是,低收入居民间的储蓄不会有太大的差异,这是因为在满足基本消费后剩余收入已不多。但在高收入居民间,储蓄可能受消费习惯、家庭成员构成等因素的影响而千差万别。图二能够展示这种现象。图二 异方差在图二中,依据x1所对应的分布曲线形状,x

50、5所对应的实心圆点看起来是一个异常点,但依据x5所对应的分布曲线形状,它也许是正常的,因为x5所对应的分布曲线形状表明,随机变量y5的方差很大。如果我们有很多x与y的观测值,那么在上述情况下,一个典型的散点图如图三所示【注:如果方差小,那么在正常情况下,观察值将离期望值不远;如果方差很大,那么观测值离期望值较远也是正常的。你能够画图说明吗?】。利用图形来初步识别异方差现象经常被采用。 应该注意的是,如果第一个高斯-马尔科夫假定被违背,即模型设定有误,那么也可能出现“异方差”。例如,我们所设定的模型遗漏了变量,而这些遗漏变量进入了误差项,导致误差项不满足同方差假定;再例如,正确的模型是非线性的,

51、但我们错误地设定为线性,那么基于这个线性模型,误差项看起来也许是异方差的。如果产生异方差的原因是模型设定有误,那么我们首先应该要作的事情是正确设定模型,而不是如本讲后面所谈到的在估计方法上做文章!不过,在本讲中,我们假定所有其他的高斯-马尔科夫假定成立,仅仅是同方差假定不成立。 图三 异方差情况下的散点图 一、 异方差的后果在证明高斯-马尔科夫定理时,我们仅仅在证明OLS估计量的方差最小(在所有线性无偏估计量中)时用到了同方差的假定,而在证明线性、无偏性并没有用到该假定,因此违背同方差假定并不影响上述性质。在证明方差最小时,我们分了两步,其中第一步是计算OLS估计量的方差。作为一个复习,下面我

52、们把这个过程再演示一遍。真实模型是:,那么有:在重要假定五:下,有:在重要假定四:下,思考题:如果序列无关假定与同方差假定都可能不成立,根据上述推导过程,那么我们应该先检验无序列相关假定还是先检验同方差假定?笔记:在实践中,在检验同方差假定之前,我们应该首先确认序列无关假定是否成立,当该假定不成立时,首先应该校正序列相关性,然后在进行同方差检验。显然,如果同方差假定不成立,。计量软件包通常(默认方式)是通过公式:来计算的标准误(se),其中用来估计误差项的方差。应该注意,只有在高斯马尔科夫假定成立的前提下,才是对误差项方差的一个无偏估计。当误差项是异方差时,即误差项的方差随着i 的不同而不同,

53、但我们却利用一个与i无关的估计量去估计它【的最终结果与i有关吗?】,显然,这是荒谬的!因此,当存在异方差时, 不能被认为是对误差方差的一个恰当的估计,进而,采用公式来计算标准误也是错误的。事实上,此时的期望值【为什么要强调期望值?】并不等于的真实方差。再次强调标准误与标准差的区别!当没有给定样本时,是估计量,它是随机的,但其方差(包括期望值)是非随机的。关键的问题是,我们不知道它的真实方差到底多少,我们需要估计它。如果我们利用去估计它,那么就是一个估计量,因此,它也是随机的,进而,也是随机的。实际上,是对的估计,在没有指定样本时,它是一个估计量。*样本均值是对总体均值的估计;样本标准差是对总体

54、标准差的估计。标准误实际上就是样本标准差!*如果通常的标准误公式是不妥当的(在存在异方差时,通常的并不是的无偏估计;通常的也不是的一致估计),那么依据它所进行的t检验、F检验是不可靠的!思考题:F检验在何处体现了同方差假定?实际上,我们可以不依赖于同方差假定计算一个标准误,由于该标准误不依赖于同方差假定,那么它将是异方差稳健的。在本章后面我们将涉及到这个异方差稳健标准。既然存在异方差,在估计各系数时我们为何不利用这个信息呢?要知道,利用的信息越多,我们获得的估计量其方差将越小,即精度越高。利用OLS估计法来估计系数时并没有利用异方差这个信息,因此,在存在异方差的情况下,在所有线性无偏估计量中,OLS估计量并不是最有效的【事实上,高斯马尔科定理成立的前提是高斯马尔科夫假定成立。】。在本章后面我们也将考虑一个当存在异方差时,在所有线性无偏估计量中是最有效的一个估计量,即加权最小二乘(WLS)估计量。二、 发现异方差(一) Goldfeld-Quandt检验在经典线性模型假

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论