计量经济学第三讲20130418.doc

浙江工商大学金融学院姚耀军讲义系列第三讲 假设检验一、 问题提出与统计量设计假设某一经济学理论认为，对于如下模型：参数的取值应该是。现在我们基于样本数据对上述模型进行OLS估计，获得估计值。请问，我们该如何判断估计结果是否符合先前有关参数取值的理论预言？ 应该注意到，即使理论预言完全正确，但由于抽样误差的存在，恰好等于W是不太可能的。因此，我们不能因为不等于W就认为理论预言不正确。然而假设理论预言正确，并且模型设定满足高斯-马尔科夫假定，则从直觉上看，OLS估计值应该离W不远。如果与W相距甚远，则我们有理由怀疑理论预言的正确性。然而从如下两个方面我们可以看出，上述直觉不太严谨：首先，即使理论预言正确，如果OLS估计精度不高，则OLS估计值很可能与W有较大差异；其次， 会随着解释变量测度单位的变化而发生变化（当然W也会随之而变），因此在一种测度单位下与W的差异较小，但改变解释变量测度单位将导致与W的差异变大。基于上述思考，我们定义一个Z统计量：这个统计量是一个分数，而分母的出现具有两方面的意义：第一，它表明我们在考察与W的差异时注意到了估计精度问题。如果估计精度很低，即OLS估计量的标准差很大，则即使理论预言完全正确，与W也可能有较大的差异，不过我们认为Z应该接近0。第二，分母的出现解决了解释变量测度单位的影响。笔记： 1、假设理论预言正确，并且模型设定满足高斯-马尔科夫假定，则，并且在所有的线性无偏估计量中，OLS估计量精度最高。注意到这里精度最高是相对而言，就绝对水平而言，OLS估计量精度涉及到很多因素（例如样本容量大小就影响估计精度）。2、思考题：假设解释变量原来的测度单位是公斤，现在新的测度单位是吨，请问解释变量所对应的OLS参数估计值会随着测度单位变化而发生怎样的变化？我们还面临的一个问题，一个标准需要被用来判定多大的Z值才算接近0。为了解决这个问题，我们首先引入一个假定：模型除了满足高斯-马尔科夫假定外，还满足误差项服从正态分布这个假定。引入这个假定的直接目的是，我们能保证参数的OLS估计量服从正态分布。笔记： 1、误差项是由很多因素构成的，当这些因素是独立同分布时，依照中心极限定理，那么这些因素之和应该近似服从正态分布。2、误差项是否服从正态分布可以进行检验，例如Jarqe-Bera检验就是一种常用的检验方法（参见相关的教科书）。问题是，尽管我们能观察到解释变量、被解释变量的取值，但由于参数的真实取值未知，因此误差是观测不到的。通常的策略是利用残差来代替误差以进行相关的检验。当然，一个前提是残差确实是对误差的良好近似，这进而要求，高斯-马尔科夫假定中的一些关键假定应该成立。3、在高斯-马尔科夫假定中，我们要求误差项是序列无关与同方差的。现在，我们施加更强的假定，即误差项服从正态分布，即。应该注意到，当误差项服从正态分布时，序列无关与独立性是等价的。因此，我们可以把上述分布假设写为：，即误差项服从独立同正态分布。与高斯-马尔科夫假定一起，被称为经典线性模型假定。在经典线性模型假定下，可以证明，OLS估计量是方差最小的无偏估计量（注意此时不需要把比较范围限制在线性估计量之中，因此该结论比高斯-马尔科夫定理更强。施加更多的假设而得到更强结论，这是非常自然的。练习：当模型满足经典线性模型假定时，请证明：；。笔记： 。如果样本容量很大，则根据中心极限定理可知，即使误差项不服从正态分布，但只要误差项独立同分布（这个条件还可以放松），则服从渐进正态分布。由此可见，误差项服从正态分布的作用主要体现在小样本情况下保证参数的OLS估计量服从正态分布。如果服从正态分布，则当理论预言正确时有：上述这个标准正态分布对于我们确定标准来判定多大的Z值才算接近0是十分关键的。其原因是，对于标准正态分布有：如果等于1%、5%与10%这些代表小概率的值，则上式意味着，当理论预言正确时，Z值大于 是标准正态分布的第100（1-a/2）百分位数。或者小于是小概率事件。于是我们就把与作为标准或者临界值，如果Z值大于或者小于，则我们认为Z值与0有显著差异。反之，如果Z值落在与之间，则我们认为Z值与0无显著差异。笔记：1、多小的概率才算小概率呢？尽管人们把1%、5%与10%这些值作为小概率值的代表，但关于小概率标准的认定实际上是无统一意见的。2、如果计算结果表明，Z值大于，则表明，在理论预言为真的情况下，小概率事件发生了。小概率事件是不容易发生的事件，现在居然发生了，因此我们有理由怀疑理论预言的正确性。3、案例：我预先认为某一个同学十分优秀。优秀学生某一次考试考砸了非常正常，然而连续十次考试考砸应该是小概率事件。如果我预先所认为的那一个优秀同学确实连续十次考试都考砸了，我是不是应该对我的先验判断产生怀疑？当然，如果我就此认为那一个同学并不优秀，我也会犯错误，此即“第一类错误”，即“弃真”的错误。但犯这个错误的概率是很小的。如果优秀学生连续十次考试考砸了其概率是5%，那么我犯“第一类错误”的概率就是5%。4、值的选择有时是重要的。例如，在利用样本来检测新药毒性时，我们预先假设新药无毒性，如果吃了新药的实验鼠其死亡数量低于一临界值，则我们认为实验结果与我们预先关于药品毒性的假设相一致，进而新药将推向市场，否则新药将不推向市场。在上述情况下，由于人命关天，犯“弃真”错误的后果要远远小于犯“取误”错误的后果，因此，我们应该设定一个很小的临界值，即很大的值，以控制“取误”的风险。二、 假设检验的步骤针对本章开始提出的问题，按照前面的讨论，我们现在可以正式给出假设检验的步骤了：（1）建立原假设与备择假设：（2）在标准正态分布下确定临界值或者小概率标准。对更加正式的称呼是“显著水平”。（3）考察统计量值是否落在拒绝域：之内。如果落在拒绝域之内，那么在显著水平下，我们拒绝原假设，接受备择假设；反之，我们不拒绝原假设，拒绝备择假设。笔记：1、为什么当Z值落在拒绝域之外时我们说“不拒绝原假设”而不是说“接受原假设”？其解释是，我们可以作出很多的原假设，例如或者，而我们相应计算出来的两个Z值完全可能皆落在拒绝域之外，显然此时我们说既接受也接受是不恰当的，而更恰当的表达方式是，既不拒绝也不拒绝。“不拒绝原假设”表明我们的结论是留有余地的，这是科学的态度，毕竟新样本的出现完全可能推翻我们早先的结论。尽管“接受原假设”没有留有余地，但“接受备择假设”是留有余地的，因为备择假设是一个不等式，因此，我们可以说“接受备择假设”。3、设定1%、5%或者10%为显著水平显得有点随意，为何不设定2%、6%、7%等为显著水平呢？是否可以依据一个更一般的准则来进行假设检验？答案是肯定的。既然我们已经计算出统计量值，如果z为正，那么根据正态分布表，我们就能够确定的值（如果z值为负，那么我们能够确定的值），我们通常把这个概率值称为伴随概率，简写为P或者Prob.这个概率值很有用处，例如，假定P值是0.062，那么显然以任何小于6.2%的概率为小概率标准，则我们并不拒绝原假设；以任何大于6.2%的概率为小概率标准，我们拒绝原假设。总结一下就是，当P小于给定的显著水平时，那么在给定的显著水平下应该拒绝原假设；反之，则不拒绝原假设。上述假设检验属于双尾检验，有时我们会碰到单尾检验的情况。例如，假定是某正常商品的消费收入弹性，那么不可能为负。如果我们试图基于样本来检验商品消费收入弹性为0的原假设，则应建立如下假设体系：在显著水平下，拒绝域是。一个问题是，为什么不是拒绝域呢？这是因为，如果我们把也作为拒绝域，则当Z值落在该区间内时，我们不仅应该拒绝原假设，而且更应该拒绝备择假设。这是因为当备择假设为真时，Z值落在之中的概率不是而是更小。既然假设体系具有完备性，因此我们不把设定为拒绝域。从假设体系的形式来看，单侧检验与双侧检验明显不同。但最关键的不同在于，给定显著水平（犯“第一类错误”的概率），上述单侧检验的拒绝域与双侧检验右端拒绝域相比更宽，因此更容易拒绝原假设，从而犯“第二类错误”（取误）的概率更低。笔记： 1、一个检验如果犯“第二类错误”（取误）的概率更低，则称该检验具有更高的检验势。在检验中提高检验的势一般来说是相当重要的。如果检验势较低则很容易“取误”，而科学精神要求我们不要轻易相信某一个确定性的判断！2、从本质上看，单侧检验之所以比双侧检验具有更高的检验势，其原因在于，在建立单侧检验时我们预先接受了有关理论的指导，从而掌握了更多的信息，故在检验时我们能够做到更精细，不会轻易“上当”（取误）。3、事物往往都具有两面性。尽管单侧检验比双侧检验具有更高的检验势，但要注意，它依赖于先验理论指导的正确性。如果先验理论指导是错误的，那么我们的“挑剔”很可能是“过度”的，即我们“弃真”的概率非常大。尽管名义上的“弃真”概率是，但实际上的“弃真”概率超过了，这被称为显著水平扭曲。4、如果显著水平不扭曲，则给定显著水平，一个检验的检验势越高越好。不幸的是，在显著水平不扭曲的情况下，一个检验的“弃真”概率与“取误”概率其走向通常相反：如果设定较低的显著水平以降低“弃真”的概率，则拒绝域变窄，故“取误”概率增加，反之则相反。问题是我们如何取舍？本质上这涉及到比较“弃真”与“取误”所造成后果的严重性。思考题：在假设体系：下，计量软件包计算出Z值为正，且伴随概率P为0.120（注：计量软件包默认的P值是双尾的概率，当z为正时，它计算的是）。问：在假设体系下，以10%为显著水平，我们是否拒绝原假设？ 三、 t检验在经典线性模型假定下：不幸的是，在之中，误差项的方差经常是未知的。因此，尽管我们设计了Z统计量，但由于无法确定，故基于Z统计量的假设检验是不可行的。然而幸运的是，在第二讲时我们已知道，在高斯马尔可夫假定下，是对的无偏估计。相应对的一个一致估计是：如果用替换Z统计量公式中的，则此时这个新的统计量服从渐进的标准正态分布，其原因在于，随着样本容量增加在概率意义上趋于。因此，在大样本下，我们还是可以基于标准正态分布进行假设检验。更加幸运的是，当经典线性模型假定成立时，可以证明，如果用替换Z统计量公式中的，则此时这个新的统计量将服从精确的t分布。换句话说，此时我们可以基于t分布进行假设检验，而不需要求助于统计量的大样本性质了，毕竟现实中的样本其容量通常很有限。为了强调新的统计量将服从精确的t分布，我们定义t统计量为，当经典线性模型假定成立时，基于简单线性回归模型我们可以证明：证明：化简可得：笔记：1、关于随机变量概率分布的知识点见本讲附录1。 2、在经典线性模型假定下可证明具体可参见一些较为高级的教科书。另外，根据附录1的知识点，一个服从卡方分布的随机变量其期望值等于自由度，故。实际上在第二讲我们已经表明，这验证了该知识点。3、，如果残差是对误差的良好近似，则也服从卡方分布应该容易理解的。由于残差自由度是N-k-1，因此所服从的卡方分布其自由度为N-k-1。尽管我们证明的是简单线性回归模型这种情况。然而相关结论完全可以被推广到多元线性回归模型，即当经典线性模型假定成立时，有： 接下来，基于t统计量的假设检验步骤和基于Z统计量的步骤就一样了，无非此时的临界值是与。笔记：随着自由度趋于无穷大，t分布渐进趋于标准正态分布，见附录1知识点4。因此，随着自由度趋于无穷大，渐进服从于标准正态分布。思考题：一样本其容量为30，建立回归模型：等于-4，请判断在显著水平1%、5%与10%下是否拒绝原假设。笔记：通过观察t分布表可知，给定显著水平，随着自由度的增加，右侧临界值递减。当自由度为10时，有：进行回归分析时自由度一般都大于10。如果情况确实如此，那么当你得到一具体的t值时，你应该能够粗略地判断在多大的显著水平下是否拒绝原假设。在实践中，我们经常对是否为零的原假设感兴趣，显然在假设体系：下，此时的t统计量是。针对特定样本，计量软件一般会自动计算出对应于上述假设体系的t值。如果原假设被拒绝，那么我们就说在某一种显著水平上x（所对应的系数估计）是统计上显著（不为零）的；如果不能被拒绝，则就说x（所对应的系数估计）在某一种显著水平上是统计上不显著的。笔记：在这里我们说是否与零有显著差异，而不是说是否与零有显著差异。是确定性的参数，它要么等于零要么不等于零警告：应该注意：即使的绝对值很小（即所谓的变量x无经济显著性或者实际显著性（economic significance/practical significance），但在统计上，它可能显著地与0不同。区分实际显著性与统计显著性有时是很有意义的，例如，一种新的教学方法使得同学们的平均成绩提高了0.001分，尽管0.001分在统计上可能与0有显著差别，但毫无疑问，这种新的教学方法在实践意义上基本上无效果。在考察了t检验后，我们来讨论一个与t分布及其t检验相关的概念，即置信区间的概念。在模型下，如果有：则有：。我们称 为的置信区间，而是置信水平。值得注意的是，当样本并未指定时，置信区间是一个随机区间，为了强调这一点，我们也把置信区间称为区间估计量。我们可以说，置信区间这个随机区间包含真实参数的概率为。然而，当样本给定后，及其通过计算已经被获得，那么就不再是随机区间了，该区间要么包含的真实值要么不包含，故我们不能说，该确定性区间包含真实参数的概率为。在这种情况下，置信区间其含义在于：在重复抽样中，很多类似的确定性区间将被获得，在这些区间中，大约有百分之的区间将包含的真实值。假设原假设为真，如果根据某一样本所得到的置信区间并未包含，那么小概率事件发生了，因此，我们将拒绝这个原假设。反之，则不拒绝原假设。如此看来，利用置信区间作假设检验本质上是与t检验等价的。与区间估计量有联系的一个概念是所谓的区间预测，见附录2。思考题：对于模型，根据一样本，我们得到：（1）试判断变量x在10%显著水平下是否统计显著。（2）在假设体系：及其10%显著水平下，我们是否拒绝原假设？四、 F检验现在我们把简单线性回归模型扩展为多元线性模型，假定模型是：如果我们对原假设是否成立感兴趣，那么该如何进行假设检验？ 此时我们首先定义一个受约束模型：换句话说，我们对原模型施加了约束。如果原假设为真，则受约束模型中的误差项与原模型（不受约束模型）的误差项是相同的。现在分别估计不受约束模型与受约束模型，获得残差与。笔记：对受约束模型的估计是非常简单的，这是因为受约束模型可以被改写为：在上述模型中，是被解释变量（注意与是已知的，并不需要估计）。对上述模型进行OLS估计即得到受约束模型估计结果。注意到当原假设为真时误差项与是相同的。既然残差是对误差的近似，因此从直觉上看，当原假设为真时，与的差别不会太大，进而不受约束残差平方和（记为RSSur）与受约束残差平方和（记为RSSr）的差别不会太大。笔记：另外一种理解方式是，注意到：当原假设为真时，在平均意义上，与的差别应该很小。因此与的差别也应该不太大。在理论上，估计原模型与估计受约束模型存在重要区别。在估计原模型时，我们在使残差平方和最小时对与的参数估计值选择预先未施加任何约束，而在估计受约束模型时，我们事实上预先要求两个参数的估计值一定分别为与。换句话说，估计原模型是全局最优化问题，而估计受约束模型是局部最优化问题。因此随之而来的一个结论是，RSSrRSSur。尽管RSSr -RSSur0，但按照我们前面的直觉，如果原假设为真，则RSSr 应该不会过于比RSSur大。回忆本章开篇对统计量设计的讨论，我们马上会发现上述直觉的问题。第一，在原假设为真时，RSSr 与RSSur的差异与OLS估计精度有关；第二，这个差异与被解释变量的测度单位有关。我们该如何测度OLS估计精度呢？显然，由于涉及到多个参数估计，故任何单个参数估计精度都不足以代表整个模型的估计精度。我们应该寻找一个代表性指标来测度整个模型的估计精度。一个选择是，我们利用模型误差方差来作为这个代表性指标。如果误差方差越大，则模型的估计精度应该越低。在解决了测度OLS估计精度问题之后，我们可以定义一个统计量来进行假设检验。同样，的引入也解决了测度单位所带来的问题。现在，如果原假设为真，则上述统计量的值应该处于0值右边但不会偏离太远。显然，我们仍然面临一个问题，即一个标准需要被用来判定上述统计量的值怎样才算偏离0值不远。幸运的是，如果原假设为真，在高斯马尔科夫假定下，有：笔记：在本章的例子中，对于受约束模型，我们只需要估计的参数个数为3+1-2=2，即不受约束模型估计参数个数减去两个约束数。基于卡方分布，我们利用作为临界值。如果计算结果表明大于临界值，则我们在显著水平下拒绝原假设，反之则不拒绝原假设。笔记：上述检验显然一定是一个单尾检验。同样不幸的是，误差项方差经常是未知的。然而与以前的策略一样，我们用误差方差的估计代替之。新的问题在于，既然我们有原模型与受约束模型两个模型，那么我们应基于何种模型来估计误差的方差？注意到如果原假设不成立，则受约束模型是错误的，以之来估计误差的方差则是误导的。意识到这一点后，显然我们应该以原模型作为基准来估计误差方差：在我们用代替后，服从渐进的卡方分布。 非常幸运的是，当经典线性模型假定成立时，利用简单的转化，我们可以在这个统计量基础上设计一个新的统计量，而这个新的统计量服从一个精确的分布，从而使得我们不需要利用统计量的大样本性质来进行假设检验。新统计量设计原理是：在这里，我们把这个新的统计量定义为F统计量：F统计量服从分子自由度为约束条件个数，分母自由度为N-k-1的F分布。基于这个分布，我们利用作为临界值。如果计算结果表明F统计量的值大于临界值，则我们在显著水平下拒绝原假设，反之则不拒绝原假设。笔记：1、=F统计量约束条件的个数。2、请参阅附录1知识点4与5。3、此时的F检验一定是一个单尾检验。4、在经典线性模型假定及其原假设下，与独立吗？事实上，当原假设为真时与零接近，这一事实并不依赖于的取值。因此从直觉上看两者应该是独立的。练习：在模型下，对约束进行F检验，证明： 笔记：1、此时需要利用R2的定义。同时注意到，在这里受约束模型与不受约束模型的总的平方和（TSS）是相同的。2、当约束是时，如果我们估计受约束模型：只要w2与w3任意一个不为零，则受约束模型的总的平方和（TSSr）与不受约束模型的总的平方和（TSSur）是不相等的，故上述R2型的F统计量公式在这里不成立，此时应使用RSS型的F统计量公式，Koop（p.104）特别注意到了这一点。不过要指出的是，如果我们在计算受约束模型R2时不是对求总的平方和，而是对求总的平方和，则R2型的F统计量公式仍然是适用的。在实践中，我们也许对原假设最感兴趣。如果这个假设被拒绝，那么我们就说x1、x2、x3在统计上是联合显著的；如果不能被拒绝，则就说x1、x2、x3在统计上是联合不显著的。针对特定样本，计量软件一般会自动计算出对应于上述原假设假设的F值。警告：单个变量显著并不意味着多个变量是联合显著的；多个变量联合显著也并不意味着单个变量是显著的。笔记：1、以后我们将看到，如果解释变量共线性程度很高，此时很可能出现的一种情况是，变量联合显著但很多变量单独来看并不显著。2、与生活中的一种现象进行类比：有两种药品成份，其中任何一种成份单独看来其药性都很强，但联合时使用时可能并无药效；另外一种情况是，其中任何一种成份单独看来其药性都很弱，但联合时使用时药品的药效可能很大。练习：1、对模型进行OLS估计并在原假设进行F检验，请验证：。笔记：1、此时F检验实际上是检验R2是否显著不为0。R2是用来衡量模型拟合优度的，因此，此时F检验实际上是模型拟合优度检验。2、此时F检验也是检验是否显著不为0。如果显著不为0，则表明模型具有显著的解释