第13章-模型设定和诊断检验.ppt

1,第十三章计量经济建模：模型设定和诊断检验,2,经济学家多年来对“真理”的寻求曾给人一种观感：经济学家们就好像在一间黑房子里搜寻一直原本并不存在的黑猫；而计量经济学家还经常声称找到了一只。,3,经典线性回归模型的假定之一（假定9）是，分析中所使用的模型被“正确地”设定；如果模型并未被明确设定，我们就遇到了这样的问题：模型设定误差（modelspecificationerror）或者模型设定偏误（modelspecificationbias）。,4,寻找正确的模型就像寻找圣杯一样。具体而言，我们需要考虑如下问题：,我们如何去寻找一个“正确”的模型？换言之，在经验分析中选择一个模型的准则有哪些？在实践中，容易遇到哪些类型的模型设定误差？设定误差的后果有哪些？如何侦查设定误差？换言之，我们可以使用哪些诊断工具？一旦侦查出设定误差，我们能采取哪些补救措施？如何评价几个表现不相上下的备选模型？,5,13.1模型选择准则根据亨得利和理查德的观点，一个被选用于经验分析的模型应满足如下准则：,数据容纳性；即从模型做出的预测必须有逻辑上的可能性。与理论一致；即必须有好的经济含义。回归元的弱外生性；即解释变量或回归元必须与误差项不相关。,6,表现出参数的不变性；即参数的值必须稳定，否则预测就很困难。表现出数据的协调性；即从模型中估计的残差必须完全随机（从技术上而言必须是白噪音）。模型有一定的包容性；即模型应该包容或包括所有与之竞争的模型。,7,13.2设定误差的类型1、漏掉一个有关变量（1.OmittingARelevantVariable）为了简明起见，令这个模型为：(13.2.1)其中，Yi=生产的总成本，Xi=产量。等式(13.2.1)是立方总成本函数。,8,但是，假设出于某种原因，研究者决定使用以下模型：(13.2.2)由于(13.2.1)被认为是真实的，采用(13.2.2)就构成了一种设定误差，即漏掉了一个有关变量（Xi3）的误差。因此，(13.2.2)中的误差项u2i事实上是：,9,2、包含了一个无需或无关的变量（Includinganunnecessaryorirrelevantvariable）假定另一个研究者使用了以下模型：(13.2.4)新的误差项是：(13.2.5)因为真模型中5=0,10,3、错误的函数形式（Wrongfunctionalform）再假定又一研究者拟定以下模型：(13.2.6),11,4、测量偏误的误差（Errorsofmeasurementbias）考虑有研究者使用如下模型：(13.2.7)其中，i和i均为测量误差。(13.2.7)所表明的是，研究者没有使用真正的Yi和Xi，却用了含有测量误差的替代变量Yi*和Xi*。,12,5、对随机误差项ui不正确的设定（Specificationerrorstothestochasticerror）如果真实的、正确的模型是：(13.2.8)并且lnui满足CLRM的假定误设为：(13.2.9),13,13.3模型设定误差的后果1、模型拟合不足（漏掉一个相关变量）真实的模型：(13.3.1)但出于某种原因，我们拟合了如下模型：(13.3.2)后果将会如何？,三变量回归模型的离差形式：(1)有：(2)(3)两边分别除以X2i2：(4)回到前面，有（X3对X2回归）,14,15,于是，等式(4)变换为：(5)分别取等式两边的期望值(6)（其中，2和3都是常数，ui与X2i和X3i不相关）,16,于是，漏掉变量X3的后果如下：1、如果X3与X2相关，r230，那么和是有偏误且非一致的。也就是说，2、如果X3与X2不相关，r23=0，那么，尽管现在无偏，但是无偏的。3、干扰的方差2将被不正确地估计。4、的方差()是真实估计量的方差的一个有偏误的估计值。5、通常的置信区间和假设检验程序容易给出错误的结论。6、所作出的预测不可靠。,17,结论：一旦根据相关理论把模型建立起来，切忌从中再忽略掉一个变量。,18,2、包含一个无关变量（模型拟合过度）现在让我们假定(13.3.6)是真实模型，而我们拟合了一下模型：(13.3.7),19,我们知道：,真实模型的离差形式为：,20,将(3)代入(2)：因此，仍是无偏的。我们发现：将(3)代入(5)：,x3在真实模型中不存在，它的系数为0。因此，这一设定误差(拟合过度)将导致如下后果：（1）所有参数的OLS估计量都是无偏且一致的，即，（2）误差方差2的估计是正确的。（3）通常的置信区间和假设检验仍然有效。,21,22,（4）但是，一般而言，诸系数的估计值将不是有效的，也就是说，它们的方差一般都大于真实模型中的方差。例如：,一个无益的结论似乎是:与其忽略有关变量,不如含有无关变量。,23,但是，这种理论是不值得维护的，因为增加不必要的变量将导致：1、估计量的效率损失2、多重共线性问题3、自由度的损失一般而言，最好的方法是，根据理论，仅仅包含那些直接影响因变量，而又不能由已被引进的其他变量来代替的解释变量。,24,13.4设定误差的检验一、对过度拟合的侦察假设，为了解释某一现象，我们提出一个k变量模型：(13.4.1)若要判断变量Xk是否真的属于这个模型，一个简单的方法是用t检验：,25,我们可以用F检验来判断X3和X4是否真的属于这个模型。,问题：1、能否反复使用t检验，首先是的显著性，然后是等等的显著性，最后是的显著性？,26,这种建模策略被称为自下而上的方法（bottom-upapproach）（从一个较小的模型开始，然后逐渐扩大模型）或者多少带有轻薄口吻地称之为:数据开采（datemining）方法回归捕捉（regressionfishing）方法数据窥探（datasnooping）方法数字斟酌（numbercrunching）方法。,27,本专业的纯化论者很看不起数据开采的实践。谴责“数据开采”的原因之一如下：在数据开采情况下的名义的与真实的显著性水平是不同的。一种数据开采的危险是，诸如1%、5%、10%的常用的显著性水平并非是真实的显著性水平。,28,洛弗尔（Lovell，1983）曾指出，如果有c个备用的回归元，根据数据开采的情况，从中最后选出k个（kc），则真实的显著性水平（*）和名义上的显著性水平（）有如下关系：(13.4.2)或近似地为(13.4.3)例如，若c=15，k=5，=5%，由(13.4.3)，真实的显著性水平为(155)(5%)=15%,29,在实践中，多数研究者都仅报告其“最终”回归结果，而不透露此前是如何通过大量数据开采或预检验而得到这些结果的详情。这与个人升迁有关！但是，在应用计量经济学家看来，纯粹主义者（即非数据开采者）的建模方法也存在问题。,30,查曼（Zaman，1995）的观点：如果我们从一个更开阔的视角来看待数据开采，把它看成一种寻求经验规律的过程，并能从这些经验规律中判断现有理论模型中是否存在错误或纰漏，那么它将起到一个非常大的作用。肯尼迪（Kennedy，1992）认为，“应用计量经济学家的艺术在于，容许数据驱动理论进展而又不致陷入太大的数据开采的危险。”,31,二、对遗漏变量和不正确函数形式的检验1.残差分析P518-519和figure13.1结论：如果有设定误差，残差图必定展现出明显的样式。,32,2.再次使用德宾-沃森d统计量德宾-沃森d统计量的定义：由于和只在一次观察中有区别，因而它们近似相等。因此：,33,由于若=1，d=0，表明残差存在完全的正相关关系；若=-1，d=4，残差存在完全负相关关系；若=0，d=2，残差不存在一阶的自相关。,如果真实的模型是：而拟合的模型是：或者则d值表明存在正向的自回归。参见P519Table13.1的d值,34,35,为了用德宾-沃森检验来侦察模型设定误差，我们以如下方式进行：（1）从假定的模型求得OLS残差。（2）如果认为假定的模型因排除了一个有关的解释变量，比如说Z而是误设的，则将第1步中所得的残差按Z值的递增次序排列。注意：Z变量可以是假定模型所含的X变量之一，或该变量的某一函数，如,36,（3）由这样排列的残差计算d统计量。注意：t在这里是观测次数，并不一定指时间序列数据。（4）根据德宾-沃森表，如果估计的d值是显著的，就可接受模型误设的假设。问：如何补救？,37,3.拉姆齐的RESET检验拉姆齐（Ramsey）曾指出一种称为RESET（regressionspecificationerrortest）的一般性设定误差检验。,答：增加解释变量。,38,拉姆齐的RESET检验：我们仍然使用成本产出的例子，并假定成本是产出的线性函数：(13.4.6)其中，Y=总成本，X=产出,39,如果用此回归的残差对描图，就会得到一个如下所示的图形：,40,虽然和都是零，图中的残差仍表明其均值系统地随而变化的模式。这提示我们，如果以某种形式将当做回归元引入(13.4.6)，则应使增大。而如果的增大是统计上显著的，就表明线性成本函数(13.4.6)是误设的。,41,RESET的操作步骤如下：（1）从所选的模型，例如(13.4.6)得到的估计值。,42,（2）将某种形式的作为增补的回归元引入，重做(13.4.6)。由图13.2，我们观察到与之间存在曲线关系，表明可引进和作为增补的回归元。作回归：（3）记来自(13.4.7)的R2为R2新，得自(13.4.6)的为R2旧，然后引入F检验：(8.5.18),43,（4）如果所计算的F值是显著的，就可接受模型(13.4.6)被误设的虚拟假设。即:H0：模型被误设若，则接受H0P522例题,44,RESET的优点之一是，它不要求设定对立模型，故易于应用。但这同时也是它的缺点，因为即使知道了模型误设，也不一定有助于另外选出一个更好的模型。,45,4.对于增补变量的拉格朗日乘数（LM）检验为了说明此检验，我们继续应用前述的说明性例子。如果将线性成本函数(13.4.6)同立方成本函数(13.4.4)相比，前者就是后者的一个受约束形式。约束条件：,46,LM检验进行如下：（1）用OLS法估计受约束回归(13.4.6)，并求得残差。（2）如果无约束的回归(13.4.4)实际上是真实回归，则得自(13.4.6)的残差应与平方产出和立方产出有关。,47,（3）用对全部回归元作回归：vi是具有通常性质的一个误差项。（4）恩格尔曾证明，对于大样本，从（辅助）回归(13.4.11)估计出来的R2的n倍遵循自由度等于受约束回归中约束个数的分布,(13.4.11),48,（5）作出判断:P524例,49,一、因变量Y中的测量误差考虑以下模型：(13.5.1)其中，Yi*=永久性消费支出Xi=当前收入ui=随机干扰项,13.5测量误差,50,可观测的变量Yii表示测量误差于是，我们估计的不是(13.5.1)，而是：(13.5.3),51,其中，是一个合成误差项，包含着总体干扰项。为了简单起见，假定：,52,有了这些假设，我们可以证明：1、从(13.5.1)和(13.5.3)估计出来的是一个无偏估计量。2、从(13.5.1)和(13.5.3)估计出来的的方差和标准差是不同的。模型(13.5.1):(13.5.4)模型(13.5.3):(13.5.5),53,二、解释变量X中的测量误差考虑如下的模型：其中，Yi=当前消费支出Xi*=永久性收入ui=干扰项（方程误差）,54,假设我们不能观测到Xi*,于是便用Xi来代替(13.5.7)wi代表Xi*中的测量误差，从而我们估计的不是(13.5.6)，而是：其中，是方程与测量两种误差的一个混合。,55,为了简便，假定：,合成误差项zi是否独立于解释变量Xi？,56,答案：,57,因此，(13.5.8)中的解释变量与误差项是相关的，这违背了经典线性回归模型中的关键假定：解释变量与随机干扰项无关。如果这一假定被破坏，则可以证明，OLS估计量不仅是有偏误的而且是非一致的。其中，和分别是和的方差，指的概率极限。解释见附录13A.3,58,什么是概率极限？,例：是的估计值，若：,P代表概率。,上式表明，和之差的绝对值小于任意小的正数的概率趋向于1。,在这里，是的一个一致估计量。,用公式表示：或者,59,根据(13.5.10)，我们可以假定，如果2W相对2X而言较小，我们可以使用通常的OLS估计。但是，在实际情形中，要观测到哪一个较大很困难。因此我们使用通常的OLS估计时要小心。,补救方法：IV或PV代理变量见第十七章,60,13.6对随机误差项不正确的设定,真实的模型：,回归模型：,假定满足新的OLS的假定。根据过原点的回归方程，的估计量为：,(1),61,将Y替换为真实模型(13.2.8)中的Y，有：,(2),统计理论表明，如果，则有：,有：,例如，在Black-Scholes期权定价中，假设股票价格服从,ui对数正态,STlognormal,lnST,62,因此，,是的一个有偏估计量。,63,13.7嵌套与非嵌套模型,考虑以下模型：,模型A：,模型B：,我们说模型B被嵌套在模型A中，因为它是模型A的一个特殊情形：如果我们估计模型A，然后检验假设：,64,我们前面讨论过的设定误差检验和第8章中讨论过的约束F检验在本质上都属于这种嵌套假设检验，只是我们没有这么称呼而已。现在，考虑以下的模型：模型C：模型D：,比如财政变量,比如金融变量,65,其中，X和Z各代表不同的变量。我们说模型C和D是非嵌套的，因为不能把一个作为另一个的特殊情形推导出来。模型D中可以包含X3，模型C中可以包含Z2。尽管如此，它们仍是非嵌套模型，因为模型C没有包含Z3，模型D中没有包含X2。,66,即使进入模型的变量完全一样，函数形式不同也可能使两个模型称为非嵌套模型。考虑如下模型：模型E：模型D和E是非嵌套的，因为不能把其中一个作为另外一个的特殊情形而推导出来。,67,13.8非嵌套假设的检验,哈维（Harvey）将检验非嵌套假设的方法分成两种：（1）判别方法（discriminationapproach）：给定两个或多个相竞争的模型，根据某些拟合优度准则选择其一。（2）辨识方法（discerningapproach）：在考察一个模型时同时顾及其他模型所提供的信息。,68,一、判别方法就是使用：，赤池信息准则（AkaikesInformationCriterion,AIC），施瓦茨信息准则（SchwarizsInformationCriterion,SIC），或马娄斯的准则(MallowssCriterion)来选择模型。,二、辨识方法1.非嵌套F检验或包容F检验考虑前面介绍的模型C和D。如何在这两个模型之间进行选择呢？为此，假设我们估计如下的嵌套或混合模型：模型F：,70,注意模型F嵌套或包含了模型C和D。但C和D是非嵌套模型。现在，如果模型C是正确的，则，而如果模型D是正确的，则。问：如何检验？答：F检验。,71,然而，这种检验程序却带来一些问题。（1）如果X与Z高度相关，则很可能一个或多个系数在统计上不显著，尽管我们有可能拒绝所有斜率系数同时为零的假设。在这种情形中，我们无法决定到底是模型C还是模型D才是正确的。（2）可能出现矛盾的情况：选择模型C检验所有系数都是显著的加入一个或两个Z变量t或F检验不显著C正确选择模型D检验所有系数都显著加入一个或两个X变量t或F检验不显著D正确,72,因此，参考假设的选择能够决定模型选择的结果（类似于“先入为主”），特别是在相互争持的回归元中有多重共线性的情况下。（3）人为地嵌套模型可能缺乏经济意义。,73,2.戴维森-麦金农J检验（Davidson-MackinnonJTest）我们要比较模型C和D，步骤如下：（1）估计模型D，得到Y的估计值。（2）将作为回归元放进模型C中，得：,（3）用t检验对进行检验。（4）如果，不被拒绝H0，不拒绝模型C为真模型因为代表模型C所含变量以外的其它变量的影响。不显著，说明其它变量并没有增加模型C原有的解释。即：模型D不含有足以改进模型C的表现的任何额外信息，故模型C兼容了模型D。类似地推理，如果虚拟假设被拒绝，则模型C就不是真模型。,75,（5）把模型C和D的换位。先估计模型C，并使用，估计如下模型：(13.8.6)现在假设检验。如果H0不被拒绝，我们选择模型D而非C。如果被拒绝，则模型D不是真模型。虽然在直观上比较可取，但J检验也存在一些问题:,76,（1）有下述可能的结果：,假设：4=0,假设：4=0,不拒绝,拒绝,不拒绝,同时接受C和D,接受D而拒绝C,拒绝,接受C而拒绝D,同时拒绝C和D,77,根据上表所示，如果J检验程序导致同时接受或同时拒绝两个模型，我们就得不到一个正确的答案。（2）t统计量只是渐进地，即只在大样本中遵从标准正态分布。因此，在小样本中，J检验会过多地拒绝真实假设或真实模型，因而不是（在统计意义上）很有功效的。,78,13.9模型选择准则,一、R2准则越接近1，拟合得越好。问题：1.它度量的是样本内拟合优度，即度量了给定样本中所估计的Y值与其实际值有多么接近。它不能保证对样本外观测也能很好地预测。2.在比较两个或多个R2时，因变量或回归子必须相同。3.模型中的变量越多，R2越大。,79,二、校正R2准则从这个公式中可以看出，表明校正R2是如何对增加更多的回归元进行惩罚的。校正R2只有在所添加的变量的t值的绝对值大于1时才会增加。因此它比R2更好。但在比较时，回归子必须相同。,80,三、赤池信息准则（AIC）,由日本统计学教授H.Akaike从信息论出发提出的综合考虑模型的拟合优度（适用性）和复杂程度的准则。在AIC准则中，对模型中增加回归元进行了惩罚。AIC的定义为：,81,其中k为回归元的个数（包括截距项），n为观测次数。为了数学计算上方便起见，把(13.9.3)写成：其中，lnAIC为AIC的自然对数，2k/n为惩罚因子。,82,在比较两个或多个模型时，具有最低的AIC值的模型优先。AIC应用广泛。它不仅适用于样本内预测，还适用于预测一个回归模型在样本外的表现。此外，它对嵌套和非嵌套模型都适用，甚至还可以用于决定AR(p)模型的滞后长度。,83,直观含义：代表了估计的模型与真实模型之间的差别。k越大，模型越复杂，偏差就越小。同时，我们必须估计更多的变量，并且拥有一个更大的。阶数k越小，模型越简化，待估参数越少，。但是，与真实模型之间的偏差越大。,84,总之，当我们选择k，如分布滞后模型的滞后长度，我们应该权衡模型的拟合优度和复杂程度以最小化AIC。,85,其中，n是滞后长度yi服从正态条件分布：,eiN(0,2),另一种解释,86,最大似然函数L的对数形式的