高级计量经济学多元线性回归模型

第二章

线性回归模型(Linearregressionequations)本章内容古典线性回归(OrdinaryLinearSquares)模型估计方法和统计检验其他模型估计方法最大似然法（MaximumLikelihood）广义矩法（GeneralizedMethodofMoments）模型设定与设定误差虚拟变量的使用建立多元回归模型时应注意的问题古典回归模型当回归模型满足古典假定时，我们称其为古典回归模型。一元回归模型

Yi=β0+β1Xi+ei多元回归模型 Yi=β0+β1X1i

+β2X2i+...+βKXKi+ei古典多元回归模型的可以表示为：一般形式：Y=β0+β1X1+β2X2+...+βKXK+e 离差形式：y=β1x1+β2x2+...+βKxK+e矩阵形式：Y=Xβ+e在矩阵形式中，Xi是矩阵X中的一列，常数项被看作是一个取值恒为0的变量。

需要注意的是，在计量经济学中，“线性”指的是估计参数可以表达为样本观察值和误差项的线性函数，并不要求回归方程中变量之间的关系为线性的。例：CD函数 对该函数两边取对数得到：LnY=0+1LnX1+2LnX2+u 即：Y*=0+1X1*+2X2*+u 比较：假定1：参数线性函数5不同数学函数的性质模型数学方程斜率(dY/dX)弹性(dY/dX)(X/Y)线性Y=β0+β1Xβ1β1X/Y双对数lnY=β0+β1lnXβ1Y/Xβ1左对数lnY=β0+β1Xβ1Yβ1X右对数Y=β0+β1lnXβ1/Xβ1/Y倒数Y=β0+β1(1/X)-β1/X2-β1/(XY)对数倒数lnY=β0+β1(1/X)-β1Y/X2-β1/X二次函数Y=β0+β1X+β2X2β1+2β2X(β1+2β2X)X/Y交叉项Y=β0+β1X+β2XZβ1+β2Z(β1+β2Z)X/Y假定3：解释变量X独立于误差项条件均值为零意味着，无条件均值也等于零。假定3还意味着假定4：球形扰动

(SphericalDisturbances)假定4与挠动项的方差和协方差有关，即：利用方差分解公式可以得到：当挠动项同时满足方差相同和无序列相关两个假定时，我们将其称做球形扰动。假定5：解释变量是非随机的

(Nonstochasticregressors)古典模型要求X是一个n

K非随机矩阵，即不含有随机误差；在应用工作中可以放松这一假定，只要求当X为随机变量时，其统计分布独立于误差项e，即X与误差项不相关。假定6：误差服从正态分布假定误差服从以零为均值和具有不变方差的正态分布。对于应用工作而言，正态分布假定并不是必须的，只是为分析计算提供了便利。这涉及到假定3和4。最小二乘法估计式中：

b是理论模型的未知参数向量是b的估计量

e是理论模型的随机挠动项

u是估计模型的残差项用方程形式，残差平方和可以表示为最小二乘法估计

（多元回归模型）以包括两个解释变量的模型为例，对未知参数求一阶导数得到：

最小二乘法估计

（多元回归模型）由三个方程可以解出：这三个方程构成求解三个未知参数的联立线性方程组，我们称该方程组为正规方程(Normalequations)。最小二乘法估计

（多元回归模型）将上述关系表示成矩阵形式得到：即思考：如果X1=2X2会出现什么情况？最小二乘法估计

（多元回归模型）利用矩阵形式可以将最小二乘法估计表示为：注意最小二乘法估计

（多元回归模型）上式实现最小化的必要条件是：得出上述结果需要利用以下矩阵算法性质：求解未知系数的最小二乘法正态方程为：如果存在逆矩阵(这是满秩假定所要求的)，那么其解为：最小二乘法估计

（多元回归模型）如果将解释变量视作是非随机的，那么将X作为常数矩阵，可以得知OLS估计量是线性无偏的：19最小二乘法估计

（多元回归模型）估计量的方差为：对多元回归方程估计结果的解释多元回归方程估计结果可以表达为由方程可知：如果使x2,…,xk保持不变，那么有即每个估计的

都反映出当其他因素不变时，该因素产生的边际影响效果。多元回归的拟合优度多元回归方程的拟合优度同样可以用R2表示拟合优度也可以表示为因变量的实际值与拟合值的相关系数，即：多元回归的拟合优度在利用R2评价模型拟合优劣时需要注意以下问题:模型设定必须是正确的；R2是解释变量数量的非递减函数，即增加解释变量不会引起R2下降，因而存在着通过不断增添解释变量使R2趋近于1的可能；当模型不包含常数项时，R2的值可能超出0-1这一区间。利用时间序列数据建立的模型R2通常较高，而利用截面数据建立的模型R2通常较低。当因变量不同（包括其数学表达形式不同）时，比较R2大小没有任何意义。调整自由度后的R2鉴于R2是解释变量的非递减函数，这降低了利用该指标对模型做比较时的价值。使用调整自由度后的R2做比较，能够考虑增加解释变量产生的影响。其计算公式为：调整自由度后的R2计算调整自由度后的R2时使用的方差与R2不同。增加解释变量可能使ESS降低，但可以增大、不变或下降，取决于新增加变量的解释能力。当模型包括多个解释变量时，必然有。如果模型包括了一些不具有统计显著性的解释变量，那么会出现显著小于R2。删除不显著的变量会提高，但会降低R2。是否应该增加或删除某个变量一般不应该根据或R2的数值大小，而应该根据对变量之间因果关系的理论认识。可能出现负值。对拟合优度的统计检验检验拟合优度的虚假设是所有解释变量均不是真正的解释变量，即：备择假设为至少有一个解释变量的参数不等于零。相应的统计量为：当F值大于选择的临界值时，我们拒绝H0。对估计系数的统计检验利用前述的估计量方差矩阵可以得到每个估计参数的标准差sj，估计参数与该标准差的比值为相应的t统计值。利用t统计表（或相应的软件）可以得到与模型自由度相对应的显著性水平，据此可以判断结果在统计意义上的可靠性。对模型参数的联合检验同样的方法可以用于检验有关多个估计参数之间关系的联合假设。用下标R和UR区分有约束和无约束的回归方程R2，q为约束条件的个数，相应的F统计值计算公式为：28最大似然法估计最大似然法假定随机变量Y来自某一未知的总体分布，样本数据提供了有关概率分布参数的信息，估计方法建立在样本来自哪个概率分布的可能性最大基础之上。PY分布A分布BY1Y2Y3Y4Y5Y6Y7Y829最大似然法估计例如假定Y来自某种正态分布，其分布函数为：在Y相互独立的情况下，其联合分布概率为每个观察值出现概率的乘积，即：对该函数取对数得到：30最大似然法估计前述的对数似然函数可以改写为：LnP=与β无关的部分－ESS/(2σ2)利用求极大值方法得到：31最大似然法估计解上述三个方程得到：32最大似然法估计由于σ2>0，求解Ln(L)对应于β的最大值等同于求解ESS对应于β的最小值。这意味着，在正态分布假定下，最大似然估计量与最小二乘法估计量是相同的。在模型为线性函数的情况下，σ2的最大似然估计量为ESS/N，不同于OLS方法得到的ESS/(N-1)。由于最大似然估计量βl和σl2均为真实参数(β,σ2)的一致性估计量并且服从渐近正态分布，因而可以对非线性模型的估计参数做各种统计检验。广义矩法

（Generalizedmethodofmoments)利用OLS和最大似然法估计模型参数时，均需要就解释变量及误差项的性质做出某些假定，以保证估计量具有BLUE性质。使用广义矩方法（GMM）则不要求就误差项的统计分布做出严格的假定。GMM估计量是稳健估计量(Robustestimators)。从理论上可以证明，GMM方法更具有一般性，OLS、GLS和最大似然法均为GMM方法的特例。GMM估计量GMM估计方法基于模型参数应该满足某种理论关系的认识。在应用工作中，这种理论关系用一系列基于样本数据的矩条件来替代。考虑一元线性回归模型Yi=β0+β1Xi+ei应用OLS方法时假定有E(ei)=0,E(Xiei)=0，对应的样本矩条件为：由上述矩条件可以得到OLS的两个正规方程，这表明OLS方法为GMM方法的一个特例，即使用常数项和X作为工具变量的情况。GMM估计方法GMM方法可以基于更为一般化的矩条件。参数非线性函数误差项为非正态分布GMM方法试图得到与参数间理论关系尽可能接近的参数估计值。通常使用的理论关系为参数的某种函数与工具变量呈现正交（orthogonality），即E(f(β)’Z)=0式中β为K维待估计参数向量，Z为L维工具变量向量，L≥K。GMM估计量在大样本情况下渐近有效。GMM估计方法矩条件的个数L大于模型中参数个数K时会出现过度识别问题，此时需要考虑在充分利用样本信息的同时避免出现相互冲突的估计结果。这通过使样本加权矩最小化来实现。GMM估计的步骤为：给出待估计的模型设定工具变量求得使样本矩最小的参数估计做必要的统计检验GMM估计方法考虑回归模型Y=F(X,β)+e

定义有关待估计参数的函数f(β)=(Y-F(X,β))GMM估计方法选择使f(β)与工具变量Z之间的相关程度最接近于0的参数估计，即最小化：J(β)=(M(β))’A(M(β))式中样本矩向量

(M(β))=f(β)’Z，A为加权矩阵。由任何对称正交矩阵A都可以得到β的一致性估计量，但得到β有效估计的必要条件是A等于样本矩M协方差矩阵的逆矩阵。在EVIEWS中使用GMM估计方法在调用模型估计方法时选择GMM估计技术在随后出现的窗口中给出待估计的模型可以用列变量表的方式，如YCX。可以用数学函数形式表达，如a*log(y)+xb在工具变量窗口给出工具变量设定工具变量设定采用列表方式工具变量的个数必须等于或大于待估计参数的个数EVIEWS会自动增加常数项C作为工具变量在EVIEWS中使用GMM估计方法例1：用Z和W作为工具变量估计模型Yi=β0+β1Xi+ei模型设定窗口YCX工具变量窗口CZW或ZW相应的正交条件为：在EVIEWS中使用GMM估计方法例2：用Z和Zt-1作为工具变量估计模型a*log(Yt)+Xtb=et模型设定窗口C(1)*log(Y)+X^C(2)工具变量窗口CZZ(-1)或ZZ(-1)相应的正交条件为：此时报告的估计结果中不包括R2模型设定与设定误差检验模型设定错误有广义和狭义两种情况狭义的错误指模型设定出现丢失重要解释变量、包括不必要的解释变量、解释变量测度存在误差等情况；广义的错误还包括多重共线、残差项出现异方差或序列相关等情况。当出现模型设定错误时，利用OLS方法得到的参数估计不再具有最小方差和无偏性质。建模：从一般到简单的策略模型设定与设定误差检验多重共线模型变量设定错误遗漏必要的解释变量包括不必要的解释变更解释变量含有测度误差误差项不符合古典假定回归方程函数形式错误异方差和序列相关多重共线根据古典假定，矩阵X'X应该是满秩的，即X'X可逆。若数据违反上述假定，那么出现解释变量间的完全多重共线。在实际工作中，由于数据原因造成的解释变量完全多重共线并不常见，并且多数是由于模型设定错误。经常遇到的情况是解释变量之间的不完全多重共线。令rj为不同时为零的常数，上述两种情况可以表示为：完全的多重共线不完全的多重共线（vi为一随机误差项）多重共线多重共线是由于解释变量之间存在较高的相关性。经济变量之间总会存在较高的相关性，差别仅仅是在相关的程度上。对于应用模型，我们面临的不是是否存在多重共线问题，而是多重共线的严重程度。当解释变量高度相关时，估计模型参数遇到困难。从数学角度解释，这就是说，当两个变量存在共同的运动模式时，采用统计手段分离两者各自对因变量的影响将是非常困难的。多重共线不同类型的数据出现多重共线的原因不同，程度也不同：对于时间序列数据，变量之间经常存在共同的运动趋势（收入增长与财富积累），或由于共同受第三个变量的影响而出现相类似的变动（通货膨胀）。截面数据可能出现接近等比例的变化（农业生产中劳动投入和物质投入与面积大小成正比）。一般而言，使用时间序列数据建立模型时更可能遇到多重共线问题。多重共线的性质对于多重共线可以从性质上做如下划分：总体现象：变量通过内在的机制共同运动，此时不管用什么样的抽样方法，得到的样本总会表现出较强的多重共线问题。例：收入和财富之间的关系。样本现象：即使总体不存在变量之间的共同运动趋势，抽取的样本仍可能出现多重共线，即样本含有的信息不够丰富，未能充分反映总体的变异情况，导致无法分离每个X单独对Y产生的影响。模型设定问题：例如多项式模型中的解释变量为同一变量的高阶形式。当该变量变异较小时，会出现较强的多重共线。多重共线的症状考虑方程Y=

0+1X1+2X2+e。根据前面介绍的计算公式有：由公式可以看出，当存在严重的多重共线时：估计参数的方差增大，统计检验的显著性失真，即t检验趋于接受虚假设；参数估计变得不稳定，一个变量的微小变化可能引起估计量发生显著改变。

如何识别多重共线对于多元回归，检验多重共线程度的较实用的办法是做每个解释变量对其余变量的回归，然后根据R2判断问题的严重程度。计算解释变量的相关矩阵也是一个可以考虑的方法，但结果并不可靠。为什么如此？若某个方程的R2很大，那么表明该变量与其余变量高度相关。该变量的系数易于受到多重共线问题的影响。在研究工作中，我们常常只对部分回归系数比较关心。如果这些系数不大可能受到多重共线的影响，那么完全可以不做任何处理。如何解决多重共线问题增加观察值，特别是取得解释变量之间关系变异大的样本资料：对于截面数据，我们可以扩大样本容量。在实践中，开展调查活动的成本较大，因而应重视事先搞好抽样方案设计，以保证样本的信息含量。对于时间序列数据，我们基本上没有任何手段来扩大样本。可以考虑将时间序列数据与截面数据结合使用。对变量作数学变换（差分/比值/倒数）：这种方法依赖研究者的判断，需要不断积累经验。如何解决多重共线问题利用有关某些参数值的信息，采用有约束的估计方法：这种信息来自于其他研究或主观判断，需要有扎实的经验基础，以避免随意性。删除某个导致多重共线的变量：这种处理方式导致得到有偏的估计结果，进而影响到分析结论的可靠性。保留结果，做出解释和说明：如果模型主要用于预测，那么存在严重多重共线的模型仍可以使用，特别是当解释变量之间的相关预期在未来仍将保持的条件下。遗漏必要的解释变量设表示成离差形式的二元回归模型为： y=

1x1+2x2+e假定模型设定时遗漏了解释变量x2，回归方程变为:

对此模型采用OLS估计，得到的系数估计值为:遗漏必要的解释变量将真实关系式代入后得到：估计参数的期望值为遗漏必要的解释变量当两个解释变量相关时，等号右边第二项不等于零。因而当遗漏x2时有：用OLS方法得到的估计是模型真实参数的有偏估计量；此外，在样本容量增大时，偏差也不会趋近于零，即对的估计不具有一致性特性；的偏差方向取决于的符号和的符号。上述结论同样适用于多元回归模型。丢失重要解释变量引起的偏差方向Cov(x1,x2)>0Cov(x1,x2)<0β2>0估计参数偏大估计参数偏小β2<0估计参数偏小估计参数偏大说明：在讨论偏差方向时应注意参数的符号，不要仅根据绝对值的变化来说明偏大或偏小，而宜采取严格的数学表达式如E()>b1

。遗漏必要的解释变量遗漏必要的解释变量时，估计参数的方差也是有偏的，从而造成统计检验失真。模型仅包括两个解释变量时，的方差计算公式为：若总体方差已知，那么遗漏必要的解释变量造成低估参数方差。在应用工作中，总体方差需要由样本估计，即：由于丢失必要的解释变量一方面增大分子，另一方面也增大分母，因而难以确定参数方差的偏差方向。

遗漏必要的解释变量在应用工作中，除由于理论和数据原因而导致遗漏必要解释变量的错误外，更经常出现的情况有：采用错误的数学函数形式例如用线性函数表示非线性关系解释变量出现定义变化例如国家统计局计算农村居民收入时对自产自用农产品使用的价格变化解释变量出现测度误差例如我国的畜产品产量、耕地面积模型设定检验方法模型设定产生错误的主要原因有：缺乏估计正确模型所需的数据资料。理论认识不完善，无法确定必要的解释变量。对于第一种情况，可以选择适当的替代变量。理想的情况是，替代变量与原变量有尽可能高的相关性，与模型中其它变量有尽可能低的相关性。这种处理可能降低估计参数的有效性，但保证得到无偏估计。对于第二种情况，可以采取统计检验手段来判断回归模型设定是否正确。模型选择：Leamer建议的方法Leamer建议的模型估计策略模型估计方法取决于模型的用途；可以采取极端区间分析(Extremeboundanalysis)方法；识别出某些关键变量，估计任何模型时总包括这些变量；将其他变量看作是不确定的；试验关键变量与部分或全部不确定变量的各种可能组合；从这些估计中得到关键参数的可能区间。这一方法存在的问题需要估计的组合数量呈指数增长（当不确定变量有k个时，至少需要估计2k个组合）。无从得知结果中是否包括了正确的模型设定。估计参数的极端区间提供了关于参数不确定性的一个指标（置信区间）。模型选择：Leamer建议的方法极端区间分析将解释变量分为两类：可信的和可疑的做一系列估计，每个估计都包括全部可信变量和可疑变量的一个子集。应用EBA方法的例子[LeamerandLeonard,1983]：假定工资是教育E、年龄A和智商IQ的函数可疑的变量有父母的教育PE和智商PIQ模型选择：Leamer建议的方法做以下回归1.W=fn(E,A,IQ)2.W=fn(E,A,IQ,PE)3.W=fn(E,A,IQ,PIQ)4.W=fn(E,A,IQ,PE,PIQ)报告四种情况下E、A和IQ的系数如何变化，有关结果给出由于模型设定上的不确定性而导致的模型参数的不确定性。模型选择：Hendry建议的方法采取从一般到特殊的策略从最为一般化的模型着手(以时间序列模型为例)Yt=0Xt+1Xt-1+…+mXt-m+1Yt-1+2Yt-2+…+mYt-m+ut考虑如何确定滞后的期数mHendry认为，简化的模型应满足以下条件：能够得到数据支持，并提供可行的逻辑推断；与经济理论相一致；解释变量至少满足弱外生性（与误差项不相关）；估计参数表现出稳定性；误差项表现出良好的随机性特点；是所有可选择模型形式中表现最好的。模型设定检验方法对涉及多个系数的虚假设做联合检验可以采用F检验，有关方法前面已经做了介绍。另一种方法是采用似然值比值检验。利用估计模型时得到的对数似然值可计算得到统计量，该统计量服从自由度为q的

2分布，据此可以确定是否应拒绝虚假设。模型设定方法论传统研究采取由特殊到一般的方法，即由最开始的简单形式逐渐增加变量，直到得到满意的拟合。数据挖掘(Datamining)现代研究采取从一般到特殊的方法，其特点是：重视模型设定方法论，强调模型同经济理论和统计学原理的逻辑一致性。开始时选用尽可能充分反映行为的一般模型形式，然后在不损害描述准确性的前提下对模型进行简化。这一思路基于如下认识：计量经济学的出发点是所谓的“数据生成过程”，该过程是客观的，可以用一般形式的样本数据联合概率分布规律来表示。针对“数据挖掘”的三种态度第一种：应尽力避免数据挖掘，当不得不这样做时，要对结果的分析解释中说明其局限性；第二种：数据挖掘是不可避免的，由此所得到的有价值的结果是在各种设定下参数的可能范围（Leamer建议的极端界限分析体现了这一主张）；第三种：数据挖掘是研究工作所必需的，这是利用计量经济学方法揭示真实经济关系的希望之所在。针对“数据挖掘”的三种态度第一种态度将关于抽样分布的考虑与关于认识的可靠性（epistemicwarrant）的考虑相混淆，从而对数据挖掘采取不必要的敌意态度；第二种态度主要建立在稳健性这一概念之上（notionofrobustness），与估计结果是否真实并无内在的联系；第三种态度体现了伦敦经济学院（LSE）计量经济学学派所主张的从一般到特殊的寻找真实模型的方法。一些经验事实表明，合理的数据挖掘是对经济现象做经验研究的必要方式。“合理”与“不合理”的数据挖掘合理的数据挖掘以现有行为理论为指导可以针对所研究的特殊情况提出假说依据从一般到特殊的方法不轻易地从样本中剔除观察对象（不主观修改数据）客观地报告中间结果不合理的数据挖掘主要依据统计表现来确定模型设定逐步回归根据主观判断随意地剔除观察对象根据研究者自身的主观认识选择报告理想的模型虚拟变量的使用用虚拟变量做因变量概率模型或二元选择模型(Probit/Logit)用虚拟变量做自变量截距虚拟变量斜率虚拟变量使用虚拟变量作自变量在应用工作中，有时需要使用虚拟变量作为解释变量，以反映因变量由于某种原因而出现跳跃式的变化/转折。一般形式：对于模型是否有必要包含虚拟变量，可以通过统计检验方法来确定。用虚拟变量做多种分类作为一般性规则，当模型包括M个类别时，我们需要用M-1个虚拟变量来代表其间的差异；若设置M个虚拟变量，模型将出现多重共线问题（若去掉常数项则不会出现此问题）；当某个变量的类别相当多时，应考虑将其合并成较少的组；回归模型中可以包括多个不同性质的类别；我们既可以用t统计值来检验单一虚拟变量的显著性，也可以用F统计值检验所有虚拟变量的显著性。截距和斜率虚拟变量综合作用我们还可以在模型中同时使用截距和斜率虚拟变量，其形式如：Y

=β0+

0D+β1X+

1D*X+e如果D=0，那么E(Y)=β0+β1X如果D=1，那么E(Y)=(β0+

0)+(β1+

1)X如果两个

均具有统计显著性，那么这意味着实际上应该利用两个不同类别的数据分别建立模型，以描述特定对象的行为。虚假回归

（SpuriousRegression）在利用时间序列数据建立回归模型时经常会遇到所谓的“虚假回归”。虚假回归指的是从统计指标上看令人非常满意但却不具有任何实际意义的回归结果。虚假回归的典型特征有：极高的R2值；高度显著的t和F统计值；很低的DW值。GDP与农业税和关税出口与人口DependentVariable:LOG(EXPT) Method:LeastSquares Includedobservations:24

Variable CoefficientStd.Error t-Statistic Prob. C -11