计量经济学(第三章多元线性回归)培训讲学

计量经济学(第三章多元线性回归)第一节多元线性回归模型及古典假定主要介绍1.1多元线性回归模型及其矩阵表示1.2模型的古典假定1.1.1多元线性回归模型形式一般形式（随机扰动形式，注意X的下标）：其中:k为解释变量的数目，j称为回归参数（regressioncoefficient）。

习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为（k+1）多元线性回归模型形式（续）多元线性回归模型的矩阵表示1.2模型的古典假定（一）假设1误差项无偏——随机扰动项均值为0：E(ui)=0假设2同方差和无自相关模型的古典假定（二）假定3随机扰动项与解释变量不相关。即假定4无多重共线性。此即假定解释变量向量之间线性无关，这样，解释变量矩阵X列满秩：R(X)=k。此时，有假定5正态性。假定第二节多元线性回归模型的估计本节主要介绍2.1参数的最小二乘估计（OLS）；2.2OLS回归线的性质2.3参数的最小二乘估计量的性质；2.4随机扰动项的方差估计。2.1参数的最小二乘估计(OLS)对多元线性回归方程的最小二乘估计和分析是一元情形的推广。所使用的前提假定、估计方法、估计结果的性质等等都同于一元的情形。OLS：原则、求解、结果2.2OLS回归线的性质完全同一元情形：2.3OLS估计量的性质也完全同一元情形：OLS估计量的性质（续）2.4随机扰动项方差的估计第三节多元线性回归模型的检验本节主要介绍：3.1拟合优度检验（多重可决系数及其修正）3.2回归参数的显著性检验（t－检验）3.3回归方程的显著性检验（F－检验）3.4拟合优度、t－检验、F－检验的关系3.1.1拟合优度检验

－总变差、自由度的分解目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。类似于一元情形，先将多元线性回归作如下变差分解：对以上自由度的分解的说明3.1.2可决系数可决系数的定义：意义：可决系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。取值范围：0-13.1.3修正可决系数为什么要修正？可决系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。导致解释变量个数不同模型之间对比困难。可决系数只涉及变差，没有考虑自由度。修正思路：引进自由度校正所计算的变差。修正可决系数（续）3.2回归参数的显著性检验

——t－检验以下给出t-检验的具体过程3.3回归方程的显著性检验

——（F检验）回归系数的t检验，检验了各个解释变量Xj单独对应变量Y是否显著；我们还需要检验：所有解释变量联合在一起，是否对应变量Y也显著？这即是下面所要进行的F检验。3.3.1方差分析表以下用表格的形式列出变差、自由度、方差变差来源平方和自由度方差源于回归K源于残差n-k-1总变差n-13.3.2F－检验（单侧检验）3.4各种检验之间的关系3.4.1经济意义检验和其他检验的关系联系：判断一个回归模型是否正确，首先要看模型是否具有合理的经济意义，其次才是统计检验。3.4.2拟合优度和F检验的关系（1）都是对回归方程的显著性检验；（2）都是把总变差分解，以构成统计量进行检验；（3）两者同增同减，具有一致性。拟合优度和F检验的关系（续）区别：（1）F检验中使用的统计量有精确的分布，而拟合优度检验没有；（2）对是否通过检验，可决系数（修正可决系数）只能给出一个模糊的推测；而F检验可以在给定显著水平下，给出统计上的严格结论；3.4.2F－检验和t－检验的关系在一元的情形，两者是一致的，等价的。对单个解释变量显著性进行t检验，也就检验了解释变量的整体显著性（F检验）；并且可以证明：F＝t2（所以在一元情形，只需要进行一种检验）多元中，不存在以上关系。第四节多元线性回归模型的预测4.1应变量平均值的点预测、区间预测；4.2应变量个别值的点预测、区间预测；4.1应变量平均值的点预测、区间预测4.1.1Y平均值的点预测将解释变量预测值代入估计的方程便可：4.1.2Y平均值的区间预测基本思想Y平均值的区间预测

——具体作法4.2应变量个别值的点预测、区间预测4.2.1点预测：与应变量平均值点预测相等，为：

4.2.2应变量个别值的区间预测如何才能缩小置信区间？

增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。提高样本观测值的分散度，也就是说变量必须变化大。5.案例分析实验第五节受约束回归在建立回归模型时，有时根据经济理论需对模型中变量的参数施加一定的约束条件。模型施加约束条件后进行回归，称为受约束回归（restrictedregression）;

不加任何约束的回归称为无约束回归（unrestrictedregression）。受约束回归

一、模型参数的线性约束二、对回归模型增加或减少解释变量三、参数的稳定性*四、非线性约束

一、模型参数的线性约束对模型施加约束得或(*)(**)如果对（**）式回归得出则由约束条件可得：

然而，对所考查的具体问题能否施加约束？需进一步进行相应的检验。常用的检验有：

F检验、x2检验与t检验，

主要介绍F检验在同一样本下，记无约束样本回归模型为受约束样本回归模型为于是受约束样本回归模型的残差平方和RSSR于是e’e为无约束样本回归模型的残差平方和RSSU(*)受约束与无约束模型都有相同的TSS由（*）式RSSR

RSSU从而

ESSRESSU这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。

但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR

与RSSU的差异变小。可用RSSR

-RSSU的大小来检验约束的真实性根据数理统计学的知识：于是：

讨论：如果约束条件无效，RSSR

与RSSU的差异较大，计算的F值也较大。于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。注意，kU-kR恰为约束条件的个数。

例中国城镇居民对食品的人均消费需求实例中，对零阶齐次性检验：取=5%，查得临界值F0.05(1,10)=4.96

判断：不能拒绝中国城镇居民对食品的人均消费需求函数具有零阶齐次特性这一假设。无约束回归:RSSU=0.00324，kU=3受约束回归:RSSR=0.00332，KR=2样本容量n=14，约束条件个数kU-kR=3-2=1这里的F检验适合所有关于参数线性约束的检验如：多元回归中对方程总体线性性的F检验：H0：j=0j=1,2,…,k这里：受约束回归模型为这里，运用了ESSR＝0。

二、对回归模型增加或减少解释变量考虑如下两个回归模型(*)(**)(*)式可看成是（**）式的受约束回归：H0：相应的Ｆ统计量为：如果约束条件为真，即额外的变量Xk+1,…,Xk+q对Ｙ没有解释能力，则Ｆ统计量较小；否则，约束条件为假，意味着额外的变量对Ｙ有较强的解释能力，则Ｆ统计量较大。因此，可通过F的计算值与临界值的比较，来判断额外变量是否应包括在模型中。讨论：

Ｆ统计量的另一个等价式

三、参数的稳定性

1、邹氏参数稳定性检验建立模型时往往希望模型的参数是稳定的，即所谓的结构不变，这将提高模型的预测与分析功能。如何检验？假设需要建立的模型为在两个连续的时间序列（1,2,…，n1）与（n1+1,…，n1+n2）中，相应的模型分别为：

合并两个时间序列为(1,2,…，n1，n1+1,…，n1+n2)，则可写出如下无约束回归模型如果=，表示没有发生结构变化，因此可针对如下假设进行检验：H0:=(*)式施加上述约束后变换为受约束回归模型(*)（**）因此，检验的F统计量为：记RSS1与RSS2为在两时间段上分别回归后所得的残差平方和，容易验证，于是参数稳定性的检验步骤：（1）分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方：RSS1与RSS2

（2）将两序列并为一个大样本后进行回归，得到大样本下的残差平方和RSSR（3）计算F统计量的值，与临界值比较：

若F值大于临界值，则拒绝原假设，认为发生了结构变化，参数是非稳定的。该检验也被称为邹氏参数稳定性检验（Chowtestforparameterstability）。

2、邹氏预测检验

上述参数稳定性检验要求n2>k。如果出现n2<k，则往往进行如下的邹氏预测检验（Chowtestforpredictivefailure）。

邹氏预测检验的基本思想:先用前一时间段n1个样本估计原模型，再用估计出的参数进行后一时间段n2个样本的预测。

如果预测误差较大，则说明参数发生了变化，否则说明参数是稳定的。分别以、表示第一与第二时间段的参数，则其中，如果=0，则=，表明参数在估计期与预测期相同(*)(*)的矩阵式：可见，用前n1个样本估计可得前k个参数的估计，而不外是用后n2个样本测算的预测误差X2(-)(**)如果参数没有发生变化，则=0，矩阵式简化为(***)（***）式与（**）式这里：KU-KR=n2RSSU=RSS1分别可看成受约束与无约束回归模型，于是有如下F检验：

第一步，在两时间段的合成大样本下做OLS回归，得受约束模型的残差平方和RSSR；

第二步，对前一时间段的n1个子样做OLS回归，得残差平方和RSS1；

第三步，计算检验的F统计量，做出判断：邹氏预测检验步骤：给定显著性水平，查F分布表，得临界值F(n2,n1-k-1)如果F>F(n2,n1-k-1)，则拒绝原假设，认为预测期发生了结构变化。

例

中国城镇居民食品人均消费需求的邹氏检验。

1、参数稳定性检验1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)1981~2001:

(14.83)(27.26)(-3.24)(-11.17)给定=5%，查表得临界值F0.05(4,13)=3.18判断：F值>临界值，拒绝参数稳定的原假设，表明中国城镇居民食品人均消费需求在1994年前后发生了显著变化。

2、邹氏预测检验给定=5%，查表得临界值F0.05(7,10)=3.18判断：F值>临界值，拒绝参数稳定的原假设

*四、非线性约束

也可对模型参数施加非线性约束,如对模型施加非线性约束12=1,得到受约束回归模型:

该模型必需采用非线性最小二乘法（nonlinearleastsquares）进行估计。

非线性约束检验是建立在最大似然原理基础上的,有最大似然比检验、沃尔德检验与拉格朗日乘数检验.1、最大似然比检验(likelihoodratiotest,LR)

估计:无约束回归模型与受约束回归模型，

方法:最大似然法，

检验:两个似然函数的值的差异是否“足够”大。

记L(,2)为一似然函数:无约束回归:Max:受约束回归:Max:或求极值：

g():以各约束条件为元素的列向量,’：以相应拉格朗日乘数为元素的行向量

约束：g()=0

受约束的函数值不会超过无约束的函数值，但如果约束条件为真，则两个函数值就非常“接近”。由此，定义似然比（likelihoodratio）:

如果比值很小，说明两似然函数值差距较大，则应拒绝约束条件为真的假设；

如果比值接近于１，说明两似然函数值很接近，应接受约束条件为真的假设。

具体检验时，由于大样本下：

h是约束条件的个数。因此：

通过LR统计量的2分布特性来进行判断。

在中国城镇居民人均食品消费需求例中，对零阶齐次性的检验：LR=-2(38.57-38.73)=0.32给出=5%、查得临界值20.05(1)＝3.84，

判断：LR<20.05(1),不拒绝原约束的假设，

２、沃尔德检验（Waldtest,W）

沃尔德检验中，只须估计无约束模型。如对在所有古典假设都成立的条件下，容易证明

因此，在1+2=1的约束条件下

记

可建立沃尔德统计量:如果有h个约束条件，可得到h个统计量z1,z2,…,zh约束条件为真时，可建立大样本下的服从自由度为h的渐近2

分布统计量

其中，Z为以zi为元素的列向量，C是Z的方差-协方差矩阵。因此，W从总体上测量了无约束回归不满足约束条件的程度。

对非线性约束，沃尔德统计量W的算法描述要复杂得多。

3、拉格朗日乘数检验

拉格朗日乘数检验则只需估计受约束模型.受约束回归是求最大似然法的极值问题:

’是拉格朗日乘数行向量，衡量各约束条件对最大似然函数值的影响程度。

如果某一约束为真，则该约束条件对最大似然函数值的影响很小，于是，相应的拉格朗日乘数的值应接近于零。因此，拉格朗日乘数检验就是检验某些拉格朗日乘数的值是否“足够大”，如果“足够大”，则拒绝约束条件为真的假设。

拉格朗日统计量LM本身是一个关于拉格朗日乘数的复杂的函数，在各约束条件为真的情况下，服从一自由度恰为约束条件个数的渐近2分布。

n为样本容量，R2为如下被称为辅助回归（auxiliaryregression）的可决系数:

如果约束是非线性的，辅助回归方程的估计比较复杂，但仍可按（*）式计算LM统计量的值。

最后，一般地有:LMLRW同样地，如果为线性约束，LM服从一精确的2分布：(*)第六节虚拟变量的定义在经济系统中，许多变动是不能定量的,如政府的更迭(工党-保守党)、经济体制的改革、固定汇率变为浮动汇率、从战时经济转为和平时期经济等。变动都可以用大家所熟悉的0-1变量来表示，

用1表示具有某一“品质”或属性，用0表示不具有该“品质”或属性,这种变量在计量经济学中称为“虚拟变量”。虚拟变量是一用以反映质的属性的一个人工变量，通常记为D(Dummy)。例1研究学历和收入之间的关系,在你的样本中既有女性又有男性,你打算研究在此关系中性别是否会导致差别。例2研究某省家庭收入和支出的关系,采集的样本中既包括农村家庭,又包括城镇家庭,你打算研究二者的差别。例3研究通货膨胀的决定因素,在你的观测期中,有些年份政府实行了一项收入政策。你想检验该政策是否对通货膨胀产生影响。可以用两种方法来解决,方法一:

分别进行两类情况的回归,然后看参数是否不同,方法二:

用全部观测值作单一回归,将定性因素的影响用虚拟变量引入模型。2.虚拟变量模型的定义(1)虚拟变量在模型中可以作解释变量,也可以作因变量。(2)引入虚拟变量后,回归方程中同时含有一般解释变量和虚拟变量,称这种变量结构的模型为虚拟变量模型或协方差分析模型。虚拟变量作因变量的模型又称抉择模型。3.模型中引入虚拟变量的作用

(1)分离异常因素的影响,例如分析我国GDP的时间序列,必须考虑“文革”因素对国民经济的破坏性影响,剔除不可比的“文革”因素。(2)检验不同属性类型对因变量的作用,例如工资模型中的文化程度、季节对销售额的影响。(3)提高模型的精度,相当于将不同属性的样本合并,扩大了样本容量(增加了误差自由度,从而降低了误差方差)。4.设置虚拟变量的原则在模型中引入多个虚拟变量时，虚拟变量的个数应按下列原则确定：(1)有m种互斥的属性类型,则引入m-1个虚拟变量。例如，性别有2个互斥的属性,引用2-1=1个虚拟变量;文化程度分小学、初中、高中、大学、研究生5类,引用4个虚拟变量。(2)如果对m个状态引入m个虚拟变量来表示,虚拟变量间会造成多重共线。例10-1男女个体消费者每年的食品支出(美元)年龄女性食品支出女性税后收入男性食品支出男性税后收入<2519831155722301158925-3429872938737573332835-4429933146338213615145-5431562955432913544855-64270625137342932988>65221714952253320437例10-2食品支出与税后收入和性别的关系观察值食品支出税后收入性别观察值食品支出税后收入性别119831155717223011589022987293871837573332803299331463193821361510431562955411032913544805270625137111342932988062217149521122533204370设性别虚拟变量

Di定义如下:Di=1,第i个观察值的性别为女性；0,第i个观察值的性别为男性；例工会化程度与工作权利法PVT:表示1982年私营部门工会化程度；RWL:虚拟变量RWLi=1,第i个州通过工作权利法；0,第i个没有通过工作权利法。ANCOVA模型ANCOVA模型:回归模型的解释变量包括定量变量和定性变量，称这种回归模型为协方差分析模型(analysis-of-covariancemodels),其中定量变量称为协变量.

例10.1中没有考虑协变量—税后收入,重新建立模型:

Yi=1+2Di+3Xi+ui利用表10-2的数据,分析得到如下结果:femalemale税后收入食品支出一个定量变量及多个定性变量的回归分析考察表10-4数据,想了解51个地区公立学校教师薪水是否有显著差异。pay:公立学校教师平均年薪水平;pps:政府机构用于每个学生的花费地区:1—东北和中北部地区2—南部地区3—西部地区设两个虚拟变量D2和D3:1东北和中部地区0其他地区

D2＝1南部地区0其他地区

D3＝建立ANCOVA模型，则有PPS不变时,D2=D3=0(西部):PPS不变时,D2=1,D3=0(东中北):PPS不变时,D2=0,D3=1(南部):变量的交互影响能源问题:下表是某国1966年~1979年能源需求与相应GDP的数据资料,年份初次能源需求量Y实际GDPX年份初次能源需求量Y实际GDPX196510010019731141501966106108197411715619671151171975121161196812212319761231691969129132197712917419701361411978130177197114114519791341831972143154Y与X的散点图如下：X1965196619671968196919701971197219731974197519761977197819799010011012013014015080100120140160180200Y回归结果如下：可以看出，模型的拟合度非常不好。

考虑1973年石油危机以后,该国能源需求结构的变化,对下面引入系数虚拟变量的多元回归模型进行OLS估算。0石油冲击前（1965－1972）1石油冲击后（1973－1979）

Di＝其中设β2<0是因为考虑到石油冲击后,出现了节能性的经济增长。重新回归，得到结果如下：决定系数明显提高，估算出来的回归系数满足符号条件，而且均在1％水平上显著(tc(15-3)＝2.681)；2.石油冲击前的系数为0.839,石油冲击后的系数为0.640.可见石油冲击后，经济增长模式向节能化方向转变。虚拟变量模型的分类例题：考察1990年前后的中国居民的总储蓄-收入关系是否已发生变化。表中给出了中国1979~2001年以城乡储蓄存款余额代表的居民储蓄以及以GNP代表的居民收入的数据。1990年前：Yi=1+2Xi+1ii=1,2…,n1

1990年后：Yi=1+2Xi+2ii=1,2…,n2

则有可能出现下述四种情况中的一种：(1)1=1，且2=2，即两个回归相同，称为重合回归（Coin