中央财经大学《计量经济学》第四章：多元线性回归模型

1、1第四章第四章 多元线性回归模型多元线性回归模型简单线性回归模型的推广2第一节 多元线性回归模型的概念 在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。因此，有必要考虑线性模型的更一般形式，即多元线性回归模型： t=1,2,n 在这个模型中，Y由X1、X2、X3、 XK所解释，有K+1个未知参数0、1、2、K 。 这里，“斜率”j的含义是其它变量不变的情况其它变量不变的情况下下，Xj改变一个单位对因变量所产生的影响。tktktttXXXYu.221103 例例1 1： 其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983年的数据，得到

2、如下回归结果（括号中数字为标准误差）： Y和X的计量单位为10亿美元 (按1972不变价格计算). u210PXY)114. 0()003. 0()6 . 9(99. 0739. 0112. 07 .1162RPXY），（数总消费支出价格平减指食品价格平减指数1001972100P4多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10亿美元（1个billion），食品消费支出增加1.12亿元（0.112个 billion）。 收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）5例例2： 其中

3、，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平 2的含义是，在流动资产不变的情况下，可支配收入变动一个单位对消费额的影响。这是收入对消费额的直接影响。 收入变动对消费额的总影响=直接影响+间接影响。 （间接影响：收入影响流动资产拥有量影响消费额） 但在模型中这种间接影响应归因于流动资产，而不是收入，因而，2只包括收入的直接影响。 在下面的模型中： 这里，是可支配收入对消费额的总影响，显然和2的 含义是不同的。ttttuLDC321ntuDCttt,.,2, 1,6回到一般模型 t=1,2, ，n即对于n组观测值，有tktktttXXXYu.22110nKnKnnnnKKKKu

4、XXXXYuXXXXYuXXXXY.3322110223232221210211313212111017其矩阵形式为： 其中 nYYYY.21KnnKKXXXXXXX.1.1.11212111uXYnKuuuu.,.21210注:转“矩阵代数基础” 8第二节 多元线性回归模型的估计 多元线性回归模型的估计与双变量线性模型类似，仍采用OLS法。当然，计算要复杂得多，通常要借助计算机。理论推导需借助矩阵代数。下面给出普通最小二乘法应用于多元线性回归模型的假设条件、估计结果及所得到的估计量的性质。一一假设条件（1）E(ut)=0, t=1,2,n （2）E(ui uj)=0, ij （3）E(ut2

5、)=2, t=1,2,n （4）Xjt是非随机量， j=1,2, k t=1,2, n 9 除上面4条外，在多个解释变量的情况下，还有两个条件需要满足：（5）（K+1） n; 即观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来拟合回归线）。（6）各解释变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件：10(1) E(u)=0 (2)由于 显然， 仅当 E(ui uj)=0 , ij E(ut2) = 2, t=1,2,n 这两个条件成立时才成立，因此， 此条件相当前面条件(2), (3)两条，即各期扰动项互不相关，并具有常数方差。2212221212121212

6、1.nnnnnnnuuuuuuuuuuuuuuuuuuuuuuunIuuE2)(nIuuE2)(11（3） X 是一个非随机元素矩阵。 （4）Rank(X) = (K+1) n. -相当于前面 (5) 、 (6) 两 条 即矩阵X的秩 =（K+1)0,b0) M = a(r - 2)b这里，变量非线性和参数非线性并存。对此方程采用对数变换 logM=loga+blog(r-2) 令Y=logM, X=log(r-2), 1= loga, 2=b 则变换后的模型为： Yt=1+2Xt + ut 49 将OLS法应用于此模型，可求得1和2的估计值 ，从而可通过下列两式求出a和b估计值： 应当指出，

7、在这种情况下，线性模型估计量的性质（如BLUE,正态性等）只适用于变换后的参数估计量 ，而不一定适用于原模型参数的估计量 和 。21,21)log(ba21和a b50 例4上例在确定货币需求量的关系式时，我们实际上给模型加进了一个结束条件。根据理论假设，在某一利率水平上，货币需求量在理论上是无穷大。我们假定这个利率水平为2%。假如不给这一约束条件，而是从给定的数据中估计该利率水平的值，则模型变为： M = a(r - c)b 式中a,b,c均为参数。仍采用对数变换，得到 log(Mt) = loga + blog(rt - c) + ut t=1,2,n 我们无法将log(rt-c)定义为一

8、个可观测的变量X, 因为这里有一个未知量c。也就是说，此模型无法线性化。在这种情况下，只能用估计非线性模型参数值的方法。51四非线性回归 模型 Y = a(X - c)b是一个非线性模型，a、b和c是要估计的参数。此模型无法用取对数的方法线性化，只能用非线性回归技术进行估计，如非线性最小二乘法（NLS）。该方法的原则仍然是残差平方和最小。计量经济软件包通常提供这类方法，这里给出有关非线性回归方法的大致步骤如下：52非线性回归方法的步骤1首先给出各参数的初始估计值（合理猜测值）;2用这些参数值和X观测值数据计算Y的各期预测 值（拟合 值） ; 3计算各期残差，然后计算残差平方和e2; 4对一个或

9、多个参数的估计值作微小变动； 5计算新的Y预测值 、残差平方和e2； 6若新的e2小于老的e2，说明新参数估计值 优于老估计值，则以它们作为新起点； 7重复步骤4，5，6，直至无法减小e2为止。 8最后的参数估计值即为最小二乘估计值。YY53 第五节 假设检验一系数的显著性检验1单个系数显著性检验 目的是检验某个解释变量的系数j是否为0，即该解释变量是否对因变量有影响。 原假设 H0： j=0 备择假设 H1： j0 54单个系数显著性检验的检验统计量是自由度为 n-k-1 的 t 统计量： t(n-k-1)其中， 为矩阵 主对角线上第 j+1个元素。而)()(jjjjVarSet)(jVar

10、21)(XX1122knXYYYknet55例：柯布-道格拉斯生产函数 用柯布和道格拉斯最初使用的数据（美国1899-1922年制造业数据）估计经过线性变换的模型得到如下结果（括号内数字为标准误差） ：)15. 0()06. 0()43. 0(96. 0log81. 0log23. 018. 0log2RLKY请检验“斜率”系数和的显著性。logloglogloglogYAKLv56解：(1)检验的显著性 原假设 H0： = 0 备择假设 H1： 0 由回归结果，我们有：t0.23/0.06=3.83用=24321查t表，5%显著性水平下，tc 2.08. t3.83 tc 2.08， 故拒绝

11、原假设H0 。结论：显著异于0。57(2)检验 的显著性 原假设 H0： = 0 备择假设 H1： 0 由回归结果，我们有：t0.81/0.15=5.4t5.4 tc 2.08， 故拒绝原假设H0 。 结论：显著异于0。582若干个系数的显著性检验（联合假设检验） 有时需要同时检验若干个系数是否为0，这可以通过建立单一的原假设来进行。 设要检验g个系数是否为0，即与之相对应的g个解释变量对因变量是否有影响。不失一般性，可设原假设和备择假设为： H0: 1 =2 = =g =0 H1: H0不成立 (即X1, Xg中某些变量对Y有 影响)59分析： 这实际上相当于检验g个约束条件 1= 0，2

12、= 0， ，g = 0 是否同时成立。若H0为真，则正确的模型是： 据此进行回归（有约束回归），得到残差平方和 SR是H0为真时的残差平方和。 tKtKtggtXXYu.1102110.KtRktgRgRtRXXYS60若H1为真，正确的模型即原模型：tKtKttXXYu.110据此进行无约束回归（全回归），得到残差平方和S是H1为真时的残差平方和。2k110.KtttXXYS61 如果H0为真，则不管X1, Xg这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应该有： S SR如果H1为真，则由上一节中所讨论的残差平方和e2的特点，无约束回归增加了变量的个数，应有 S SR 通过

13、检验二者差异是否显著地大，就能检验原假设是否成立。62所使用的检验统计量是： F(g, n-k-1)其中， g为分子自由度， n-k-1为分母自由度。使用 的作用是消除具体问题中度量单位的影响， 使计算出的 F 值是一个与度量单位无关的量。)1(KnSgSSFRSSSR63例：给定20组Y, X1, X2, X3的观测值，试检验模型 中X1和X3对Y是否有影响？解：（1）全回归 估计 得到：S =e2 = 25 （2）有约束回归 估计 得到：SR =e2 = 30tttttXXXYu3322110tttXYu22064 原假设 H0: 1 = 3 = 0 备择假设 H1: H0不成立 我们有：

14、n=20, g=2, k=3 6.1162522530)1(KnSgSSFR用自由度（2，16）查F分布表，5%显著性水平下，FC=3.63 F=1.6 FC =3.63, 故接受H0。 结论：X1和X3对Y无显著影响653全部斜率系数为0的检验 上一段结果的一个特例是所有斜率系数均为0的检验，即回归方程的显著性检验： H0： 1 =2 = = K K = 0 也就是说，所有解释变量对Y均无影响。 注意到 g=K， 则该检验的检验统计量为： 2)(YYSR)1()()1()(222KneKeYYKnSKSSFR66 分子分母均除以 ，有2)(YY1)()(12222KnYYeKYYeF) 1(

15、)1 (22KnRKR 从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，如果接受原假设，则表明因变量的行为完全归因于随机变化。若拒绝原假设，则表明所选择模型对因变量的行为能够提供某种程度的解释。67二二检验其他形式的系数约束条件 上面所介绍的检验若干个系数显著性的方法，也可以应用于检验施加于系数的其他形式的约束条件，如 检验的方法仍是分别进行有约束回归和无约束回归，求出各自的残差平方和 SR 和 S，然后用 F 统计量进行检验。 当然，单个系数的假设检验，如 H0： 3=1.0，亦可用t检验统计量进行检验。1,11,5 . 2, 0 . 132434268例：Cobb-Do

16、uglas生产函数 Y=AKL 试根据美国制造业1899-1922年数据检验规模效益不变的约束：+=1解：（1）全回归 22log0.180.23log0.81log0.96:(0.43)(0.06)(0.15)2520.0710YKLRSeFe69（2）有约束回归： 将约束条件代入，要回归的模型变为： Y=AKL1- 为避免回归系数的不一致问题， 两边除以L，模型变换为： Y/L=A(K/L) 回归，得：22log( / )0.020.25log(/ ):(0.02)(0.04)0.6338.00.0716Y LK LSeRFe70 由软件包可得到约束回归和全回归的残差平方和分别为 SR=0

17、.0716 S=0.0710 （3）检验 原假设 H0:+1 备择假设 H1:+1 本例中，g=1, K=2, n=24 18. 0210710. 010710. 00716. 0) 1(KnSgSSFR71 用自由度（1，21）查F表，5%显著性水平下， Fc=4.32 F=0.18 Fc=4.32 故接受原假设H0:+1 （4）结论 我们的数据支持规模收益不变的假设。72*三、似然比三、似然比(LR)检验、沃尔德检验、沃尔德(W)检验与拉格朗检验与拉格朗日乘数日乘数(LM)检验检验除了前面介绍的t检验和F检验以外，还有三种著名的检验方法：似然比检验（Likelihood Ratio tes

18、t，LR）、沃尔德检验（Wald test, W）与拉格朗日乘数检验(Lagrange Multiplier test, LM)。它们都是基于极大似然法（ML法）的大样本检验方法，在计量经济分析的一些领域得到广泛应用，尤其是可用于非线性约束与非线性模型的检验，对于这方面的检验，t检验和F检验之类的小样本检验方法是无能为力的。但这些大样本检验法涉及对极大似然法的深入讨论和较高深的数学推导，详细介绍它们超出了本书的范围，仅在本段作简单介绍。73设表示模型中的参数集（如双变量线性模型中，由三个参数 组成），L()为似然函数， 表示无约束极大似然估计值（unrestricted MSE）， 表示有约束

19、极大似然估计值（restricted MSE）。W检验仅用 ，LM检验仅用 ，LR检验二者都要用。也就是说, LR检验既需要对无约束方程又需要对有约束方程进行极大似然估计,W检验仅需对无约束方程进行极大似然估计, LM检验仅需对有约束方程进行极大似然估计。在很多情况下，计算有约束极大似然估计值较容易，因为方程相对简单。这也是LM检验法非常流行的原因。2、 和741 LM检验和检验和W检验检验令 我们有：ES() = 0, varS() = I(),并且，若 是极大似然估计值（MLE），则22lnln( ),( )LLSIE( )0S75LM检验的逻辑是，如果原假设是关于的某些约束条件成立，则对

20、于有约束极大似然估计值 ，应该有因此LM检验统计量为( )0( )( )SII。同时还有。12: ( ) ( )( )skTSIS其中k为约束的数目。LM检验有几种形式，取决于 如何被估计。如果 显著不同于 ，或者原假设不成立， 将显著异于0。W检验则使用无约束极大似然估计值 的协方差矩阵 来构造原假设的检验。sTsT( )I1 ( )I76 2LR检验检验LR检验法的思路与本节前面讨论的联合假设检验一样，分别进行无约束回归和有约束回归，算出无约束和有约束情况下的L()最大值，然后计算比率 由于约束条件下的L()最大值小于无约束条件下的L()最大值，因而必然小于1。如果约束条件（原假设）不成立

21、，将显著小于1；如果约束条件（原假设）成立，则将接近于1。 LR检验使用的检验统计量为2Ln，该检验统计量服从自由度为k的 分布，k为约束的数目。( )( )LL约束条件下的最大值无约束条件下的最大值2773用于检验线性约束的用于检验线性约束的LR、W和和LM检验统计检验统计量量 对于线性约束的检验，似然比检验统计量为lnRRSSLRnURSS 其中 RRSS有约束残差平方和 URSS无约束残差平方和 n观测值个数 LR服从自由度为k的 分布，k为约束的数目。278W检验和LM检验用于线性约束检验的统计量分别为：/RRSSURSSWURSS n/RRSSURSSLMRRSS nW和LM也都服从

22、自由度为k的 分布，k为约束的数目。可以证明，这三个检验统计量之间存在下面的关系：2WLRLM79这三个大样本检验方法用于双变量线性模型中检验原假设 的检验统计量为022221ln11LRnRnRWRLMnR这三者都服从自由度为1的 分布。280第六节 预测 我们用OLS法对多元回归模型的参数进行了估计之后，如果结果理想，则可用估计好的模型进行预测。与双变量模型的作法类似，预测指的是对诸自变量的某一组具体值 来预测与之相对应的因变量值 。当然，要进行预测，有一个假设前提应当满足，即拟合的模型在预测期也成立。 ).1 (02010kXXXC 0Y81 点预测值由与给定的诸X值对应的回归值给出，即

23、 而预测期的实际Y值由下式给出： 其中u0是从预测期的扰动项分布中所取的值。.020210100CXXXYkk00020210100.uCuXXXYkk82预测误差可定义为：000YYe)(0Cu0)()()(00ECuEeE0 CY两边取期望值，得因此，OLS预测量是一个无偏预测量。83 预测误差的方差为：)(1()()()()(1221200CXXCCXXCCVarCuVareVar)()(000eSeeEe) 1 , 0()(110NCXXCe从 e0 的定义可看出， e0 为正态变量的线性函数，因此，它本身也服从正态分布。故84由于 为未知，我们用其估计值代替它，有 则 的95%置信区

24、间为： （其中， ）) 1(2knet)1()(1100kntCXXCYYCXXCtC1025.0)(10YC0Y85例例 用书上P79例4.3的数据，预测X2=10，X3=10的Y值。 解： 由例4.3我们已得到： 14)10(5 . 1)10(5 . 240Y7 . 6101014/102/382/3110/45810/4510/267)10101 ()(1CXXC5 .106XY108YY86因此 的95%置信区间为： 或 3.66至23.65之间.75. 01255 .1061081122knXYYYknet0Y7 .6175.0303.41487 第七节 虚拟变量（Dummy var

25、iables）一虚拟变量的概念 在回归分析中，常常碰到这样一种情况，即因变量的波动不仅依赖于那种能够很容易按某种尺度定量化的变量（如收入、产出、价格、身高、体重等），而且依赖于某些定性的变量（如性别、地区、季节等）。 在经济系统中，许多变动是不能定量的。如政府的更迭（工党-保守党）、经济体制的改革、固定汇率变为浮动汇率、从战时经济转为和平时期经济等。 88 这样一些变动都可以用0-1变量来表示，用1表示具有某一“品质”或属性，用0表示不具有该“品质”或属性。这种变量在计量经济学中称为“虚拟变量虚拟变量”。虚拟变量使得我们可以将那些无法定量化的变量引入回归模型中。 下面给出几个可以引入虚拟变量的

26、例子。例1：你在研究学历和收入之间的关系，在你的样本中，既有女性又有男性，你打算研究在此关系中，性别是否会导致差别。89例2：你在研究某省家庭收入和支出的关系，采集的样本中既包括农村家庭，又包括城镇家庭，你打算研究二者的差别。例3：你在研究通货膨胀的决定因素，在你的观测期中，有些年份政府实行了一项收入政策。你想检验该政策是 否对通货膨胀产生影响。 上述各例都可以用两种方法来解决，一种解决方法是分别进行两类情况的回归，然后看参数是否不同。另一种方法是用全部观测值作单一回归，将定性因素的影响用虚拟变量引入模型。 90二虚拟变量的使用方法1 截距变动 设Y表示消费，X表示收入，我们有： 假定不变。

27、对于5年战争和5年和平时期的数据，我们可分别估计上述两个模型，一般将给出 的不同值。 现引入虚拟变量D, 将两式并为一式： 其中， XYuXY21和平时期：战时：uDXY210 0 战战 时时D = 1 平平 时时91 此式等价于下列两式： 截距变动，斜率不变 在包含虚拟变量的模型中，D的数据为0，0，0，0，0，1，1，1，1，1。 估计结果如下图所示： 应用t检验，2是否显著 可以表明截距项在两个时 期是否有变化。uXYuXY12010平时：战时： Y 平 时 战 时 2-1=2 1=0 X922 斜率变动 如果我们认为战时和平时的消费函数中，截距项不变，而斜率不同，即变动，则可用下面的模

28、型来研究两个时期边际消费倾向的差异： 其中，D= 不难看出，上式相当于下列两式： 同样，包括虚拟变量的模型中，2是否显著可以表明斜率在两个时期是否变化。uDXXYuXDY)()(2121即：平时战时10uXYuXY)(211Y 战 时 平 时 X933斜率和截距都变动在这种情况下，模型可设为： 其中，D= 此式等价于下列两个单独的回归式：uDXXDYuXDDY)()()(43214321即：平时战时10uXYuXY）（平时：战时：432131)( 引进了虚拟变量的回归模型对于检验两个时期中是否 发生结构性变化很方便。 如上例中，相当于检验 H0: 2=4=0944季节虚拟变量的使用 许多变量展

29、示出季节性的变异(如商品零售额、电和天然气的消费等)，我们在建立模型时应考虑这一点，这有两种方法： （1） 在估计前对数据进行季节调整； （2） 采用虚拟变量将季节性差异反映在模型 中。 95例：设Y=购买汽车的实际支出额 X=实际总消费支出 用美国1973(1) - 1980(2)的季度数据（按1975年价格计算），得回归结果如下：)5 . 0()6 . 1 (:)(0281. 00133. 00 .7652tRXY这一结果很不理想，低R2值，低t值，X的符号也不对。考虑到可能是季节性变异的问题，我们建立下面的模型：96 其中， uXQQQY433221101110Q 季度其它季度2120Q

30、季 度其 它 季 度3130Q季 度其 它 季 度各季度的截距分别为：1季度：0 + 12季度： 0 + 23季度： 0 + 34季度： 0 请注意我们仅用了3个虚拟变量就可表示4个季度的情况。97估计结果如下： 结果仍不理想，但好多了。四个季度的截距项分别为： -1039.2，-1122.7，-1161.4，-1455.8。 所得到的实际总支出的参数估计值（0.1044）是一个不受季节变动影响的估计值。65. 01044. 034 .29421 .3336 .41681.14552)5 . 4()9 . 5()4 . 6(1)2 . 7()5 . 3(:)(RXQQQYt985. 虚拟变量陷

31、阱虚拟变量陷阱 我们在上一段中用三个虚拟变量表示四个季度的情况。能不能用四个虚拟变量来区分四个季度呢？答案是绝对不行。因为这将在X矩阵中增加一列（虚拟变量Q4的观测值列），四季度为1，其它季度为0。不难看出，在这种情况下，四个虚拟变量在X矩阵中的观测值列相加，就得到一个所有元素都为1的列向量，与X矩阵中第一列（截距项列）完全相同，表明X矩阵各列线性相关，矩阵的秩小于k1，不满足假设条件（4），OLS估计无法进行。这就是所谓的“虚拟变量陷阱（Dummy variable trap）”因此，若定性变量有m个类别，则仅需引入（m1）个虚拟变量。如果引入m个虚拟变量，则会画蛇添足，陷入虚拟变量陷阱。9

32、9第四章 小结本章将双变量模型的结果推广到了多元线性回归模型的一般情形。一、多元线性回归模型的估计多元线性回归模型的矩阵形式为 Y=X+若满足以下四条假设条件： 1、E（）=0 2、E（）= 2 In 3、X是一个非随机元素矩阵 4、Rank（X）=k+1n 则OLS估计量 =（XX）-1XY为最佳线性无偏估计量（BLUE）。其方差-协方差矩阵为 Var-cov（ ）=（XX）-12该矩阵主对角线元素为诸 的方差。j100二、拟合优度多元线性回归模型的决定系数为：R2 =由于当模型增加解释变量后，残差平方和的值会减小，为了使拟合优度的测度反映这一特点，可采用经过自由度调整的决定系数，即修正决定

33、系数 ：2222)(1YnYYYnXYYYe2R11)1 (1) 1/()() 1/(12222knnRnYYkneR101三、非线性关系的处理 线性模型的含义包括变量的线性和参数的线性。对于仅存在变量非线性的模型，可采用重新定义的方法将模型线性化。 存在参数非线性的模型，则仅有一部分可通过代数变换（主要是取对数）的方法将模型线性化。对于那些无法线性化的模型，只能采用非线性估计技术（如NLS法）估计模 型。102四、假设检验 检验解释变量的系数是否为0的假设检验称为系数的显著性检验。这种检验实际上是检验所涉及的解释变量是否对因变量有影响。 检验单个系数j是否为0的检验统计量 t(n-k-1）其中Var（ ）为矩阵 主对角线上第j+1个元素，而 n和k分别是观测值数目和解释变量的个数。)(jjVartj1122k