第三讲 多元回归分析：估计

1、1计量经济学导论计量经济学导论 多元回归分析：估计y = b0 + b1x1 + b2x2 + . . . bkxk + u2 引例引例研究的目的要求研究的目的要求为了研究影响中国税收收入增长的主要原因，分析中央和地方为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收税收收入增长的数量规律预测中国税收未来的增长趋势，入增长的数量规律预测中国税收未来的增长趋势，需要建立计量经济模型。需要建立计量经济模型。 研究范围：研究范围：19781978年年-2007-2007年年全国税收收入全国税收收入理论分析：理论分析：为了全面反映中国税收增长的全貌，选择包括为了全面反映中国税收增长的全貌，选

2、择包括中央和地方税收的中央和地方税收的“国家财政收入国家财政收入”中的中的“各项税收各项税收”（简称（简称“税收收入税收收入”）作为被解释变量；选择国内生产总值（）作为被解释变量；选择国内生产总值（GDP）作为经济整体增长水平的代表；选择中央和地方作为经济整体增长水平的代表；选择中央和地方“财政支出财政支出”作为公共财政需求的代表；选择作为公共财政需求的代表；选择“商品零售价格指数商品零售价格指数”作为物作为物价水平的代表。价水平的代表。3年份 税收收入（亿元）（Y） 国内生产总值（亿元）（X2）财政支出（亿元）（X3）商品零售价格指数（%）（X4）1978 519.283624.11122.

3、09100.71979 537.824038.21281.79102.01980 571.704517.81228.83106.01981 629.894862.41138.41102.41982 700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.519

4、892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.419934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.419

5、9910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.85序列序列Y、X2、X3、X4

6、的线性图的线性图可以看出可以看出Y、X2、X3都是逐年增都是逐年增长的，但增长速率有所变动，而长的，但增长速率有所变动，而且且X4在多数年份呈现出水平波动。在多数年份呈现出水平波动。说明变量间不一定是线性关系，说明变量间不一定是线性关系，可探索将模型设定为以下对数模可探索将模型设定为以下对数模型：型：注意这里的注意这里的“商品零售价格指数商品零售价格指数”1222334lnlnlntttttYXXXubbbb（X4）未取对数。）未取对数。6 三、估计参数三、估计参数模型估计的结果为：模型估计的结果为：234ln2.8491 0.4123ln0.6664ln0.0115iYXXX 20.9873

7、R 20.9858R (0.6397) (0.1355) (0.1557) (0.0055) t= (-4.4538) (3.0420) (4.2788) (2.0856) F=673.7521 n=3071 1、经济意义检验：、经济意义检验：模型估计结果说明，在假定其它变量不变的情况下，当年GDP每增长1%，税收收入会增长0.4123%；当年财政支出每增长1%，平均说来税收收入会增长0.6664%；当年商品零售价格指数上涨一个百分点，平均说来税收收入会增长1.15%。这与理论分析和经验判断相一致。2 2、统计检验：、统计检验： 拟合优度：拟合优度： ， 表明样本回归方程较好表明样本回归方程较

8、好地拟合了样本观测值。地拟合了样本观测值。 F F检验：检验：对对 已得到已得到 F =F =673.7521,给定给定 查表得自由度查表得自由度k-1=3和n-k=26的临界值：的临界值： ，因为因为 F=673.7521 ，说明模型总体上显著，说明模型总体上显著，即即“国内生产总值国内生产总值”、“财政支出财政支出”、“商品零售价格指数商品零售价格指数”等变量联合起来确实对等变量联合起来确实对“税收收入税收收入”有显著影响。有显著影响。05. 020.9873R 20.9858R 0234:0Hbbb(3,26)2.98F(3,26)2.98F t t分别针对分别针对 ，给定显著性水平，给

9、定显著性水平 , ,查查t t分布表得自由度为分布表得自由度为n-k=26n-k=26的临界值的临界值 。由回归结果已知与由回归结果已知与 、 、 对应的对应的t t值分别为：值分别为：-4.4538、3.0420、4.2788、2.0856，其绝对值均大于其绝对值均大于 ， 这说明在显著性水平这说明在显著性水平 下，分下，分别都应当拒绝别都应当拒绝 说明当在其它解释变量不变的情况下，解释变量说明当在其它解释变量不变的情况下，解释变量“国内生国内生产总值产总值” 、“财政支出财政支出” ” 、“商品零售价格指数商品零售价格指数” ” 分分别对被解释变量别对被解释变量“税收收入税收收入”Y Y都

10、有显著的影响。都有显著的影响。 05. 082() 2.056tn k0 (1,2,3,4)jjb0:H1b2b3b4b2()2.056tnk0:H0 (1,2,3,4)jjb05. 0本章本章STATA命令语句命令语句Gen lny=log(y)Gen lnx1=log(x1)Gen lnx2=log(x2)reg lny lnx1 lnx2 x3Vif(方差膨胀因子方差膨胀因子)pwcorr x1 x2 x3 x4 x5stepwise, pe(0.05): regress Y X1 X2 X3 X4 X5 (增加解释变量的显著性)stepwise, pr(0.05): regress Y

11、 X1 X2 X3 X4 X5 （删除解释变量的显著性） 10 3.13.1多重共线性的检验多重共线性的检验 简单相关系数检验法简单相关系数检验法 方差扩大（膨胀）因子法方差扩大（膨胀）因子法 直观判断法直观判断法 逐步回归法逐步回归法11简单相关系数检验法简单相关系数检验法 含义：含义：简单相关系数检验法是利用解释变量之间的线简单相关系数检验法是利用解释变量之间的线性相关程度去判断是否存在严重多重共线性的一种性相关程度去判断是否存在严重多重共线性的一种简便方法。简便方法。 判断规则：判断规则：一般而言，如果每两个解释变量的简单相一般而言，如果每两个解释变量的简单相关系数关系数(零阶相关系数零

12、阶相关系数)比较高，例如大于比较高，例如大于0.8，则可，则可认为存在着较严重的多重共线性。认为存在着较严重的多重共线性。12 注意：注意： 较高的简单相关系数只是多重共线性存在的充分条件较高的简单相关系数只是多重共线性存在的充分条件，而不是必要条件。特别是在多于两个解释变量的，而不是必要条件。特别是在多于两个解释变量的回归模型中，有时较低的简单相关系数也可能存在回归模型中，有时较低的简单相关系数也可能存在多重共线性。因此并不能简单地依据相关系数进行多重共线性。因此并不能简单地依据相关系数进行多重共线性的准确判断。多重共线性的准确判断。13 方差扩大（膨胀）因子法方差扩大（膨胀）因子法 统计上

13、可以证明，解释变量统计上可以证明，解释变量的参数估计式的参数估计式的方差可表示为的方差可表示为 其中的其中的是变量是变量(Variance Inflation Factor)，即，即的方差扩大因子的方差扩大因子其中其中 是多个解释变量辅助回归的可决系数是多个解释变量辅助回归的可决系数 21VIF =1-jjR22_2221Var() =VIF1-)jjjjjR(xx(xxVIFjjXjXj2jR14经验规则经验规则方差膨胀因子越大，表明解释变量之间的多重共性方差膨胀因子越大，表明解释变量之间的多重共性越严重。反过来，方差膨胀因子越接近于越严重。反过来，方差膨胀因子越接近于1，多重，多重共线性越

14、弱。共线性越弱。经验表明，方差膨胀因子经验表明，方差膨胀因子10(R平方大于等于平方大于等于0.9)时，说明解释变量与其余解释变量之间有严重时，说明解释变量与其余解释变量之间有严重的多重共线性，且这种多重共线性可能会过度地影的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计。响最小二乘估计。15直观判断法直观判断法 1.有些解释变量的回归系数所带正负号与定性有些解释变量的回归系数所带正负号与定性分析结果违背时，很可能存在多重共线性。或分析结果违背时，很可能存在多重共线性。或者总体解释较高但是存在一个或多个很不显著者总体解释较高但是存在一个或多个很不显著的解释变量。的解释变量。 2.当增

15、加或剔除一个解释变量，或者改变一个当增加或剔除一个解释变量，或者改变一个观测值时，回归参数的估计值发生较大变化，观测值时，回归参数的估计值发生较大变化，回归方程可能存在严重的多重共线性。回归方程可能存在严重的多重共线性。163. 解释变量的相关矩阵中，自变量之间的相关系解释变量的相关矩阵中，自变量之间的相关系数较大时，可能会存在多重共线性问题数较大时，可能会存在多重共线性问题(两个两个自变量间的共线性）。自变量间的共线性）。4.对于多个自变量间存在共线性时，如果一些重对于多个自变量间存在共线性时，如果一些重要的解释变量的回归系数的标准误差较大，并要的解释变量的回归系数的标准误差较大，并且在回归

16、方程中没有通过显著性检验时，可初且在回归方程中没有通过显著性检验时，可初步判断可能存在严重的多重共线性。步判断可能存在严重的多重共线性。17逐步回归检测法逐步回归检测法 逐步回归的基本思想逐步回归的基本思想 将变量逐个的引入模型，每引入一个解释变量后，都要进将变量逐个的引入模型，每引入一个解释变量后，都要进行检验，并对已经选入的解释变量逐个进行行检验，并对已经选入的解释变量逐个进行t 检验，当检验，当原来引入的解释变量由于后面解释变量的引入而变得不再原来引入的解释变量由于后面解释变量的引入而变得不再显著时，则将其剔除。以确保每次引入新的变量之前回归显著时，则将其剔除。以确保每次引入新的变量之前

17、回归方程中只包含显著的变量。方程中只包含显著的变量。 在逐步回归中，高度相关的解释变量，在引入时会被剔除在逐步回归中，高度相关的解释变量，在引入时会被剔除。因而也是一种检测多重共线性的有效方法。因而也是一种检测多重共线性的有效方法。18计量经济学导论计量经济学导论 3.2 使用多元回归的动因n含有两个自变量的模型 19计量经济学导论计量经济学导论 01 122011222012yxxuxyxyconsincincubbbbbbbbb为截距；衡量了当其他因素不变时， 对 的影响；衡量了当其他因素不变时， 对 的影响；如何解释上述方程中的参数？保持其他因素不变的效应在上述方程中是否存在？3.33.

18、420计量经济学导论计量经济学导论 consincconsmax122yxxbb21计量经济学导论计量经济学导论 n关键的假设是方程3.5中u与x1和x2的关系。12,0E u x x3.522计量经济学导论计量经济学导论 n有K个自变量的模型y = b0 + b1x1 + b2x2 + . . . bkxk + u 3.623计量经济学导论计量经济学导论 多元回归方程的相关定义及性质nb0 为截距；nb1 到 bk 为斜率参数；nu 仍然为误差项或扰动项；n零条件均值假设： E(u|x1,x2, ,xk) = 0；n残差平方和最小化，可得k+1个一阶条件。24计量经济学导论计量经济学导论 2

19、5计量经济学导论计量经济学导论 OLS的机制与解释nOLS Estimates结果是OLS方法选择最小化残差平方和的估计值，即使3.10式尽可能的小。26计量经济学导论计量经济学导论 OLS First Order ConditionSRFSSR27计量经济学导论计量经济学导论 刘愿刘愿OLS回归方程的解释28计量经济学导论计量经济学导论 n例子3.1：大学生GPA的决定因素29计量经济学导论计量经济学导论 n例子3.2：小时工资方程30计量经济学导论计量经济学导论 在多元回归中保持其他因素不变的含义 n多元回归分析的作用是，提供了一个“在其他因素保持不变”下的解释，尽管我们的数据并非以这种方

20、式搜集。31计量经济学导论计量经济学导论 同时改变两种以上因素时参数的含义32计量经济学导论计量经济学导论 OLS拟合值与残差项iiyyNormally, 33计量经济学导论计量经济学导论 121 122OLS0;2.OLS OLS 0;0.3.,OLSiiiiikokkuxuyux xxyyxxxbbbb拟合值及残差有与单变量回归同样的重要性质：1.样本残差均值为零:每个自变量与残差之样本协方差均为零，拟合值与残差之样本协方差也为零： 样本均值点总是在样本回归线上：34计量经济学导论计量经济学导论 多元回归参数估计值表达式1211111221121=iiiiiiiir yrrxxxxxxyb

21、bb在二元回归中， 具有如下的表达式：其中， 是 中与无关的部分，或者说是的效应被排除(partialled out)之后的 。因此，衡量了排除了 的影响后 与 的关系。35计量经济学导论计量经济学导论 n证明:111111101112110111211111111111 ,000 0(2,3,)niiiiiiniiiiikikiniiiikikinij iinniiiijiiiiiixxrx uxryxxxryxxxx rfor alljkryxryxrrbbbbbbbbbb11 111 11111 11111211 0nniiiiiiniiiiniiiniiyrx rryrr yrbbbb

22、36计量经济学导论计量经济学导论 简单线性回归与多元线性回归估计值比较01 101 122yxyxxbbbbbSRFMRF以下两种情况简单回归函数和多元回归函数参数估计值相等：37计量经济学导论计量经济学导论 n例子3.3 401（K）养老金计划的参与率简单回归与多元回归中，mrate的系数差异不大，原因在于mrate与age的相关性不大（相关系数只有0.12）38计量经济学导论计量经济学导论 拟合优度39计量经济学导论计量经济学导论 n例子3.4 大学GPA的决定因素如何理解模型的拟合优度R2?40计量经济学导论计量经济学导论 n例子3.5 解释被逮捕的记录41计量经济学导论计量经济学导论

23、OLS估计的期望值多元回归的假设：nAssumption MLR.1: 总体参数线性：y = b0 + b1x1 + b2x2+ bkxk+ unAssumption MLR.2: 随机抽样：从总体随机抽样 获得一个样本容量为n的样本(xi1, xi2 , xik, yi): i=1, 2, , n. 样本模型可写为： yi = b0 + b1xi1 + b2xi2+ bkxik+ uinAssumption MLR.3: 零条件均值E(u| x1, x2 , xk) = 042计量经济学导论计量经济学导论 nAssumption MLR.4: 自变量之间不存在完全共线性：在样本（因而在总体）

24、中，没有任何一个自变量是常数，自变量之间也不存在严格的严格的线性关系线性关系。MLR.4 允许自变量之间存在相关性，但不能是完全相关。一个变量是另一个变量的常数倍。一个自变量恰好可以表达成其他两个或多个自变量的线性函数。样本容量n相对于被估计的参数个数而言太小。43计量经济学导论计量经济学导论 44计量经济学导论计量经济学导论 45计量经济学导论计量经济学导论 nProof:0112211210112211211121 11211111111210,0;2,3,.|0iiikikiiiiiikikiiiij iiiiiiiiiiiiyxxxur yrrxxxurrx rfor all jkx

25、rrr urr E uXEXrE uXbbbbbbbbbbbbbbb46计量经济学导论计量经济学导论 3.3在回归模型中包括了无关变量n在模型设定中包括了无关变量，对参数估计值没有影响，OLS估计仍然无偏，但对OLS估计值的方差方差会有不良影响。（一般而言会增大估计值方差，证明见后面）n如果在模型中遗漏了一个应该包括进来的变量，OLS估计还会保持无偏吗？ 47计量经济学导论计量经济学导论 遗漏变量偏误01 12201 1111211, , iiiyxxuyxuxxyxxbbbbbb假设真实模型是：但我们估计了:则48计量经济学导论计量经济学导论 遗漏变量偏误（续）011221101122211

26、1211211, iiiiiiiiiiiiiyxxuxxxxuxxxx xxx ubbbbbbbb回忆真实模型参数估计值分子变为：49计量经济学导论计量经济学导论 遗漏变量偏误（续）112111122211111112112211 E( )0, iiiiiiiiiixxxxx uxxxxuxxxExxbbbbbbb既然对 取期望可得：50计量经济学导论计量经济学导论 遗漏变量偏误（续）21112201 1121111211112 iiixxxxxxxxxEEbbb bbb 考虑 对 进行回归：，则则为遗漏变量偏误如何理解期望遗漏偏误值的表述51计量经济学导论计量经济学导论 遗漏变量偏误总结n

27、偏误等于零的两种情况:qb b2 = 0, 即 x2 不应该包括在这个模型中。q在样本中x1 和 x2 是不相关的。52计量经济学导论计量经济学导论 偏误方向总结Corr(x1, x2) 0Corr(x1, x2) 0偏误为正偏误为负b2 0偏误为负偏误为正101053计量经济学导论计量经济学导论 遗漏变量偏误：更一般的情形n一个一般的结论： 在一个三变量多元回归中，假设遗漏了x3，且x1与x3相关，但x2与x3无关。 如果x1与x2无关，则对b2的估计是无偏的； 如果x1与x2相关，则对b2的估计是有偏的。54计量经济学导论计量经济学导论 01 1223301 122113113122110

28、12310121cov,0expexpiiiyxxxuyxxxx xEifx xxxwageeducerabiluwageeducervbbbbbbbbbbbbbbbbbbbn遗漏变量检验遗漏变量检验案例分析案例分析n根据统计资料得到了美国工资的横截面数据，变量主要包括：wage=工资，educ=受教育年限，exper=工作经验年限，tenure=任职年限，lwage=工资的对数值。数据名为：“wage1.dta” 。n利用wage1的数据，分别利用Link方法和Ramsey方法检验模型n是否遗漏了重要的解释变量。Link and Ramsey检验的基本思想检验的基本思想nLink检验的基本思

29、想：如果模型设定是正确的，那么y拟合值的平方项将不具有解释能力。nRamsey检验的基本思想：如果模型设定无误，那么拟合值和解释变量的高级项都不应再有解释能力。56计量经济学导论计量经济学导论 操作指导操作指导n1.使用使用Link方法检验遗漏变量方法检验遗漏变量nLink方法进行检验的基本命令语句为：nlinktest if in , cmd_optionsn在这个命令语句中，linktest是进行Link检验的基本命令，if是表示条件的命令语句，in是范围语句，cmd_options表示Link检验的选项应该与所使用的估计方法的选项一致，例如检验之前使用的回归regress命令，则此处的选

30、项应与regress的选项一致。例如，利用wage1的数据，检验模型是否遗漏了重要的解释变量，应该输入以下命令：reg lwage educ exper tenurelinktest输出结果可以看到hatsq项的p值为0.018，拒绝了hatsq系数为零的假设，即说明被解释变量lwage的拟合值的平方项具有解释能力，所以可以得出结论原模型可能遗漏了重要的解释变量。为了进一步验证添加重要变量是否会改变Link检验的结果，我们生成受教育年限educ和工作经验年限exper的平方项，重新进行回归并进行检验，这时输入的命令如下：gen educ2=educ2 gen exper2=exper2reg

31、lwage educ exper tenure educ2 exper2linktest 第一个命令语句的作用是生成变量educ2，使其值为变量educ的平方；第二个命令语句的作用是生成变量exper2，使其值为变量exper的平方；第三个命令语句的作用是对进行回归估计;第四个命令就是进行遗漏变量的Link检验。2.使用使用Ramsey方法检验遗漏变量方法检验遗漏变量Ramsey方法进行检验的基本命令语句为：estat ovtest , rhs在这个命令语句中，estat ovtest是进行Ramsey检验的命令语句，如果设定rhs，则在检验过程中使用解释变量，如果不设定rhs，则在检验中使用

32、被解释变量的拟合值。例如，利用wage1的数据，使用Ramsey方法检验模型是否遗漏了重要的解释变量，应该输入以下命令：reg lwage educ exper tenureestat ovtestn在输出结果，第一个图表仍然是回归结果，第二部分则是Ramsey检验的结果，不难发现Ramsey检验的原假设是模型不存在遗漏变量，检验的p值为0.0048，拒绝原假设，即认为原模型存在遗漏变量。n为了进一步验证添加重要变量是否会改变Ramsey检验的结果，我们采取Link检验中的方法，生成受教育年限educ和工作经验年限exper的平方项，重新进行回归并进行检验，这时输入的命令如下：ngen edu

33、c2=educ2 ngen exper2=exper2nreg lwage educ exper tenure educ2 exper2nestat ovtestn这里不再赘述这些命令语句的含义，调整之后的检验结果所示，可以发现此时检验的p值为0.5404，无法拒绝原假设，即认为模型不再存在遗漏变量。63计量经济学导论计量经济学导论 3.4 OLS估计量的方差我们已知，参数估计值的样本分布以真实参数为中心。进一步的，我们希望了解这一分布的分散程度。 增加一个同方差性假设同方差性假设，即假设： Var(u|x1, x2, xk) = s264计量经济学导论计量经济学导论 OLS估计量的方差（续）

34、n 令 x代表代表 (x1, x2,xk)，假设 MLR.5: Var(u|x) = s2 可写成 Var(y| x) = s2n前面4个假设是为了无偏性，加上同方差性假设即构成横截面数据的高斯-马尔科夫假设。 65计量经济学导论计量经济学导论 OLS估计量的方差（续） 222223.2 OLSMLR.1MLR.5-j=1,2, ,k, 1 jjjjijjjjVarSSTRSSTxxRxRsbj定 理（斜 率 估 计 量 的 抽 样 方 差 ）在 假 定之 下 （ 高 斯马 尔 科 夫 假 定 ） ，以 自 变 量 的 样 本 值 为 条 件 ， 对 所 哟 的都 有式 中 ，为 x的 总 样 本 变 异 ；则 为 将 对 所 有 其 他 自 变 量 （ 并 包 含 一 个 截 距 项 ） 进 行 回 归 所 得 到 的 。66计量经济学导论计量经济学导论 n证明：2111121122122221222211112var|var|11iiiiiiiiir urruXXrrrSSTRrSSR SSTRbbbsss 67计量经济学导论计量经济学导论 OLS估计值方差的组成n误差方差: s2越大，OLS估计值方差越大。n总样本差异性：SSTj 越大， OLS估计值方差越小。n自变量之间的线性相关性：Rj