Stata实验指导、统计分析与应用chap07

1、2021/6/71 2021/6/72 主要内容： 1、遗漏变量的检验 2、解释变量个数的选择 3、多重共线性与逐步回归法 4、极端数据的诊断与处理 5、虚拟变量的处理 6、经济结构变动的Chow检验 2021/6/73 实验7-1遗漏变量的检验 一、实验基本原理一、实验基本原理 2021/6/74 二、实验数据和实验内容二、实验数据和实验内容 根据统计资料得到了美国工资的横截面数据，变 量主要包括：wage=工资，educ=受教育年限， exper=工作经验年限，tenure=任职年限，lwage= 工资的对数值。完整的数据在本书附带光盘的 data文件夹的“wage1.dta”工作文件中。

2、 利用wage1的数据，分别利用Link方法和Ramsey方 法检验模型 是否遗漏了重要的解释变量。 2021/6/75 三、实验操作指导三、实验操作指导 1.1.使用使用LinkLink方法检验遗漏变量方法检验遗漏变量 Link方法进行检验的基本命令语句为： linktest if in , cmd_options 在这个命令语句中，linktest是进行Link检验的 基本命令，if是表示条件的命令语句，in是范围 语句，cmd_options表示Link检验的选项应该与所 使用的估计方法的选项一致，例如检验之前使用 的回归regress命令，则此处的选项应与regress 的选项一致。

3、2021/6/76 例如，利用wage1的数据，检验模型 是否遗漏了重要的解释变量，应该输入以下命令： use c:datawage1.dta,clear reg lwage educ exper tenure linktest 第一个命令表示打开数据文件wage1，第二个命令语句 是对模型进行回归估计，第三个命令就是进行遗漏变 量的Link检验，检验结果如图7.1所示。 从第二个表格中，可以看到hatsq项的p值为0.018，拒 绝了hatsq系数为零的假设，即说明被解释变量lwage 的拟合值的平方项具有解释能力，所以可以得出结论 原模型可能遗漏了重要的解释变量。 2021/6/77 为了

4、进一步验证添加重要变量是否会改变Link检验的 结果，我们生成受教育年限educ和工作经验年限exper 的平方项，重新进行回归并进行检验，这时输入的命 令如下： gen educ2=educ2 gen exper2=exper2 reg lwage educ exper tenure educ2 exper2 linktest 第一个命令语句的作用是生成变量educ2，使其值为变 量educ的平方；第二个命令语句的作用是生成变量 exper2，使其值为变量exper的平方；第三个命令语句 的作用是对进行回归估计;第四个命令就是进行遗漏变 量的Link检验，检验结果如图7.2所示。 2021/

5、6/78 2.2.使用使用RamseyRamsey方法检验遗漏变量方法检验遗漏变量 Ramsey方法进行检验的基本命令语句为： estat ovtest , rhs 在这个命令语句中，estat ovtest是进行Ramsey检验 的命令语句，如果设定rhs，则在检验过程中使用解释 变量，如果不设定rhs，则在检验中使用被解释变量的 拟合值。 例如，利用wage1的数据，使用Ramsey方法检验模型 是否遗漏了重要的解释变量，应该输入以下命令： use c:datawage1.dta,clear reg lwage educ exper tenure estat ovtest 2021/6/7

6、9 在这组命令语句中，第一个命令的功能是打开数据文 件，第二个命令是对模型进行回归估计，第三个命令 就是进行遗漏变量的Ramsey检验，检验结果如图7.3所 示。 在图7.3中，第一个图表仍然是回归结果，第二部分则 是Ramsey检验的结果，不难发现Ramsey检验的原假设 是模型不存在遗漏变量，检验的p值为0.0048，拒绝原 假设，即认为原模型存在遗漏变量。 2021/6/710 为了进一步验证添加重要变量是否会改变Ramsey检验 的结果，我们采取Link检验中的方法，生成受教育年 限educ和工作经验年限exper的平方项，重新进行回归 并进行检验，这时输入的命令如下： gen edu

7、c2=educ2 gen exper2=exper2 reg lwage educ exper tenure educ2 exper2 estat ovtest 这里不再赘述这些命令语句的含义，调整之后的检验 结果如图7.4所示，可以发现此时检验的p值为0.5404， 无法拒绝原假设，即认为模型不再存在遗漏变量。 2021/6/711 实验实验7-27-2解释变量个数的选择解释变量个数的选择 一、实验基本原理一、实验基本原理 好的经济理论的标准通常是希望通过更为简洁的模型来更 加精确地描述复杂的经济现象，但是这两个目标通常是矛 盾的，因为通过增加解释变量的个数可以提高模型的精确 程度，但是同时

8、也牺牲了模型的简洁性。因此，在现实的 经济研究过程中，通常使用信息准则来确定解释变量的个 数，较为常用的信息准则有两个： （1）赤池信息准则，又称为AIC准则，其基本思想是通过 选择解释变量的个数，使得如下目标函数最小。 2021/6/712 在这个公式中，e e代表残差序列，n代表样本 数量，K代表解释变量的个数。通过这个目标函数可以 看出，第一项是对拟合优度的奖励，即尽可能地使残 差平方和变小，第二项是对解释变量个数增多的惩罚， 因为目标函数是解释变量个数的增函数。 （2）贝叶斯信息准则，又称为BIC准则，其基本思想 是通过选择解释变量的个数，使得如下目标函数最小。 在这个公式中，e e代

9、表残差序列，n代表样本数量，K代 表解释变量的个数。通过这个目标函数可以看出，BIC 准则与AIC准则的唯一区别就是K的权重不同，一般来 说ln(n)2，所以BIC更加注重模型的简洁性。 2021/6/713 二、实验数据和实验内容：二、实验数据和实验内容： 根据统计资料得到了美国工资的横截面数据，变 量主要包括：wage=工资，educ=受教育年限， exper=工作经验年限，tenure=任职年限，lwage= 工资的对数值。完整的数据在本书附带光盘的 data文件夹的“wage1.dta”工作文件中。 利用wage1的数据，来确定以下两个模型： 模型 和模型 哪个更为合理（其中educ2

10、和exper2分别为educ和 exper的平方项）。 2021/6/714 三、实验操作指导三、实验操作指导 使用信息准则，对模型进行检验的命令如下： estat ic , n(#) 在这个命令语句中，estat ic是进行检验的命令语句， 选项 n(#)的功能是指定BIC准则中的n值，一般使用默 认值。 例如，利用wage1的数据，获得模型 的AIC和BIC值，应该输入以下命令： use c:datawage1.dta, clear reg lwage educ exper tenure estat ic 第一个命令表示打开数据文件wage1，第二个命令语句 是对模型进行回归估计，第三个命

11、令就是进行信息准则 值的计算，计算结果如图7.5所示，AIC值为635.10， BIC值为652.16。 2021/6/715 为了对比分析，我们仍然采取Link检验中的方法，生 成受教育年限educ和工作经验年限exper的平方项，建 立新的模型 重新对其进行回归并计算，这时输入的命令如下： gen educ2=educ2 gen exper2=exper2 reg lwage educ exper tenure educ2 exper2 estat ic 这里不再赘述这些命令语句的含义，调整之后的计算 结果如图7.6所示，可以发现此时计算的AIC值为 583.66，BIC值为609.25。

12、 通过这两个模型信息准则值的对比分析，可以得出结 论，第二个模型的信息准则值更小，所以此模型优于 第一个模型。 2021/6/716 实验7-3多重共线性与逐步回归 法 一、实验基本原理一、实验基本原理 多重共线性问题在多元线性回归分析中是很常见的，其导致的 直接后果是方程回归系数估计的标准误差变大，系数估计值的 精度降低等。多重共线性的问题对于Stata软件来说并不显著， 因为Stata会自动剔除完全的多重共线性，但是出于知识的完整 性，这里还是介绍一下Stata对于多重共线性的识别和处理方法。 多重共线性的诊断方法主要有： （1）直观上说：当模型的拟合优度非常高且通过F检验，但多 数解释变

13、量都不显著，甚至解释变量系数符号相反时，可能存 在多重共线性。 （2）对由解释变量所组成的序列组进行相关分析时，如果有些 变量之间的相关系数很高，则也反映出可能存在多重共线性。 （3）使用命令estat vif，对膨胀因子进行计算，经验上当VIF 的均值 =2且VIF的最大值接近或者超过10时，通常认为有较为 严重的多重共线性。 2021/6/717 当确认模型存在多重共线性时，通常有两种解决方法 消除其影响：一种是收集更多的数据，增大样本容量； 另一种是通过逐步回归，改进模型的形式。在现实研 究过程中，增大样本容量的操作不易执行，所以逐步 回归法应用更为广泛。 逐步回归法的基本原理是：先分别

14、拟合被解释变量对 于每一个解释变量的一元回归，并将各回归方程的拟 合优度按照大小顺序排列，然后将拟合优度最大的解 释变量作为基础变量，然后逐渐将其他解释变量加入 模型中并同时观测t检验值的变化，如果t检验显著则 保留该变量，否则去除，不断重复此过程直到加入所 有显著的解释变量。 2021/6/718 二、实验数据和实验内容二、实验数据和实验内容 根据统计资料得到了某市旅游业的相关数据，变量主 要包括：Y=旅游收入（单位：万元），X1=某市旅游人 数（单位：人），X2=城镇居民人均旅游支出（单位： 元），X3=农村居民人均旅游支出（单位：元），X4= 公路里程（单位：公里），X5=铁路里程（单位

15、：公 里）。完整的数据在本书附带光盘的data文件夹的 “lvyou.dta”工作文件中。 利用lvyou数据估计方程，判断是否存在多重共线性， 若存在，采用逐步回归法消除多重共线性。 2021/6/719 三、实验操作指导三、实验操作指导 1.1.估计方程估计方程 若要进行多重共线性的检验与修正，首先要建立基本的回 归模型。按照第六章所讲述内容，建立回归模型 的命令如下： use c:datalvyou.dta, clear regress Y X1 X2 X3 X4 X5 执行建立回归的命令，可以得到如图7.7所示的回归结果， 通过判断发现：整个模型的拟合优度较高，但是变量X1和 X5未通

16、过t检验，且X5的系数为负，与常理违背，因为在通 常情况下，随着铁路里程的增加，交通更加方便，所以旅 游收入应该增加。综上所述，可以初步认为该模型存在多 重共线性。 2021/6/720 2.2.多重共线性检验多重共线性检验 多重共线性的检验通常采取两种方法，一种是计算膨 胀因子，一种是计算变量之间的相关系数，下面将会 详细介绍。 （1）计算膨胀因子的命令为： estat vif , uncentered 在这个命令语句中，estat vif是计算膨胀因子的命令 语句，uncentered选项通常使用在没有常数项的模型 中。 在本实验中，在回归之后输入此命令，就可得到如图 7.8所示的膨胀因子

17、数值。结果显示该模型的膨胀因子 的平均值为14.50，远远大于经验值2，膨胀因子最大 值为20.06，远远大于经验值10，所以可以认为该模型 存在严重的多重共线性。 2021/6/721 （2）计算相关系数的命令语句为： pwcorr varlist if in weight , pwcorr_options 在这个命令语句中，pwcorr是计算相关系数的命令， varlist为将要计算相关系数的变量，if为条件语句， in为范围语句，weight为权重语句，options选项如表 7.1所示。 2021/6/722 在本实验中，可以通过计算变量X1、X2、X3、X4和X5 之间的相关系数来判

18、断模型是否存在多重共线性，所 使用的命令为： pwcorr X1 X2 X3 X4 X5 这个命令语句显示的相关系数矩阵如图7.9所示，通过 观察可以得到解释变量X1与X2、X4、X5之间，X2与X3、 X4、X5之间，以及X4与X5之间的相关系数非常高，因 此可以认为解释变量之间存在较为严重的多重共线性。 2021/6/723 3.3.逐步回归法逐步回归法 （1）手动逐步回归法 逐步回顾法的第一步是要分别拟合Y对每一个变量的回归方 程，从中选出拟合优度最高的方程作为基础方程。这个操 作所使用到的命令为： regress Y X1 regress Y X2 regress Y X3 regre

19、ss Y X4 regress Y X5 经过这步操作，可以得到如表7.2所示的回归结果，为了便 于观察，表7.2是根据Stata输出结果整理而成的。表7.2内 容显示，拟合优度的大小排列顺序为X2X5X1X4X3，所 以这时应将X2作为基础解释变量，然后将X5、X1、X4、X3 分别加入回归方程，进行逐步回归。 2021/6/724 首先，将X5加入方程进行回归，这时输入的命令为： regress Y X2 X5 结果如图7.10所示，通过观察发现，X5的系数的p值为 0.658，没有通过检验，所以删除解释变量X5。 接下来，将X1加入基本方程进行回归，得到如图7.11 所示的回归结果，结果

20、显示X1系数的p值为0.068，没 有通过检验，所以删除。 下面，将X4加入基本方程进行回归，图7.12显示所有 系数都通过了检验，所以基本方程得以扩展为X2和X4 两个解释变量。 最后，将解释变量X3加入，以X2、X4、X3作为解释变 量进行回归，这时得到最终结果如图7.13所示，所有 变量都通过了检验。 2021/6/725 （2）自动逐步回归法 上述方法对于解释变量较多的计量模型并不适用，所 以Stata提供了直接进行分步回归的命令，命令格式为： stepwise , options : command 在这个命令语句中，stepwise是进行逐步回归的命令， command为进行回归分

21、析或建立其他模型的命令， options选项显示在表7.3中。 2021/6/726 在运用stepwise命令时，需要特别注意的是搜寻的方 法和顺序，具体内容如表7.4所示。表7.4较为详细地 叙述了每种方法的内在含义和实际操作方法，所以用 户使用该命令时应根据研究需要进行选择，或者通过 几种方法结果的对比确定最终的模型。 2021/6/727 2021/6/728 例如，利用这种逐步回归的方法重复旅游业分析的建 模过程中，如果采用前向搜寻法，需要输入如下命令： stepwise, pe(0.05): regress Y X1 X2 X3 X4 X5 在这个命令语句中，stepwise是进行

22、逐步回归的命令 语句，pe(0.05)是运用显著性水平为5%的前向搜寻法， regress Y X1 X2 X3 X4 X5则是指明要建立回归模型。 由于前向搜寻法和手动逐步回归的计算方法一致，所 以得到如图7.14所示的结果与图7.13所示的结果基本 一致。但是如果使用其他方法则会得出不同的结果， 所以用户应当根据自身研究的需要进行慎重的选择。 2021/6/729 实验7-4极端数据的诊断与处理 一、实验基本原理一、实验基本原理 2021/6/730 二、实验数据和实验内容二、实验数据和实验内容 根据统计资料得到了美国汽车产业的横截面数据 (1978年) ，变量主要包括：price=汽车的

23、价格， mpg=每加仑油所行驶的英里数，weight=汽车的重 量，foreign表示是否是进口车，如果foreign=0 代表是国产车，如果foreign=1代表是进口车。完 整的数据在本书附带光盘的data文件夹的 “usaauto.dta”工作文件中。 利用usaauto数据，以price为因变量， mpg、 weight和foreign为自变量建立回归模型，找出样 本数据中存在的极端数据。 2021/6/731 三、实验操作指导三、实验操作指导 进行极端数据的检验通常用到的是一组命令，这组命令 显示如下： regress y x1 x2 predict lev, leverage gs

24、ort lev sum lev list in 1/i 在这组命令语句中，第一个命令语句的作用是以y为因 变量，x1、x2 为自变量建立回归分析；第二个命令 语句的作用是计算出所有观测数据的lev值；第三个命 令语句的作用是将lev值降序排列；第四个命令语句的 作用是计算出lev值的极值与平均值，从而便于比较； 第五个命令语句的作用是从大到小列出lev值第1到第i 个观测值，以便处理。 2021/6/732 例如，在美国汽车数据分析中，建立如下回归模型之后， 分析一下是否存在极端值所使用到的命令为： regress price mpg weight foreign predict lev, l

25、everage gsort lev sum lev list in 1/3 这组命令的详细含义已做介绍，这里不再赘述，其功能简 言之就是建立回归模型之后，计算lev值，并将由大到小前 3位的数据显示出来，执行结果如图7.15所示。在结果中可 以看到lev值的均值为0.0541，而最大的lev值为0.3001， 所以该观测值有可能为极端数据，可以采取进一步方法进 行处理，从而保证模型的精确性。处理的方法一般有两种， 一种方法为直接去掉极端值，另一种方法为选择其他更为 适合恰当的模型进行回归分析。 2021/6/733 实验7-5虚拟变量的处理 一、实验基本原理一、实验基本原理 对于定性数据或分类

26、数据而言，通常并不能 将其直接纳入模型中进行回归分析，因为这 样的分析并不符合经济学理论，所以这时需 要引入虚拟变量进行处理。一般情况下，如 果分类变量总共有M类，为了避免多重共线 性的出现，通常只引入M-1个虚拟变量。下 面将会通过一个简单的例子，来介绍一下引 入虚拟变量后，模型的实际变化。 2021/6/734 2021/6/735 二、实验数据和实验内容二、实验数据和实验内容 根据统计资料得到了中国19782006年的消费数 据，变量主要包括：year=年份，c=人均消费（单 位：元），y=人均国民收入（单位：元）， c_ratio=消费收入比。完整的数据在本书附带光 盘的data文件夹

27、的“consumption_china.dta”工 作文件中。 利用此数据，估计中国的消费函数，并引入虚拟 变量，使得在1992年前后的模型截距和斜率都不 相同。 2021/6/736 三、实验操作指导三、实验操作指导 为了便于比较，首先生成整个时期中不含虚拟变量的消费 函数方程，所使用到的命令为： regress c y 得到如图7.16所示的回归结果，这个回归所形成的模型为 c=188.588+0.3977y 如果认为在1992年，南巡讲话导致了经济结构的变动，这 时需要引入虚拟变量将模型分成两段进行回归，步骤如下： 第一步，生成虚拟变量，所使用的命令为： generate dummy=0

28、 replace dummy=1 if year=1992 在这组命令中，第一个命令的作用是生成虚拟变量dummy， 使其值全部为0；第二个的命令的作用就是将1992年以后的 dummy值替换为1，这时就完成了虚拟变量的设置。 2021/6/737 第二步，生成虚拟变量dummy和解释变量y的互动项，所使用的 命令为： generate dummy_y=dummy*y 这个命令的作用就是生成互动项dummy_y，使其值为变量dummy 和变量y的乘积。 第三步，将虚拟变量纳入回归方程进行估计，所使用的命令为： regress c y dummy dummy_y 执行结果如图7.17所示，这时得

29、到的模型为： 这个模型是为了讲解虚拟变量的实际使用方法，暂不考虑某些 系数不能通过检验的情况。通过引入虚拟变量发现，模型的截 距和斜率都发生了变化。在用户实际研究过程中，可以根据需 要引入虚拟变量，进行变斜率、变截距以及二者相结合的模型 变化。 2021/6/738 实验7-6经济结构变动的Chow检验 一、实验基本原理一、实验基本原理 在时间序列模型之中，需要十分注重模型系数的稳定性， 如果没有考虑到结构变动，将会造成较为严重的模型设定 误差。Chow检验提供了一个较为严谨的检验经济结构变动 的方法。 例如，在时期t1和t2中，认为存在t3时刻为一个经济结构变 动点，这时可以通过三个回归来确

30、定该点是否是结构变动 点。 2021/6/739 2021/6/740 二、实验数据和实验内容二、实验数据和实验内容 根据统计资料得到了中国19782006年的消费数 据，变量主要包括：year=年份，c=人均消费（单 位：元），y=人均国民收入（单位：元）， c_ratio=消费收入比。完整的数据在本书附带光 盘的data文件夹的“consumption_china.dta”工 作文件中。 利用此数据，估计中国的消费函数，并检验中国 的消费函数是否在1992年邓小平“南巡”以后 （含1992年）发生了结构变化。 2021/6/741 三、实验操作指导三、实验操作指导 1.1.手动法进行手动法

31、进行ChowChow检验检验 了解了Chow检验的基本原理之后，就可以进行检验了， 检验的方法就是分别进行三次回归，下面将会以中国消 费函数为例详细介绍整个操作过程，检验中国的消费函 数是否在1992年以后发生了结构变化： （1）首先生成整个时期的回归方程，然后计算出这时 的残差平方和，这时需要输入的命令为： regress c y predict e, residual gen a=e2 egen b=sum(a) 第一个命令的作用是生成消费函数 第二个命令的作用是生成残差序列；第三个命令的作用 是生成序列a，使其值为残差平方；第四个命令的作用 是生成变量b，使其值为序列a的和，即残差平方和

32、，也 就是实验原理中所指的 2021/6/742 （2）其次生成1992年以前序列的回归方程，然后计算 出这前半段时期的残差平方和，这时需要输入的命令 为： regress c y if year1992 predict e1 if year=1992 predict e2 if year=1992, residual gen a2=e22 egen b2=sum(a2) 第一个命令的作用是生成1992年之后的消费函数 第二个命令的作用是生成残差序列e2；第三个命令的 作用是生成序列a2，使其值为残差平方；第四个命令 的作用是生成变量b2，使其值为序列a2的和，即残差 平方和，也就是实验原理中所指的 2021/6/744 （4）最后计算F统计量的值，并与临界值作比较，这 时需要输入的命令为： gen f=(b-b1-b2)/(2)/(b1