第5章逐步回归与自变量选择

1、浙江财经学院 倪伟才,第五章逐步回归法,浙江财经学院 倪伟才,一、前进法,前进法（forward）的思想：自变量由少到多，每次增加1个，直到没有可引入的变量为止。 具体步骤：将x1,x2,.,xp中的一个变量引入回归方程，作p个一元线性回归方程；选取与y关系最密切（相关性最强）（或p值最小的）解释变量引入。不妨设为x1. 回归方程中已有x1 ，再引入一个变量。作p-1个二元线性回归方程；选取x2,.,xp中与y关系最密切（相关性最强）（或p值最小的）解释变量引入。不妨设为x2. 回归方程中已有x1 ， x2，再引入一个变量。作p-2个三元线性回归方程；选取x3,.,xp中与y关系最密切（相关性

2、最强）（或p值最小的）解释变量引入。不妨设为x3. 。 直到未被引入方程的p值0.05为止。 例：用前进法建立例3.1的 回归方程,浙江财经学院 倪伟才,二、后退法,后退法（backwad）的基本思想：首先用全部的p个自变量建立一个回归方程，然后将最不重要的自变量一个一个地删除。 具体步骤：作y对全部的p个自变x1,x2,.,xp的回归在回归方程中，将x1,x2,.,xp 对y的影响最小（最不重要或p值最大）的自变量剔除，不妨令x1；在 中的回归方程（已没有x1 ），将x2,.,xp 对y的影响最小（最不重要或p值最大）的自变量剔除，直到回归方程中，自变量对y的影响都重要为止。 例：用后退法建

3、立例3.1回归方程,浙江财经学院 倪伟才,三.前进法、后退法的缺点,前进法：终身制。 前面引进的自变量是显著的，但后面引进其它变量后变地不显著了，此时再也无法将其剔除。 后退法 ：一棍子打死。 一旦某个自变量被剔除后，它再也没有机会重新进入回归方程。,浙江财经学院 倪伟才,四.逐步回归法,思想：有进有出，在前进法的基础上，结合后退法。 步骤：将变量一个一个引入，当引入一个新的变量时，不仅对新变量进行检验，而且对已引进的自变量也要检验。若已引进 的 变量由于后面的 变量引进而变地不显著时，将其剔除（有进有出），直到不再有显著的变量引入回归方程，也不再有不显著的变量从回归方程中剔除。（通俗的说：方

4、程中的自变量都是显著的，方程外的自变量都是不显著的） 引入自变量显著性水平记为： 进 剔除自变量显著性水平记为： 出 要使用逐步回归法的前提： 进 chapter12 appendix 12.5,浙江财经学院 倪伟才,16,Question,Question: Why is it not a good practice to use a complicated model? Answer: A complicated model contains many unknown parameters. Given a fixed amount of data information, paramet

5、er estimation will become less precise if more parameters have to be estimated. As a consequence, the out-of-sample forecast for Yt will become less precise than the forecast of a simpler model. The latter may have a larger bias but more precise parameter estimates. Intuitively, a complicated model

6、is too flexible in the sense that it may not only capture systematic components but also some features in the data which will not show up again.,浙江财经学院 倪伟才,17,例题讲解,数据见(自变量的选择准则.sav或自变量的选择准则.dta ) 请分别用调整复决定系数，回归的标准误， AIC准则，BIC准则，来选择最优子集。 Spss:regression中block的使用！ 结果请见(自变量的选择准则.xls) Stata相关命令： rquare

7、fitstat,浙江财经学院 倪伟才,18,阅读材料,请阅读课本135页137页 用SAS软件寻找最优子集 操作课本例5.2,浙江财经学院 倪伟才,19,Stata自变量的选择准则.dta (即课本例5.1),findit rsquare rsquare y x1 x2 x3 Regression models for dependent variable : y R-squared Mallows C SEE MSE models with 1 variable 0.9728 6.13 8.2845 0.5178 x1 0.9566 18.15 13.2301 0.8269 x2 0.950

8、8 22.45 14.9995 0.9375 x3 R-squared Mallows C SEE MSE models with 2 variables 0.9747 6.74 7.7093 0.5140 x1 x2 0.9784 4.01 6.5860 0.4391 x1 x3 0.9576 19.46 12.9464 0.8631 x2 x3 R-squared Mallows C SEE MSE models with 3 variables 0.9811 4.00 5.7607 0.4115 x1 x2 x3,浙江财经学院 倪伟才,20,Cond,fitstat Measures of Fit for regress of y Log-Lik Intercept Only: -51.010 Log-Lik Full Model: