逐步回归分析

1、4.6 逐步回归分析逐步回归分析4.6.1最优选择的标准最优选择的标准 最优回归方程的含义： （1）方程中包含所有对因变量影响显著的变量； （2）方程中所包含的自变量要尽可能地少。 设n为观测样本数， ,21mxxxX为所有自变量构成的集合， liiixxxA,21为X的子集。 （1）均方误差）均方误差s2最小最小 1)(2lnASAsE达到最小 （2）预测均方误差最小）预测均方误差最小 ASlnlnAJE11)(达到最小 （3）pC统计量最小准则统计量最小准则 nlmnSASACEEp21达到最小 （4）AIC或或BIC准则准则 nlASAAICE2ln)( nnlASABICElnln)(

2、或 达到最小 （5）修正）修正2R准则准则)1 (122RlninR达到最大 4.6.2 选择最优回归子集的方法选择最优回归子集的方法（1）选择最优子集的简便方法： 逐步筛选法（STEPWISE） 向前引入法或 前进法（FORWARD） 向后剔除法或后退法（BACKWARD）（2）计算量最大的全子集法：R2选择法（RSQUARE）Cp选择法（CP）修正R2选择法（ADJRSQ）。 最小R2增量法（MINR）最大R2增量法（MAXR）（3）计算量适中的选择法： 4.6.3逐步回归的基本思想与步骤逐步回归的基本思想与步骤基本思想：逐个引入自变量，每次引入对y影响最显著的自变量，并对方程中的老变量逐

3、个进行检验，把变得不显著的变量逐个从方程中剔除，最终的回归方程中既不漏掉对y影响显著的变量，又不包含对y影响不显著的变量。4.6.3.1前进法（前进法（FORWARD）原理：原理：事先给定挑选自变量进入方程的显著性水平，按自变量对因变量y的贡献由大到小依次挑选自变量进入方程，直到方程外没有显著的自变量可引入为止。该方法的特点是：自变量一旦被选入，就永远保留在模型中。图图4.1 逐步回归的基本步骤逐步回归的基本步骤11211,mFFF112111,max1mkFFFF2111nFFFk，进2111nFFFk，进1kx1kx1x21,xx31,xxmxx ,122322,mFFF223222,ma

4、x2mkFFFF12122nFFFk，进12122nFFFk，进121,llxxxx221,llxxxxmlxxxx,21mllxxx,2111211,lmllllFFF112111,max1lmlllllkFFFFl) 1) 1(, 1 (11lnFFlkl) 1) 1(, 1 (11lnFFlkl1lkx4.6.3.2 后退法（后退法（BACKWARD）原理：原理：事先给定从方程中剔除自变量的显著性水平，开始全部自变量都在模型中，然后按自变量对y的贡献由小到大依次剔除，直至方程中没有不显著的变量可剔除为止。 该方法的特点是：自变量一旦被剔除，就不再进入模型， 11211,mFFF11211

5、1,min1mkFFFF1111mnFFFk，出1111mnFFFk，出212221,mFFF2122212,min2mkFFFF1) 1(122mnFFFk，出1) 1(122mnFFFk，出11211,llmllFFF,min1121111llmlllkFFFFl1, 111lmnFFlkl1, 111lmnFFlkl1lkx1lkxlmx4.6.3.3 逐步筛选法逐步筛选法原理：原理： 该方法在前进法的基础上，引进后退法的思想。即对每一个自变量随着其对回归方程贡献的变化，随时地引入或剔除模型，使得最终回归方程中的变量对y的影响都是显著的，而回归方程外的变量对y的影响都是不显著的，该方法即

6、通常所说的逐步回归法。121021mymmmmymymmmssssssssssssSS21222221111211 jjjyjssV21 11)1(max1jmjkVV1kx 11111nSVFEk 111kTEVSS11, 11nFF11, 11nFF 11 mmS )1()1()1(2)1(1)1()1()1(2)1(1)1(2)1(2)1(22)1(21)1(1)1(1)1(12)1(111)1(1111mymmmmykmkkkymymmmssssssssssssssssS 111111111111111111111kjkisskjiskjkisssskjkissskkikkkkkjki

7、kijkkikij，当当，当，当其中 11mmS 22iyiiisVs1kx )1(2)1(21111kkykkssV 212(2)maxkjj kVV一切 12222nSVFEk 222kTEVSS12, 11nFF12, 11nFF2kx 11 mmS 21 mmS 22222122222122222222212121212211212222mymmmmykmkkkymymmmssssssssssssssssS 221121221111221122222222222221kjkisskjiskjkisssskjkissskkikkkkkjkikijkkjkij，当当，当，当22 lES l

8、mylmmlmlmlyklmklklklylmlllylmlllmmssssssssssssssssS212122222111121112222 2112liyiliililiyiliisxsVsxs（ 不在模型中）（ 在模型中）1)1(minljjlkVV一切已入选的1)1(1pnSVFlElk11lkTlEVSS1, 12pnFF1, 12pnFF1)1(maxljjlkVV一切未入选的11(1)1lklTkVFSVnp11,1 1FFnp 11,1 1FFnp lmmS111lmmS22221111111211111121222211111112111(1)12llllmyllllmylmmllllkkk mk yllllmmmmmyssssssssSssssssss kjkisskjiskjkisssskjkissslkkliklkklkklkjliklijlkklkjlij，当当，当，当114.7 可化为线性回归的曲线回归可化为线性回归的曲线回归（1）对于双曲线型函数：）对于双曲线型函数： xbayxt1btay（2）幂函数型）幂函数型 ：baxy xbaylnlnlnyzlnxtln幂函数图形 （3）指数曲线