天大matlab大作业逐步回归方法分析

1、逐步回归分析方法在实际中,影响 Y 的因素很多,这些因素可能存在多重共线性相关 性,这就对系数的估计带来不合理的解释,从而影响对 Y 的分析和 预测.“最优的回归方程就是包含所有对 Y 有影响的变量 , 而不包含对 Y 影响不显著的变量回归方程.选择“最优的回归方程有以下几种方法：1从所有可能的因子变量组合的回归方程中选择最优者；2从包含全部变量的回归方程中逐次剔除不显著因子；3从一个变量开始,把变量逐个引入方程；4“有进有出的逐步回归分析.以第四种方法,即逐步回归分析法在筛选变量方面较为理想 . 逐步回归分析法的思想：从一个自变量开始, 视自变量 Y 作用的显著程度, 从大到小地依 次逐个引

2、入回归方程.当引入的自变量由于后面变量的引入而变得不显著时,要将其剔除 掉.引入一个自变量或从回归方程中剔除一个自变量, 为逐步回归的对于每一步都要进行丫值检验,以保证每次引入新的显著性变量 前回归方程中只包含对丫作用显著的变量这个过程反复进行,直至既无不显著的变量从回归方程中剔除, 又无显著变量可引入回归方程时为止.原理:1、最优选择的标准设n为观测样本数,X 为所有自变量构成的集合,Xi, X2,Xi,XmXil为X的子集.(1)均方误差s2最小s2 ASe(A)/nil到达最小(2) 预测均方误差最小J(A) n一1一 SE an 1 1到达最小(3) 统计量最小准那么Cp a s &a

3、mp; A2| n7n m 1到达最小l ln nn到达最小(4) AIC或BIC准那么2lAIC(A) ln Se A 一 BIC(A) ln Se A n或(5) 修正R2准那么R21 J(1 R2)n l到达最大2、选择最优回归子集的方法1选择最优子集的简便方法： 逐步筛选法 STEPWISE 向前引入法或 前进法 FORWARD 向后剔除法或后退法 BACKWARD2计算量最大的全子集法：R2 选择法 RSQUARECp选择法CP修正 R2 选择法 ADJRSQ.3计算量适中的选择法：最小 R2 增量法 MINR最大 R2 增量法 MAXR步骤1、前进法：事先给定挑选自变量进入方程的显

4、著性水平, 按自变量对因变量 y 的奉献由大到小依次挑选自变量进入方程,直到方程外没有显著的 自变量可引入为止.该方法的特点是：自变量一旦被选入,就永远保存在模型中(1)2分别计算这m个一元回归方程中回归系数的检验统计量 F,记为：Fi1, F21,F1)1 m取最大值Fk1maxF11, F21, ,F；假设F；F进F1, n 2停止筛选；假设F；F进F1 n 2选入Xk1,不妨设Xk1是X1,进入步骤3;3分别将自变量组Xi,x2 , Xi,X3 , Xi,Xm与因变量y建立二元回归方程,计算回归方程中X2 , X3,Xm的回归系数检验统计量F, 记为:F 2,F2, ,F223m取其最大

5、值Fk22 max F22 , F32 , ,Fm2 ,假设F2 屉 F 1 n 2 1那么停止筛选,y与x1之间的回归方程就是最优的回归方程；假设2Fk2F进 F 1, n 2 1选进Xk2,不妨设Xk2是X2,进入步骤(4).(4) 对已经选入模型的变量,x1, x2,如同前面的方法做下去,直 到所有未被选入模型的自变量的 F值都小于相应的临界值为止,这时 的回归方程就是最优回归方程.前进法的一般步骤： 假设已进行了 I步筛选,并选入自变量x1, x2,xl,现进行第1+1步筛选： 停止筛选 ,上一步得到的回归方程,即为最优的回归方程； 假设分别将自 变 量 组x1,x2, ,xl , x

6、l 1,x1,x2, , xl,xl 2X.X2, ,x|,xm与y建立I + 1元回归方程；回归方程中 xl 1, xl 2 ,xm的回归系数检验统计量记为:Fll11,Fll21, ,Fml 1Fkll 11l 1 l 1l 1max Fl 1 ,Fl 2 , ,FmFkllF (1, n (l 1) 1)Fkll 11 F (1, n (l 1) 1)将 xkl 1 选进模型,进行下一步筛选. 前进法的缺点：不能反映自变量选进模型后的变化情况2、后退法：事先给定从方程中剔除自变量的显著性水平, 开始全部自变量都 在模型中,然后按自变量对 y 的奉献由小到大依次剔除, 直至方程中 没有不显

7、著的变量可剔除为止. 该方法的特点是：自变量一旦被剔除,就不再进入模型(1)建立全部自变量x1, x2,xm对因变量y的回归方程,对方程中m个自变量的回归系数bl, b2,bm进行F检验,相应的F值记为：F11,F21, Fm1取最小值Fk11 min F11,F21, , Fm1假设FkiF出F 1 n m 1没有自变量可剔除,此时的回归方程就是最优的回归方程1Fk F 出 F 1 n m 1剔除Xki,不妨设Xk1是Xm,进入步骤2.2建立xl, x2,xm-1与因变量y的回归方程,对方程中自变 量的回归系数进行F检验,相应的F值记为：F12,F22, ,Fm2 1取最小值F k22min

8、F12,F22,Fm2 m假设Fk22F出F 1, n (m1) 1那么无自变量可剔除,此时的回归方程即最优的回归方程；假设Fk2 F出 F 1, n m 1 1将Xk2从模型中剔除,不妨设xk2就是xm-1,进入步骤3;3重复前面的做法,直至回归方程中各变量回归系数的 F值均大 于临界值, 即方程中没有变量可剔除为止, 此时的回归方程就是最优 的回归方程.后退法的一般步骤：假设已经进行了 I步剔除,模型中的自变量为x1, x2,xm-l,现 进行第 l+1 步剔除：建立x1,x2,xm-l对y的回归方程,对方程中x1,x2,xm-l的回归系数进行 F 检验,相应的 F 统计量记为 ：F l

9、1,F l 1, ,F l 1 12m l取最小值l 1 l 1 l 1 l 1 Fkll 11 min F1l 1,F2l 1, ,Fml 1l假设Fkl 1 F 1,n m l 1 kl 1那么停止筛选,y与x1, x2,xm-l之间的回归方程即为最优的回归方程；假设Fkll 11 F 1,n m l 1那么剔除 xkl 1 ,不妨设 xkl 1 为 xm l ,进行下一步筛选.后退法的缺点：开始把全部自变量都引入模型,计算量大.3、逐步筛选法：该方法在前进法的根底上, 引进后退法的思想. 即对每一个自变 量随着其对回归方程奉献的变化, 随时地引入或剔除模型, 使得最终 回归方程中的变量对

10、 y 的影响都是显著的,而回归方程外的变量对 y 的影响都是不显著的,该方法即通常所说的逐步回归法.设y是因变量,xl, x2,xm是所有自变量,yi, xi1, xi2, xim (i= 1, 2,n)是独立抽取的n组样本.设自变量被选进模型的显著性水平为被剔除模型的显著性水平为2° 1 2 1(1)计算离差矩阵SS11S12S1mS1 ySSm mS21S22S2mS2ySm1Sm2SmmSmy(2)逐步筛选自变量第一步筛选：计算各自变量的奉献:2VjSjySjj取最大值Vk maxVj11 j m对Xk1的作用是否显著进行统计检验:Se1St Vk；F F 1 1,n111 7

11、那么结束所有自变量皆与y无关,不能建立回归方程；假设F F 1 1,n那么将xki选入模型,并将s转化为sm进行第二步筛选;其中第二步筛选:s1按m m 1s1m (m1Sj1)SijS-s2；S2s22)s1m) s2mS11y)s21ySk1)1(1) smsk1ySmuSm12s(1)mmsmySk1iSk1k1Sik1 Sk1j -当iSk1k1丄当iSk1 k1k1k1, jk1k1笼当 i k1, j k1sk1k1计算各自变量的奉献模型外自变量的奉献:Vi2Sii模型中自变量的 xk1奉献:k1s(1) 2k1y计算F其中SeStVk22取模型外自变量的最大奉献值,即(1, n-

12、2-1)那么筛选结束,第一步中所建立的回归方程即最优回归方程;FF 1,n211 ,那么选Xk2进入模型,将s 1m m1化为Sm2m 1,进行第三步筛选;2222s11S12S1 mS1y2222S21S22S2mS2ys 2m m 12222Sk21Sk22Sk2mSk2y2222Sm1Sm2smmSmy其中Sj11Sk2k21 1Sik2 Sk2 jk2,jk22Sj1Sk2k2k2, jk2亠当i j k2Sk2k21F 当 i k2, j k2Sk2 k2第三步：从第三步开始,先检验已经引入方程中的自变量是否满足显著性水平2,假设有不满足显著性水平 2的自变量,依次剔除最不显著的,再

13、 从方程外挑选满足著性水平的最显著的自变量进入模型 即从第三步 开始,先进行变量的剔除,再进行变量的选进.逐步回归法筛选自变量的一般步骤为：假设已经进行I步筛选,并且已经选入p个自变量,相应的残差平方和为Se,离差矩阵为1S11IS12IS1mIS1y1S21IS22IS2mIS2ys 1m m 11Sk2 1ISk2 2ISk2mISk2yISm1ISm2IQ mmImy那么第步的筛选过程为：a计算自变量的奉献:l 1X不在模型中SylVi11Sil 2-SyL(xi在模型中)Sib检验已选入的自变量是否显著 取模型中变量的最小值:vk(l 1)一切便选的1计算sEl1)n p 1其中SEStVkl1假设F F21,n p11将xk剔除,转入d；1,那么xk不能被剔除,转入cc取模型外变量奉献的最大值,假设F F21,n pvkl1-切未燈的jVj11计算Vk11St Vj 1n (p 1) 1F1 1,n p 1F1 1, n p 11,那么筛选结束,转入3；1,贝S选入xk,转入d