第四讲-回归分析3逐步回归分析课件

逐步回归分析第四讲回归分析3逐步回归分析1逐步回归分析第四讲回归分析3逐步回归分析1最优回归方程的问题在有p个自变量的情况下，根据自变量的不同组合可能建立的回归方程众多。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程最优回归方程的要求：回归效果最佳自变量的个数最少一方面对因变量起显著作用的自变量都选进回归方程，另一方面对因变量作用不显著的自变量都剔除回归方程，选择一个最佳的变量组合第四讲回归分析3逐步回归分析2最优回归方程的问题在有p个自变量的情况下，根据自变量的不同组选择最优回归方程的方法1.从所有可能的变量组合中，选择一个最优的回归方程。这种方法一定能选出一个最优组合，但工作量特别大

2.逐步剔除法基本步骤：从包含全部p个自变量组合的回归方程中逐个检验回归系数，剔除对因变量作用不显著的自变量；对剔除后剩下的q个自变量建立对因变量的多元回归方程，再逐个检验回归系数，剔除不显著的变量；重复上述步骤，直到保留在回归方程中自变量的作用都显著为止缺点：一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入第四讲回归分析3逐步回归分析3选择最优回归方程的方法1.从所有可能的变量组合中，选择一个3.逐步引入法①基本步骤：先逐个比较xl,…,xp对y的回归方程那些是显著的，从显著的方程中挑选F值最大的，相应的自变量x就被“引入”方程。无妨设x就是x1再逐个比较(x1,x2)、(x1,x3)、…、(x1,xp)对y的回归方程，看有没有F值显著的，此时的F就是考虑添加xi之后，xi的回归系数是否显著地不为0，将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2再考察以x1、x2为基础，逐个添加x3、x4、…、xp之后的回归方程，是否较x1、x2的方程有显著的改进，有就再“引入”新的自变量……，这样下去，终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程第四讲回归分析3逐步回归分析43.逐步引入法①基本步骤：先逐个比较xl,…,xp对y4．逐步回归分析方法按照自变量对因变量所起作用的显著程度，从大到小逐个地引入回归方程当每一变量引入以后，若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时，就及时从回归方程中剔除出去，直到作用显著的变量都引入到回归方程，而作用不显者的变量都剔出回归方程，得到一个最佳的变量组合为止②“逐步引入“法的缺点：不能反映后来变化的状况，设想x1、x2、x3引入后，又引入了x6，也许x3、x6引入后，x1的作用就不重要了，应该予以剔除，而“逐步引入”法不能达到这个要求第四讲回归分析3逐步回归分析54．逐步回归分析方法②“逐步引入“法的缺点：第四讲回归分逐步回归分析的几个问题一、建立标准正规方程组二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析6逐步回归分析的几个问题一、建立标准正规方程组第四讲回归分析一、建立标准正规方程组为了分辨p个自变量对因变量Y所起影响(或作用)的大小，一个自然的想法是比较各自变量回归系数

(j＝1,2,…,p)的绝对值的大小。根据回归系数的含义，Xj的回归系数

是在其余p－1个自变量保持不变的条件下，Xj改变一个单位所引起Y

平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度由于回归系数和自变量所取的单位(或数量级)有关，而各个自变量取不同的量纲的情况是常见的，因而不能将回归系数直接进行比较第四讲回归分析3逐步回归分析7一、建立标准正规方程组为了分辨p个自变量对因变量Y所起建立标准正规方程组为了消除这个影响，对自变量和因变量都要加以标准化标准化的方法经过标准化的变量，其均值为0，标准离差Lxjxj为1第四讲回归分析3逐步回归分析8建立标准正规方程组为了消除这个影响，对自变量和因变量都要加以标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵，称为标准化正规方程组标准化正规方程组为：第四讲回归分析3逐步回归分析9标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量标准正规方程组标准化正规方程组的解称为标准回归系数，其常数项为0。由于因变量也进行了标准化，其总离差平方和Lyy=1求解标准化正规方程组还需要解决以下两个问题①引入变量和剔除变量的标准；②引入变量与剔除变量的方法。第四讲回归分析3逐步回归分析10标准正规方程组标准化正规方程组的解称为标准回归系数二、变量的引入、剔除与消去法的关系

假定已有l个自变量引入到回归方程，即相应的平方和分解公式是为了表明U和Q与引入的自变量是有关的，分别用符号U(x1,…,xl)和Q(x1,…,xl)表示第四讲回归分析3逐步回归分析11二、变量的引入、剔除与消去法的关系假定已有l个自变量引当增加一个自变量xi(i=l+1,…,p)后，有了新的回归方程，相应的平方和分解公式是原来的是注意到上两式左端Lyy是一样的，当xi引入后，回归平方和从U(x1,…,xl)增加到U(x1,…,xl,xi)，而残差平方和从Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四讲回归分析3逐步回归分析12当增加一个自变量xi(i=l+1,…,p)因此，有记

ui就是回归方程中引入xi后对回归平方和的贡献，即偏回归平方和，且有第四讲回归分析3逐步回归分析13因此，有记ui就是回归方程中引入xi后对回归经F

检验，当xi作用显著时，可将其引入。同理，如果xi原来已经在回归方程中，若检验后其作用不显著，可及时从回归方程中剔除出去。利用统计量因此，取剔除和引入变量xi的标准相同，即第四讲回归分析3逐步回归分析14经F检验，当xi作用显著时，可将其引入。同理，如果x在逐步回归中引入一个变量与剔除一个变量都要作变换，变换公式相同，采用求解求逆紧凑格式在第s次对第k列消去的变换公式是：二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析15在逐步回归中引入一个变量与剔除一个变量都要作变换，变换公式相由相关矩阵构成的系数矩阵中，第i个变量的偏回归平方和ui(s)为：由可推倒出来ui(s)为下一步引进变量的指标，每一步引入都是从未出现在回归方程的剩余变量中挑选ui(s)的最大者进行上述变换后，回归分析中的剩余平方和Q的值即为系数矩阵中ryy位置所得的结果。即有，（证明）第四讲回归分析3逐步回归分析16由相关矩阵构成的系数矩阵中，第i个变量的偏回归平方和ui式中，l为先前已经引入到回归方程中的变量个数，Fi服从F(1,n-l-2)分布。如果已引进的变量中有不显著的，则选其最不显著者作剔除变换，然后再检验。在未引入的变量中检验有无回归显著的变量，若有，则挑选最显著的作引入的消去变换，然后再检验。反复进行，直到没有变量可以引进，也没有变量可以从方程中剔除为止。构造检验统计量第四讲回归分析3逐步回归分析17式中，l为先前已经引入到回归方程中的变量个数，Fi服从F用消去法求解正规方程组的过程二、变量的引入、剔除与消去法的关系当消去正规方程组系数矩阵的第一列时，常数项列的第一个数就是只有x1这一个自变量情况下所建立的回归方程的回归系数

这是因为：当回归方程只有一个自变量时，表明其他自变量在多元回归方程中的回归系数为0。因此，正规方程的常数项部分就是该变量的解，即回归系数。第四讲回归分析3逐步回归分析18用消去法求解正规方程组的过程二、变量的引入、剔除与消去法的关二、变量的引入、剔除与消去法的关系第二次消去了正规方程组系数矩阵的第一、二两列时，常数项列中的第一、二两个数即为只有x1，x2两个自变量情况下所建立回归方程的回归系数

和

依次类推，得到引入的各个自变量的回归系数系数矩阵中每消去一列，等价于回归方程中引入一个新的变量，而且与变量排列的顺序无关。第四讲回归分析3逐步回归分析19二、变量的引入、剔除与消去法的关系第二次消去了正规方程组系数由相关系数矩阵得到的回归系数是标准回归系数，如果要把它化为一般回归系数，其关系为：其中Lii

和Lyy为方差协方差矩阵中对应元素，即变量Xi和因变量Y的方差。二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析20由相关系数矩阵得到的回归系数是标准回归系数，如果要把三、实例【例】

某种水泥在凝固时，放出的热量Y（卡／克）与水泥中下列4种成分有关：

X1:铝酸三钙

X2:硅酸三钙

X3:铁铝硅四钙

X4:硅酸二钙通过试验，取得数据资料如右所示：编号X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四讲回归分析3逐步回归分析21三、实例【例】某种水泥在凝固时，放出的热量Y（卡／克）与水说明：按第一种方法选最优，全部可能的回归方程有个准备工作：计算各要素之间的相关系数，得到相关系数矩阵第四讲回归分析3逐步回归分析22说明：按第一种方法选最优，全部可能的回归方程有根据本例资料，算出从矩阵R(0)中可以看出：

x1与x2两因子不相关，x2与x4、x1与x3之间关系密切，x3与y关系不太密切，x4与y最相关第四讲回归分析3逐步回归分析23根据本例资料，算出从矩阵R(0)中可以看出：第四讲回归分析逐步回归步骤：公式：t－变换步数第一步(t=1)

①选择第一个变量进入回归方程对所有4个变量，按下面公式计算偏回归平方和←当变量引入回归方程后第四讲回归分析3逐步回归分析24逐步回归步骤：公式：t－变换步数第一步(t=1)第四讲

计算结果为：比较4个ui(1)，可知第4个因子的偏回归值最大，即x4对y的回归贡献最大，于是优先考虑选入x4第四讲回归分析3逐步回归分析25计算结果为：比较4个ui(1)，可知第4个因子的偏回归值②引入因素的显著性检验其中，分子的自由度是1，l为方程中的变量个数求解回归方程时，若对资料进行标准化处理，可以证明：统计量第四讲回归分析3逐步回归分析26②引入因素的显著性检验其中，分子的自由度是1，l为方程中的当引入第一个因子时（l＝1），故则统计量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4对回归方程的贡献是显著的，应将x4引入方程。第四讲回归分析3逐步回归分析27当引入第一个因子时（l＝1），故则统计量于是由于F4(1)③矩阵R(0)

的高斯－亚当变换（紧凑变换方式）以x4为主元进行矩阵变换（x4刚刚引入方程），变换公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

变换过程要求按a→d

顺序进行。第四讲回归分析3逐步回归分析28③矩阵R(0)的高斯－亚当变换（紧凑变换方式）以x4为主元记变换后的矩阵为R(1),(t=1)

解第四讲回归分析3逐步回归分析29记变换后的矩阵为R(1),(t=1)解第四讲回归分④x4引入回归方程后的结果标准回归系数（利用标准化数据求得的回归系数）为：剩余平方和标准回归方程为：其中l＝1，表明方程只引入一个变量第四讲回归分析3逐步回归分析30④x4引入回归方程后的结果标准回归系数（利用标准化数据求得的一般回归方程为：一般回归系数为：常数项为第四讲回归分析3逐步回归分析31一般回归方程为：一般回归系数为：常数项为第四讲回归分析3逐第二步(t=2)①选择第二个变量进入回归方程计算偏回归平方和ui(2)(i=1,2,3)（利用R(1)对不在回归方程中的每个变量做计算）其中以u1(2)=0.2980最大，故最优先考虑x1引入回归方程（能否引入方程要做检验）。☆7A第四讲回归分析3逐步回归分析32第二步(t=2)①选择第二个变量进入回归方程计算偏回归平②引入变量的检验（引入检验）偏回归系数检验式中，分母表示x1引入回归方程后，剩余平方和等于只包含x4一个变量时的剩余平方和减去x1引入回归方程而使回归平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1应引入回归方程中。将x1引入，方程中有两个因子，即l=2第四讲回归分析3逐步回归分析33②引入变量的检验（引入检验）偏回归系数检验式中，分母表示x1③矩阵R(1)的高斯－亚当变换记变换后的矩阵为R(2)④引入因子x1后，对原有因子x4重新检验（偏回归检验）←剔除检验因为，因此x4不应从方程中剔除。

*(2)解*(2)

解第四讲回归分析3逐步回归分析34③矩阵R(1)的高斯－亚当变换记变换后的矩阵为R(2)④引⑤将x1引入回归方程的结果标准回归系数：回归方程的一般形式：剩余平方和：第四讲回归分析3逐步回归分析35⑤将x1引入回归方程的结果标准回归系数：回归方程的一般形式：第三步(t=3)①选择第三个变量引入回归方程计算偏回归平方和ui(3)(i=2,3)（利用R(2)对不在回归方程中的每个变量做计算）其中u2(3)>u3(3)，变量x2的偏回归平方和最小，选择x2②引入检验偏回归系数检验第四讲回归分析3逐步回归分析36第三步(t=3)①选择第三个变量引入回归方程计算偏回归平③矩阵R(2)的高斯－亚当变换引入x2,以r22(2)为主元进行，记变换后的矩阵为R(3)④引入x2后，对原有因子x1、x4重新检验(l=3)←剔除检验

*(3)解

*(3)解

*(3)解第四讲回归分析3逐步回归分析37③矩阵R(2)的高斯－亚当变换引入x2,以r22(2)为其中u4(3)较小，计算由于，因此，应把x4从回归方程中剔除。说明：由于因子x2的引入，造成变量x4的显著性大大降低，回归方程中变量x4的存在是多余的，予以剔除。第四讲回归分析3逐步回归分析38其中u4(3)较小，计算由于，因⑤矩阵R(3)以r44(3)为主元做高斯－亚当变换，记变换后的矩阵为R(4)

*(4)解

*(4)解第四讲回归分析3逐步回归分析39⑤矩阵R(3)以r44(3)为主元做高斯－亚当变换，⑥剔除x4后，再检验x1、x2因由于均大于F=4.10，所以x1、x2均不剔除。第四讲回归分析3逐步回归分析40⑥剔除x4后，再检验x1、x2因由于第四步①引入新变量计算偏回归平方和因为，且x4是刚刚在上一步中被剔除的变量，故不需要再作F检验就知道它不显著→再没有变量可引入回归方程，逐步回归选因子结束第四讲回归分析3逐步回归分析41第四步①引入新变量计算偏回归平方和因为第五步逐步回归方程的建立引入变量x1、x2后，由R(4)得到标准回归系数：原方程的回归系数其中因而第四讲回归分析3逐步回归分析42第五步逐步回归方程的建立引入变量x1、x2后，由R(4)得回归方程为：剩余平方和：估计标准误差：复相关系数：方程F检验：第四讲回归分析3逐步回归分析43回归方程为：剩余平方和：估计标准误差：复相关系数：方程F检验END第四讲回归分析3逐步回归分析44END第四讲回归分析3逐步回归分析44

证明如下：在第0步，还没有因子引入回归方程，剩余方差Q(0)达到最大，即在第一步，引入因子，k1是1,2,…,m中的任一个数,剩余方差为第四讲回归分析3逐步回归分析45证明如下：在第0步，还没有因子引入回归方程，剩余方差Q(0第二步，继续引入因子，，k2也是1,2,…,m中一个数。这时，如此下去，我们讨论第l步第l步，继续引入因子，kl也是1,2,…,m中一个数。这时，证毕第四讲回归分析3逐步回归分析46第二步，继续引入因子，，k2也求解求逆紧凑变换法设方程组为第四讲回归分析3逐步回归分析47求解求逆紧凑变换法设方程组为第四讲回归分析3逐步回归分析4此课件下载可自行编辑修改，供参考！感谢您的支持，我们努力做得更好！第四讲回归分析3逐步回归分析此课件下载可自行编辑修改，供参考！第四讲回归分析3逐步回归48逐步回归分析第四讲回归分析3逐步回归分析49逐步回归分析第四讲回归分析3逐步回归分析1最优回归方程的问题在有p个自变量的情况下，根据自变量的不同组合可能建立的回归方程众多。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程最优回归方程的要求：回归效果最佳自变量的个数最少一方面对因变量起显著作用的自变量都选进回归方程，另一方面对因变量作用不显著的自变量都剔除回归方程，选择一个最佳的变量组合第四讲回归分析3逐步回归分析50最优回归方程的问题在有p个自变量的情况下，根据自变量的不同组选择最优回归方程的方法1.从所有可能的变量组合中，选择一个最优的回归方程。这种方法一定能选出一个最优组合，但工作量特别大

2.逐步剔除法基本步骤：从包含全部p个自变量组合的回归方程中逐个检验回归系数，剔除对因变量作用不显著的自变量；对剔除后剩下的q个自变量建立对因变量的多元回归方程，再逐个检验回归系数，剔除不显著的变量；重复上述步骤，直到保留在回归方程中自变量的作用都显著为止缺点：一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入第四讲回归分析3逐步回归分析51选择最优回归方程的方法1.从所有可能的变量组合中，选择一个3.逐步引入法①基本步骤：先逐个比较xl,…,xp对y的回归方程那些是显著的，从显著的方程中挑选F值最大的，相应的自变量x就被“引入”方程。无妨设x就是x1再逐个比较(x1,x2)、(x1,x3)、…、(x1,xp)对y的回归方程，看有没有F值显著的，此时的F就是考虑添加xi之后，xi的回归系数是否显著地不为0，将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2再考察以x1、x2为基础，逐个添加x3、x4、…、xp之后的回归方程，是否较x1、x2的方程有显著的改进，有就再“引入”新的自变量……，这样下去，终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程第四讲回归分析3逐步回归分析523.逐步引入法①基本步骤：先逐个比较xl,…,xp对y4．逐步回归分析方法按照自变量对因变量所起作用的显著程度，从大到小逐个地引入回归方程当每一变量引入以后，若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时，就及时从回归方程中剔除出去，直到作用显著的变量都引入到回归方程，而作用不显者的变量都剔出回归方程，得到一个最佳的变量组合为止②“逐步引入“法的缺点：不能反映后来变化的状况，设想x1、x2、x3引入后，又引入了x6，也许x3、x6引入后，x1的作用就不重要了，应该予以剔除，而“逐步引入”法不能达到这个要求第四讲回归分析3逐步回归分析534．逐步回归分析方法②“逐步引入“法的缺点：第四讲回归分逐步回归分析的几个问题一、建立标准正规方程组二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析54逐步回归分析的几个问题一、建立标准正规方程组第四讲回归分析一、建立标准正规方程组为了分辨p个自变量对因变量Y所起影响(或作用)的大小，一个自然的想法是比较各自变量回归系数

(j＝1,2,…,p)的绝对值的大小。根据回归系数的含义，Xj的回归系数

是在其余p－1个自变量保持不变的条件下，Xj改变一个单位所引起Y

平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度由于回归系数和自变量所取的单位(或数量级)有关，而各个自变量取不同的量纲的情况是常见的，因而不能将回归系数直接进行比较第四讲回归分析3逐步回归分析55一、建立标准正规方程组为了分辨p个自变量对因变量Y所起建立标准正规方程组为了消除这个影响，对自变量和因变量都要加以标准化标准化的方法经过标准化的变量，其均值为0，标准离差Lxjxj为1第四讲回归分析3逐步回归分析56建立标准正规方程组为了消除这个影响，对自变量和因变量都要加以标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵，称为标准化正规方程组标准化正规方程组为：第四讲回归分析3逐步回归分析57标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量标准正规方程组标准化正规方程组的解称为标准回归系数，其常数项为0。由于因变量也进行了标准化，其总离差平方和Lyy=1求解标准化正规方程组还需要解决以下两个问题①引入变量和剔除变量的标准；②引入变量与剔除变量的方法。第四讲回归分析3逐步回归分析58标准正规方程组标准化正规方程组的解称为标准回归系数二、变量的引入、剔除与消去法的关系

假定已有l个自变量引入到回归方程，即相应的平方和分解公式是为了表明U和Q与引入的自变量是有关的，分别用符号U(x1,…,xl)和Q(x1,…,xl)表示第四讲回归分析3逐步回归分析59二、变量的引入、剔除与消去法的关系假定已有l个自变量引当增加一个自变量xi(i=l+1,…,p)后，有了新的回归方程，相应的平方和分解公式是原来的是注意到上两式左端Lyy是一样的，当xi引入后，回归平方和从U(x1,…,xl)增加到U(x1,…,xl,xi)，而残差平方和从Q(x1,…,xl)降到Q(x1,…,xl

,xi)第四讲回归分析3逐步回归分析60当增加一个自变量xi(i=l+1,…,p)因此，有记

ui就是回归方程中引入xi后对回归平方和的贡献，即偏回归平方和，且有第四讲回归分析3逐步回归分析61因此，有记ui就是回归方程中引入xi后对回归经F

检验，当xi作用显著时，可将其引入。同理，如果xi原来已经在回归方程中，若检验后其作用不显著，可及时从回归方程中剔除出去。利用统计量因此，取剔除和引入变量xi的标准相同，即第四讲回归分析3逐步回归分析62经F检验，当xi作用显著时，可将其引入。同理，如果x在逐步回归中引入一个变量与剔除一个变量都要作变换，变换公式相同，采用求解求逆紧凑格式在第s次对第k列消去的变换公式是：二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析63在逐步回归中引入一个变量与剔除一个变量都要作变换，变换公式相由相关矩阵构成的系数矩阵中，第i个变量的偏回归平方和ui(s)为：由可推倒出来ui(s)为下一步引进变量的指标，每一步引入都是从未出现在回归方程的剩余变量中挑选ui(s)的最大者进行上述变换后，回归分析中的剩余平方和Q的值即为系数矩阵中ryy位置所得的结果。即有，（证明）第四讲回归分析3逐步回归分析64由相关矩阵构成的系数矩阵中，第i个变量的偏回归平方和ui式中，l为先前已经引入到回归方程中的变量个数，Fi服从F(1,n-l-2)分布。如果已引进的变量中有不显著的，则选其最不显著者作剔除变换，然后再检验。在未引入的变量中检验有无回归显著的变量，若有，则挑选最显著的作引入的消去变换，然后再检验。反复进行，直到没有变量可以引进，也没有变量可以从方程中剔除为止。构造检验统计量第四讲回归分析3逐步回归分析65式中，l为先前已经引入到回归方程中的变量个数，Fi服从F用消去法求解正规方程组的过程二、变量的引入、剔除与消去法的关系当消去正规方程组系数矩阵的第一列时，常数项列的第一个数就是只有x1这一个自变量情况下所建立的回归方程的回归系数

这是因为：当回归方程只有一个自变量时，表明其他自变量在多元回归方程中的回归系数为0。因此，正规方程的常数项部分就是该变量的解，即回归系数。第四讲回归分析3逐步回归分析66用消去法求解正规方程组的过程二、变量的引入、剔除与消去法的关二、变量的引入、剔除与消去法的关系第二次消去了正规方程组系数矩阵的第一、二两列时，常数项列中的第一、二两个数即为只有x1，x2两个自变量情况下所建立回归方程的回归系数

和

依次类推，得到引入的各个自变量的回归系数系数矩阵中每消去一列，等价于回归方程中引入一个新的变量，而且与变量排列的顺序无关。第四讲回归分析3逐步回归分析67二、变量的引入、剔除与消去法的关系第二次消去了正规方程组系数由相关系数矩阵得到的回归系数是标准回归系数，如果要把它化为一般回归系数，其关系为：其中Lii

和Lyy为方差协方差矩阵中对应元素，即变量Xi和因变量Y的方差。二、变量的引入、剔除与消去法的关系第四讲回归分析3逐步回归分析68由相关系数矩阵得到的回归系数是标准回归系数，如果要把三、实例【例】

某种水泥在凝固时，放出的热量Y（卡／克）与水泥中下列4种成分有关：

X1:铝酸三钙

X2:硅酸三钙

X3:铁铝硅四钙

X4:硅酸二钙通过试验，取得数据资料如右所示：编号X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.4第四讲回归分析3逐步回归分析69三、实例【例】某种水泥在凝固时，放出的热量Y（卡／克）与水说明：按第一种方法选最优，全部可能的回归方程有个准备工作：计算各要素之间的相关系数，得到相关系数矩阵第四讲回归分析3逐步回归分析70说明：按第一种方法选最优，全部可能的回归方程有根据本例资料，算出从矩阵R(0)中可以看出：

x1与x2两因子不相关，x2与x4、x1与x3之间关系密切，x3与y关系不太密切，x4与y最相关第四讲回归分析3逐步回归分析71根据本例资料，算出从矩阵R(0)中可以看出：第四讲回归分析逐步回归步骤：公式：t－变换步数第一步(t=1)

①选择第一个变量进入回归方程对所有4个变量，按下面公式计算偏回归平方和←当变量引入回归方程后第四讲回归分析3逐步回归分析72逐步回归步骤：公式：t－变换步数第一步(t=1)第四讲

计算结果为：比较4个ui(1)，可知第4个因子的偏回归值最大，即x4对y的回归贡献最大，于是优先考虑选入x4第四讲回归分析3逐步回归分析73计算结果为：比较4个ui(1)，可知第4个因子的偏回归值②引入因素的显著性检验其中，分子的自由度是1，l为方程中的变量个数求解回归方程时，若对资料进行标准化处理，可以证明：统计量第四讲回归分析3逐步回归分析74②引入因素的显著性检验其中，分子的自由度是1，l为方程中的当引入第一个因子时（l＝1），故则统计量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4对回归方程的贡献是显著的，应将x4引入方程。第四讲回归分析3逐步回归分析75当引入第一个因子时（l＝1），故则统计量于是由于F4(1)③矩阵R(0)

的高斯－亚当变换（紧凑变换方式）以x4为主元进行矩阵变换（x4刚刚引入方程），变换公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元

变换过程要求按a→d

顺序进行。第四讲回归分析3逐步回归分析76③矩阵R(0)的高斯－亚当变换（紧凑变换方式）以x4为主元记变换后的矩阵为R(1),(t=1)

解第四讲回归分析3逐步回归分析77记变换后的矩阵为R(1),(t=1)解第四讲回归分④x4引入回归方程后的结果标准回归系数（利用标准化数据求得的回归系数）为：剩余平方和标准回归方程为：其中l＝1，表明方程只引入一个变量第四讲回归分析3逐步回归分析78④x4引入回归方程后的结果标准回归系数（利用标准化数据求得的一般回归方程为：一般回归系数为：常数项为第四讲回归分析3逐步回归分析79一般回归方程为：一般回归系数为：常数项为第四讲回归分析3逐第二步(t=2)①选择第二个变量进入回归方程计算偏回归平方和ui(2)(i=1,2,3)（利用R(1)对不在回归方程中的每个变量做计算）其中以u1(2)=0.2980最大，故最优先考虑x1引入回归方程（能否引入方程要做检验）。☆7A第四讲回归分析3逐步回归分析80第二步(t=2)①选择第二个变量进入回归方程计算偏回归平②引入变量的检验（引入检验）偏回归系数检验式中，分母表示x1引入回归方程后，剩余平方和等于只包含x4一个变量时的剩余平方和减去x1引入回归方程而使回归平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1应引入回归方程中。将x1引入，方程中有两个因子，即l=2第四讲回归分析3逐步回归分析81②引入变量的检验（引入检验）偏回归系数检验式中，分母表示x1③矩阵R(1)的高斯－亚当变换记变换后的矩阵为R(2)④引入因子x1后，对原有因子x4重新检验（偏回归检验）←剔除检验因为，因此x4不应从方程中剔除。

*(2)解*(2)

解第四讲回归分析3逐步回归分析82③矩阵R(1)的高斯－亚当变换记变换后的矩阵为R(2)④引⑤将x1引入回归方程的结果标准回归系数：回归方程的一般形式：剩余平方和：第四讲回归分析3逐步回归分析83⑤将x1引入回归方程的结果标准回归系数：回归方程的一般形式：第三步(t=3)①选择第三个变量引入回归方程计算偏回归平方和ui(3)(