多元回归分析与协方差分析1ppt课件

1、第章多元线性回归分析第章多元线性回归分析第节多元线性回归分析的概述第节多元线性回归分析的概述回归分析中所涉及的变量常分为自变量与因变量。回归分析中所涉及的变量常分为自变量与因变量。 当因变量是非时间的延续性变量当因变量是非时间的延续性变量(自变量可包括延续自变量可包括延续性的和离散性的性的和离散性的)时，欲研讨变量之间的依存关系时，欲研讨变量之间的依存关系,多多元线性回归分析是一个有力的研讨工具。元线性回归分析是一个有力的研讨工具。但从科学性角度来说，回归问题也应从实验设计但从科学性角度来说，回归问题也应从实验设计入手思索。由于这样做不仅可以减少回归分析中能够入手思索。由于这样做不仅可以减少回

2、归分析中能够遇到的很多费事遇到的很多费事,而且而且,可用较少的实验次数获得较多可用较少的实验次数获得较多的信息。的信息。多元线性回归模型Y=0+1X1+2X2+.+pXm+其中其中X1、X2、Xm为个自变量为个自变量(即影响要即影响要素素)；0、1、2、m为为+1个总体回归参个总体回归参数数(也称为回归系数也称为回归系数)；为随机误差。为随机误差。当研讨者经过实验获得了当研讨者经过实验获得了(X1，X2，Xm，Y)的组样本值后，的组样本值后， 运用最小平方法便可求出上式运用最小平方法便可求出上式中各总体回归参数的估计值中各总体回归参数的估计值b0、b1、b2、bm，于是，于是， 多元线性回归模

3、型变成了多元线性回归方程式。多元线性回归模型变成了多元线性回归方程式。Y=b0+b1X1+b2X2+.+bpXm回归分析的义务多元回归分析的义务就是用数理统计法估多元回归分析的义务就是用数理统计法估计出各回归参数的值及其规范误差；对各回计出各回归参数的值及其规范误差；对各回归参数和整个回归方程作假设检验；对各回归参数和整个回归方程作假设检验；对各回归变量归变量(即自变量即自变量)的作用大小作出评价；并的作用大小作出评价；并利用已求得的回归方程对因变量进展预测、利用已求得的回归方程对因变量进展预测、对自变量进展控制等等。对自变量进展控制等等。规范回归系数及其意义 由于各由于各bi的值受各变量单位

4、的影响。为便于比较，的值受各变量单位的影响。为便于比较，需求求出规范化回归系数，消除仅由单位不同所带来的需求求出规范化回归系数，消除仅由单位不同所带来的差别。差别。设设 与普通回归系数与普通回归系数bi对应的规范化回归系数为对应的规范化回归系数为Bi，那么那么Bi=biSXi/SY 式中的式中的SXi、SY分别为自变量分别为自变量Xi和和Y的规范差。的规范差。普通以为规范化回归系数的绝对值越大，所对应的自普通以为规范化回归系数的绝对值越大，所对应的自变量对因变量的影响也就越大。但是，当自变量彼此相变量对因变量的影响也就越大。但是，当自变量彼此相关时，回归系数受模型中其他自变量的影响，解释规范关

5、时，回归系数受模型中其他自变量的影响，解释规范化回归系数时必需采取谨慎的态度。当然，更为妥善的化回归系数时必需采取谨慎的态度。当然，更为妥善的方法是经过回归诊断，了解哪些自变量之间有严重的多方法是经过回归诊断，了解哪些自变量之间有严重的多重共线性，从而，舍去其中作用较小的变量，重共线性，从而，舍去其中作用较小的变量， 使保管下使保管下来的一切自变量之间尽能够相互独立。来的一切自变量之间尽能够相互独立。自变量为定性变量的数量化法设某定性变量有个程度设某定性变量有个程度(如如ABO血型系统有个血型系统有个程度程度),假设分别用、假设分别用、代表个程度的取、代表个程度的取值，是不够合理的。由于这隐含

6、着成认各等级之间的值，是不够合理的。由于这隐含着成认各等级之间的间隔是相等的，其本质是假定该要素的各程度对因变间隔是相等的，其本质是假定该要素的各程度对因变量的影响作用几乎是一样的。量的影响作用几乎是一样的。比较妥当的做法是引入个哑变量比较妥当的做法是引入个哑变量(Dummy Variables),每个哑变量取值为或。现每个哑变量取值为或。现以以ABO血型系统为例，阐明产生哑变量的详细法。血型系统为例，阐明产生哑变量的详细法。当某人为当某人为A型血时，令型血时，令X1=1、X2=X3=0；当；当某人为某人为B型血时，令型血时，令X2=1、X1=X3=0；当某人为；当某人为AB型血时，令型血时，

7、令X3=1、X1=X2=0；当某人为；当某人为O型血型血时，令时，令X1=X2=X3=0。变量挑选 研讨者根据专业知识和阅历所选定的全部自变量研讨者根据专业知识和阅历所选定的全部自变量并非对因变量都是有显著性影响的并非对因变量都是有显著性影响的,故挑选变量是回故挑选变量是回归分析中不可逃避的问题。然而，挑选变量的方法很归分析中不可逃避的问题。然而，挑选变量的方法很多，详见本章第节，这里先引见最常用的一种变量多，详见本章第节，这里先引见最常用的一种变量挑选法挑选法逐渐挑选法。逐渐挑选法。模型中的变量从无到有，根据模型中的变量从无到有，根据F统计量按统计量按SLENTRY的值的值(选变量进入方程的

8、显著性程度选变量进入方程的显著性程度)决议决议该变量能否入选；当模型选入变量后，再根据该变量能否入选；当模型选入变量后，再根据F统计统计量按量按SLSTAY的值的值(将方程中的变量剔除出去的显著性将方程中的变量剔除出去的显著性程度程度)剔除各不显著的变量，依次类推。这样直到没剔除各不显著的变量，依次类推。这样直到没有变量可入选有变量可入选,也没有变量可剔除或入选变量就是刚也没有变量可剔除或入选变量就是刚剔除的变量，那么停顿逐渐挑选过程。剔除的变量，那么停顿逐渐挑选过程。回归诊断 自变量之间假设有较强的相关关系，就很自变量之间假设有较强的相关关系，就很难求得较为理想的回归方程；假设个别观测难求得

9、较为理想的回归方程；假设个别观测点与多数观测点偏离很远或因过失误差点与多数观测点偏离很远或因过失误差(如誊如誊写或输入错误所致写或输入错误所致)，它们也会对回归方程的，它们也会对回归方程的质量产生极坏的影响。对这两面的问题进展质量产生极坏的影响。对这两面的问题进展监测和分析的法，称为回归诊断。前者属于监测和分析的法，称为回归诊断。前者属于共线性诊断问题；后者属于异常点诊断问题。共线性诊断问题；后者属于异常点诊断问题。第章协方差分析第章协方差分析什么是协方差分析什么是协方差分析协方差分析是将回归分析与方差分析结合起来运用的协方差分析是将回归分析与方差分析结合起来运用的一种分析法。在这种分析中，先

10、将定量的影响要素一种分析法。在这种分析中，先将定量的影响要素(即难以控制的要素即难以控制的要素)看作自变量，或称为协变量，建看作自变量，或称为协变量，建立因变量随自变量变化的回归方程立因变量随自变量变化的回归方程,这样就可以利用这样就可以利用回归方程把因变量的变化中受不易控制的定量要素的回归方程把因变量的变化中受不易控制的定量要素的影响扣除掉，从而影响扣除掉，从而,可以较合理地比较定性的影响要可以较合理地比较定性的影响要素处在不同程度下，经过回归分析手段修正以后的因素处在不同程度下，经过回归分析手段修正以后的因变量的总体均数之间能否有显著性的差别，这就是协变量的总体均数之间能否有显著性的差别，

11、这就是协方差分析处理问题的根本思想。方差分析处理问题的根本思想。协方差分析的模型设定性的影响要素为设定性的影响要素为A、B、C等等,它们之间的交互它们之间的交互作用为作用为A*B、A*C等；定量的影响要素为等；定量的影响要素为X或或X1、X2、；定量的观测结果；定量的观测结果(即因变量即因变量)为为Y，那么有，那么有 (1)单要素程度设计的协方差分析模型为单要素程度设计的协方差分析模型为 MODEL Y=XA / SS3; (2)配伍组设计的协方差分析模型为配伍组设计的协方差分析模型为 MODEL Y=XAB/ SS3;(3)两要素析因设计的协方差分析模型为两要素析因设计的协方差分析模型为 MODEL Y=XABA*B/ SS3;协方差分析的运用条件实际上要求各组资料都来自方差一样的实际上要求各组资料都来自方差一样的正态总体；各组的总体直线回归系数相等，正态总体；各组的总体直线回归系数相等，且都不为。因此，严厉