ch13 多重线性回归

1、1直线回归与直线相关的区别概念不同：直线回归研究两个变量之间的数量依存关系；直线相关研究两变量之间相互联系的密切程度。2 对资料的要求不同：直线 回归要求Y为数值变量且服从正态分布，X为人为控制或精确测量；而直线相关要求X和Y都服从正态分布。 统计量不同：回归系数b有单位，相关系数r没有单位。11,rb而3直线回归与直线相关的联系 对同一资料计算r与b，它们的符号一致r与b的假设检验等价，即对同一样本有r与b可以互相换算：rbtt YYXXllbr/XXYYllrb/4 可以用回归解释相关：确定系数R2说明应变量Y的总变异中归因于X的部分。如r=0.6，P0.01，则R2=0.36，应变量的变

2、异仅有36%可由X的变异解释，另外还有64%的变异是由其它因素的变异所解释。 总回ssssllllllRYYXXXYYYXXXY/2225注：当遇到两变量之间的相关系数具有统计学意义但r值不大时，下结论要特别慎重。如：r =0.20, n=100 ，t =2.02， P0.05。 我们只能说两变量的相关系数具有统计意义，而不说两变量之间存在较强的直线关系。6第十三章 多重线性回归7重点掌握 解决什么问题 回归系数的生物学意义 假设检验：方差分析与t检验的目的 变量筛选的灵活性8问题的引入 影响因变量的仅仅是一个因素吗？ 事物间的关系是错综复杂的，多元的； 研究本身是多因素的； 应用多元分析获取

3、更丰富的信息.9收缩压受到年龄、饮食、锻炼及遗传等许多因素的影响 血糖变化可能受胰岛素、血清总胆固醇及生长素等因素的影响肺活量与体重、胸围、胸围的呼吸差等的关系住院费用与住院时间、病种、年龄、手术情况等1030名糖尿病患者脂联素与体重指数、病程、瘦素、空腹血糖间的关系11第一节 概念与描述 用回归方程描述一个应变量与多个自变量的依存关系，称为多重线性回归multiple linear regression。ppXXXY22110XY12根据样本得到的回归方程 偏回归系数 partial regression coefficient 表示在其他自变量固定条件下，某自变量每增减一个单位对y的平均效

4、应。ppxbXbxbbY2211013偏回归系数的比较 其大小反映了该自变量的重要性，但是由于单位的不同，不便于比较。此时要用到标准化偏回归系数。14标准化回归系数 将自变量进行标准化,然后再进行直线回归 标准偏回归系数Standardized partial regression coefficientjjjjSXXX*22*11ppXpXpXpY15多重回归分析的意义 多因素的分析更加切合实际 提高回归方程的估计精度 从多个可能的因素中选择真正有意义的因素16回归参数的估计条件: 线性、独立、正态和等方差原理：最小二乘法 least squared estimate(LSE)1730名糖尿

5、病患者脂联素与体重指数、病程、瘦素、空腹血糖间的关系184321579. 0811. 0131. 0030. 1199.58XXXXY1915.3 方程的假设检验及其评价假设检验： (1) 整个模型的假设检验(overall regression) 方差分析法 (ANOVA) (2) 偏回归系数的假设检验 t检验0:43210H0:0jH20整体回归模型的假设检验 基本问题回归方程是否有意义在于自变量是否能最大程度上表达因变量。 检验假设：43210: H21整个模型的假设检验 未引进回归时的总变异： (total sum of squares) 引进回归以后的变异(剩余): (residua

6、l sum of squares) 回归的贡献，回归平方和： (regression sum of squares) 2)(YY 2)(YY 2)(YY22回归方程的方差分析表 2324bj为偏回归系数的估计值， 为bj的标准误。)1( pnbjjtsbtjt检验法jbs二、偏回归方程的假设检验2526SPSS演示27第三节 复相关系数与 偏相关系数28决定系数 决定系数(determination coefficient) 用于解释模型中的自变量能够解释Y变化的百分比，越接近1说明模型越好。总残总回SSSSSSSSR1210 R29复相关系数（Multiple correlation coe

7、fficient ） 0R1。 用以度量应变量Y与多个自变量的线性相关程度,即观察值Y与估计值 间的相关程度。 当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值： R R= | = | r ryxyx | |Y8551. 07312. 02R30校正决定系数R2 a (adjusted ) 2aR6882. 01)1 (222pnRpRRa2R为决定系数，n为样本容量，p为自变量的个数。 31二、偏相关系数 partial correlation coefficient 概念：固定其他变量时两变量之间的相关 更真实地反映两变量之间的相关系数。32计算偏相关系数的意义R1

8、2=0.97239R13=0.98909R23=0.97617R12.3=0.21495 1.冷饮销售量 2.游泳人数 3.气温经检验P=0.550933SPSS演示34C Co or rr re el la at ti io on ns s1.000.215.55108.2151.000.551.80CorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfsaleswimming noControl Variablestempsaleswimming no35第四节 自变量的筛选 为何要选择自变量？计算量

9、与信息成本 最优的回归方程的标准 -简（简单）约（少）36一 最优子集法 最优子集法是对自变量各种不同的组合所建立的回归方程进行比较，从而选出一个“最优”的回归方程。371 残差平方和与决定系数TETRSSSSSSSSR12382 残差均方与调整确定系数1pnSSMSEE1)1 (222pnRpRRa39校正决定系数与决定系数比较:(1)(2) 决定系数的值随着自变量个数的增加一定增大，而校正决定系数不一定。 22aRR 402 Cp统计量( Cp statistic) 由Mallows CL.提出。) 1(2)()(pnMSSSCmpp残残当p个自变量拟合的方程理论上”最优“时，Cp的期望值

10、为p+1，因此应选择Cp越接近于p+1的回归方程为“最优”方程。4142C Co oe ef ff fi ic ci ie en nt ts sa a58.19911.5755.028.000-1.030.530-.343-1.942.063-.131.211-.067-.621.540-.811.253-.566-3.211.004-.579.447-.139-1.293.208(Constant)x1x2x3x4Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Vari

11、able: ya. 43变量的偏回归平方和及选变量时的F值)()(jlXSS回0:, 0:10jjHH) 1/()()()( pnSSXSSFljl残回P为进行l步时方程中自变量的个数， 为第l步时Xj的偏回归平方和。 为第l步时的残差平方和。)(lSS残regjregSSSS441 前进法 事先给定一个入选标准，然后对自变量进行筛选，把偏回归平方和最大、其偏F检验的概率水准小于者逐个引入回归方程，至无显著贡献的自变量可以选入时为止。因素一旦入选便始终保留在方程中。 局限制: 后续变量的引入可能会使先进入的自变量变得不重要。45C Co oe ef ff fi ic ci ie en nt t

12、s sa a30.5281.88216.219.000-1.161.159-.811-7.323.00053.48110.8484.930.000-.753.242-.525-3.112.004-1.087.507-.362-2.145.041(Constant)x3(Constant)x3x1Model12BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 462.后退法（向后剔除法） 事先给定剔除标准,即变量保留方程中的概率水准。首先建立一个包括全部自变量

13、的全回归方程，然后逐个审查，把偏回归贡献最小而无统计学意义的自变量从方程中逐个剔除，至方程内的所有自变量都有显著贡献为止。 优点：考虑自变量的组合作用， 缺点：自变量数目多或高度相关时，可能出现不正确的结果。47CoefficientsCoefficientsa a58.19911.5755.028.000-1.030.530-.343-1.942.063-.131.211-.067-.621.540-.811.253-.566-3.211.004-.579.447-.139-1.293.20855.83910.8035.169.000-.950.508-.316-1.869.073-.839

14、.246-.585-3.411.002-.609.440-.147-1.385.17853.48110.8484.930.000-1.087.507-.362-2.145.041-.753.242-.525-3.112.004(Constant)x1x2x3x4(Constant)x1x3x4(Constant)x1x3Model123BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 483.逐步法 给定入选检验水准入和保留检验水准出 ，每次选入一个在方程外

15、最具统计学意义的自变量后，对方程中的自变量作剔除检验，把偏F值最小且其P值大于水平出的自变量从方程中剔除。一步一步进行，直到没有自变量可以引入，也没有保留在方程中为止。 实际工作中多采用逐步法。多元线性回归分析多用于因素筛选，因此不必规定很严格。对于小样本 可取为 0.10或0.15，大样本取为0.05， 入要小于或等于出 。49C Co oe ef ff fi ic ci ie en nt ts sa a30.5281.88216.219.000-1.161.159-.811-7.323.00053.48110.8484.930.000-.753.242-.525-3.112.004-1.0

16、87.507-.362-2.145.041(Constant)x3(Constant)x3x1Model12BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 50回归分析的正确应用 多元线性回归分析的应用条件L L：自变量与因变量的关系是线性的；I I：CovCov( (e ei i,e ,ej j)=0)=0，即独立性；NN：e ei i NN(0, (0, 2 2) )，即正态性；E E：VarVar( (e ei i) )= 2 2，即方差齐性；方程与变