方积乾卫生统计学-多重线性回归与相关ppt课件

1、多重线性回归与相关多重线性回归与相关 凌凌 莉莉中山大学公共卫生学院中山大学公共卫生学院2022-2-9Multiple Linear Reg.& Corr1XXY|bXaY简单线性回归简单线性回归ppXXXYXXXp.22110,21ppXbXbXbbY.221102022-2-9Multiple Linear Reg.& Corr2n多重线性回归多重线性回归 (multiple linear regression)n多重相关多重相关 (multiple correlation)n 2022-2-9Multiple Linear Reg.& Corr3第一节第一节 概

2、念及其统计描述概念及其统计描述 例例13-1 为了研究有关糖尿病患者体内脂联素水平的影响因素，为了研究有关糖尿病患者体内脂联素水平的影响因素，某医师测定了某医师测定了30名患者的体重指数名患者的体重指数BMIkg/m2）、病程）、病程DY年）、瘦素年）、瘦素LEPng/mL）、空腹血糖）、空腹血糖FPGmmol/L及及脂联素脂联素ADIng/mL程度，数据如表程度，数据如表13-1所示。所示。一、数据与模型一、数据与模型 2022-2-9Multiple Linear Reg.& Corr4脂联素是一种肽脂联素是一种肽,可抑制炎症反应和减少冠心病可抑制炎症反应和减少冠心病的发生。的发生

3、。 瘦素是一种由脂肪组织分泌的激素，人们之前瘦素是一种由脂肪组织分泌的激素，人们之前普遍认为它进入血液循环后会参与糖、脂肪及普遍认为它进入血液循环后会参与糖、脂肪及能量代谢的调节，促使机体减少摄食，增加能能量代谢的调节，促使机体减少摄食，增加能量释放，抑制脂肪细胞的合成，进而使体重减量释放，抑制脂肪细胞的合成，进而使体重减轻。科学家的研究表明，在婴儿时期摄取瘦素，轻。科学家的研究表明，在婴儿时期摄取瘦素，可能可以固定大脑对食欲的反应，进而一生都可能可以固定大脑对食欲的反应，进而一生都不会过度饮食。人们是在对老鼠的实验中得到不会过度饮食。人们是在对老鼠的实验中得到了这个发现的。了这个发现的。 注

4、释：2022-2-9Multiple Linear Reg.& Corr52022-2-9Multiple Linear Reg.& Corr6443322110,4321XXXXXXXXY偏回归系数偏回归系数partial regression coefficient）443322110XbXbXbXbbY2022-2-9Multiple Linear Reg.& Corr7iiiiSXXX*443322110XbXbXbXbbY标准化偏回归系数标准化偏回归系数standardized partial regression coefficient）2022-2-9Mu

5、ltiple Linear Reg.& Corr8二、偏回归系数的估计二、偏回归系数的估计前提条件前提条件LINE） ：线性、独立、正态和等方差：线性、独立、正态和等方差参数估计方法：最小二乘法参数估计方法：最小二乘法niiYYMin122022-2-9Multiple Linear Reg.& Corr9图图13-1 两个自变量时两个自变量时,回归平面示意图回归平面示意图 2022-2-9Multiple Linear Reg.& Corr104321579. 0811. 0132. 0030. 1199.58XXXXY2022-2-9Multiple Linear

6、Reg.& Corr11第二节第二节 多重线性回归的假设检验多重线性回归的假设检验一、整体回归效应的假设检验方差分析）一、整体回归效应的假设检验方差分析）0:43210H2022-2-9Multiple Linear Reg.& Corr12 表13-2显示，P 0.0001,回绝 。说明整体而言，用这四个自变量构成的回归方程解释糖尿病患者体内脂联素的变化是有统计学意义的。0H2022-2-9Multiple Linear Reg.& Corr13二、偏回归系数的二、偏回归系数的 t 检验检验0:0jH0:1jHbjjbjSbt2022-2-9Multiple Line

7、ar Reg.& Corr14利用利用SASSAS软件对例软件对例13-113-1的四个偏回归系数进行的四个偏回归系数进行t t检验，并计检验，并计算标准化偏回归系数，结果如表算标准化偏回归系数，结果如表13-313-3所示。所示。 2022-2-9Multiple Linear Reg.& Corr15第三节第三节 复相关系数与偏相关系数复相关系数与偏相关系数 一、决定系数、复相关系数与调整决定系数一、决定系数、复相关系数与调整决定系数总回SSSSR 27312. 0301.2425958.6511301.2425343.17732R2022-2-9Multiple Line

8、ar Reg.& Corr16复相关系数复相关系数(multiple correlation (multiple correlation coefficient) coefficient) 总回SSSSR ),(YYCorR 8551. 07312. 0R2022-2-9Multiple Linear Reg.& Corr17调整的调整的R2 (Adjusted R-Square) 6882. 00430. 07312. 01430)7312. 01 (47312. 02aR1)1 (1222pnRpRMSMSRad总残差2022-2-9Multiple Linear Reg.

9、& Corr18二、偏相关系数二、偏相关系数例：例：2022-2-9Multiple Linear Reg.& Corr19游泳人数残差冷饮销售量残差P=0.55092022-2-9Multiple Linear Reg.& Corr20n偏相关系数偏相关系数partial correlation coefficient）：）： 一般地，扣除其他变量的影响后，变量一般地，扣除其他变量的影响后，变量Y与与X的的相关。相关。2022-2-9Multiple Linear Reg.& Corr212022-2-9Multiple Linear Reg.& Co

10、rr22第四节第四节 自变量筛选自变量筛选2022-2-9Multiple Linear Reg.& Corr23一、自变量筛选的标准与原则一、自变量筛选的标准与原则 1.残差平方和缩小或决定系数增大 总残SSSSR122022-2-9Multiple Linear Reg.& Corr242.残差均方缩小或调整决定系数增大残差均方缩小或调整决定系数增大1pnSSMS残残总残MSMSRa122022-2-9Multiple Linear Reg.& Corr253. 统计量pC1) 1)(1(2pMSpnCpp残npMSSSCp) 1(2.p ,全残差残差n这条标准的完

11、整意思是选择较小并且值接近未知参数个数的模型作为较优模型的准则。n统计量 较小的标准相对得到较多推崇 pC2022-2-9Multiple Linear Reg.& Corr26二、自变量筛选的常用方法二、自变量筛选的常用方法2022-2-9Multiple Linear Reg.& Corr271.所有可能自变量子集选择所有可能自变量子集选择 (all possible subsets selection)n最优子集回归最优子集回归: 根据某种变量选择准则，通过比根据某种变量选择准则，通过比较各子集符合准则的程度，从中选择出一个或较各子集符合准则的程度，从中选择出一个或几个最

12、优的回归几个最优的回归.n对于有对于有p个自变量个自变量, 所有可能的子集有所有可能的子集有(2P-1)个。个。2022-2-9Multiple Linear Reg.& Corr282.前向选择前向选择forward selection）n该方法从仅含常数项的模型开始，首先对每个变量计算该方法从仅含常数项的模型开始，首先对每个变量计算反映其进入模型后该变量对新模型贡献量的反映其进入模型后该变量对新模型贡献量的F值，然后值，然后将最大将最大F值与预先指定的临界值值与预先指定的临界值Fin比较，如果最大比较，如果最大F值超过值超过Fin, 则将最大则将最大F值所对应的自变量引入模型，否值

13、所对应的自变量引入模型，否则，停止运行；然后在已有一个自变量的模型基础上，则，停止运行；然后在已有一个自变量的模型基础上，重复以上比较过程重复以上比较过程 这样，每次给模型增添一个变量，这样，每次给模型增添一个变量，直到剩下的变量再不能使最大直到剩下的变量再不能使最大F值超过值超过Fin值为止。值为止。 2022-2-9Multiple Linear Reg.& Corr293.后向选择后向选择(backward selection) n首先建立包含所有首先建立包含所有p个自变量的全模型，然后逐个计算出个自变量的全模型，然后逐个计算出剔除某一变量后仅包含剔除某一变量后仅包含p-1个自变

14、量的个自变量的p个模型，同时计个模型，同时计算剔除变量后所致损失的算剔除变量后所致损失的F值，然后将值，然后将p个个F值中的最小值中的最小者与预先指定的临界值者与预先指定的临界值Fout相比较，若最小相比较，若最小F值低于值低于Fout，则将最小，则将最小F值所对应的自变量从模型中剔除，否值所对应的自变量从模型中剔除，否则，停止运行；然后在含剩下则，停止运行；然后在含剩下p-1个自变量的模型基础上，个自变量的模型基础上，重复以上剔除过程重复以上剔除过程这样，每次剔除一个最可忽略的这样，每次剔除一个最可忽略的变量，直到剩下的变量再不能使最小变量，直到剩下的变量再不能使最小F值低于值低于Fout值

15、为值为止。止。 2022-2-9Multiple Linear Reg.& Corr304.逐步选择逐步选择stepwise selection）n逐步选择法又称逐步回归，其本质是前向选择法，针对逐步选择法又称逐步回归，其本质是前向选择法，针对向前选择法在后续变量进入模型后可能使已在方程中的向前选择法在后续变量进入模型后可能使已在方程中的变量变得不重要的现象，同时吸收了向后剔除的做法。变量变得不重要的现象，同时吸收了向后剔除的做法。即在逐步选择过程中，把经前向选择即在逐步选择过程中，把经前向选择F 检验有意义的变检验有意义的变量引入方程后，又对已在方程中的自变量进行一次关于量引入方程后

16、，又对已在方程中的自变量进行一次关于剔除的后向选择剔除的后向选择F 检验，剔除无统计学意义的变量。反检验，剔除无统计学意义的变量。反复进行引入、剔除过程，直到既没有变量被引入，也没复进行引入、剔除过程，直到既没有变量被引入，也没有变量被剔除为止。有变量被剔除为止。 2022-2-9Multiple Linear Reg.& Corr31例例13-2 仍以糖尿病人脂联素数据为例，通过仍以糖尿病人脂联素数据为例，通过SAS获得所获得所有可能自变量子集的运算结果示于表有可能自变量子集的运算结果示于表13-6中。中。 2022-2-9Multiple Linear Reg.& Corr

17、32表表13-6 所有可能子集回归的参数估计与统计量所有可能子集回归的参数估计与统计量2022-2-9Multiple Linear Reg.& Corr34* 第五节第五节 多重线性回归的应用多重线性回归的应用 n运用：运用：n预测预测n控制控制n危险因素筛选危险因素筛选2022-2-9Multiple Linear Reg.& Corr35n多重共线性多重共线性multi-colinearity）n例如：有两个预测人体体重的变量：例如：有两个预测人体体重的变量：X1是以公斤是以公斤为单位的重量，为单位的重量，X2是以克为单位的重量，显然，是以克为单位的重量，显然，X1与与X

18、2的相关系数为的相关系数为1。 一、多重共线性问题一、多重共线性问题2022-2-9Multiple Linear Reg.& Corr36例例13-3 对对8名学生的身高名学生的身高(X1)、体重、体重(X2)与肺活量与肺活量(Y)进行了检测，并进行了检测，并由该数据生成新的变量体重指数由该数据生成新的变量体重指数X3=X2/X1。数据如表。数据如表13-8所示。所示。 2022-2-9Multiple Linear Reg.& Corr37计算得各变量间的相关系数如表计算得各变量间的相关系数如表13-9所示。所示。2022-2-9Multiple Linear Reg.&a

19、mp; Corr3832134970. 203126. 000895. 027195. 0XXXYF=27.77, P=0.0039 ,显示此回归方程具有统计学意义。显示此回归方程具有统计学意义。9542. 02R2022-2-9Multiple Linear Reg.& Corr39 矛盾出现了：对整体模型而言，获得 与整体F检验P=0.0039的结果；但是，对于每一个偏回归系数而言，却没有一个自变量的效应具有统计学意义。问题出在哪里？问题就出在X1，X2和X3与Y共线性，以致偏回归系数极不稳定，因其标准误过大而没有统计学意义。 9542. 02R2022-2-9Multiple L

20、inear Reg.& Corr40n例例11-2 11-2 陈峰陈峰(1991)(1991)报告了一个实例。有报告了一个实例。有2222例胎例胎儿受精龄儿受精龄(Y,(Y,周周) )与胎儿外形测量指标与胎儿外形测量指标: : 身长身长( )( )，头围，头围( )( )，体重，体重( )( )的数据。求得由的数据。求得由 ， ， 推算推算 的回归的回归方程为：方程为：cmX ,1cmX ,2gX ,31X2X3XY321007. 0159. 2693. 1012.11XXXY2022-2-9Multiple Linear Reg.& Corr41缘由：缘由：n通过计算发现头围

21、与身长的相关系数等于0.997，头围与体重的相关系数等于0.947，身长与体重的相关系数等于0.944，经检验均有统计学意义。n多重共线性 2022-2-9Multiple Linear Reg.& Corr42 1. 逐步筛选变量逐步筛选变量 2. 删除变量删除变量 3. 主成分回归方法主成分回归方法解决办法：解决办法：2022-2-9Multiple Linear Reg.& Corr43例例13-3续）续） 按照水准，对上例中按照水准，对上例中8名学生的数据进行肺活量名学生的数据进行肺活量(Y)关于身高关于身高(X1)、体重、体重(X2)与体重指数体重与体重指数体重(X3

22、)的逐步回归分析。的逐步回归分析。9537. 02R2101555. 001333. 037545. 0XXY整体整体F检验检验 P=0.00052022-2-9Multiple Linear Reg.& Corr44二、自变量间交互效应的回归模型二、自变量间交互效应的回归模型n当一个回归模型中有多于当一个回归模型中有多于2个自变量时，变量间个自变量时，变量间即可能存在交互效应。此时可建立包含各自变量即可能存在交互效应。此时可建立包含各自变量及某些乘积项的回归模型，通过检验乘积项的统及某些乘积项的回归模型，通过检验乘积项的统计学意义来考察交互效应是否存在。计学意义来考察交互效应是否存在

23、。2022-2-9Multiple Linear Reg.& Corr45n例例13-4 假若有假若有A、B两种药品都对帕金森综两种药品都对帕金森综合征有改善作用，而且相信联合用药效果比合征有改善作用，而且相信联合用药效果比两种药单独作用之和还要好。为探讨联合用两种药单独作用之和还要好。为探讨联合用药方案的可行性，进行了随机平行对照临床药方案的可行性，进行了随机平行对照临床试验，结果如表试验，结果如表13-12所示。所示。2022-2-9Multiple Linear Reg.& Corr46 经用该样本数据拟合包含药品A与药品B交互项的多重线性回归模型，整体模型效应的方差分析

24、结果见表13-13，模型参数估计与假设检验结果如表13-14所示。2022-2-9Multiple Linear Reg.& Corr472121221. 0944. 1535. 2475.49XXXXY2022-2-9Multiple Linear Reg.& Corr48三、非同质资料的合并问题三、非同质资料的合并问题 例13-5 利用某社区男性和女性各19对收缩压Y与年龄X的数据如表13-15所示，有人通过计算获得收缩压随年龄变化的三个回归方程如下： 试判断男女性资料合并后回归是否合理？试判断男女性资料合并后回归是否合理？2022-2-9Multiple Linear R

25、eg.& Corr49表表13-15 不同性别两组年龄不同性别两组年龄X与收缩压与收缩压Y数据数据2022-2-9Multiple Linear Reg.& Corr50 性别是否为一个混杂因素？性别是否为一个混杂因素？ 分性别的两条回归直线的斜率是否相同？分性别的两条回归直线的斜率是否相同？如果两斜率相同，即表示性别与年龄对于收缩压的影响不存如果两斜率相同，即表示性别与年龄对于收缩压的影响不存在交互效应，可合并两组数据拟合自变量同时包含年龄与性别在交互效应，可合并两组数据拟合自变量同时包含年龄与性别但不含二者交互效应的多重回归方程；否则，就应按不同但不含二者交互效应的多重回归方程；否则，就应按不同性别分别拟合年龄与收缩压的回归