医学统计学课件：多重线性回归分析

1、1,多重线性回归分析,2,复习,简单线性回归 回归模型的建立 回归系数的假设检验和区间估计,3,1 概述,Y 因变量 (dependent variable, response variable) X 自变量 (independent variable) 简单回归的形式： 简单回归是回归分析中最基本、最简单的一种，又称直线回归。,4,给定X时，Y是正态分布、等方差示意图,x,y,5,2 回归模型的前提假设,线性(linear) 独立(independent) 正态(normal) 等方差(equal variance) 恰好为“LINE”。,6,(1)a 为回归直线在 Y 轴上的截距。,a 0

2、，表示直线与纵轴的交点在原点的上方； a 0，则交点在原点的下方； a = 0，则回归直线通过原点。,7,(2）b为回归系数，即直线的斜率。,b0，直线从左下方走向右上方，Y 随 X 增大而增大； b0，直线从左上方走向右下方，Y 随 X 增大而减小； b=0，表示直线与 X 轴平行，X 与Y 无直线关系。,b 的统计学意义是：X 每增加(减)一个单位，Y 平均改变b个单位。,8,回归方程的 方差分析,9,因变量总变异的分解,X,P (X,Y),Y,10,Y的总变异分解,11,Y的总变异分解,12,方差分析表,变异来源 SS v MS F 回 归 SS回 1 SS回/1 MS回/ MS剩 剩

3、余 SS剩 n-2 SS剩/n-2 总变异 SS总 n-1,13,决定系数,对于两变量，R2=r2,决定系数反映了回归贡献的相对程度,也就是在Y的总变异中回归 能解释的百分比。因此，R2越接近1，说明应用相关分析的 意义越大，即贡献越大；相反的意义亦成立。,14,回归系数的 t 检验,15,如何建立回归模型?,Y 糖尿病人的血糖,多重线性回归模型的建立 多重线性回归的假设检验 自变量筛选,多重线性回归,多重线性回归,Y,xm,1.1 多元线性回归模型简介,因变量 Y 自变量为X1, X2, , Xk b0为截距(intercept),表示各自变量均为0时y的的估计值。 bi称为偏回归系数(pa

4、rtial regression coefficient)，是i的估计值，表示当方程中其他自变量保持常量时，自变量Xi变化一个计量单位,反应变量Y的平均变化量。 称为 X=(X1, X2, , Xk)时,反应变量Y的估计值。,1.2 回归模型的前提假设,线性（Linearity）: 反应变量Y与自变量组合之间呈线性关系 独立性（Independence）: 样本中各个个体之间是相互独立的 正态性（Normality）: 给定各个自变量的取值时，反应变量Y的取值服从正态分布 方差齐性（Equality）:指自变量的取值不同时，反应变量Y的总体变异保持不变 恰好为“LINE”。,最小二乘法(lea

5、st square estimation，LSE) 基本思想：使各实测值Y与对应的估计值 之差的平方和 为最小。,1.3 估计回归参数，建立回归模型,只有一个自变量,两个自变量,例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因素，某医师测定30例患者的BMI、病程、瘦素、空腹血糖，数据如表12-1所示。,回归模型？,1.3 估计回归参数，建立回归模型,2.多重线性回归的假设检验,整体回归效应的假设检验-方差分析 偏回归系数的假设检验-t检验,Y的总变异分解 总变异SS总： 剩余平方和SS剩或残差平方和: 回归的贡献，回归平方和SS回：,2.1整体回归效应的假设检验-方差分析,Y的总变异

6、分解,回归方程的方差分析表,决定系数 复相关系数,回归方程的方差分析,1 建立假设，确定检验水准 H 0： ，即总体中各偏回归系数均为0； H 1：总体中各偏回归系数不为0或不全为0； = 0.05。 2 计算检验统计量： 3 确定P值，作出推断结论。 拒绝H0，说明从整体上而言，用这四个自变量构成的回归方程解释糖尿病患者体内脂联素的变化是有统计学意义的。,回归方程的方差分析表,R表示脂联素水平与体重指数、病程DY、瘦素LEP与空腹血糖这 四个自变量总的线性相关的密切程度。R2用包含体重指数、病程 DY、瘦素LEP与空腹血糖这四个自变量的回归方程可解释脂联素水平变异性的73.12%。,2.2偏

7、回归系数的假设检验-t检验,检验假设： H0: i=0 H1: i0 = 0.05。 检验统计量：,2. 2偏回归系数的假设检验-t检验,做出统计推断：这四个变量中，变量X1、X2和X4的偏回归系数无统计学意义，而X3对脂联素水平的影响有统计学意义。,33,2. 2偏回归系数的假设检验-t检验,对同一资料，不同变量的t值间可以相互比较，t的绝对值越大，说明该变量对回归所起作用越大。,35,2.2 标准化偏回归系数,将原始观测数据进行标准化： ，然后用标准化的数据进行回归模型拟合。 标准化回归方程截距为0。 标准化偏回归系数反映方程中各个自变量对反应变量Y的贡献大小。通常在统计学有意义的前提下，

8、标准化偏回归系数值越大，说明相应自变量对回归的贡献越大。,36,2.2 标准化偏回归系数,37,扣除其他变量的影响后，Y和X的相关，称为Y与X的偏相关系数。 偏相关系数，绝对值越大，偏相关程度越大。,2.3 偏相关系数partial correlation coefficient,暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级市场帮助卖冷饮，小明在游泳池收门票。每天晚上，二人闲聊。昨天大明冷饮卖得多，小明门票也收得多，今天，大明卖得少，小明门票也收得少。一个月下来，他们发现，超级市场冷饮销售量和游泳人数呈正相关。是不是爱吃冷饮的人想游泳？或爱游泳的人喜欢冷饮？爸爸是教统计学的，将他们11

9、天冷饮销售量(X1)、游泳人数(X2)以及当天的气温(X3)的记录汇集于表13-4。,原来冷饮销售量和气温正相关， 游泳人数和气温也正相关， 冷饮销售量和游泳人数的正相关 是气温造成的假象， 扣除气温的影响之后两者就不相关了。,一般地，扣除其他变量的影响后，变量Y与X的相关，称为Y与X的偏相关系数。,42,43,3 自变量筛选,遵循一个原则：“少而精” 确保回归方程包含所有对反应变量有较大影响的自变量，而把对反应变量关系不大或可有可无的自变量排除在方程之外，这一统计过程称为自变量的选择 。,4.1自变量筛选的标准,1）残差平方和SS残缩小、确定系数R2增大。 确定系数增大与残差平方和缩小完全等

10、价。 随着自变量的增加，确定系数只会增大。 不适合自变量个数不同的子集之间的比较。,4.1自变量筛选的标准,2）残差均方MS残缩小、调整确定系数 增大 。 调整确定系数 “愈大愈好”与 MS残最小化完全等价。 适合于自变量个数不同的子集之间的比较。,4.1自变量筛选的标准与原则,3） CP统计量 Mallows,C.L.(1966)提出的统计量CP，其定义为： 为所选模型的残差平方和； 为全模型的残差均方估计； P为选模型中(包括常数项在内)的自变量个数或参数个数 n为样本含量。 最优准则：既具有较小 值且接近于未知参数的个数,4.2自变量筛选的常用方法,所有可能自变量子集选择( all po

11、ssible subsets selection) 前向选择( forward selection） 后向选择(backward selection) 逐步选择( stepwise selection）,全面分析法（最优子集法）,从所有可能的变量组合的回归方程中挑选最优者，即把所有包含1个、2个、直至全部k个自变量的回归方程都计算出来（ ），挑选剩余标准差最小的。,50,前进法的基本思想,选定一个标准。 开始方程中没有自变量(常数项除外) 按自变量对y的贡献大小由大到小依次挑选进入方程。 每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。 直到方程外变量均达不到入选标准，没有自变量可

12、被引入方程为止。,图示：前进法,前进法,Y，X1X2 X3 X4 X5 第一步 建立5个方程 Y与x1 P1=0.015 Y与x2 P2=0.003 Y与x3 P3=0.026 Y与x4 P4=0.223 Y与x5 P5=0.665 选入X2 方程中有一个变量,前进法,第三步 建立3个方程 Y与X2，X3，x1 P1=0.023 Y与X2，X3， x4 P2=0.000 Y与X2，X3， x5 P3=0.535 选入X4 方程中有三个变量 X2，X3， x4,前进法,考虑在剩余的X1、X5选入。 若P有小于0.05，继续考虑选入。 依次循环，直到方程外也选不入，计算停止，此时的方程为前进法的最

13、优方程。,后退法的基本思想,选定一个标准 开始所有变量均在方程中 按自变量对y的贡献大小由小到大依次剔除变量。 每剔除一个变量，则重新计算方程内各自变量对y的贡献。 直到方程内变量均达到入选标准，没有自变量可被剔除为止。,图示：后退法,后退法,Y，X1X2 X3 X4 X5 第一步 建立1个方程 Y与X1 ，X2，X3，X4 ，X5,后退法,第二步 建立5个方程（考虑剔除） Y与X1 ，X2，X3，X4 无X5所损失 P1=0.723 Y与X1 ，X2，X3，X5 无X4所损失 P2=0.005 Y与X1 ，X2，X4 ，X5 无X3所损失 P3=0.123 Y与X1 ，X3，X4 ，X5 无

14、X2所损失 P4=0.035 Y与X2，X3，X4 ，X5 无X1所损失 P4=0.535,后退法,第四步 建立3个方程（考虑剔除） Y与X2，X3 无X4所损失 P1=0.003 Y与X2，X4 无X3所损失 P2=0.002 Y与X3，X4 无X2所损失 P3=0.005,后退法,若P都小于0.05，不能剔除，直到方程内剔不出，计算停止，此时的方程为后退法的最优方程。,逐步回归,将自变量逐个地引入方程，引入的条件是该自变量的偏回归平方和在未选入的自变量中是最大的，并F检验具有显著意义。另一方面，每引入一个新变量，要对先前选入方程的自变量逐个进行F检验，将偏回归平方和最小且无显著性的自变量剔

15、出方程，直到方程外的自变量不能再引入，方程内的自变量不能再剔除。,逐步回归,Y，X1X2 X3 X4 X5 第一步 建立5个方程 Y与x1 P1=0.015 Y与x2 P2=0.003 Y与x3 P3=0.026 Y与x4 P4=0.223 Y与x5 P5=0.665 选入X2 方程中有一个变量,逐步回归,第二步 建立4个方程 Y与X2，x1 P1=0.023 Y与x2 ，x3 P2=0.005 Y与x2 ， x4 P3=0.223 Y与x2 ， x5 P4=0.635 选入X3 方程中有二个变量 x2 ，x3,逐步回归,第三步 建立3个方程 Y与X2，X3，x1 P1=0.023 Y与X2，

16、X3， x4 p2=0.000 Y与X2，X3， x5 p3=0.535 选入X4 方程中有三个变量 X2，X3， x4,逐步回归,第四步 建立3个方程（考虑剔除） Y与X2，X3 无X4所损失 P1=0.003 Y与X2，X4 无X3所损失 P2=0.002 Y与X3，X4 无X2所损失 P3=0.250,66,多元线性回归的应用及注意事项,67,一、多元线性回归的应用,68,2指标的数量化,二、多元线性回归应用的注意事项,1Y一般要求是连续变量，X可以是连续变量或分类变量,69,分2类，可用一个（0，1）变量。如性别,分k类，转化为k-1个（0，1）哑变量， 如血型。,70,数据格式回归方

17、程,建立回归方程,b1 ：相当A 型相对于O 型的差别 b2 ：相当B 型相对于O 型的差别 b3 ：相当AB 型相对于O 型的差别,71,（3）等级资料 1）可将等级从弱到强转换为 （或 ），按连续变量处理。如文化程度分为 小学、中学、大学、大学以上四个等级。Y为经济收入。,解释：b(b1)反映X（X1） 增加1个单位， 增加b个单位（如：500元）。 表示中学文化较小学收入多500， 大学较中学多500，余类推。,72,b1,b2,b3分别反映中学、大学、大学以上相对于小学文化程度者经济收入差别的大小,2）也可将K个等级转换为K-1个（0，1）哑变量（dummy variable),73,如果方程中自变量不多，样本含量较大，用哑变量较好； 如果方程中自