多元线性回归与多元逐步回归.ppt

,第十一章 多元线性回归与多元逐步回归 (Multiple Linear Regression and Multiple Stepwise Regression),华中科技大学同济医学院 尹 平,例 子,一个应变量与多个自变量间的关系,儿童身高与年龄、性别的关系,肺活量与年龄、性别、身高、体重 以及胸围的呼吸差等因素的关系,多元线性回归,如构成线性依存关系,第一节 多元线性回归 第二节 多元逐步回归 第三节 多元线性回归的注意事项,第一节 多元线性回归 （multiple linear regression ）,多元线性回归的数据格式,一 、多元线性回归方程 (multiple linear regression equation),常数项，表示当所有自变量为0时 应变量Y的总体平均值的估计值,表示除以外的其它自变量固定不变 的情况下，每改变一个测量单位时 所引起的应变量Y的平均改变量,bj为偏回归系数（partial regression coefficient),两个自变量与应变量的散点图,两个自变量与应变量的拟合面,bj 为 xj方向的斜率,1. 求偏回归系数bj及b0,根据最小二乘法(method of least square)原理求出bj , 即,得到bj,2.例 子 例11.1 20名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，试建立血糖对于胰岛素及生长素的二元线性回归方程。,对于本例有:,采用最小二乘法即可求出常数项b0和偏回归系数b1、b2。 其中,对表11-2的数据资料由SAS统计软件可得到如下 表11-3的主要结果。,由此得到回归方程为,二、回归方程的假设检验,1.模型检验 其中：,自由度为总n1，回归k，剩余nk1,由表11-4可知，F21.54，P0.05。从而，拒绝H0，可以认为和不全为0，即所求回归方程有统计学意义。,对于例11.1的模型检验 H0： H1：和不全为0 0.05 对表11-3的数据资料，由SAS统计软件可得到如下表11-4的模型检验结果。,偏回归系数的检验,（1）F 检验,j=1,2,k,之中，U 为Xj 的偏回归平方和, 即U= SS回归SS回归(-j),Fj服从F(1 ,n - k - 1)分布,表11-5 例11.1数据的偏回归系数F检验表,在0.05水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对血糖的线性回归关系无统计学意义。所以应剔除X2，只建立X1与Y的线性回归方程。,(2) t 检验,j=1,2,k,，P=0.0005；,在0.05水平下，认为血糖与胰岛素的线性回归关系 有统计学意义，而与生长素的线性回归关系无统计学意义。 结论与 F 检验一致。,，P=0.4110。,三、标准化回归系数 （standardized partial regression coefficient),式中，Sj及Sy 分别为自变量Xj 及因变量Y 的标准差。,可以利用标准化偏回归系数的大小 来反映各自变量的贡献大小。,复相关系数（ multiple correlation coefficient） 又称多元相关系数或全相关系数，表示回归方程中的全部自变量 X共 同对应变量Y的相关密切程度。复相关系数取值总为正值，在0与1之间，简记为R。如果只有一个自变量，此时,四、复相关系数与决定系数,2决定系数(coefficient of determination） 复相关系数的平方又称决定系数，记为 ，用以反映线性回归方程能在多大程度上解释应变量Y的变异性。,回归方程的拟合程度越好，残差平方和就越小，决定系数 越接近1 ，决定系数 越接近1,第二节 多元逐步回归 （multiple stepwise regression）,1. 多元逐步回归的基本思想,多元逐步回归（multiple stepwise regression） 有三种筛选自变量的方法 ： 1向后法（Backward selection） 先建立一个全因素的回归方程，然后每次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，此法的计算量大，有时不能实现。 2向前法（forward selection） 方程由一个自变量开始，每次引入一个偏回归平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以引入为止。用此法建立的方程有时不够精炼。 3. 逐步法（stepwise selecfion） 取上述两种方法的优点，在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义的自变量可以剔除时为止。,2.多元逐步回归的基本原理,每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和的F检验或校正决定系数。 如方程中已引入了(m-1)个自变量，在此基础上考虑再引入变量Xj 。记引入Xj 后方程（即含m个自变量）的回归平方和为SS回归，残差为SS残差；之前含(m-1)个自变量（不包含Xj ）方程的回归平方和为SS回归(-j) ，则Xj 的偏回归平方和为 U = SS回归SS回归(-j)，检验统计量为：,Fj 服从F (1 ,n - m - 1) 分布,如果FjF(1 ,n - m - 1)，则 Xj选入方程；否则，不入选。,从方程中剔除无统计学作用的自变量，过程则相反，但检验一样。,3. 多元逐步回归的检验水平,在进行逐步回归前，首先应确定检验水平，以作为引入或剔除变量的标准。检验水平可以根据具体情况而定，一般可将 F 值定在 为0.05、0.10或0.20水平上。对于回归方程的选入和剔除水平往往选择 选入剔除。 选择不同的F 值(或水平)，其回归方程的结果可能不一致，一般可选不同的F 值(或值) 作调试。至于何种结果是正确的，必须结合医学的实际意义来确定。,4.多元逐步回归事例,对例11.2采用逐步法筛选自变量，选入水准为 0.10,剔除水准为0.15，SAS 软件计算过程及相应结果见表11-8至 表11-11。,多元逐步回归方程为：,第三节 多元线性回归的注意事项,1. 应用条件,（1） 线性依存关系 应变量与自变量间具有线性依存关系。 （2） 正态性 应变量原则上是连续型可测正态变量，其预测值与实际观测值的差值（即残差）服从正态分布，当样本量较大时可以忽略正态性的要求。 （3）独立性 观察单位之间是独立的，即应变量的观测值相互