第11章多元线性回归与多元逐步回归

第十一章第十一章 多元线性回归与多元逐步回归多元线性回归与多元逐步回归 (Multiple Linear Regression and Multiple Stepwise Regression) 华中科技大学同济医学院 尹 平例例 子子一个应变量与多个自变量间的关系儿童身高与年龄、性别的关系肺活量与年龄、性别、身高、体重以及胸围的呼吸差等因素的关系多元线性回归如构成线性依存关系第一节第一节 多元线性回归多元线性回归第二节 多元逐步回归第二节 多元逐步回归第三节第三节 多元线性回归的注意事项多元线性回归的注意事项第一节第一节 多元线性回归多元线性回归（ multiple linear regression ）多元线性回归的数据格式多元线性回归的数据格式一一 、多元线性回归方程、多元线性回归方程(multiple linear regression equation) 常数项，表示当所有自变量为 0时应变量 Y的总体平均值的估计值 表示除以外的其它自变量固定不变的情况下，每改变一个测量单位时所引起的应变量 Y的平均改变量 bj为偏回归系数（ partial regression coefficient)两个自变量与应变量的散点图两个自变量与应变量的拟合面bj 为 xj方向的斜率1. 求偏回归系数 bj及 b0 根据最小二乘法 (method of least square)原理求出 bj , 即得到 bj2.例例 子子例 11.1 20名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，试建立血糖对于胰岛素及生长素的二元线性回归方程 。 对于本例有 :采用最小二乘法即可求出常数项 b0和偏回归系数 b1、 b2。其中对表 11-2的数据资料由 SAS统计软件可得到如下表 11-3的主要结果。 由此得到回归方程为二、回归方程的假设检验1.模型检验其中：自由度为 总 n 1， 回归 k， 剩余 n k 1 X2X1YModel SSTotal SSResidual SS由表 11-4可知， F 21.54， P0.05在 0.05水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对血糖的线性回归关系无统计学意义。所以应剔除 X2，只建立 X1与Y的线性回归方程。 (2) t 检验检验j=1,2, k， P=0.0005；在 0.05水平下，认为血糖与胰岛素的线性回归关系有统计学意义，而与生长素的线性回归关系无统计学意义。结论与 F 检验一致 。， P=0.4110。三、标准化回归系数三、标准化回归系数（ standardized partial regression coefficient) 式中， Sj及 Sy 分别为自变量 Xj 及因变量 Y 的标准差。可以利用标准化偏回归系数的大小来反映各自变量的贡献大小。 复相关系数（复相关系数（ multiple correlation coefficient）又称多元相关系数或全相关系数，表示回归方程中的全部自变量 X共 同对应变量 Y的相关密切程度。复相关系数取值总为正值，在 0与 1之间，简记为 R。如果只有一个自变量，此时 四、四、 复相关系数与决定系数2决定系数 (coefficient of determination） 复相关系数的平方又称决定系数，记为 ，用以反映线性回归方程能在多大程度上解释应变量 Y的变异性 。回归方程的拟合程度越好，残差平方和就越小，决定系数 越接近 1 ，决定系数 越接近 1第二节 多元逐步回归第二节 多元逐步回归 （ multiple stepwise regression） 1. 多元逐步回归的基本思想多元逐步回归（ multiple stepwise regression）有三种筛选自变量的方法 ： 1向后法（ Backward selection） 先建立一个全因素的回归方程，然后每次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，此法的计算量大，有时不能实现。2向前法（ forward selection） 方程由一个自变量开始，每次引入一个偏回归平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以引入为止。用此法建立的方程有时不够精炼。3. 逐步法（ stepwise selecfion） 取上述两种方法的优点，在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义的自变量可以剔除时为止。2.多元逐步回归的基本原理每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和的 F检验或校正决定系数。如方程中已引入了 (m-1)个自变量，在此基础上考虑再引入变量 Xj 。 记引入 Xj 后方程（即含 m个自变量）的回归平方和为 SS回归 ，残差为 SS残差； 之前含 (m-1)个自变量（不包含 Xj ）方程的回归平方和为 SS回归 (-j) ，则 Xj 的偏回归平方和为 U = SS回归 SS回归 (-j)，检验统计量为：Fj 服从 F (1 ,n - m - 1) 分布 如果 Fj F(1 ,n - m - 1)，则 Xj选入方程；否则，不入选。从方程中剔除无统计学作用的自变量，过程则相反，但检验一样。3. 多元逐步回归的检验水平在进行逐步回归前，首先应确定检验水平，以作为引入或剔除变量的标准。检验水平可以根据具体情况而定，一般可将 F 值定在 为 0.05、 0.10或 0.20水平上。对于回归方程的选入和剔除水平往往选择选入 剔除 。选择不同的 F 值 (或 水平 )，其回归方程的结果可能不一致，一般可选不同的 F 值 (或 值 ) 作调试。至于何种结果是正确的，必须结合医学的实际意