多元线性回归与多元逐步回归ppt课件

1、 第十一章第十一章 多元线性回归与多元逐渐回归多元线性回归与多元逐渐回归 (Multiple Linear Regression and Multiple Stepwise Regression) 华中科技大学同济医学院华中科技大学同济医学院 尹尹 平平 一个应变量与多个自变量间的关系 儿童身高与年龄、性别的关系儿童身高与年龄、性别的关系 肺活量与年龄、性别、身高、体重肺活量与年龄、性别、身高、体重 以及胸围的呼吸差等要素的关系以及胸围的呼吸差等要素的关系 多元线性回归 如构成 线性依 存关系 01122 kk Ybb Xb Xb X YYY 常数项，表示当一切自变量为0时 应变量Y的总体平均

2、值的估计值 表示除以外的其它自变量固定不变 的情况下，每改动一个丈量单位时 所引起的应变量Y的平均改动量 bj为偏回归系数partial regression coefficient) 1. 求偏回归系数求偏回归系数bj及及b0 根据最小二乘法根据最小二乘法(method of least square)(method of least square)原理求出原理求出bj , bj , 即即 2 1 SS n ii i YY 残 差 得到得到bj )( 22110pp xbxbxbyb 对于本例有对于本例有: : 2 2 01 122 11 () nn iii ii SSYYYbb xb x

3、残差 01122 ()bYb xb x 采用最小二乘法即可求出常数项采用最小二乘法即可求出常数项b0b0和偏回归系数和偏回归系数b1b1、b2b2。 其中其中 对表11-2的数据资料由SAS统计软件可得到如下 表11-3的主要结果。 由此得到回归方程为由此得到回归方程为 12 17.011 0.4060.098YXX 二、回归方程的假设检验二、回归方程的假设检验 1.1.模型检验模型检验 其中：其中： 自在度为总n1，回归k，剩余n k1 SSYY i i N Total ( ) 1 2 SSYY i i N model ( ) 1 2 SSYY i i N ierror ( ) 1 2 X2

4、 X1 Y Model SS Total SS Residual SS 由表11-4可知，F21.54，P0.05。从而，回绝H0，可以以为 和不全为0，即所求回归方程有统计学意义。 对于例对于例11.111.1的模型检验的模型检验 H0H0： H1H1：和和不全为不全为0 0 0.050.05 对表对表11-311-3的数据资料，由的数据资料，由SASSAS统计软件可得到如下表统计软件可得到如下表11-411-4 的模型检验结果。的模型检验结果。 0:0: 10 jj HH；j=1,2,k 之中，之中，U U 为为Xj Xj 的偏回归平方和的偏回归平方和, , 即即U= SSU= SS回归回

5、归SSSS回归回归(-j) (-j) Fj服从F(1 ,n - k - 1)分 布 表表11-511-5例例11.111.1数据的偏回归系数数据的偏回归系数F F检验表检验表 方程内方程内 自变量自变量 平方和平方和 F FP P SSSS回归回归SSSS回归回归-SS-SS回归回归 (-j) (-j) SSSS残差残差 X1,X2X1,X2116.6116.646.02546.025 X2X266.27566.27550.35250.35218.59818.5980.00.050.05 在在 0.050.05程度上，可以以为胰岛素对血糖的线性回归关系有统计学意义，而生长素对程度上，可以以为胰

6、岛素对血糖的线性回归关系有统计学意义，而生长素对 血糖的线性回归关系无统计学意义。所以应剔除血糖的线性回归关系无统计学意义。所以应剔除X2X2，只建立，只建立X1X1与与Y Y的线性回归方程。的线性回归方程。 j=1,2,k0:0: 10 jj HH； j j b j b S b t 1 4.31 b t 2 0.84 b t，P=0.0005； 在0.05程度下，以为血糖与胰岛素的线性回归关系 有统计学意义，而与生长素的线性回归关系无统计学意义。 结论与 F 检验一致。 ，P=0.4110。 式中，式中，SjSj及及Sy Sy 分别为自变量分别为自变量Xj Xj 及因变量及因变量Y Y 的规

7、范差。的规范差。 可以利用规范化偏回归系数的大小可以利用规范化偏回归系数的大小 来反映各自变量的奉献大小。来反映各自变量的奉献大小。 / jjjy bb SS 1 SSSS R SSSS 回 归残 差 总总 |r|R 2 2决议系数决议系数(coefficient of determination(coefficient of determination 复相关系数的平方又称决议系数，记为复相关系数的平方又称决议系数，记为 ，用以反映，用以反映 线性回归方程能在多大程度上解释应变量线性回归方程能在多大程度上解释应变量Y Y的变异性。的变异性。 2 R 2 R 2 R 2 1 SSSS R SS

8、SS 回归残差 总总 回归方程的拟合程度越好，残差平方和就越小，决议系数回归方程的拟合程度越好，残差平方和就越小，决议系数 越接近越接近1 1 ， 决议系数决议系数 越接近越接近1 1 2 R 1. 多元逐渐回归的根本思想多元逐渐回归的根本思想 多元逐渐回归多元逐渐回归multiple stepwise regressionmultiple stepwise regression 有三种挑选自变量的方法有三种挑选自变量的方法 ： 1 1向后法向后法Backward selectionBackward selection 先建立一个全要素先建立一个全要素 的回归方程，然后每次剔除一个偏回归平方和

9、最小且无统计学的回归方程，然后每次剔除一个偏回归平方和最小且无统计学 意义的自变量，直到不能剔除时为止，此法的计算量大，有时意义的自变量，直到不能剔除时为止，此法的计算量大，有时 不能实现。不能实现。 2 2向前法向前法forward selectionforward selection 方程由一个自变量开方程由一个自变量开 场，每次引入一个偏回归平方和最大，且具有统计学意义的自场，每次引入一个偏回归平方和最大，且具有统计学意义的自 变量，由少到多，直到无具有统计意义的要素可以引入为止。变量，由少到多，直到无具有统计意义的要素可以引入为止。 用此法建立的方程有时不够精炼。用此法建立的方程有时不

10、够精炼。 3. 3. 逐渐法逐渐法stepwise selecfionstepwise selecfion 取上述两种方法的优取上述两种方法的优 点，在向前引入每一个新自变量之后都要重新对前已选入的自点，在向前引入每一个新自变量之后都要重新对前已选入的自 变量进展检查，以评价其有无继续保管在方程中的价值。为此变量进展检查，以评价其有无继续保管在方程中的价值。为此 引入和剔除交替进展，直到无具有统计学意义的新变量可以引引入和剔除交替进展，直到无具有统计学意义的新变量可以引 入也无失去其统计学意义的自变量可以剔除时为止。入也无失去其统计学意义的自变量可以剔除时为止。 2.多元逐渐回归的根本原理多元

11、逐渐回归的根本原理 Fj 服从F (1 ,n - m - 1) 分布 假设假设FjF(1 ,n - m - 1)，那么，那么 Xj选入方程；否那么，不入选入方程；否那么，不入 选。选。 从方程中剔除无统计学作用的自变量，过程那么相反，但检验一样。从方程中剔除无统计学作用的自变量，过程那么相反，但检验一样。 3. 多元逐渐回归的检验程度多元逐渐回归的检验程度 在进展逐渐回归前，首先应确定检验程度，以作为引入或剔除变量的规范。检验程度可以根据详细情 况而定，普通可将 F 值定在 为0.05、0.10或0.20程度上。对于回归方程的选入和剔除程度往往选择 选入剔除。 选择不同的F 值(或程度)，其回

12、归方程的结果能够不一致，普通可选不同的F 值(或值) 作调试。至于何 种结果是正确的，必需结合医学的实践意义来确定。 4.多元逐渐回归事例 对例11.2采用逐渐法挑选自变量，选入水准为 0.10,剔除水准为0.15，SAS 软件计算过程及相应结果 见表11-8至 表11-11。 234 4.799+ 0.031+0.097+0.008YXXX 多元逐渐回归方程为：多元逐渐回归方程为： 1 线性依存关系 应变量与自变量间具有线性依存关系。 2 正态性 应变量原那么上是延续型可测正态变量，其预测值与实践观测值的差值即残差服从正态分布，当样本量较大时可以忽略正态性的要求。 3独立性 察看单位之间是独立的，即应变量的观测值相互独立。 2. 2. 样本含量样本含量 普通应使样本量是自变量个数的普通应使样本量是自变量个数的 5 5 倍以上。倍以上。 3.3.自变