多元线性回归分析

1、多元统计分析方法,The Methods of Multivariate Statistical Analysis,第五章,多元线性回归分析,什么是多元线性回归分析？ 多元线性回归分析的数学模型 多元线性回归分析的方法步骤 多元线性回归分析的逐步回归法 多元相关分析 多元线性回归分析在医学中的应用,“回归”的概念 =变量之间数量关系的拟合,准确的关系 近似的关系,关系,线性关系 非线性关系,简单的关系 复杂的关系,回归分析,回归分析的分类,连续型因变量 (y) -线性或非线性回归分析,多个因变量 (y1,y2yk),分类型因变量 (y) -Logistic 回归分析,时间序列因变量 (t) -

2、时间序列分析,生存时间因变量 (t) -生存风险回归分析,路径分析 结构方程模型分析,一个因变量 y,例如：各种回归分析的比较,第一节 多元线性回归分析的基本思想,多元线性回归分析： 研究一个因变量与一组自变量的依存关系，即，研究一组自变量是如何直接影响一个因变量的。,第二节 多元线性回归分析的数学模型,id x 1 x j xk y - 1 x11 x1j x1k y1 i x i1 x ij xik yi n xn1 xnj xnk yn,数据：,数学模型：,其中：yi和xij是因变量y和自变量xj 的观察值； 0, 1k是待估计的偏回归系数； e i 是yi 的随机误差，且ei N(0,

3、)。,一元线性回归分析的数学模型,模型： yi=+ xi + i (i=1,2n),id x y - 1 x1 y1 2 x2 y2 i xi yi n xn yn,。,。,。,。,。,。,。,。,。,。,。,x,y,0,。,。,。,一元线性回归模型,(xi, yi),i,因变量是连续随机变量； 自变量是固定数值型变量，且相互独立； 每一个自变量与因变量呈线性关系； 每一个自变量与随机误差相互独立； 观察个体的随机误差之间相互独立； 随机误差eiN(0,)。,数据的假设条件：,第三节 多元线性回归分析的方法步骤,估计偏回归系数b0,b1bk； 检验回归系数b0，b1bk的统计意义； 检验模型y

4、=b0+b1x1+bkxk的统计意义； 诊断模型； 解释模型参数的实际意义。,1、估计偏回归系数,2、检验参数,3、检验模型,模型显著性检验的方差分析表：,复确定系数(multiple determinent coefficient),-它表示了因变量 y 的总体变异中被所有自变量所解释的比例。,校正复确定系数 (adjusted multiple determinent coefficient),判断模型的另一个指标：,4、模型的诊断 (diagnosis),数据应满足的假设条件(assumption)： 自变量之间不存在多重共线性； 自变量与残差独立； 残差 的均值为零，方差为常数； 残差

5、之间相互独立 ； 残差服从正态分布。 不满足条件导致的后果： a) 结论不唯一； b) 模型中缺少重要自变量； c) 参数估计出现偏倚； d) 结果失真； e) 统计检验结果出现偏倚。,诊断自变量多重共线性的必要性,举例说明,多重共线性multicollinearity,分析结果 不稳定,显著性消失,符号错误,自变量共线性引起的问题之一：显著性消失,例1：儿童心象面积的研究 Y： 心象面积(平方厘米) X1：性别（男=1，女=2） X2：年龄(月) X3：身高(厘米) X4：体重(公斤) X5：胸围(厘米),例1的相关系数表,心象 性别 年龄 身高 体重 胸围 y x1 x2 x3 x4 x5

6、 性别 -0.08 1.00 年龄 0.87 -0.06 1.00 身高 0.93 0.00 0.86 1.00 体重 0.91 -0.02 0.89 0.95 1.00 胸围 0.89 -0.08 0.86 0.91 0.97 1.00,Multicollinearity !,例1 的回归分析结果：,模型总体检验：p=0.0002，R-sq=0.95 参数估计和检验 Var DF Est SE T Prob |T| Int 1 54.58 124.3 0.439 0.6737 X1 1 -7.76 8.07 -0.962 0.3679 X2 1 0.12 0.18 0.672 0.5231

7、X3 1 0.29 0.42 0.693 0.5104 X4 1 1.12 2.26 0.497 0.6343 X5 1 -0.94 2.33 -0.404 0.6985,Non-significant !,自变量共线性引起的问题之二：符号错误,例2：吸氧效率的研究 Y：吸氧效率 X1：年龄 X2：跑1.5公里所需的时间(分钟） X3：跑步时的心跳率 X4：最高心跳率,例2的相关系数表,吸氧 年龄 跑步 跑步 最高 效率 时间 心跳率 心跳率 y X1 X2 X3 X4 X1 -0.20 1.00 X2 -0.80 -0.15 1.00 X3 -0.49 -0.32 0.36 1.00 X4

8、-0.37 -0.42 0.28 0.93 1.00,Negative correlated,High correlated,例2的分析结果：,模型总体检验：p=0.0001，R-sq=0.85 参数估计和检验 Var DF Est SE T Prob |T| int 1 96.61 12.2 7.91 0.0001 X1 1 -0.19 0.09 -1.99 0.0574 X2 1 -2.88 0.35 -8.14 0.0001 X3 1 -0.34 0.12 -2.95 0.0068 X4 1 0.28 0.13 2.06 0.0493,Error Sign,5、模型参数的意义解释,其中，

9、b0, b1, bk 是偏回归系数0, 1, . ,k 的估计值。,bj 表示了当其它自变量不变时，xj 改变一个单位所引起的 y 的改变量。,例如，b 1=0.25表示当其它自变量不变时，自变量 x 1每增加一个单位，因变量 y 将增加0.25个单位。,标准偏回归系数估计值及其作用：,标准偏回归系数消除了量纲的影响，可以相互 比较，用来判断自变量对因变量的影响强弱。,同一模型中对参数估计值进行大小比较，绝对值大的b j 对应的自变量 x j 对因变量 y 的影响大，或者说，与因变量 y 的关联性强。,多元线性回归分析的用SAS程序,data d； input id x1-x3 y ； car

10、ds； 1.0 2.3 3.4 10 2.1 2.5 3.8 15 3.2 3.3 3.8 20 4.2 3.9 4.2 22 4.8 4.2 5.0 28 run ；,多元线性回归分析,proc reg data=d； model y=x1-x3 / stb； run ；,建立SAS数据集,其中，stb指令系统输出标准 偏回归系数。,Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value ProbF Model 3 184.743 61.581 18.912 0.1671

11、Error 1 3.256 3.256 C Total 4 188.000 Root MSE 1.80452 R-square 0.9827 Dep Mean 19.00000 Adj R-sq 0.9307 C.V. 9.49746 Parameter Estimates Parameter Standard T for H0: Prob Std Variable DF Estimate Error Paramet=0 |T| Estimate INTERCEP 1 -1.74371 14.76037 -0.118 0.925 0.0000 X1 1 3.86934 3.68701 1.04

12、9 0.484 0.8703 X2 1 -1.10552 6.34159 -0.174 0.890 -0.1347 X3 1 3.09045 3.41622 0.905 0.531 0.2734,输出结果,判断一个模型是否是一个最优模型，既要考虑总体模型的检验结果，还要考虑每一个参数的检验结果，并且要将两者结合起来。 统计意义上的最优模型应当满足两点： 统计上有显著性意义(p0.05) 的x j 都含在模型中； 统计上无显著性意义(p0.05) 的x j 都不含在模型中。 当自变量较多时，获得最优模型的方法一般采用逐步回归的方法，即依次分析所有可能的模型，逐步地达到最优模型的条件。 常用的有三

13、种逐步回归法：,第四节 多元线性回归分析的逐步回归法,1、向前选择法 (forward selection),2、向后消去法 (backward elimination),从含有常数项和所有k个自变量的最大模型开始，逐步从模型中消去x变量，直到没有满足要求的自变量为止。 从模型中消去变量的方法是：对模型里的每一个自 变量x j，计算出当它退出模型后引起的回归平方和的减少量以及对应的F-值和p-值，然后将具有最小F-值，且p-值超过停留允许水平(stay level)的自变量x j 从模型中消去。 停留允许水平也可以任意定义，一般小于0.10。 这里所说的F-值和上面的一致。,3、逐步过程法 (

14、stepwise procedure),从仅含有常数项的最小模型开始，逐步在模型中添加或消去x 变量，直到模型外的所有x变量都不满足进入允许水平的要求，而且模型内的所有x变量都满足停留允许水平的要求为止。 在模型中添加x变量的方法和向前选择法相同，从模型中消去x变量的方法和向后消去法相同。 添加和消去x变量的顺序原则是，在每添加一个新的x变量之前，首先用向后消去法原则消去模型内所有超出停留允许水平的x 变量，然后用向前选择法原则在模型中添加一个新的x变量。 逐步过程法和向前选择法的不同之处是，已经进入模型的x变量还可以再次从模型中退出；逐步过程法和向后消去法的不同之处是，已经从模型中消去的x变

15、量还可以再次进入模型中。,决定模型好坏的常用指标有三个：检验总体模型的p-值，确定系数R2值和检验每一个回归系数bj 的p-值。 这三个指标都是样本数n、模型中参数的个数k的函数。样本量增大或参数的个数增多，都可以引起p-值和R2值的变化。但由于受到自由度的影响，这些变化是复杂的。 判断一个模型是否是一个最优模型，除了评估各种统计检验指标外，还要结合专业知识全面权衡各个指标变量系数的实际意义，如符号，数值大小等。 对于比较重要的自变量，它的留舍和进入模型的顺序要倍加小心。,决定模型好坏的常用指标和注意事项：,第六节 多元线性回归分析应用实例,例：为了了解和预测人体吸入氧气的效率，收集了30名中

16、年男性的健康状况调查资料。共调查了7个指标，它们是：吸氧的效率(y)，年龄(x1)，体重(x2)，跑1.5公里所需的时间(x3)-以分钟计算，休息时的心跳次数(x4)，跑步时的心跳率(x5)，和最高心跳率(x6) 。该问题中吸氧的效率(y)是因变量，其余6个变量是自变量。试用多元回归分析建立预测人体吸氧效率的模型。,1) 建立SAS数据集,data eg5_1； input y x1- x6 ； cards； 44.609 44 89.47 11.37 62 178 182 47.467 52 82.78 10.50 53 170 172 run；,2）检验自变量的共线性,proc reg d

17、ata=eg5_1 ； model y = x1- x6 / collin； run；,Collinearity Diagnostics Eigen Condition VarProp VarProp VarProp VarProp VarProp VarProp VarProp No value Index intercp X1 X2 X3 X4 X5 X6 1 6.949 1.00000 0.0000 0.0002 0.0002 0.0002 0.0003 0.0000 0.0000 2 0.019 19.0159 0.0019 0.1750 0.0052 0.0219 0.3516 0.

18、0000 0.0000 3 0.015 21.4484 0.0008 0.1372 0.2425 0.1318 0.0498 0.0012 0.0013 4 0.009 27.5487 0.0059 0.0302 0.1685 0.6315 0.2075 0.0014 0.0012 5 0.006 33.6343 0.0018 0.1058 0.4627 0.1145 0.3647 0.0147 0.0082 6 0.001 81.8075 0.7853 0.4776 0.0987 0.0858 0.0195 0.0703 0.0053 7 0.000 197.952 0.2043 0.074

19、2 0.0222 0.0143 0.0066 0.9125 0.9840,自变量的共线性诊断结果：,3）用逐步回归法拟合y在x1-x5上的线性回归模型,proc reg data=eg5_1； model y = x1- x5 / selection=stepwise stb； run；,Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value ProbF Model 3 698.41906 232.80635 41.094 0.0001 Error 27 152.96249

20、5.66528 C Total 30 851.38154 Root MSE 2.38018 R-square 0.8203 Dep Mean 47.37581 Adj R-sq 0.8004 C.V. 5.02405 Parameter Estimates Parameter Standard T for H0: Standardized Variable DF Estimate Error Parameter=0 Prob |T| Estimate INTERCEP 1 113.057578 9.90850509 11.410 0.0001 0.00000000 X1 1 -0.269165

21、 0.09046159 -2.975 0.0061 -0.27128409 X3 1 -2.824520 0.34650163 -8.152 0.0001 -0.73561270 X5 1 -0.135066 0.04920123 -2.745 0.0106 -0.25992675,逐步回归分析结果,4) 模型诊断,自变量之间不存在多重共线性； 自变量与残差独立； 残差 的均值为零，方差为常数； 残差之间相互独立 ； 残差服从正态分布。,option ps=40 ls=60; proc reg data=eg5_1; model y=x1 x3 x5 / r dw; plot rstudent

22、.*p. ; output out=out r=r; run; proc univariate data=out normal; var r; run;,-dw值检验e的独立性 -检验自变量与残差独立 -输出残差变量r -检验r的正态性,Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value ProbF Model 3 698.41906 232.80635 41.094 0.0001 Error 27 152.96249 5.66528 C Total 30 851.381

23、54 Root MSE 2.38018 R-square 0.8203 Dep Mean 47.37581 Adj R-sq 0.8004 C.V. 5.02405 Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob |T| INTERCEP 1 113.057578 9.90850509 11.410 0.0001 X1 1 -0.269165 0.09046159 -2.975 0.0061 X3 1 -2.824520 0.34650163 -8.152

24、0.0001 X5 1 -0.135066 0.04920123 -2.745 0.0106 Durbin-Watson D 1.469 (For Number of Obs.) 31 1st Order Autocorrelation 0.261,Dep Var Predict Std Err Std Err Student Cooks Obs Y Value Predict Residual Residual Residual -2-1-0 1 2 D 1 44.6090 45.0579 0.627 -0.4489 2.296 -0.195 | | | 0.001 2 40.8360 45

25、.7107 0.505 -4.8747 2.326 -2.096 | *| | 0.052 3 45.3130 48.8609 0.931 -3.5479 2.191 -1.620 | *| | 0.118 4 46.6720 49.2043 0.577 -2.5323 2.309 -1.097 | *| | 0.019 5 54.2970 55.7120 0.946 -1.4150 2.184 -0.648 | *| | 0.020 6 46.7740 49.3057 0.547 -2.5317 2.317 -1.093 | *| | 0.017 7 59.5710 56.2554 0.93

26、9 3.3156 2.187 1.516 | |* | 0.106 8 50.3880 48.7063 0.474 1.6817 2.333 0.721 | |* | 0.005 9 49.8740 52.7456 0.977 -2.8716 2.170 -1.323 | *| | 0.089 10 39.4070 38.5401 1.044 0.8669 2.139 0.405 | | | 0.010 11 44.8110 43.7861 0.569 1.0249 2.311 0.443 | | | 0.003 12 46.0800 45.9026 0.843 0.1774 2.226 0.

27、080 | | | 0.000 13 45.6810 44.7664 0.950 0.9146 2.182 0.419 | | | 0.008 14 45.4410 48.6335 0.907 -3.1925 2.201 -1.451 | *| | 0.089 15 49.0910 48.9568 0.843 0.1342 2.226 0.060 | | | 0.000 16 54.6250 54.6850 1.117 -0.0600 2.102 -0.029 | | | 0.000 17 39.4420 40.7682 1.033 -1.3262 2.145 -0.618 | *| | 0.

28、022 18 45.1180 44.8032 0.539 0.3148 2.318 0.136 | | | 0.000 19 60.0550 55.4926 1.028 4.5624 2.147 2.125 | |* | 0.259 20 39.2030 39.4518 0.936 -0.2488 2.189 -0.114 | | | 0.001 21 50.5410 49.9109 0.559 0.6301 2.314 0.272 | | | 0.001 22 45.7900 44.6352 1.069 1.1548 2.126 0.543 | |* | 0.019 23 37.3880 3

29、6.1949 1.251 1.1931 2.025 0.589 | |* | 0.033 24 50.5450 49.6780 1.113 0.8670 2.104 0.412 | | | 0.012 25 44.7540 45.7650 0.543 -1.0110 2.317 -0.436 | | | 0.003 26 48.6730 48.1958 1.173 0.4772 2.071 0.230 | | | 0.004 27 47.2730 48.5863 0.595 -1.3133 2.305 -0.570 | *| | 0.005 28 47.9200 44.6945 0.525 3

30、.2255 2.321 1.389 | |* | 0.025 29 51.8550 46.9245 0.686 4.9305 2.279 2.163 | |* | 0.106 30 47.4670 46.4424 0.584 1.0246 2.307 0.444 | | | 0.003 31 49.1560 50.2772 1.044 -1.1212 2.139 -0.524 | *| | 0.016,Stepwise regression analysis: excluding X6 -+-+-+-+-+-+-+-+-+-+-+-+- S 3 + + t | | u | | d | 1 |

31、e | 1 | n 2 + + t | | i | 1 | z | 1 | e | | d 1 + + | 1 | R RSTUDENT | 1 1 | e | 1 1 1 1 1 | s | 1 1 1 | i 0 + 1 1 1 + d | 1 1 | u | 1 | a | 1 1 1 1 | l | | -1 + 1 + w | 1 | i | 1 1 | t | 1 | h | | o -2 + + u | 1 | t | | | | C | | u -3 + + r -+-+-+-+-+-+-+-+-+-+-+-+- r 36 38 40 42 44 46 48 50 52 54

32、56 58 e Predicted Value of Y PRED,Univariate Procedure Variable=R Residual Moments Quantiles(Def=5) N 31 Sum Wgts 31 100% Max 4.930504 99% 4.930504 Mean 0 Sum 0 75% Q3 1.024878 95% 4.56244 Std Dev 2.258041 Variance 5.09875 50% Med 0.177446 90% 3.225463 Skewness 0.118509 Kurtosis 0.213924 25% Q1 -1.3

33、2619 10% -2.87157 USS 152.9625 CSS 152.9625 0% Min -4.87466 5% -3.54794 CV . Std Mean 0.405556 1% -4.87466 T:Mean=0 0 Pr|T| 1.0000 Range 9.805162 Num = 0 31 Num 0 17 Q3-Q1 2.351073 M(Sign) 1.5 Pr=|M| 0.7201 Mode -4.87466 Sgn Rank 1 Pr=|S| 0.9847 W:Normal 0.97167 PrW 0.6172,模型诊断结果：,所有学生残差的绝对值2.2(基本满足

34、要求)，而所有的Cooks D0.5，所以可以认为数据中没有极端点。 用SAS的univariate过程步检查得知，残差的均值为零(p=1.000)，且服从正态分布(p=0.6170)。 通过作散点图r.*p.可以看到，残差的方差为常数，且相互独立。 由此得知上述回归模型的残差检验合乎要求，从而可以得到下面的专业结论。,5) 专业结论,性别和体重对吸氧效率的影响不显著，年龄( x 1 )、跑1.5公里所需时间( x 3 )以及跑步时的心跳率( x 5 )对吸氧效率( y )的影响显著，其回归模型是：,在跑1.5公里所需时间和跑步时的心跳率相同的条件下，年龄每增加1岁，吸氧效率将会减少0.269个单位； 在年龄和跑步时的心跳率相同的条件下