第10讲 回归分析2011.doc

第10讲 回归分析1 概述1.1 基本概念(1)线性回归分析线性回归分析是描述一个因变量与一个自变量之间的线性依存关系，可以根据一批样本值来估计这种关系，通过建立回归方程进行预测变量。线性回归分析原理是基于最小二乘法原理，是古典统计假设下的最优无偏差估计，也就是使该直线与各点的纵向垂直距离最小。(2)多元回归分析如果引用的自变量只有一个，就是直线线性回归方程。如果引用的变量有两个以上，就是多元回归分析，所得方程就是多元线性回归方程。SPPS提供了5种建立回归方程的方法：强迫引入法、逐步回归法、强迫剔除法、向后逐步法和向前逐步法。(3)曲线拟合在生物学中，有许多变量之间的关系是复杂的非线性的，由这些变量所建立的关系包括指数曲线、对数曲线、抛物线、双曲线等。2 线性回归分析2.1 线性回归适用条件线性趋势；独立性；正态分布；方差齐性。散点图是进行线性回归分析之前的必要步骤，不能随意省略。2.2 主要对话框(1) 对话框Dependent：因变量栏。Independent：自变量栏。Next：单击该按钮，可以在该列表中输入新的自变量集合，以便研究不同的自变量集合与因变量的关系。Previous：单击该按钮，可以在该列表中显示前一套自变量集合。Method：选择回归的方法。l Enter：强迫进入法，所选变量全部进入模型。l Stepwise：逐步回归法，首先计算各个自变量对的贡献大小，挑出贡献最大的先进入方程，然后再计算剩余的变量对的贡献大小，符合标准的进入，不符合的剔除模型。l Remove：强制剔除法，只出不进，按照Block为单位，根据剔除的标准，将同一个Block内的变量一次全部剔除.l Backward：向后回归法，类似逐步回归法，只出不进l Forward：向前回归法，类似逐步回归法，只进不出Selection Variables：在该窗口输入变量名，然后使用“规则”按钮输入选择数据的规则，确定对哪些个案的数据进行回归分析。例如：等于某一值，大于某一值，小于某一值等。WLS：单击该按钮，该对话框向下扩展，可以选择对应的变量进行加权处理。图1 线性回归对话框(2) 统计对话框Regression Coefficients：显示回归系数。图2 线性回归统计量l Estimate：缺省选择，显示回归系数、t值、P值，标准化回归系数等。l Confidence interval：显示95%置信间隔；l Covariance matrix：显示回归系数的方差-协方差矩阵；矩形的上对角线为方差，下对角线为协方差。Residuals：有关残差设置；l Durbin-Watson：检查残差间是否独立，实际上是考察应变量Y的取值是否独立，一般采用Durbin-Watson残差序列相关性检验。l Cases diagnostics：进行残差分析的个案范围；All cases：对所有个案的数据进行残差诊断分析。Model fit：模型拟合参数；R squared change：显示增加一个变量时相关系数的变化，结果说明该变量对因变量的影响大小。Descriptives：描述性统计结果。Part and partial correlation：显示部分相关和偏相关Collinearty diagnostic：显示共线性诊断。（3）Plot按钮该对话框可以生成残差图、直方图、正态P-P图和局部回归图。图3线性回归统计图对话框。DEPENDNT：因变量；*ZPRED：标准化预测值；*ZRESID：标准化残差；*DRESID：剔除残差；*ADJPRED：调节预测值；*SRESID：学生化残差。Previous、Next：单击Next，可以输入下一个图形的坐标变量Y、X窗口：分别输入变量名，对应数据作出图形。l Histogram：生成直方图；l Normal probability plot：生成正态P-P概率图；l Produce all partial plot：生成所有的局部回归图。（4）Save对话框可以将运行过程中的一些统计量进行保存。Predicted Values：预测值选项l Unstandardized：保存非标准化预测值，可以用来作图。l Standardized：保存标准化预测值可以用来作图。l Adjusted：保存调节预测值l SE of mean predictions：保存均值预测值的标准误Distances：距离选项l Mahalanobis：马氏距离l Cooks：Cooks距离l Leverage values：中心杠杆值Prediction intervals：预测间隔选项。Residuals：保存残差选项。Dfbeta(s)：计算并保存beta差值。Influence Statistics：反应当剔除了某个个案以后的变化情况。Save to New File：保存结果到新文件中。（5）Option对话框Stepping Method Criteria：确定进入回归方程或从方程中剔除值的标准。l Use probalability of F：用F值显著性概率作为标准。l Use F Vlues：用F值作为标准。Include constant in equation：回归方程中包含常数项。Missing Values：缺失值处理方式。 图4 线性回归保存结果对话框（左）和选项对话框（右）2.3 注意事项如果在散点图中发现有偏离主体的观测值，则称之为异常点，这些点很可能对正确评价两个变量之间的关系有较大的影响，对异常点的处理需要从专业知识和数据特征两个方面来考虑。不能通过简单的剔除异常点的方式来得到拟合效果较好的模型。反映两个变量之间的关系密切程度应该是回归系数或相关系数的绝对值，而不是P值，P值只是相关系数的绝对值的进一步说明。线性回归应用时，其应用范围一般不超过自变量的取值范围，应尽量避免不合理的外延。3 例题13.1 原始数据测得某地人的体重和肺活量，求体重和肺活量的回归方程。表1.表1 体重与肺活量数据体重4242464646505050525258肺活量2.552.202.752.402.802.813.413.103.462.853.503.2 SPSS过程数据/Analyze/Regression/linear regression，选择肺活量dependent，体重independent。3.3 SPSS主要结果使用默认选项运行结果见表2。显示相关系数R，决定系数R Square=0.562，调整系数。见表3。 Enter：表示线性回归方程选择的方法强迫引入法。表 2 Variables Entered/Removed表 3 Model Summary方差分析结果，F=12.817，当F值大于一定的临界值，拒绝原假设。例P=0.005，可认为自变量体重和因变量肺活量之间有极其显著的直线关系。见表4。在线性回归中，模型中只有一个自变量，对模型的检验就等价于对回归系数的检验。线性回归模型实际上和方差分析模型是等价的。关于回归系数的检验还有许多方法，例如，T检验法和相关系数检验法等。表5得出回归方程：Y=0.000413+0.05883X。回归系数的检验用t 检验法，t=3.580，P=0.005。与回归模型检验结果相同。所以认为Y与X之间是相关的。表5。在线性回归中，一般只需要关注未标准化系数。表4 方差分析结果表5 Coefficients3.4 用散点交互图进行回归分析SPSS过程，打开体重/肺活量数据；Graghs- Interactive-Scatterplot，打开创建散点图对话框；打开Fit选项卡，选择“回归”，OK生成回归图。见图5。 图5 用交互图左回归分析结果表明：Y=0.00+0.06X。R Square=0.562，绘出概率为95%的预测区间的直线。给定不同的概率值，则相应显示不同的预测区间。3.5 描述性统计和相关分析结果打开线性回归统计显示对话框，选择所有选项。选择结果见图6。表6为描述性统计结果。表7显示相关矩阵，主要包括相关系数矩阵，相关显著性检验（或者称不相关显著性水平）和样本数等。图6 线性回归统计对话框表6 Descriptive StatisticsMeanSDN肺活量2.90250.414412体重49.33335.280012表7 相关矩阵Correlations肺活量体重Pearson Correlation肺活量1.0000.749体重0.7491.000Sig. (1-tailed)肺活量.0.003体重0.003.N肺活量1212体重12123.6 残差分析表8列出了每个因变量的残差、标准化残差的描述性统计量。图7是体重和肺活量的散点图，说明肺活量实际值、理论值和残差。所谓残差，应该是在回归时，实际y值与回归曲线得到的理论y值之间的差值。标准残差，就是各残差的标准方差。在Excel中并不能直接绘制残差图，但可以通过Excel计算出残差值，再用残差值绘制散点图或折线图，从而得到残差图。如果残差图中各点的值差别比较大，说明回归曲线方程与实际值之间差别也比较大。也可以说，残差图的波动幅度，反映了回归方程与实际值之间的差别程度。在Excel操作中，常常通过添加误差线，来反映残差值大小。表8 Casewise DiagnosticsCase NumberStd. Residual肺活量Predicted ValueResidual10.2742.552.47110.07892-0.9422.202.4711-0.271130.1512.752.70640.04364-1.0652.402.7064-0.306450.3252.802.70640.09366-0.4582.812.9417-0.131771.6273.412.94170.468380.5503.102.94170.158391.3923.463.05940.400610-0.7282.853.0594-0.2094110.3053.503.41230.087712-1.4333.003.4123-0.4123表10 Residuals StatisticsMinimumMaximumMeanSDNPredicted Value2.47113.41232.90250.310612Residual-0.41230.4683-0.0000.274412Std. Predicted Value-1.3891.6410.0001.00012Std. Residual-1.4331.6270.0000.953123.7 残差直方图图8是标准残差直方图对话框，结果见图9。结果表明，图中自动添加了正态分布曲线，图中残差分析比较均匀对称。但由于例数较少，并不完全符合正态分布，这里主要关心有无极端值，这种分布还是可以接受。参差均值接近于0，标准差接近于1。这里可以与表10中残差统计结果进行对照。标准的理论值和标准的残差值。图9是正态分布P-P检验。同样可以观察残差分布是否正态。结果表明散点基本呈线性趋势。图10是以肺活量为X轴，学生化残差为Y轴的散点图。用来观察残差是否随因变量增大而改变的趋势。也就是诊断应变量的独立性。结果表明，各学生化残差的绝对值都不大于2，未发现有极端值。图8 标准残差直方图图9 正态分布直方图图10 正态分布P-P检验图11 肺活量标准残差散点图4 例题2-残差分析4.5 原始数据测得某地10名儿童年龄（岁）与RBC凝集素抗体水平的数据，见下表，求年龄和凝集素抗体水平的回归方程。表11.表11 年龄与凝集素抗体水平数据年龄0.110.120.210.300.340.440.560.600.690.80抗体水平4.005.109.509.0017.2014.0018.9029.4022.1041.504.6 SPSS散点图图12左是年龄和凝集素抗体水平的回归散点图。右是年龄和标准残差绘制的散点图。发现因变量的残差不齐，有随自变量增加而增加的趋势。所以不符合建立一般线性模型的要求。需要对变量加权。加权公式为w=1/x2.表12-15是计算的结果。解释同前，不再赘述。 图12 年龄和凝集素抗体水平的回归散点图表12 变量的引入/剔除（Variables Entered/Removed）ModelVariables EnteredVariables RemovedMethod年龄.Entera All requested variables entered.b Dependent Variable: 表13 模型综合分析（Model Summary）ModelRR SquareAdjusted R SquareSE of the Estimate10.9490.9010.8888.99592表14 单因素方差分析表（ANOVA）ModelSum of SquaresdfMean SquareFSig.1Regression5869.96315869.96372.5340.000Residual647.412880.927Total6517.3759表15 方程CoefficientsUnstandardizedStandardizedtSig.ModelBStd. ErrorBeta1(Constant)-0.1721.051-0.1640.87440.9514.8080.9498.5170.0003.3 SPSS主要结果使用默认选项运行结果见表2。显示相关系数R，决定系数R Square=0.562，调整系数。见表3。 Enter：表示线性回归方程选择的方法强迫引入法。三 多元线性回归在多个变量之间存在线性关系时，找出哪些变量回归效果明显？那些变量回归效果较差？1 例题测得某地29例儿童的Hb、钙、镁、铁、锰、铜的含量，试用逐步回归方法筛选对Hb有显著作用的微量元素。2 SPSS步骤data /analyze/regression/linear/methodstepwise. Ca，Mg，Fe，mM，Cu依次进入indepedents，血红蛋白hemodependent，Option use probability of F，选择系统默认选项，OK。3 SPSS运行对话框图10-7 多元回归对话框4 SPSS运行结果摘要模型表10-16，显示各模型的复相关系数，决定系数，校正决定系数等，作用不显著的变量被引入方程时，则该系数减少。表10-15 进入和剔除模型的变量（Variables Entered/Removed）ModelEnteredRemovedMethod1Fe.Stepwise (Criteria: Probability-of-F-to-enter0.05, Probability-of-F-to-remove 0.100).表10-16 摘要模型（Model Summary）ModelRR SquareAdjusted R SquareSE of the Estimate10.8630.7460.7361.1199表10-17 方差分析（ANOVA）ModelSum of SquaresdfMean SquareFSig.1Regression99.201199.20179.0960.000Residual33.863271.254Total133.06428显示各模型的偏回归系数结果， 得出回归方程为，Y=-0.657+0.02938Fe，经t检验，t=8.894，P=0.000，有显著性意义。表10-17.表10-17 回归系数（Coefficients）Unstandardized Standardized tSig.ModelBStd. ErrorBeta1(Constant)-0.6571.276-0.5150.611Fe2.938E-020.0030.8638.8940.000表10-18，显示被剔除到模型外的变量有关统计量，提示如果改变F值，有可能还会有变量进入模型。显示模型的方差分析结果，F=79.096，P=0.000，可认为变量X1和Y之间有极显著的直线关系。表10-18 Excluded VariablesModelBeta IntSig.Partial CorrelationCollinearity StatisticsTolerance1(Ca)-0.177-1.8150.081-0.3350.910(Mg)0.0350.2760.7850.0540.597(Mn)-0.096-0.9500.351-0.1830.927(Cu)0.0200.1990.8440.0390.930表10-19 残差统计量（Residuals Statistics）MinMaxMeanSDNPredicted Value6.950213.144510.53621.882329Residual-1.95481.90371.225E-161.099729Std. Predicted Value-1.9051.3860.0001.00029Std. Residual-1.7461.7000.0000.98229图10-8 5 改变F值SPSS结果Option use probability of F，选择Stepwise (Criteria: Probability-of-F-to-enter0.10, Probability-of-F-to-remove0.11)结果分析：通过stepwise 最先引入变量铁，建立了模型1；接着引入变量钙，建立了模型2；下表示摘要模型，显示各模型的复相关系数，决定系数，校正决定系数等，如果作用不显著的变量被引入方程，则该系数减少。表10-20 Variables Entered/RemovedModelEnteredRemovedMethod1(Fe).Stepwise (Criteria: Probability-of-F-to-enter 0.05, Probability-of-F-to-remove 0.10).2(Ca).Stepwise (Criteria: Probability-of-F-to-enter 0.10, Probability-of-F-to-remove 0 .11).表10-21Model SummaryModelRR SquareAdjusted R SquareStd. Error of the Estimate10.8630.7460.7361.119920.8800.7740.7571.0751表10-22 ANOVAModelSum of SquaresdfMean SquareFSig.1Regression99.201199.20179.0960.000Residual33.863271.254Total133.064282Regression103.010251.50544.5570.000Residual30.054261.156Total133.06428显示各模型的方差分析结果，模型2方差分析结果，F=44.557, P=0.000,可认为变量X1、X3和Y之间有回归关系。表10-23 CoefficientsModelUnstandardized Standardized tSig.BSEBeta1(Constant)-0.6571.276-0.5150.611(Fe)0.029380.0030.8638.8940.0002(Constant)1.0721.5510.6910.496(Fe)0.031180.0030.9179.3820.000(Ca)-0.040460.022-0.177-1.8150.081表显10-23显示各模型的偏回归系数结果，得出回归方程为：Y=1.074 +0.03118铁-0.04046钙经t检验， b铁和b钙的t值分别为9.382和-1.815；P值分别为0.000和0.081，按P=0.10水平，均有显著性意义。显示方程以外各模型的变量的有关变量的统计值，因(Ca)P=0.0810.10，故不能引入方程，被剔除方程。Excluded VariablesModelBeta IntSig.Partial CorrelationCollinearity StatisticsTolerance1(Ca)-0.177-1.8150.081-0.3350.910(Mg)0.0350.2760.7850.0540.597(Mn)-0.096-0.9500.351-0.1830.927(Cu)0.0200.1990.8440.0390.9302(Mg)0.1781.3210.1980.2560.464(Mn)-0.056-0.5480.588-0.1090.869(Cu)0.1921.6510.1110.3130.603注意事项，如果引入变量的P值为0.05，剔除变量的P值为0.10，用Backward 法可引入变量X1、X3 ；用forward法只能引入X3。结果提示X1、X3两个变量一起时效果较好；如果引入变量的P值为0.10，剔除变量的P值为0.11，用Backward 法、Forward法、Stepwise法引入变量的结果一致，引入铁、钙两个变量。但是采用backward 法先显示引入的所有模型，再显示剔除出的模型，保留下来的模型里只有铁、钙两个变量；采用forward法与stepwise法引入变量的结果一致。6 不同的方法比较6-1 采用forward法是从少到多开始引入变量，引入的标准是引入变量所设定的P值，如P值为0.05，小于此值被引进，大于此值被剔除；CoefficientsModelUnstandardized Standardized tSig.BStd. ErrorBeta1(Constant)-0.6571.276-0.5150.611(Fe)2.938E-020.0030.8638.8940.000Excluded VariablesModelBeta IntSig.Partial CorrelationCollinearity Statistics1(Ca)-0.177-1.8150.081-0.3350.910(Mg)0.0350.2760.7850.0540.597(Mn)-0.096-0.9500.351-0.1830.927(Cu)0.0200.1990.8440.0390.930Excluded VariablesModelBeta IntSig.Partial CorrelationCollinearity Statistics2(Mg)0.0790.5340.5990.1110.3773(Mg)0.1100.7580.4560.1530.394(Mn)-0.118-1.1620.257-0.2310.7834(Mg)0.1781.3210.1980.2560.464(Mn)-0.056-0.5480.588-0.1090.869(Cu)0.1921.6510.1110.3130.603采用backward法是从多到少开始逐渐剔除变量，剔除变量的标准是剔除变量所设定的P值，大于此值被剔除，小于此值被保留在模型里。如P值为0.10，小于此值被引进，大于此值被剔除。首先剔除(Mg)，然后剔除(Mn)，最后剔除(Cu)，保留在模型中的是铁和钙。结果表面使用不同的方法引入模型的变量不同，请注意理解各种方法的使用。通过回归分析结果也提示了各个变量之间的相关程度，例如上题说明与因变量血红蛋白关系最为密切的是铁，其次是钙，最差的是铜。Variables Entered/Removed(b)ModelVariables EnteredVariables RemovedMethod1铜(Cu), 铁(Fe), 锰(Mn), 钙(Ca), 镁(Mg)(a)Enter2.镁(Mg)Backward = .100).3.锰(Mn)Backward = .100).4.铜(Cu)Backward = .100).Model Summary(e)ModelRR SquareAdjusted R SquareSE of the Estimate1.900(a).810.7681.049692.898(b).807.7751.033943.892(c).796.7721.041164.880(d).774.7571.07514Model SquaresdfMean SquareFSig.1Regression107.722521.54419.5530.000(a)Residual25.343231.102 Total133.06428 2Regression107.408426.85225.1180.000(b)Residual25.657241.069 Total133.06428 3Regression105.964335.32132.5840.000(c)Residual27.101251.084 Total133.06428 4Regression103.010251.50544.5570.000(d)Residual30.054261.156 Total133.06428 四 曲线拟合在生物学中，有许多变量之间的关系是复杂的非线性的，由这些变量所建立的关系包括指数曲线、对数曲线、抛物线、双曲线等。关于这种非线性的变量回归方法一般有两种，一是先进行变量转换，然后再进行线性回归；二是曲线拟合。根据数据特征绘制散点图，然后根据散点图特征来选择曲线类型，原理是按最小二乘法拟合曲线方程。1 数据转换回归分析1-1 例题数据数据下颌骨与体重，表示测得3种的灵长类的下颌骨长和体重的数据，目的是研究两变量之间的相互关系。试用回归的方法分析两者之间的关系。1-2 数据转换，将kg转换成千克，再将Mean mandibular demensions(mm) and body weight (kg) 转换成自然对数。然后再进行回归分析。转换对话框和数据如下。3种的灵长类的下颌骨长和体重的数据体重kg下颌长mm种类2.8050.202.002.8563.202.002.8353.402.005.5068.302.006.4097.001.006.4886.401.007.2691.801.000.8035.303.006.2068.702.006.4060.702.005.0472.902.002.4056.902.003.0061.602.000.9038.903.00SPSS数据体重下颌长种类体重转换体重自然对数下颌长自然对数6.4097.001.006400.008.764.576.4886.401.006480.008.784.467.2691.801.007260.008.894.520.8035.303.00800.006.683.566.2068.702.006200.008.734.236.4060.702.006400.008.764.115.0472.902.005040.008.534.292.4056.902.002400.007.784.043.0061.602.003000.008.014.120.9038.903.00900.006.803.660.6841.503.00680.006.523.730.4831.303.00480.006.173.440.2727.703.00270.005.603.320.1420.303.00140.004.943.011.7759.602.001770.007.484.092.8050.202.002800.007.943.922.8563.202.002850.007.964.152.8353.402.002830.007.953.985.5068.302.005500.008.614.221.5053.102.001500.007.313.972.0549.802.002050.007.633.910.6634.202.00660.006.493.531-3 SPSS步骤Analyze/regression/linear/methodenter/y1depedents,x1independent/ok。1-4 SPSS运行主要结果Model SummaryModelRR SquareAdjusted R SquareStd. Error of the Estimate10.9590.9190.9150.1167a Predictors: (Constant), LGX1结果分析：“Model Summary”表示摘要模型，显示各模型的复相关系数=0.959，决定系数0.92，校正决定系数0.915等。ANOVAModelSum of SquaresdfMean SquareFSig.1Regression3.08413.084226.567.000Residual0.272201.361E-02Total3.35721a Predictors: (Constant), LGX1b Dependent Variable: LGY“ANOVA”显示各模型的方差分析结果，模型1方差分析结果，F=226.567 P=0.000，可认为变量LGX1、LGY 之间有极显著性直线关系。CoefficientsUnstandardizedStandardizedtSig.ModelBStd. ErrorBeta1(Constant)1.3680.1737.9040.000LGX10.3410.0230.95915.052.000a Dependent Variable: LGY表“Coefficients”显示各模型的偏回归系数结果，得出回归方程为：LGY =1.368+0.341 LGX1，经t检验，P值分别为0.000有显著性意义。2 曲线拟合例题2-1 某地大气中氰化物的测定数据见下表。距离50100150200250300400500浓度0.6870.3980.2000.1210.0900.0500.0200.1002-2 首先作出散点图，距离为X轴，大气中氰化物浓度为Y轴，散点分布提示两变量呈指数曲线关系。2-3 SPSS过程Data4/analyze/regression/curve estimation/ydepedents，xindependent/modelliner，exponential/display ANOVA/ok。2-4 SPSS运行结果Dependent variable. Y ，Method. LINEAR：线性方法。Listwise Deletion of Missing Data：缺失值处理。Multiple R：0.82090（复相关系数）R Square：0.67387（决定系数）Adjusted R Square：0.61952（调整系数）Standard Error：0.14478（标准误）Analysis of Variance：方差分析DFSum of SquaresMean SquareRegression10.259872620.25987262Residuals60.125769380.02096156F =12.39758Signif F0.0125Variables in the EquationVariableBSE BBetaTSig TX-0.0012660.000360-0.820896-3.5210.0125(Constant)0.5055430.1014844.9820.0025Dependent variable：Y；Method：EXPONENT（指数拟合曲线）Multiple R：0.99575R Square：0.99152Adjusted R Square：0.99011Standard Error：0.14308Analysis of Variance:DFSum of SquaresMean SquareRegression114.36601114.366011Residuals60.1228400.020473F =701.69507Signif F0.0000Variables in the EquationVariableBSE BBetaTSig TX-0.0094120.000355-0.995752-26.4960.0000(Constant)0.9293050.0932059.9710.001 指数曲线方程为 lnY=ln(0.929305)-0.09412X拟合曲线见下图。三条线分别为实际拟合曲线、线性回归直线和指数拟合曲线。3 其他拟合曲线和方程主要观察拟合程度。通过决定系数来确认。然后确认拟合曲线和拟合方程。3-1 主要对话框选择模型中所有拟合方程和绘制拟合曲线。3-2 运行SPSS主要结果Independent: X Dep.MthRsqd.f.FSigfb0b1b2b3YLIN0.674612.400.0130.5055-0.0013YLOG0.925673.840.0001.7709-0.2980YINV0.9836344.640.000-0.063939.0143YQUA0.944542.280.0010.8235-0.00455.9E-06YCUB0.9934186.740.0001.0435-0.00852.4E-05-2.E-08YCOM0.9926701.700.0000.92930.9906YPOW0.932682.750.0001509.00-1.8338YS0.694613.600.010-3.7111200.927YGRO0.9926701.700.000-0.0733-0.0094Y