整理多元线性回归与曲线拟合

1、第十章：多元线性回归与曲线拟合Regression菜单详解（上）（医学统计之星：张文彤）回归分析是处理两个及两个以上变量间线性依存关系的统计方法。在医学领域中，此类问题很普遍，如人头发中某种金属元素的含量与血液中该元素的含量 有关系，人的体表面积与身高、体重有关系；等等。回归分析就是用于说明这种 依存变化的数学关系。§ 10.1 Linear 过程10.1.1 简单操作入门调用此过程可完成二元或多元的线性回归分析。在多元线性回归分析中，用户还可根据需要，选用不同筛选自变量的方法（如：逐步法、向前法、向后法， 等）。例10.1 :请分析在数据集 Fat surfactant.sav 中

2、变量fat对变量spovl的 大小有无影响？显然，在这里spovl是连续性变量，而fat是分类变量，我们可用用单因素 方差分析来解决这个问题。但此处我们要采用和方差分析等价的分析方法-回归 分析来解决它。回归分析和方差分析都可以被归入广义线性模型中，因此他们在模型的定 义、计算方法等许多方面都非常近似，下面大家很快就会看到。这里spovl是模型中的因变量，根据回归模型的要求，它必须是正态分布的 变量才可以，我们可以用直方图来大致看一下， 可以看到基本服从正态，因此不 再检验其正态性，继续往下做。10.1.1.1 界面详解在菜单中选择Regression=>liner ,系统弹出线性回归对

3、话框如下：除了大家熟悉的内容以外，里面还出现了一些特色菜，让我们来一一品尝。【Dependent框】用于选入回归分析的应变量。【Block按钮组】由Previous和Next两个按钮组成，用于将下面Independent框中选入的自 变量分组。由于多元回归分析中自变量的选入方式有前进、后退、逐步等方法， 如果对不同的自变量选入的方法不同， 则用该按钮组将自变量分组选入即可。下面的例子会讲解其用法。Independent 框】用于选入回归分析的自变量。【Method下拉列表】用于选择对自变量的选入方法，有 Enter （强行进入法）、Stepwise （逐步 法）、Remove（强制剔除法）、B

4、ackward （向后法）、Forward （向前法）五种。 该选项对当前Independent框中的所有变量均有效。【Selection Variable 框】选入一个筛选变量，并利用右侧的 Rules钮建立一个选择条件，这样，只有 满足该条件的记录才会进入回归分析。Case Labels 框】选择一个变量，他的取值将作为每条记录的标签。 最典型的情况是使用记录ID号的变量。【WLS阐】可利用该按钮进行权重最小二乘法的回归分析。单击该按钮会扩展当前对话框，出现 WLS Weight框，在该框内选入权重变量即可。【Statistics 钮】弹出Statistics 对话框，用于选择所需要的描述

5、统计量。有如下选项:o Regression Coefficients复选框组：定义回归系数的输出情况，选中Estimates可输出回归系数B及其标准误，t值和p值，还有标准化的回 归系数beta ;选中Confidence intervals则输出每个回归系数的 95%T信区间；选中covariance matrix则会输出各个自变量的相关矩阵和方差、 协方差矩阵。以上选项默认只选中 Estimates。o Residuals复选框组：用于选择输出残差诊断的信息，可选的有 Durbin-Watson残差序列相关性检验、超出规定的n倍标准误的残差列表。o Model fit复选框：模型拟合过程

6、中进入、退出的变量的列表，以及一些 有关拟合优度的检验：，R, R2和调整的R2,标准误及方差分析表。o R squared change复选框：显示模型拟合过程中 R2、F值和p值的改变 情况。o Descriptives 复选框：提供一些变量描述，如有效例数、均数、标准差 等，同时还给出一个自变量间的相关矩阵。o Part and partial correlations复选框：显示自变量间的相关、部分相关和偏相关系数。o Collinearity diagnostics 复选框：给出一些用于共线性诊断的统计量， 如特征根(Eigenvalues )、方差膨胀因子(VIF)等。以上各项在默

7、认情况下只有 Estimates和Model fit 复选框被选中Plot钮】弹出Plot对话框，用于选择需要绘制的回归分析诊断或预测图。可绘制的 有标准化残差的直方图和正态分布图，应变量、预测值和各自变量残差间两两的散点图等。【Save钮】许多时候我们需要将回归分析的结果存储起来，然后用得到的残差、预测值等做进一步的分析，Save钮就是用来存储中间结果的。可以存储的有：预测值 系列、残差系列、距离(Distances )系列、预测值可信区间系列、波动统计量 系列。下方的按钮可以让我们选择将这些新变量存储到一个新的SPSSt据文件或XML中。Options 钮】设置回归分析的一些选项，有：o

8、Stepping Method Criteria单选钮组：设置纳入和排除标准，可按P值或F值来设置。o Include constant in equation复选框：用于决定是否在模型中包括常数项，默认选中。o Missing Values 单选钮组：用于选择对缺失值的处理方式，可以是 不分析任一选入的变量有缺失值的记录(Exclude cases listwise )而无 论该缺失变量最终是否进入模型；不分析具体进入某变量时有缺失值的记 录(Exclude cases pairwise )；将缺失信用该变量的均数代替(Replace with mean )。10.1.1.2 输出结果解释根

9、据题目的要求，我们只需要在 Dependent框中选入spovl , Independent 框中选入fat即可，其他的选项一律不管。单击OKt,系统很快给出如下结果：RegressionVariables VariatolasMadel Entered R&mo7ed Method1 fat'一 Entga. All requested 血偏皿巳5 entered.b. Dependent Variable: SPVOL这里的表格是拟合过程中变量进入/退出模型的情况记录，由于我们只引入了一 个自变量，所以只出现了一个模型1 (在多元回归中就会依次出现多个回归模 型)，该模型中

10、fat为进入的变量，没有移出的变量，具体的进入/退出方法为enter。Model SiiniiiKiiyModelRR SquareAdjustedR SquareStd. Error of the Estimate167 职.334.307.030a. Predictors: (Constant), fat上表为所拟合模型的情况简报，显示在模型1中相关系数R为0.578,而决定系数R2为0.334 ,校正的决定系数为0.307。曷NOV冲ModelSum of SquaresdfMoan SquareFSig.1Resressior83口 5112U5S0C2aResidual15,5302

11、4.699Total24,83526a. Pradictons: (Can slant), fat比 De pendent Variable. SPYOL这是所用模型的检验结果，可以看到这就是一个标准的方差分析表！有兴趣的读者可以自己用方差分析模型做一下，就会发现出了最左侧的一列名字不太一样外，其他的各个参数值都是相同的。从上表可见所用的回归模型F值为12.059,P值为0.002,因此我们用的这个回归模型是有统计学意义的，可以继续看下面系数分别检验的结果。O 由于这里我们所用的回归模型只有一个自变量， 因此模型的检验就等价与系 数的检验，在多元回归中这两者是不同的。Coefficients3

12、ModelUn5tandard izeclCoefficientsSlandardi Md Coefficien tstSig.Bstd ErrorBeta1(Con sla5.0ST,42711,923.ocofat700202,5733473.0C2a. Dependent Variable, 8PVOL上表给出了包括常数项在内的所有系数的检验结果，用的是t检验，同时还会给出标化/未标化系数。可见常数项和fat都是有统计学意义的，上表的内容如果 翻译成中文则如下所示：未标准化系数标准化系数模型系数b系数标准误系数bt值P值1常数5.0970.42711.9230.000fat0.7000.

13、2020.5783.4730.00210.1.2复杂实例操作1.1.2.1 1分析实例例 10.2 :请分析在数据集 plastic.sav 中变量 extrusn、additive、gloss ft opacity 对变量tear_res 的大小有无影响？已知 extrusn 对tear_res 的大小 有影响。显然，这里是一个多元回归，由于除了 extrusn确有影响以外，我们不知道 另三个变量有无影响，因此这里我们将 extrusn放在第一个block ,进入方法为 enter （我们有把握extrusn 一定有统计学意义）；另三个变量放在第二个block , 进入方法为stepwise

14、 （让软件自动选择判断），操作如下：1. Analyze=>Regression=>Liner2. Dependent 框：选入 tear_res3. Independent 框：选入 extrusn ；单击 next 钮4. Independent 框：选入 additive 、gloss 和 opacity ; Method 歹!J表框: 选择 stepwise5. 单击OKffl1.1.2.2 2 结果解释最终的结果如下：RegressionV.ii ibEi it龄i e(I ReinwveiibModelVariablesEnteredVariablesRemovedMe

15、thod1Extras ionJEnter2AdditiveArriourrtStepwise CCrite ri a:Probab llity-of- F-to- e nter <= 050,Pr o fa ab i 1 ity- o f- F-to- ram5/日十二.ICICi),a. /Il requested variables entered.b Dependent Variable: Tear Resistance上面的表格依次列出了模型的筛选过程，模型1用进入法引入了 extrusn ,然后模型2用stepwise法引入了 additive ,另两个变量因没有达到进入标准

16、， 最终没有进入。上面的表格翻译出来如下：模型进入的变量移出的变量变量筛选方法1extrusn进入法2additivestepwise 法（标准：进入概率小于0.05 ,移出概率大于 0.1 ）“第陲 1 Sutnti kiiyModelRR SquareAdjusl&dR SquareSta Error ofthe Egrtirnate1.63Ba4oa375.375706b585.533白.Predictors： (Constant), Extrusion加 Predictors: (Constani), Extrusion, Additive Amount上表是两个模型变异系数的

17、改变情况， 从调整的R2可见，从上到下随着新变 量的引入，模型可解释的变异占总变异的比例越来越大。ModelSuit ofSquaresdrMean SquareFSig1Regression1.7401174012日口 8,0C25Residual25251S14clTotal42前192Regression2.50121 .25012,043,0C1bResidual1.76517104Total4 265iga Predictors' (Constant), Extnjeiorh Predictors: (Constant), Extrusion, Additive Amount

18、c Dependent Tear Resistance上表是所用两个模型的检验结果，用的方法是方差分析，可见二个模型都有 统计学意义。CoRffki的岬ModelLJnstahdardiedCoefficientsStaridardis&dCoefficientstSig.BSid. ErrorBeh1(Constant)5.900,265R 273OOOExtrusion.590,167.6393 5270022(Gon slant)5.315,31416,926.000Estrusiori.590.14463SA 035001Additive Ama uni.960144.4222

19、 7C7一 口 153. DependentVriable, Tear Resistance上表仍然为三个模型中各个系数的检验结果，用的是 t检验，可见在模型2 中所有的系数都有统计学意义，上表的内容翻译如下：未标化的系数标化的系数模型B标准误Betat值P值1（常数）5.900.26522.278.000extrusion.590.167.6393.522.0002（常数）5.315.31416.926.000extrusion.590.144.6394.905.000additive.390.144.4222.707.000Excluded Vdi Mble$>cPartialCol

20、linearity StatisticsModelBeta IntSig.CorrelationTolerance1Gloss.207a,986.33®,23,744Opacity，一间744-.OSO,994Additive Amount2 707,015,5491.0002Gloss,062952,015Ooacitv-183b*1,142,27C- 27,928a Predictors in the Model: (Constan, Extrusionb. Predictors in the Model: (Constanl), Extrusion, Additive Amou

21、ntc DependenlVariable. TearResistance这是新出现的一个表格，反映的是没有进入模型的各个变量的检验结果，可见在模型1中，未引入模型的候选变量additive 还有统计学意义，可能需要引 入，而模型2中没有引入的两个变量其P值均大于0.05,无需再进行分析了。10.2 Curve Estimation 过程Curve Estimation 过程可以用与拟合各种各样的曲线，原则上只要两个变量间存在某种可以被它所描述的数量关系，就可以用该过程来分析。但这里我们要指出，由于曲线拟合非常的复杂，而该模块的功能十分有限，因此最好采用将 曲线相关关系通过变量变换的方式转化为

22、直线回归的形式来分析，或者采用其他专用的模块分析。10.2.1 界面详解Curve Estimation 过程中有特色的对话框界面内容如下:Independent G Variable:El r TimeCase Labels: m ModelsI? Linear r Quadratic Logarithmic I Cubic Ijive rse I Powerr Display ANOVA (ableF Include constant ir17 Plot modelsr Compound厂 Growthr SP ExponentiaI LogisticUpper bound：下面我们分别解

23、释一下它们的具体功能。【Dependent框】用于选入曲线拟和中的应变量，可选入多个，如果这样，则对各个应变量分 别拟合模型。Independent单选框组】用于选入曲线拟和中的自变量，有两种选择，可以选入普通的自变量，也可 以选择时间作为自变量，如果这样做，则所用的数据应为时间序列数据格式。Models复选框组】是该对话框的重点，用于选择所用的曲线模型，可用的有：?Linear ：拟合直线方程，实际上与 Linear过程的二元直线回归相同；?Quadratic :拟合二次方程 Y = b0+b1X+b2X2；?Compound拟合复合曲线模型 Y = b0 x b1X;?Growth:拟合等

24、比级数曲线模型 Y = e(b0+b1X)；?Logarithmic :拟合对数方程 Y = b0+b1lnX ；?Cubic：拟合三次方程 Y = b0+b1X+b2X2+b3X3?S:拟合 S形曲线 Y = e(b0+b1/X);?Exponential :拟合指数方程 Y = b0 eb1X ；?Inverse :数据按Y = b0+b1/X 进行变换；?Power：拟合乘幕曲线模型 Y = b0X b1 ;?Logistic :拟合 Logistic 曲线模型 Y = 1/ (1/u + b0 x b1X),如选择该线型则要求输入上界。军 上面的几种线型和其他的模块有重复，如Logis

25、tic、Liner等，由于本模块的功能有限，在重复的情况下建议用其它专用模块来分析。Include constant in equation 复选框】确定是否在方程中包含常数项。【Plot models复选框】要求对模型做图，包括原始数值的连线图和拟合模型的曲线图save钮】弹出SAVE寸话框，用于定义想要存储的中间结果，如预测值、预测值可信 区间、残差等。【Display ANOVA table 复选框】要求显示模型检验的方差分析表。10.2.2实例操作例10.3:锡克试验阴性率（%随着年龄的增长而增高，某地查得儿童年龄 （岁）X与锡克试验阴性率Y的资料如下，试拟合曲线。年龄（岁）1234567锡克试验阴性率（% 57.1 76.0 90.9 93.0 96.7 95.6 96.2首先对年龄和阴性率作散点图，发现两者有斜率逐渐放缓的曲线趋势， 因此 选择二次曲线模型、三次曲线模型和对数曲线模型，最终取其中结果最优者，做 法如下：1. Ana