薛薇-《SPSS统计分析方法及应用》第八章--相关分析和线性回归分析

1、第八章 相关分析和线性回归分析,SPSS的相关分析与回归分析,8.1 相关分析和回归分析概述 8.2 相关分析 8.3 偏相关分析 8.4 线性回归分析 (重点) 8.5 曲线估计,8.1 相关分析和回归分析概述,客观事物之间的关系大致可归纳为两大类: 函数关系（确定性关系） ：指两事物之间的一种一一对应的关系，如商品的销售额和销售量之间的关系。 统计关系（非确定性关系）：指两事物之间的一种非一一对应的关系，例如家庭收入和支出、子女身高和父母身高之间的关系等。统计关系又分为相关关系和回归关系两种。 相关分析和回归分析都是分析客观事物之间统计关系的数量分析方法。,相关分析与回归分析的区别,8.2

2、 相关分析,8.2.1 散点图 8.2.2 相关系数 8.2.3 基本操作 8.2.4 应用举例,相关分析通过图形和数值两种方式，有效地揭示事物之间相关关系的强弱程度和形式。 8.2.1 散点图 它将数据以点的的形式画在直角坐标系上，通过观察散点图能够直观的发现变量间的相关关系及他们的强弱程度和方向。,散点图的绘制,单击图形旧对话框散点/点状，打开窗口,简单分布(Simple Scatter)，只能在图上显示一对相关变量 矩阵分布(Matrix Scatter)，在矩阵中显示多个相关变量 重叠分布(Overlay Scatter)，在图上显示多对相关变量 3-D分布(3-D Scatter)，

3、显示三个相关变量 简单点，堆积散点图,1、简单散点图 选中简单分布，单击定义Define按钮，打开窗口,相关回归分析（高校科研研究）.sav,Y轴Y Axis：选择Y轴要绘制的变量 X轴X Axis：选择X轴要绘制的变量 设置标记Set Markers by：选择分组变量，SPSS根据该变量的值将观测量分成几组，每组采用不同的符号标注 标注个案Label Cases by：观测量标签变量,2、矩阵散点图 在矩阵散点图中，将图形分成多个方格，在每个方格中单独绘制某两个变量的数据。 在散点图窗口中选择矩阵散点图，单击定义Define，在出现的窗口中，依次选择投入高级职称人数、课题总数、论文数和获奖

4、数进入矩阵变量Matrix框中，选择是否为直辖市进入设置标记Set Markers框中。,相关回归分析（高校科研研究）.sav,3、重叠散点图 在重叠散点图中，在一个坐标系中绘制多个不同的变量对。 在散点图窗口中选择重叠散点图，单击定义Define，在出现的窗口中，选择变量投入人年数-论文数对和投入高级职称的人年数-专著数对进入Y-X Pairs框中。,相关回归分析（高校科研研究）.sav,4、三维散点图 三维散点图在三维坐标系中绘制三个变量的数据。 在散点图窗口中选择三维散点图，单击Define，在出现的窗口中，分别选择论文数、投入人年数和获奖数为Y轴变量、X轴变量、Z轴变量。,相关回归分析

5、（高校科研研究）.sav,5、堆积散点图-简单点图,选中简单点，单击定义Define按钮，打开窗口,相关回归分析（高校科研研究）.sav,对于其它图形的SPSS绘制，可阅读参考书，杜强、贾丽艳，SPSS统计分析从入门到精通，人民邮电出版社，2011年 书中的第19章，统计图形.,8.2.2 相关系数,利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤： 第一，计算样本相关系数r； 相关系数r的取值在-1+1之间 r0,正的线性相关关系；r0.8,较强的线性关系； |r|0.3,线性关系较弱 第二，对样本来自的两总体是否存在显著的线性关系进行推断。,双变量关系强度测量的主要指标,对不同

6、类型的变量应采用不同的相关系数来度量,适用于两分类变量的分析,适用于一分类变量一定距变量的分析,适用于两顺序变量的分析,更多指标-交叉列联表,1. Pearson简单相关系数,适用于两个变量都是数值型的数据 Pearson简单相关系数的检验统计量为：,2. Spearman等级相关系数,用来度量两定序变量间的线性相关关系,计算时并不直接采用原始数据 ,而是利用数据的秩，用两变量的秩 代替 代入Pearson简单相关系数计算公式中，于是其中的 和 的取值范围被限制在1和n之间，且可被简化为：,如果两变量的正相关性较强，它们秩的变化具有同步性，于是 的值较小，r趋向于1； 如果两变量的正相关性较弱

7、，它们秩的变化不具有同步性，于是 的值较大，r趋向于0； 在小样本下，在零假设成立时， Spearman等级相关系数服从Spearman分布；在大样本下， Spearman等级相关系数的检验统计量为Z统计量，定义为： Z统计量近似服从标准正态分布。,3. Kendall 相关系数,用非参数检验方法来度量两定序变量间的线性相关关系, 利用变量秩数据计算一致对数目(U)和非一致对数目(V)。 U较大，V较小，较强正相关； U较小，V较大，较强负相关； U和V大致相当，各占样本数的1/2，相关性较弱.,. Kendall 统计量的数学定义 小样本下服从Kendall分布, 大样本下采用的检验统计量为

8、,8.2.3 基本操作,相关分析用于描述两个变量间 关系的密切程度，其特点是 变量不分主次，被置于同等的地位。 在分析Analyze的下拉菜单相关Correlate命令项中有三个相关分析功能子命令双变量Bivariate、偏相关Partial、 距离Distances，分别对应着相关分析、偏相关分析和相似性测度（距离）的三个SPSS过程。,Bivariate过程用于进行两个或多个变量间的相关分析，如为多个变量，给出两两相关的分析结果。 Partial过程，当进行相关分析的两个变量的取值都受到其他变量的影响时，就可以利用偏相关分析对其他变量进行控制，输出控制其他变量影响后的偏相关系数。 Dist

9、ances过程用于对各样本点之间或各个变量之间进行相似性分析，一般不单独使用，而作为聚类分析和因子分析等的预分析。,Bivariate相关分析步骤,1) 选择菜单Analyze Correlate Bivariate，出现窗口：,2) 把要分析的变量选到变量Variables框。 3) 在相关系数Correlation Coefficents框中选择计算哪种相关系数。 4) 在显著性检验Test of Significance框中选择输出相关系数检验的双边（Two-Tailed）概率p值或单边（One-Tailed）概率p值。 5)选中标记显著性相关Flag significance corr

10、elation选项表示分析结果中除显示p值外，还输出星号标记，以标明变量间的相关性是否显著；不选中则不输出星号标记。,6) 在选项Option按钮中的统计Statistics选项中，选中Cross-product deviations and covariances表示输出两变量的离差平方和协方差。,8.2.4 应用举例,为研究高等院校人文社会科学研究中立项课题数会受哪些因素的影响，收集1999年31个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投入的具有高级职称的人年数（当年）、发表的论文数（上年）之间是否具有较强的线性关系。 对该问题的研究可以采用相关分析的方法，首先

11、可绘制矩阵散点图；其次可以计算Pearson简单相关系数。,相关回归分析（高校科研研究）.sav,输出结果,8.3 偏相关分析,8.3.1 偏相关分析和偏相关系数 8.3.2 基本操作 8.3.3 应用举例,8.3.1 偏相关分析和偏相关系数,上节中的相关系数是研究两变量间线性相关性的，若还存在其他因素影响，就相关系数本身来讲，它未必是两变量间线性相关强弱的真实体现，往往有夸大的趋势。 例如，在研究商品的需求量和价格、消费者收入之间的线性关系时，需求量和价格之间的相关关系实际还包含了消费者收入对价格和商品需求量的影响。,偏相关分析也称净相关分析，它在控制其他变量的线性影响的条件下分析两变量间的

12、线性关系，所采用的工具是偏相关系数。 控制变量个数为1时，偏相关系数称一阶偏相关；当控制两个变量时，偏相关系数称为二阶偏相关；当控制变量的个数为0时，偏相关系数称为零阶偏相关，也就是简单相关系数。,利用偏相关系数进行分析的步骤,第一，计算样本的偏相关系数 假设有三个变量y、x1和x2，在分析x1和y之间的净相关时，当控制了x2的线性作用后，x1和y之间的一阶偏相关定义为： 偏相关系数的取值范围及大小含义与相关系数相同.,第二，对样本来自的两总体是否存在显著的净相关进行推断 检验统计量为： 其中，r为偏相关系数，n为样本数，q为阶数。T统计量服从n-q-2个自由度的t分布。,8.3.2 基本操作

13、,1) 选择菜单Analyze Correlate Partial,相关回归分析（高校科研研究）.sav,2) 把参与分析的变量选择到Variables框中。 3) 选择一个或多个控制变量到Controlling for框中。 4) 在Test of Significance框中选择输出偏相关检验的双尾概率p值或单尾概率p值。 5) 在Option按钮中的Statistics选项中，选中Zero-order Correlations表示输出零阶偏相关系数。 至此，SPSS将自动进行偏相关分析和统计检验，并将结果显示到输出窗口。,8.3.3 应用举例,上节中研究高校立项课题总数影响因素的相关分析

14、中发现，发现立项课题数与论文数之间有较强正线性相关关系，但应看到这种关系中可能掺入了投入高级职称的人年数的影响，因此，为研究立项课题总数和发表论文数之间的净相关系数，可以将投入高级职称的人年数加以控制，进行偏相关分析。,相关回归分析（高校科研研究）.sav,输出结果,相关分析输出结果 ;正强相关,偏相关分析输出结果;负的弱相关,8.4 回归分析,8.4.1 回归分析概述 8.4.2 线性回归模型 8.4.3 回归方程的统计检验 8.4.4 基本操作 8.4.5 其它操作 8.4.6 应用举例,8.4.1 线性回归分析概述,线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关系

15、如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性 在整体解释能力显著的情况下，哪些自变量有显著意义,回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测,8.4.2 线性回归模型,一元线性回归模型的数学模型： 其中x为自变量；y为因变量； 为截距，即常量； 为回归系数，表明自变量对因变量的影响程度。,用最小二乘法求解方程中的两个参数，得到,多元线性回归模型,多元线性回归方程： y=0+1x1+2x2+.+kxk 1、2、k为偏回归系数。 1

16、表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动。,多元线性回归的估计,1. 回归方程的拟合优度 回归直线与各观测点的接近程度称为回归方程的拟合优度，即样本观测值聚集在回归线周围的紧密程度 。 1）离差平方和的分解： 建立直线回归方程可知：y的观测值的总变动可由 来反映，称为总变差。引起总变差的原因有两个：(a)由于x的取值不同，使得与x有线性关系的y值不同；(b)随机因素的影响。,8.4.3 线性回归方程的统计检验,总离差平方和可分解为,即：总离差平方和(SST)=剩余离差平方和(SSE) +回归离差平方和(SSR) 其中；SSR是由x和y的直线回归关系引起

17、的，可以由回归直线做出解释；SSE是除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。,2、可决系数(判定系数、决定系数),回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表性好坏，称为可决系数。 对于一元线性回归方程：,对于多元线性回归方程： 在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。,2. 回归方程的显著性检验(方差分析F检验),回归方

18、程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： 对于多元线性回归方程，检验统计量为：,3. 回归系数的显著性检验(t检验),回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为：,对于多元线性回归方程，检验统计量为：,线性回归模型的假设条件,满足Gauss-Markov条件(即等方差与不相关假定)： 正态分布假定条件： 各自变量序列之间不相关：,多重共线性,自相关,异方差,4. 残差分析,残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为： 对于

19、线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与X的取值无关；残差不存在自相关；残差方差相等。,异方差的检验与处理,1) 对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为0的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。,2) Spearman（斯皮尔曼）检验，即等级相关系数检验 建模时不能消除数据的异方差，只能消除异方差带来的不良影响。最常用的方法是加权最小二

20、乘法（Weighted Least Squares, WLS）。,自相关的检验,DW检验用来检验残差的自相关。检验统计量为： DW=2表示无自相关，在0-2之间说明存在正自相关，在2-4之间说明存在负的自相关。一般情况下，DW值在1.5-2.5之间即可说明无自相关现象。,异方差和自相关的处理方法,5. 多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式： 1) 容忍度： 其中， 是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱

21、。 2) 方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。,3) 特征根和方差比。根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。 4) 条件指数。指最大特征根与第i个特征根比的平方根。通常，当条件指数在0-10之间时说明多重共线性较弱；当条件指数在10-100之间说明多重共线性较强；当条件指数大

22、于100时说明存在严重的多重共线性。,从有共线性问题的变量中删除不重要的变量； 增加样本量或重新抽取样本； 采用其它方法拟合模型：如逐步回归、岭估计、主成分分析法等。,多重共线性分析的处理方法,8.4.3 基本操作,1) 选择菜单Analyze Regression Linear，出现窗口：,相关回归分析（高校科研研究）.sav,2) 选择被解释变量进入Dependent框。 3)选择一个或多个解释变量进入 Independent(s)框。 4) 在Method框中选择回归分析中解释变量的筛选策略。其中Enter表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中；R

23、emove表示从回归方程中剔除所选变量；Stepwise表示逐步筛选策略；Backward表示向后筛选策略；Forward表示向前筛选策略。,注：多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种基本策略。(重点) 向前筛选（ Forward ）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程一直重复，直到再也没有可进入方程的变量为止。 向后筛选（ Backward ）策略：变量不断剔除

24、出回归方程的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，,剔除t检验值最小的变量，并重新建立回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。,5) 第三和第四步中确定的解释变量及变量筛选策略可放置在不同的

25、块（Block）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击Next和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。 6) 选择一个变量作为条件变量放到Selection Variable框中，并单击Rule按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析. 7) 在Case Labels框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。,剔除t检验值最小的变量，并重新建立回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不

26、显著的变量，直到再也没有可剔除的变量为止。 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。,5) 第三和第四步中确定的解释变量及变量筛选策略可放置在不同的块（Block）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击Next和Previous按钮设置多组解释变量和变量筛选策略并放置在不同的块中。 6) 选择一个变量作为条件变量放到Selection Variable框中，并单击Rule按钮给定一个判断条件。

27、只有变量值满足判定条件的样本才参与线性回归分析. 7) 在Case Labels框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。,8.4.4 线性回归分析的其他操作,1、Statistics按钮，出现的窗口可供用户选择更多的输出统计量。,统计量对话框,1) Estimates：SPSS默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回归系数显著性检验的t统计量和概率p值，各解释变量的容忍度。 2) Confidence Intervals：输出每个非标准化回归系数95的置信区间。 3) Descriptive

28、：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率p值。 7) Covariance matrix：输出方程中各解释变量间的相关系数、协方差及各回归系数的方差.,4) Model fit：SPSS默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回归方程显著F检验的方程分析表。 5) R squared change：输出每个解释变量进入方程后引起的判定系数的变化量和F值的变化量。 6) Part and partial correlation：输出方程中各解释变量与被解释变量之间的简单相关、偏相关系数。,8) Collinearity Diagnostics：

29、多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。 9) 在Residual框中：Durbin-waston表示输出DW检验值；Casewise Diagnostic表示输出标准化残差绝对值大于等于3（SPSS默认值）的样本数据的相关信息，包括预测值、残差、杠杆值等。,2、Options选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。,选项对话框,3、Plot选项，出现的窗口用于对残差序列的分析。,绘制对话框,1) 窗口左边框中各变量名的含义是：DEPENDNT表示被解释变量，*ZPRED表示标准化预测值，*ZRESID

30、表示标准化残差，*DRESID表示剔除残差，*ADJPRED表示调整的预测值，*SRESID表示学生化残差，*SDRESID表示剔除学生化残差. 2) 绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标和横坐标变量。 3) 在Standardized Residual Plots框中选择Histogram选项绘制标准化残差序列的直方图；选择Normal probability plot绘制标准化残差序列的正态分布累计概率图。选择Produce all partial plots选项表示依次绘制被解释变量和各个解释变量的散点图。,保存对话框,4、Save选项，该窗口将回归分析

31、的某些结果以SPSS变量的形式保存到数据编辑窗口中，并可同时生成XML格式的文件，便于分析结果的网络发布。 1) Predicted Values框中：保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差. 2) Predicted Interval框中：保存均值或个体预测值95(默认)置信区间的下限值和上限值。 3) Residual框中：保存非标准化残差、标准化残差等。 4) Influence Statistics框中：保存剔除第i个样本后统计量的变化量。 5、WSL选项，采用加权最小二乘法替代普通最小二乘法估计回归参数，并指定一个变量作为权重变量。,8.4.5 应用举例,以高校科研研究数据为例，建立回归方程研究 1、课题总数受论文数的影响 2、以课题总数X5为被解释变量，解释变量为投入人年数X2、投入高级职称的人年数X3、投入科研事业费X4、专著数X6、论文数X7、获奖数X8。