第7章：相关分析和回归分析教材

1、SPSS统计分析方法及应用第七章第七章 相关分析与回归分析相关分析与回归分析 7.1 7.1 相关分析和回归分析概述相关分析和回归分析概述7.2 7.2 相关分析相关分析7.3 7.3 偏相关分析偏相关分析7.4 7.4 线性回归分析线性回归分析1. 相关分析和回归分析概述相关分析和回归分析概述 客观事物之间的关系大致可归纳为两大类，即客观事物之间的关系大致可归纳为两大类，即l函数关系：函数关系：指两事物之间的一种一一对应的关系，指两事物之间的一种一一对应的关系，如商品的销售额和销售量之间的关系。如商品的销售额和销售量之间的关系。l相关关系（统计关系）：相关关系（统计关系）：指两事物之间的一种

2、非一指两事物之间的一种非一一对应的关系，例如家庭收入和支出、子女身高和一对应的关系，例如家庭收入和支出、子女身高和父母身高之间的关系等。相关关系又分为线性相关父母身高之间的关系等。相关关系又分为线性相关和非线性相关。和非线性相关。 相关分析和回归分析都是分析客观事物之间相相关分析和回归分析都是分析客观事物之间相关关系的数量分析方法关关系的数量分析方法。2. 相关分析相关分析 相关分析通过相关分析通过图形和数值图形和数值两种方式，有效地揭示事物之两种方式，有效地揭示事物之间相关关系的强弱程度和形式。间相关关系的强弱程度和形式。（1 1）散点图）散点图 它将数据以点的的形式画在直角坐标系上，通过观

3、察散它将数据以点的的形式画在直角坐标系上，通过观察散点图能够直观的发现变量间的相关关系及他们的强弱程度和点图能够直观的发现变量间的相关关系及他们的强弱程度和方向方向。（2 2）相关系数）相关系数 利用相关系数进行变量间线性关系的分析通常需要完成以利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：下两个步骤： 第一，计算样本相关系数第一，计算样本相关系数r r；u相关系数相关系数r r的取值在的取值在-1-1+1+1之间之间uR0R0表示两变量存在正的线性相关关系；表示两变量存在正的线性相关关系；r0r0.8|r|0.8表示两变量有较强的线性关系；表示两变量有较强的线性关系； |r|

4、0.3|r|0.3表示两变表示两变量之间的线性关系较弱量之间的线性关系较弱第二，对样本来自的两总体是否存在显著的线性关系进行推第二，对样本来自的两总体是否存在显著的线性关系进行推断。断。 对不同类型的变量应采用不同的相关系数来度量，常用对不同类型的变量应采用不同的相关系数来度量，常用的相关系数主要有的相关系数主要有PearsonPearson简单相关系数、简单相关系数、SpearmanSpearman等级相等级相关系数和关系数和Kendall Kendall 相关系数等。相关系数等。lPearsonPearson简单相关系数（简单相关系数（适用于两个变量都是数值型的数适用于两个变量都是数值型的

5、数据据）。）。lSpearmanSpearman等级相关系数用来度量等级相关系数用来度量定序变量间的线性相关关定序变量间的线性相关关系系。（3） 计算相关系数的基本操作计算相关系数的基本操作 【分析】分析】-【相关】【相关】-【双变量【双变量】（4） 相关分析应用举例相关分析应用举例 为研究高等院校人文社会科学研究中立项课题数会受哪为研究高等院校人文社会科学研究中立项课题数会受哪些因素的影响，收集些因素的影响，收集19991999年年3131个省市自治区部分高校有关社个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投入的具有科研究方面的数据，研究立项课题数（当年）与投入的具

6、有高级职称的人年数（当年）、发表的论文数（上年）之间是高级职称的人年数（当年）、发表的论文数（上年）之间是否具有较强的线性关系。否具有较强的线性关系。 对该问题的研究可以采用相关分析的方法，首先可绘制对该问题的研究可以采用相关分析的方法，首先可绘制矩阵散点图；其次可以计算矩阵散点图；其次可以计算PearsonPearson简单相关系数。简单相关系数。3. 偏相关分析偏相关分析 上节中的相关系数是研究两变量间上节中的相关系数是研究两变量间线性相关性线性相关性的，若还存的，若还存在其他因素影响，就相关系数本身来讲，它未必是两变量间在其他因素影响，就相关系数本身来讲，它未必是两变量间线性相关强弱的真

7、实体现，往往有夸大的趋势。线性相关强弱的真实体现，往往有夸大的趋势。 例如，在研究商品的需求量和价格、消费者收入之间的例如，在研究商品的需求量和价格、消费者收入之间的线性关系时，需求量和价格之间的相关关系实际还包含了消线性关系时，需求量和价格之间的相关关系实际还包含了消费者收入对价格和商品需求量的影响费者收入对价格和商品需求量的影响。在这种情况下，单纯。在这种情况下，单纯利用相关系数来评价变量间的相关性显然是不准确的，而需利用相关系数来评价变量间的相关性显然是不准确的，而需要在剔除其他相关因素影响的条件下计算变量间的相关。偏要在剔除其他相关因素影响的条件下计算变量间的相关。偏相关的意义就在于此

8、。相关的意义就在于此。1) 偏相关分析和偏相关系数偏相关分析和偏相关系数 偏相关分析也称净相关分析，它在控制其他变量的线性偏相关分析也称净相关分析，它在控制其他变量的线性影响的条件下分析两变量间的线性关系，所采用的工具是偏影响的条件下分析两变量间的线性关系，所采用的工具是偏相关系数。相关系数。 控制变量个数为控制变量个数为1 1时，偏相关系数称时，偏相关系数称一阶偏相关一阶偏相关；当控制；当控制两个变量时，偏相关系数称为两个变量时，偏相关系数称为二阶偏相关二阶偏相关；当控制变量的个；当控制变量的个数为数为0 0时，偏相关系数称为时，偏相关系数称为零阶偏相关零阶偏相关，也就是，也就是简单相关系简

9、单相关系数数。2) 偏相关分析的基本操作偏相关分析的基本操作 【分析分析】-【相关相关】-【偏相关偏相关】4. 线性回归分析线性回归分析线性回归分析的内容线性回归分析的内容能否找到一个线性组合来说明一组自变量和因变量的关系能否找到一个线性组合来说明一组自变量和因变量的关系如果能的话，这种关系的强度有多大，也就是利用自变量的线如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强性组合来预测因变量的能力有多强整体解释能力是否具有统计上的显著性意义整体解释能力是否具有统计上的显著性意义在整体解释能力显著的情况下，哪些自变量有显著意义在整体解释能力显著的情况下，哪些自变

10、量有显著意义回归分析的一般步骤回归分析的一般步骤确定回归方程中的解释变量（自变量）和被解释变量（因变量）确定回归方程中的解释变量（自变量）和被解释变量（因变量）确定回归方程确定回归方程对回归方程进行各种检验对回归方程进行各种检验利用回归方程进行预测利用回归方程进行预测1)线性回归分析概述线性回归分析概述2) 线性回归模型线性回归模型一元线性回归模型的数学模型：xy10 其中其中x x为自变量；为自变量；y y为因变量；为因变量； 为截距，即常量；为截距，即常量； 为回归系数，表明自变量对因变量的影响程度。为回归系数，表明自变量对因变量的影响程度。多元线性回归模型多元线性回归模型多元线性回归方程

11、：多元线性回归方程： y=y=0 0+1 1x x1 1+2 2x x2 2+.+.+k kx xk k1 1、2 2、k k为偏回归系数。为偏回归系数。1 1表示在其他自变量保持不变的情况下，自变量表示在其他自变量保持不变的情况下，自变量x x1 1变变动一个单位所引起的因变量动一个单位所引起的因变量y y的平均变动。的平均变动。选择选择【分析分析】 【回归回归】【线性线性】。在左侧变量框中选择。在左侧变量框中选择“课题总数课题总数”将其移动到因变量列表中，将自变量将其移动到因变量列表中，将自变量“移动到移动到自变量下的方格中，如图所示。自变量下的方格中，如图所示。 从下表可以看出，引入模型

12、的六个解释变量只有一个通从下表可以看出，引入模型的六个解释变量只有一个通过过t t检验。检验。模型整体显著而单个系数大都不能通过模型整体显著而单个系数大都不能通过t t检验，这检验，这正是解释变量之间存过多重共线性的常见特征正是解释变量之间存过多重共线性的常见特征。观察表中的。观察表中的容差和方差膨胀因子我们可以看出六个解释变量的容差都很容差和方差膨胀因子我们可以看出六个解释变量的容差都很小接近于小接近于0 0，但它们的，但它们的VIFVIF都很大，都很大，这进一步证实了解释变量这进一步证实了解释变量之间存在严重的多重共线性之间存在严重的多重共线性。1)1)容忍度容忍度 (Tolerance)

13、 (Tolerance) : :容忍度越小，多重共线性越严重。有容忍度越小，多重共线性越严重。有学者提出，学者提出，容忍度小于容忍度小于 0.1 0.1 时，存在严重的多重共线性时，存在严重的多重共线性。2)2)方差膨胀因子方差膨胀因子 (VIF): (VIF): 等于容忍度的倒数等于容忍度的倒数。显然，。显然，VIF VIF 越大，越大，多重共线性问题越大。多重共线性问题越大。一般认为一般认为VIFVIF不应大于不应大于5 5 ，对应容忍度的，对应容忍度的标准，也可放宽至不大于标准，也可放宽至不大于1010 。3)3)特征值（特征值（Eigenvalue):Eigenvalue):对模型中常

14、数项及所有自变量计算主对模型中常数项及所有自变量计算主成分，成分，如果自变量间存在较强的线性相关关系，则前面的几个如果自变量间存在较强的线性相关关系，则前面的几个主成分数值较大，而后面的几个主成分较小，甚至接近主成分数值较大，而后面的几个主成分较小，甚至接近0 0。4)4)条件索引条件索引(Condition Index):(Condition Index):等于最大的主成分与当前主成等于最大的主成分与当前主成分的比值的算术平方根。分的比值的算术平方根。所以第一个主成分相对应的条件指数所以第一个主成分相对应的条件指数总为总为1 1。同样，如果几个条件指数较大。同样，如果几个条件指数较大( (如

15、大于如大于30) 30) ，则提示存，则提示存在多重共线性在多重共线性。 下表给出了方程解释变量的多重共线性诊断结果。下表给出了方程解释变量的多重共线性诊断结果。从特征从特征根上看根上看，最大的特征根远远大于其他特征根，后，最大的特征根远远大于其他特征根，后 3 个条件指数个条件指数都大于都大于 10，说明变量之间确实存在多重共线性问题说明变量之间确实存在多重共线性问题。从方差。从方差比例上看，第比例上看，第 6个特征根解释了人均论文数方差的个特征根解释了人均论文数方差的 82%，同时，同时解释了投入科研事业费方差的解释了投入科研事业费方差的 65%，说明这两个变量之间可，说明这两个变量之间可

16、能存在多重共线性；第能存在多重共线性；第 7 个特征根同时解释了投入人年数方差个特征根同时解释了投入人年数方差的的 84%、投入高级职称的人年数方差的、投入高级职称的人年数方差的60%，说明这，说明这 2个变量个变量之间可能存在多重共线性。之间可能存在多重共线性。 为了解决多重共线性带来的问题，可以使用为了解决多重共线性带来的问题，可以使用 Backward Backward 法筛选变量。得到结果如下表所示：从模型汇总可以看出方法筛选变量。得到结果如下表所示：从模型汇总可以看出方程的拟合优度还是比较高的，程的拟合优度还是比较高的，Backward Backward 法筛选变量的过程法筛选变量的

17、过程如下表，最后我们得到模型如下表，最后我们得到模型6.6. 在模型在模型6 6中去掉了原有的中去掉了原有的6 6个变量，剩下个变量，剩下1 1个变量不存在多个变量不存在多重共线性了，由此得到线性回归方程为：重共线性了，由此得到线性回归方程为：课题总数课题总数=-94.524+0.492=-94.524+0.492* *投入人年数投入人年数 变量间的相关关系中，并不总是表现出线性关系，变量间的相关关系中，并不总是表现出线性关系，非线非线性关系性关系也是极为常见的。变量之间的非线性关系可以划分为也是极为常见的。变量之间的非线性关系可以划分为本质线性关系和本质非线性关系。本质线性关系是指变量关本质

18、线性关系和本质非线性关系。本质线性关系是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最终可通过线性回归分析建立线性模型。本质非线性关系并最终可通过线性回归分析建立线性模型。本质非线性关系是指变量关系不仅形式上呈非线性关系，而且也无法变换为是指变量关系不仅形式上呈非线性关系，而且也无法变换为线性关系。本节的曲线估计是解决本质线性关系问题的。线性关系。本节的曲线估计是解决本质线性关系问题的。5. 曲线估计曲线估计1)曲线估计概述曲线估计概述 SPSSSPSS曲线估计中，首先，在不能明确究竟哪种模型更曲线估计中，首先，在不能明确究竟哪种模型更接近样本数据时，可在多种可选择的模型中选择几种模型；接近样本数据时，可在多种可选择的模型中选择几种模型；然后然后SPSSSPSS自动完成模型的参数估计，并输出回归方程显著性自动完成模型的参数估计，并输出回归方程显著性检验的检验的F F值和概率值和概率p p值、判定系数值、判定系数R R2