第十一章线性回归分析

1、 第十一章第十一章 线性相关与回归分析线性相关与回归分析第一节第一节 线性相关与偏相关分析线性相关与偏相关分析第二节第二节 简单线性回归分析简单线性回归分析第三节第三节 二项二项logisticlogistic回归分析回归分析第一节第一节 线性相关分析与偏相关分析线性相关分析与偏相关分析线性相关分析通过图形和数值两种方式，能线性相关分析通过图形和数值两种方式，能够有效揭示事物之间的统计关系的强弱程度够有效揭示事物之间的统计关系的强弱程度。一、散点图一、散点图 绘制散点图是相关分析中极为直观的分析方绘制散点图是相关分析中极为直观的分析方式。它将数据以点的形式画在直角平面上。式。它将数据以点的形式

2、画在直角平面上。通过观察散点图能够直观地发现变量间的统通过观察散点图能够直观地发现变量间的统计关系以及它们的强弱程度和数据的可能走计关系以及它们的强弱程度和数据的可能走向。向。Graphs-Legacy Dialogs-Scatter/DotGraphs-Legacy Dialogs-Scatter/Dot例题例题根据根据3131个省市自治区部分高校有关社科研究个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投方面的数据，研究立项课题数（当年）与投入的具有高级职称的人年数（上年），发表入的具有高级职称的人年数（上年），发表的论文数（上年）之间是否具有较强的线性的论文数（上年

3、）之间是否具有较强的线性关系。关系。（一）简单散点图（一）简单散点图simple scatterplotsimple scatterplot表示一对变量间统计关系的散点图。表示一对变量间统计关系的散点图。指定某个变量为散点图的纵轴变量，选入指定某个变量为散点图的纵轴变量，选入Y Axis Y Axis 框中；框中；指定某个变量为散点图的横轴变量，选入指定某个变量为散点图的横轴变量，选入X Axis X Axis 框中；框中；可把分组变量指定到可把分组变量指定到Set Markers bySet Markers by框中，样本数据被分框中，样本数据被分成若干组，并在一张图上分别以不同颜色绘制散点

4、图。成若干组，并在一张图上分别以不同颜色绘制散点图。该项可省略；该项可省略；把标记变量指定到把标记变量指定到Label Cases byLabel Cases by框中，表示将标记变量框中，表示将标记变量的各变量值标记在散点图相应点的旁边。该项可省略。的各变量值标记在散点图相应点的旁边。该项可省略。( (二二) )重叠散点图重叠散点图overlay scatterplotoverlay scatterplot表示多对变量间统计关系的散点图。表示多对变量间统计关系的散点图。两个变量为一对，指定绘制哪些变量间的散两个变量为一对，指定绘制哪些变量间的散点图。其中前一个作为图的纵轴变量，后一点图。其中

5、前一个作为图的纵轴变量，后一个变量作为图的横轴变量，并可单击个变量作为图的横轴变量，并可单击 按钮进行横纵轴的调换。按钮进行横纵轴的调换。把标记变量指定到把标记变量指定到Label Cases byLabel Cases by框中。涵义框中。涵义同简单散点图。同简单散点图。（三）矩阵散点图（三）矩阵散点图（matrixmatrix）以方形矩阵的形式在多个坐标轴上分别显示多对以方形矩阵的形式在多个坐标轴上分别显示多对变量间的统计关系。矩阵散点图的关键是弄清各变量间的统计关系。矩阵散点图的关键是弄清各矩阵单元中的横纵变量。矩阵单元中的横纵变量。把参与绘图的若干个变量指定到把参与绘图的若干个变量指定

6、到Matrix VariablesMatrix Variables框中。选择变量的先后顺序决定了矩阵对角线上框中。选择变量的先后顺序决定了矩阵对角线上变量的排列顺序。变量的排列顺序。可把分组变量指定到可把分组变量指定到Set Markers bySet Markers by框中，同简框中，同简单散点图；单散点图；把标记变量指定到把标记变量指定到Label Cases byLabel Cases by框中，同简单框中，同简单散点图。散点图。（四）三维散点图（四）三维散点图（3-D3-D）以立体图的形式展现三对变量间的统计关系以立体图的形式展现三对变量间的统计关系。指定三个变量为散点图各轴的变量，

7、分别选指定三个变量为散点图各轴的变量，分别选入入X AxisX Axis、Y AxisY Axis、C AxisC Axis框中。框中。可把分组变量指定到可把分组变量指定到Set Markers bySet Markers by框中，同框中，同简单散点图；简单散点图；把标记变量指定到把标记变量指定到Label Cases byLabel Cases by框中，同简框中，同简单散点图。单散点图。4050607080男性平均预期寿命22.533.544.5log（人均gdp）4050607080男性平均预期寿命22.533.544.5log（人均gdp）bandwidth = .8Lowess s

8、moother二、相关系数二、相关系数虽然散点图能够直观地展现变量之间的统计虽然散点图能够直观地展现变量之间的统计关系，但并不精确。相关系数以数值的方式关系，但并不精确。相关系数以数值的方式精确地反映了两个变量之间的线性相关的强精确地反映了两个变量之间的线性相关的强弱程度。弱程度。利用相关系数进行变量间线性关系的分析通利用相关系数进行变量间线性关系的分析通常需要完成以下两大步骤：常需要完成以下两大步骤：第一，计算样本相关系数第一，计算样本相关系数r r第二，对样本来自的两总体是否存在显著的第二，对样本来自的两总体是否存在显著的线性关系进行推断。线性关系进行推断。PearsonPearson相关

9、系数相关系数r r度量两个定距变量间的线度量两个定距变量间的线性相关关系；性相关关系； SPSS SPSS提供的提供的PearsonPearson相关系数相关系数r r的检验统计量为的检验统计量为t t统计量，其数学定义为：统计量，其数学定义为：PearsonPearson相关系数相关系数r r -1r+1-1r+1R=1R=1R=-1R=-1R=0R=0|r|r|0.80.8表示两变量之间具有较强线性相关。表示两变量之间具有较强线性相关。|r|r|0.30.3表示两变量之间线性相关关系较弱。表示两变量之间线性相关关系较弱。Pearson Pearson 简单相关系数特点：简单相关系数特点：（

10、1 1）对称性）对称性【x x与与y y的相关系数等同于的相关系数等同于y y与与x x的相的相关系数关系数】（2 2）是标准化处理后的值，所以无量纲。）是标准化处理后的值，所以无量纲。（3 3）对）对x x与与y y作线性变换后可能会改变它们之间作线性变换后可能会改变它们之间的相关系数的符号（相关的方向），但不会改变的相关系数的符号（相关的方向），但不会改变相关系数的值。相关系数的值。（4 4）不适用度量非线性关系变量间的相关系数）不适用度量非线性关系变量间的相关系数计算计算PearsonPearson相关系数的操作相关系数的操作Analyze-Correlate-BivariateAnal

11、yze-Correlate-Bivariate把参加计算相关系数的变量选到把参加计算相关系数的变量选到VariablesVariables框。框。在在Correlation Coefficients Correlation Coefficients 框中选择计算哪种相关框中选择计算哪种相关系数，系数，在在Test of SignificanceTest of Significance框中选择输出相关系数检验的框中选择输出相关系数检验的双尾（双尾（Two TailedTwo Tailed）或单尾（）或单尾（One TailedOne Tailed）概率）概率P P值。值。选中选中Flag sig

12、nificance correlationsFlag significance correlations表示在输出统计表示在输出统计检验的概率检验的概率P P值外，还输出星号，表明变量间相关性是值外，还输出星号，表明变量间相关性是否显著。不选中则不输出星号。否显著。不选中则不输出星号。在在OptionOption按钮中的按钮中的 Statistics Statistics选项中，选中选项中，选中 Cross- Cross-product deviations and covariancesproduct deviations and covariances表示输出各变量表示输出各变量的离差平方

13、和、样本方差、协方差等。的离差平方和、样本方差、协方差等。“申请课题数申请课题数”与与“投入科研事业费投入科研事业费”的相的相关性及推断也可以在我们以前介绍的交互分关性及推断也可以在我们以前介绍的交互分类表中进行。类表中进行。相关分析应用举例相关分析应用举例根据根据3131个省市自治区部分高校有关社科研究个省市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投方面的数据，研究立项课题数（当年）与投入的具有高级职称的人年数（上年），发表入的具有高级职称的人年数（上年），发表的论文数（上年）之间是否具有较强的线性的论文数（上年）之间是否具有较强的线性关系。关系。该课题数、投入高级该课

14、题数、投入高级职称的人年数以及论职称的人年数以及论文之间图表明，立项文之间图表明，立项都有较强的线性关系都有较强的线性关系，且投入高级职称的，且投入高级职称的人年数以及论文数之人年数以及论文数之间的线性关系最强。间的线性关系最强。因此粗略地看，立项因此粗略地看，立项课题数将会受到这些课题数将会受到这些因素的影响。下面利因素的影响。下面利用计算相关系数的方用计算相关系数的方法对它们之间的关系法对它们之间的关系作进一步分析。作进一步分析。由上表可知，立项课题总数与投入高级职称由上表可知，立项课题总数与投入高级职称的人年数间的简单相关系数为的人年数间的简单相关系数为0.9940.994，与论文，与论

15、文间的相关系数为间的相关系数为0.8870.887，它们的相关系数检验，它们的相关系数检验的概率的概率P P值都近似为值都近似为0.0.因此，当显著性水平为因此，当显著性水平为0.050.05或或0.010.01时，都应拒绝相关系数检验的零时，都应拒绝相关系数检验的零假设，认为两总体存在线性关系。表中相关假设，认为两总体存在线性关系。表中相关系数旁边的两个星号系数旁边的两个星号( () )即表示显著性水即表示显著性水平为平为0.010.01时可拒绝零假设。一个星号时可拒绝零假设。一个星号( () )表表示显著性水平为示显著性水平为0.050.05时可拒绝零假设。因此时可拒绝零假设。因此，两个星

16、号比一个星号拒绝零假设犯错误的，两个星号比一个星号拒绝零假设犯错误的可能性更小。总之，立项课题总数将受投入可能性更小。总之，立项课题总数将受投入高级职称的人年数和论文数的正向影响。高级职称的人年数和论文数的正向影响。三、偏相关分析三、偏相关分析在多数情况下，单纯利用相关系数来评价变在多数情况下，单纯利用相关系数来评价变量之间的相关性显然是不准确的，需要剔除量之间的相关性显然是不准确的，需要剔除其他因素的影响，再计算变量之间的相关系其他因素的影响，再计算变量之间的相关系数。这个过程就是偏相关分析，又叫净相关数。这个过程就是偏相关分析，又叫净相关分析。控制变量个数为一个时称为一阶偏相分析。控制变量

17、个数为一个时称为一阶偏相关。两个时为二阶偏相关；控制变量个数为关。两个时为二阶偏相关；控制变量个数为零个时称为零阶偏相关，也就是相关系数。零个时称为零阶偏相关，也就是相关系数。研究商品需求量和价格、消费者收入之间的研究商品需求量和价格、消费者收入之间的线性关系。线性关系。利用偏相关系数进行变量之间的净相关关系分利用偏相关系数进行变量之间的净相关关系分析通常需要完成以下两大步骤。析通常需要完成以下两大步骤。第一，计算样本的偏相关系数，第一，计算样本的偏相关系数，第二，对样本来自的两总体是否存在显著的净第二，对样本来自的两总体是否存在显著的净相关进行推断。相关进行推断。偏相关分析的检验统计量为偏相

18、关分析的检验统计量为t t统计量，它的数学统计量，它的数学定义为：定义为：r r为偏相关系数，为偏相关系数，n n为样本数，为样本数，q q为阶数，为阶数，t t统计统计量服从量服从n-q-2n-q-2个自由度的个自由度的t t分布。分布。偏相关分析的基本操作偏相关分析的基本操作Analyze-correlate-partial根据根据3131个省市自治区部分高校有关社科研究个省市自治区部分高校有关社科研究方面的数据，控制投入的具有高级职称的人方面的数据，控制投入的具有高级职称的人年数（上年），分析研究立项课题数（当年）年数（上年），分析研究立项课题数（当年）与发表的论文数（上年）之间是否具有

19、较强与发表的论文数（上年）之间是否具有较强的线性关系。的线性关系。把参与分析的变量选到把参与分析的变量选到VariablesVariables框。框。选择一个或多个控制变量到选择一个或多个控制变量到Controlling for Controlling for 框中框中; ;在在Test of SignificanceTest of Significance框中选择输出偏相关框中选择输出偏相关检验的双尾（检验的双尾（Two TailedTwo Tailed）或单尾（）或单尾（One One TailedTailed）概率）概率P P值。值。在在OptionOption按钮中的按钮中的 Stat

20、istics Statistics选项中，选中选项中，选中 Zero-order CorrelationsZero-order Correlations表示输出零阶偏相关表示输出零阶偏相关系数。系数。在上表中，在把投入高级职称的人年数作为控在上表中，在把投入高级职称的人年数作为控制变量的条件下，课题总数与论文数间的偏制变量的条件下，课题总数与论文数间的偏相关系数为相关系数为-0.140-0.140，呈极弱的负相关关系，呈极弱的负相关关系，说明上年发表的论文数对当年立项课题数的说明上年发表的论文数对当年立项课题数的线性影响非常弱。该结论与相关分析的结论线性影响非常弱。该结论与相关分析的结论（简单

21、相关系数为（简单相关系数为0.8870.887）差距甚远。分析原）差距甚远。分析原因发现，上年投入高级职称人年数对立项课因发现，上年投入高级职称人年数对立项课题数有很大的影响，该因素也充分地作用在题数有很大的影响，该因素也充分地作用在发表论文数上，并对发表论文数起了决定性发表论文数上，并对发表论文数起了决定性作用。因此，当控制投入高级职称的人年数作用。因此，当控制投入高级职称的人年数后，发表论文数就不再对立项课题数有显著后，发表论文数就不再对立项课题数有显著的线性作用了。可见，偏相关分析对辨别变的线性作用了。可见，偏相关分析对辨别变量间的虚假相关有极为重要的影响。量间的虚假相关有极为重要的影响

22、。第二节第二节 简单线性回归分析简单线性回归分析回归分析是一种极为广泛的数量分析方法。回归分析是一种极为广泛的数量分析方法。它用于分析事物之间的统计关系，侧重考察它用于分析事物之间的统计关系，侧重考察变量之间的数量变化规律，并通过回归方程变量之间的数量变化规律，并通过回归方程的形式描述和反映这种关系，帮助人们准确的形式描述和反映这种关系，帮助人们准确把握变量受其他一个或多个变量影响的程度，把握变量受其他一个或多个变量影响的程度，进而为控制和预测提供科学依据。进而为控制和预测提供科学依据。回归分析的核心目的是找到回归线，涉及如回归分析的核心目的是找到回归线，涉及如何找到回归线？如何描述回归线？回

23、归线是何找到回归线？如何描述回归线？回归线是否可用于预测？等问题。否可用于预测？等问题。要找出一个错误最小的方法来预测依变量的要找出一个错误最小的方法来预测依变量的数值数值. .一、获得回归线有两种办法：一、获得回归线有两种办法：局部平均法局部平均法和和函数拟合法函数拟合法（一）局部平均法（一）局部平均法收集到收集到n n对父亲和儿子的身高数据对父亲和儿子的身高数据（xi,yixi,yi）(i=1,2,n)(i=1,2,n)，可以对它们进行散点图绘制、计算基本描述统计可以对它们进行散点图绘制、计算基本描述统计量等基本分析。现在得到一个父亲身高数据量等基本分析。现在得到一个父亲身高数据X X0

24、0 ，其儿子身高预测值可以是：第一，子辈身高的平其儿子身高预测值可以是：第一，子辈身高的平均值。显然这个预测是不准确的，因为没有考虑均值。显然这个预测是不准确的，因为没有考虑父亲身高父亲身高X X0 0的作用；第二，父亲身高为的作用；第二，父亲身高为X X0 0的所有儿的所有儿子身高的平均值。该预测较第一种方法显然要准子身高的平均值。该预测较第一种方法显然要准确的多。第三，如果在所得数据中没有父亲身高确的多。第三，如果在所得数据中没有父亲身高为为X X0 0的样本数据，可考虑计算父亲身高的样本数据，可考虑计算父亲身高X X0 0左右的一左右的一个较小区间内的儿子的平均值。按照这种思路在个较小区

25、间内的儿子的平均值。按照这种思路在散点图上不难得到一系列对应的数据点，如果这散点图上不难得到一系列对应的数据点，如果这些点足够多，则可以光滑出一条曲线，即回归线些点足够多，则可以光滑出一条曲线，即回归线的近似线。可见回归线是局部平均的结果。的近似线。可见回归线是局部平均的结果。（二）函数拟合（二）函数拟合利用局部平均得到的回归线应在样本量足够大时才可实利用局部平均得到的回归线应在样本量足够大时才可实现。通常样本量可能无法达到预期的数量，此时多采用现。通常样本量可能无法达到预期的数量，此时多采用函数拟合的方法得到回归线。函数拟合的基本思路：函数拟合的方法得到回归线。函数拟合的基本思路：首先，首先

26、，通过散点图观察变量之间的统计关系，得到回归通过散点图观察变量之间的统计关系，得到回归线形状的感性认识（线性或非线性），并确定一个能够线形状的感性认识（线性或非线性），并确定一个能够反映和拟合这种认知的最简捷的数学函数，即回归模型。反映和拟合这种认知的最简捷的数学函数，即回归模型。其次，其次，利用样本数据在一定的统计拟合准则下，估计出利用样本数据在一定的统计拟合准则下，估计出回归模型中的各个参数，得到一个确定的回归方程。回归模型中的各个参数，得到一个确定的回归方程。最后，最后，对回归方程的参数进行各种检验，判断该方程是对回归方程的参数进行各种检验，判断该方程是否真实反映事物总体间的统计关系，能

27、否用于预测，并否真实反映事物总体间的统计关系，能否用于预测，并最终得到回归线的近似线。最终得到回归线的近似线。函数拟合方法应用广泛。函数拟合方法应用广泛。回归分析的一般步骤回归分析的一般步骤（一）确定回归方程中的解释变量和被解释变量。（一）确定回归方程中的解释变量和被解释变量。（二）确定回归模型：根据散点图确定应通过哪种数（二）确定回归模型：根据散点图确定应通过哪种数学模型来描述回归线（线性回归模型还是非线性回学模型来描述回归线（线性回归模型还是非线性回归模型）。归模型）。（三）建立回归方程。根据收集到的样本数据以及前（三）建立回归方程。根据收集到的样本数据以及前步所确定的回归模型，在一定的统

28、计拟合准则下估步所确定的回归模型，在一定的统计拟合准则下估计出模型的各个参数，得到一个回归方程。计出模型的各个参数，得到一个回归方程。（四）对回归方程进行各种检验。（四）对回归方程进行各种检验。（五）利用回归方程进行预测。（五）利用回归方程进行预测。利用利用SPSSSPSS进行回归分析时，应重点关注上述过程中第进行回归分析时，应重点关注上述过程中第一步和最后一步，至于中间各个步骤，一步和最后一步，至于中间各个步骤，SPSSSPSS会自动会自动完成，并给出最合理的模型。完成，并给出最合理的模型。首先根据散点图，观察被解释变量与解释变首先根据散点图，观察被解释变量与解释变量之间是否呈现显著的直线关

29、系，若是，则量之间是否呈现显著的直线关系，若是，则用采用线性回归分析的方法，建立线性回归用采用线性回归分析的方法，建立线性回归模型。根据模型中解释变量的个数，可将线模型。根据模型中解释变量的个数，可将线性回归模型分为一元线性回归模型和多元线性回归模型分为一元线性回归模型和多元线性回归模型，相应的分析称为一元线性回归性回归模型，相应的分析称为一元线性回归分析和多元线性回归分析。分析和多元线性回归分析。二、一元线性回归分析二、一元线性回归分析Simple linear regressionSimple linear regression现实社会经济现象中，某一事物（被解释变现实社会经济现象中，某一

30、事物（被解释变量）总会受到多方面因素（多个解释变量）量）总会受到多方面因素（多个解释变量）的影响。一元线性回归分析是在不考虑其他的影响。一元线性回归分析是在不考虑其他影响因素或在认为其他影响因素确定的条件影响因素或在认为其他影响因素确定的条件下，分析一个解释变量是如何线性影响被解下，分析一个解释变量是如何线性影响被解释变量的，因而是比较理想化的分析。释变量的，因而是比较理想化的分析。（一）回归参数的普通最小二乘估计（一）回归参数的普通最小二乘估计一元线性回归方程的数学模型一元线性回归方程的数学模型：Y=A+BX+ Y ：因变量（因变量（dependent variabledependent v

31、ariable）X X：自变量（：自变量（independent variableindependent variable）B B ：斜率（：斜率（slopeslope）（回归系数）（回归系数）A A：截距：截距ercept. （回归常数）（回归常数）：随机误差。应当满足两个前提条件：随机误差。应当满足两个前提条件： E(E()=0)=0 var( var()=)=2 2残差的图示残差的图示yi = a + bxi + ei -4 -2 0 2 4 42-2-4y=2+0.5xConstant (a) = 2a = 2bx = 3(0.5) = 1.5Case 7:

32、x=3, y=5e = 1.5一元线性回归方程的最优拟合数学模型：一元线性回归方程的最优拟合数学模型：bxay用最小二乘法求出用最小二乘法求出b和和a普通普通最小二乘估计（最小二乘估计（OLSEOLSE）: :应使每个样本点与回归线上的对应点在垂直方应使每个样本点与回归线上的对应点在垂直方向上的偏差距离的总和最小。向上的偏差距离的总和最小。直接的方法是找出直接的方法是找出 a a and and b b 使得使得 the sum of the sum of squared residuals squared residuals 最小。最小。22() ,YYe即统计学家根据最小平方准则，推算出回

33、归直统计学家根据最小平方准则，推算出回归直线的位置。其斜率（线的位置。其斜率（b b ）与截距（）与截距（a a）的数值）的数值计算公式如下：计算公式如下：nxbyxbya)(222)()()()()()( )(xxnyxxynxxyyxxb练习一练习一以女青年的学校教育年期（以女青年的学校教育年期（x x）预测他们每天）预测他们每天参与家务劳动的小时数（参与家务劳动的小时数（y y）。）。妇女妇女教育年期教育年期x劳动小时劳动小时yxyx2y2A2510425B248416C3412916D33999E414161F414161G400160H600360I800640总数总数3618471

34、7468简单线性回归应注意的两点：简单线性回归应注意的两点：1.1.要求要求x x与与y y的关系是直线的，即两者在坐标的关系是直线的，即两者在坐标图上的散点分布有直线的趋势；否则（呈图上的散点分布有直线的趋势；否则（呈曲线趋势或无规律）不适用；曲线趋势或无规律）不适用；2.2.x x与与y y的关系是非对称的，只能用的关系是非对称的，只能用x x来预测来预测y y，而不能而不能y y用来预测用来预测x;x;回归系数回归系数b b的含义的含义: :b b值表示自变量对因变量的影响的大小与方值表示自变量对因变量的影响的大小与方向；向；它是一个分析不对称关系的统计法；它是一个分析不对称关系的统计法

35、；xyb注意注意: :b b值的大小没有限制，不仅限于值的大小没有限制，不仅限于1 1到到1 1，其大小要视变量的衡量单位而定。其大小要视变量的衡量单位而定。b b值没有上限，社会学应用中，很少用值没有上限，社会学应用中，很少用b b值来值来表示两变量间的相关程度。表示两变量间的相关程度。r r 系数系数 与与 b b 系数不同的地方，是系数不同的地方，是r r 系数假系数假定定X X与与Y Y的关系是对称的，而且的关系是对称的，而且r r的统计值是由的统计值是由-1-1至至+1+1，同时，同时r r的平方值具有消减误差的意义的平方值具有消减误差的意义。这个。这个 r r2 2 值，称为值，称

36、为决定系数决定系数。注意：注意：在社会学研究中，通常是先计算在社会学研究中，通常是先计算r r系数值，然后才系数值，然后才决定是否运用简单线性回归分析法来预测数值。决定是否运用简单线性回归分析法来预测数值。如果如果r r系数值很小，就不要用线性回归方程来作预系数值很小，就不要用线性回归方程来作预测，因为那样做所犯的错误会很大。测，因为那样做所犯的错误会很大。r r系数与简单线性回归分析都是假定系数与简单线性回归分析都是假定X X与与Y Y的关系具的关系具有直线的性质。如果这个假定不符合实际情况，有直线的性质。如果这个假定不符合实际情况，就会犯错误。就会犯错误。r r系数基本上是一种对称相关测量

37、法，但很多社会系数基本上是一种对称相关测量法，但很多社会学研究人员不愿意吹毛求疵，只要两个变量都是学研究人员不愿意吹毛求疵，只要两个变量都是定距变量，则无论关系是否对称都应用定距变量，则无论关系是否对称都应用r r系数。这系数。这种做法类似种做法类似GammaGamma系数的用法，不够严谨，但可以系数的用法，不够严谨，但可以接受。接受。（二）回归方程的统计检验（二）回归方程的统计检验 通过样本数据建立回归方程后一般不能立通过样本数据建立回归方程后一般不能立即用于对实际问题的分析和预测，通常即用于对实际问题的分析和预测，通常要进行各种统计检验。包括：要进行各种统计检验。包括：A A、回归方程的拟

38、合优度检验：、回归方程的拟合优度检验：B B、回归方程的显著性检验：、回归方程的显著性检验：C C、回归系数的显著性检验：、回归系数的显著性检验：D D、残差分析：、残差分析：bxay1 1、拟合优度检验、拟合优度检验拟合优度检验：检验样本点数据聚集在回归线拟合优度检验：检验样本点数据聚集在回归线周围的密集程度，从而评价回归方程对样本周围的密集程度，从而评价回归方程对样本数据的代表程度。数据的代表程度。4681012468101214group1_xFitted valuesgroup1_y5678910468101214xFitted valuesy拟合优度检验从对被解释变量拟合优度检验从对

39、被解释变量y y取值变化的成取值变化的成因分析入手。因分析入手。Y Y各观察值之间的差异主要由两各观察值之间的差异主要由两方面原因造成：一是由于解释变量方面原因造成：一是由于解释变量x x取值的不取值的不同造成的；二是由于其他随机因素造成的。同造成的；二是由于其他随机因素造成的。例如，在研究父亲身高和儿子身高的关系时例如，在研究父亲身高和儿子身高的关系时发现，成年儿子身高的差异会受到两个因素发现，成年儿子身高的差异会受到两个因素的影响：第一父亲身高的影响；第二，即使的影响：第一父亲身高的影响；第二，即使父亲身高相同，他们成年儿子的身高也不尽父亲身高相同，他们成年儿子的身高也不尽相同，还会受到其

40、他随机因素的影响。相同，还会受到其他随机因素的影响。假定不知道假定不知道X X的任何信息的任何信息, , 我们会用平均数我们会用平均数 来预测来预测y yi i，发生的预测误差是，发生的预测误差是(y- )(y- )。 估估计误差的平方和称为总离差平方和计误差的平方和称为总离差平方和 (SST). (SST). 当当Y Y与与X X 有线性决定关系，有线性决定关系， 我们知道了有关我们知道了有关X X的信息的信息, , 就会提供对就会提供对Y Y的一个更好的预测值。的一个更好的预测值。发生的误差是发生的误差是 。估计误差的平方和。估计误差的平方和称为称为SSESSE，即由随机因素引起的，即由随

41、机因素引起的y y的变差平方的变差平方和和. .由由x x取值不同引起的取值不同引起的y y的变差平方和为的变差平方和为SSASSA。SST = SSA + SSESST = SSA + SSE决定系数决定系数Coefficient of determination Coefficient of determination (Goodness of Fit)(Goodness of Fit)R R2 2反映了回归方程所能解释的变差的比例。反映了回归方程所能解释的变差的比例。R R2 2取值在取值在0 0与与1 1之间，越接近于之间，越接近于1 1，说明回归，说明回归方程对样本数据点的拟合优度越

42、高。在一方程对样本数据点的拟合优度越高。在一元线性回归方程中，拟合优度值元线性回归方程中，拟合优度值 R R2 2也就是也就是简单相关系数简单相关系数 r r 的平方。的平方。可见，在可见，在y y的的SSTSST中，如果中，如果SSASSA的比例远大于的比例远大于SSESSE的比例，回归方程能够解释的变差所占的比例，回归方程能够解释的变差所占比例较大，那么回归方程的拟合优度比例较大，那么回归方程的拟合优度R R2 2 就就会较高。会较高。2 2、回归方程的显著性检、回归方程的显著性检线性回归方程能够较好地反映被解释变量和线性回归方程能够较好地反映被解释变量和解释变量之间统计关系的前提应是，被

43、解释解释变量之间统计关系的前提应是，被解释变量和解释变量之间确实存在显著的线性关变量和解释变量之间确实存在显著的线性关系。回归方程的显著性检验正是检验被解释系。回归方程的显著性检验正是检验被解释变量与所有解释变量之间的线性关系是否显变量与所有解释变量之间的线性关系是否显著，用线性模型来描述它们之间的著，用线性模型来描述它们之间的 关系是否关系是否恰当。恰当。回归方程显著性检验的基本出发点类似拟合优度回归方程显著性检验的基本出发点类似拟合优度检验。前面讨论检验。前面讨论SST=SSA+SSE.SST=SSA+SSE.回归方程的显著性回归方程的显著性检验采用检验采用F F检定法。检定法。SSASS

44、A表示表示y y的变差中能被的变差中能被x x线性线性解释的部分。解释的部分。一元线性回归方程显著性检验的零假设是：回归系数与一元线性回归方程显著性检验的零假设是：回归系数与零无显著差异。即它们之间不存在线性关系。如果零无显著差异。即它们之间不存在线性关系。如果F F检检验概率验概率P P值小于给定的显著性水平，则应拒绝零假设，值小于给定的显著性水平，则应拒绝零假设，认为回归系数与零存在显著差异，被解释变量与解释变认为回归系数与零存在显著差异，被解释变量与解释变量线性关系显著。量线性关系显著。3 3、回归系数的显著性检验、回归系数的显著性检验回归系数显著性检验的主要目的是研究回归方程回归系数显

45、著性检验的主要目的是研究回归方程中每个解释变量与被解释变量之间是否存在显著中每个解释变量与被解释变量之间是否存在显著的线性关系，也就是研究解释变量能否有效地解的线性关系，也就是研究解释变量能否有效地解释被解释变量的线性变化，看它们能否保留在线释被解释变量的线性变化，看它们能否保留在线性回归方程中。用性回归方程中。用t t统计量检验。统计量检验。在一元线性回归分析中，回归方程显著性检验和在一元线性回归分析中，回归方程显著性检验和回归系数显著性检验的作用是相同的，两者可以回归系数显著性检验的作用是相同的，两者可以互相替代。同时，回归方程显著性检验中的互相替代。同时，回归方程显著性检验中的F F统统

46、计量恰好等于回归系数显著性检验中计量恰好等于回归系数显著性检验中t t统计量的统计量的平方。平方。4 4、残差分析、残差分析残差是指由回归方程计算所得的预测值与实际值之间的残差是指由回归方程计算所得的预测值与实际值之间的差距。定义为：差距。定义为：它是回归模型中它是回归模型中 的估计值，由多个的估计值，由多个 形成的序列形成的序列称为残差序列。残差分析是回归方程检验中的重要组成称为残差序列。残差分析是回归方程检验中的重要组成部分，其出发点是：部分，其出发点是：如果回归方程能较好地反映被解释如果回归方程能较好地反映被解释变量的特征和变化规律，那么残差序列中应不包含明显变量的特征和变化规律，那么残

47、差序列中应不包含明显的规律性和趋势性。的规律性和趋势性。残差分析正是基于这种考虑展开的，主要任务包括：残差分析正是基于这种考虑展开的，主要任务包括：1，分析残差是否服从均值为，分析残差是否服从均值为0的正态分布；的正态分布；2，分析残，分析残差是否为等方差的正态分布；差是否为等方差的正态分布；3，分析残差序列是否独，分析残差序列是否独立；立；4，借助残差探测样本中的，借助残差探测样本中的 异常值等。异常值等。图形分析与数值分析是残差分析的有效工具。图形分析与数值分析是残差分析的有效工具。 （1）残差均值为）残差均值为0的正态性分析的正态性分析残差总体上应服从以残差总体上应服从以0 0为均值的正

48、态分布。为均值的正态分布。残差的独立性分析残差的独立性分析（2）残差的独立性分析：）残差的独立性分析：残差序列不应存在自相残差序列不应存在自相关性。残差独立分析可以通过以下三种方式实现。关性。残差独立分析可以通过以下三种方式实现。 A：绘制残差序列图：残差随着时间推移不应：绘制残差序列图：残差随着时间推移不应呈现有规律性的变化。呈现有规律性的变化。 B：计算残差的自相关系数：取值在：计算残差的自相关系数：取值在1之间。之间。 C：DW检验：推断小样本序列是否存在一阶相检验：推断小样本序列是否存在一阶相关的统计检验方法。关的统计检验方法。DW取值在取值在0-4之间。之间。 DW=4,残差序列完全

49、负自相关残差序列完全负自相关 DW=（2，4）负自相关）负自相关 DW=2：无自相关：无自相关 DW=（0，2）正自相关）正自相关 DW=0 完全自相关完全自相关（3）异方差分析）异方差分析回归分析中，同方差性（Homoskedasticity）要求残差的方差是一个常数，或者说，不受自变量取值水平的影响。如果残差的方差随着x的变化而变化，我们就称这一现象为“异方差性”（Heteroskedasticity）。绘制残差图绘制残差图等级相关分析等级相关分析异方差性异方差性.F(Y|X) xY xYf(Y|X).（4）利用残差探测样本中的异常值和强影响点）利用残差探测样本中的异常值和强影响点解释变量

50、与被解释变量都会出现异常值和强影响点，应解释变量与被解释变量都会出现异常值和强影响点，应尽量找出它们并加以排除。尽量找出它们并加以排除。对被解释变量对被解释变量y中的残差，探测方法有以下几种：中的残差，探测方法有以下几种：A、标准化残差、标准化残差:绝对值大于绝对值大于3对应的观察值为异常值对应的观察值为异常值B、学生化残差、学生化残差:绝对值大于绝对值大于3对应的观察值为异常值对应的观察值为异常值剔除残差剔除残差对解释变量对解释变量x中的残差，探测方法有以下几种：中的残差，探测方法有以下几种：A、杠杆值、杠杆值B、库克距离：一般库克距离大于、库克距离：一般库克距离大于1，就可认为对应的，就可

51、认为对应的观测值为强影响点。观测值为强影响点。一元线性回归分析的基本操作一元线性回归分析的基本操作Analyze-Regression-LinearAnalyze-Regression-Linear1 1，选择被解释变量进入，选择被解释变量进入DependentDependent框框2 2，选择一个解释变量进入，选择一个解释变量进入IndependentIndependent框框3 3，在，在MethodMethod框中选择回归分析的解释策略。其中框中选择回归分析的解释策略。其中 Enter Enter表示所选变量强行进入回归方程，是表示所选变量强行进入回归方程，是SPSSSPSS默认的策略，

52、通默认的策略，通常用在一元线性回归分析中。常用在一元线性回归分析中。Remove Remove 表示从回归方程中表示从回归方程中剔除所选变量；剔除所选变量；stepwisestepwise表示逐步筛选策略；表示逐步筛选策略；backwardbackward表表示向后筛选策略；示向后筛选策略；forwardforward表示向前筛选策略。表示向前筛选策略。4 4，如果需要，选择一个变量作为条件变量放到，如果需要，选择一个变量作为条件变量放到Select Select VariableVariable框中，并单击框中，并单击RuleRule按钮给定一个判断条件。只有按钮给定一个判断条件。只有满足条

53、件的样本才进入分析。满足条件的样本才进入分析。拟合优度检验：拟合优度检验：表中个列数据项的含义依次为：被解释变量和解表中个列数据项的含义依次为：被解释变量和解释变量的相关系数、决定系数、调整的决定系数释变量的相关系数、决定系数、调整的决定系数、回归方程的标准误差。该题判定系数为、回归方程的标准误差。该题判定系数为0.7430.743，认为该模型拟合优度较好。，认为该模型拟合优度较好。显著性检验：显著性检验：表中各列数据项的含义依次为：被解释变量的变差来源表中各列数据项的含义依次为：被解释变量的变差来源，离差平方和、自由度、均方、回归方程显著性检验中，离差平方和、自由度、均方、回归方程显著性检验

54、中F F检验统计量的观测值和概率检验统计量的观测值和概率P P值。可见，被解释变量的总值。可见，被解释变量的总离差平方和为离差平方和为2.108E72.108E7，回归平方和及均方都是，回归平方和及均方都是1.565E71.565E7，剩余平方和及均方分别为，剩余平方和及均方分别为5425955.5175425955.517和和187101.914.F187101.914.F检验概率检验概率P P值近似为值近似为0 0，认为解释变量与被解释变量的线，认为解释变量与被解释变量的线性关系是显著的，可建立线性模型。性关系是显著的，可建立线性模型。回归系数显著性检验：回归系数显著性检验：表中各列数据项

55、的含义依次为：回归系数、回归系数的标准误差表中各列数据项的含义依次为：回归系数、回归系数的标准误差、标准化回归系数、回归系数显著性检验中、标准化回归系数、回归系数显著性检验中t t检验统计量的观测检验统计量的观测值、对应的概率值、对应的概率P P值。回归系数显著性检验的概率值。回归系数显著性检验的概率P P值小于显著性值小于显著性水平，因此投入科研事业费（百元）与被解释变量间的线性关系水平，因此投入科研事业费（百元）与被解释变量间的线性关系显著，该模型是合理的，回归方程为：显著，该模型是合理的，回归方程为：y=363.480+0.011x因为回归系数只有因为回归系数只有0.0110.011，很

56、小，需要看其他变量对申请课题数，很小，需要看其他变量对申请课题数的影响。的影响。当因变量当因变量y与自变量与自变量x是非线性关系时，可通过变量变换使经过是非线性关系时，可通过变量变换使经过变换的新变量对于参数是线性的。变换后的线性模型，求出未变换的新变量对于参数是线性的。变换后的线性模型，求出未知参数后，可以再变回曲线形式。知参数后，可以再变回曲线形式。函数名称函数名称函数表达式函数表达式变量变换变量变换变换后的变换后的形式形式对数函数对数函数y=a+by=a+b(x)x x= = (x)y=a+bxy=a+bx幂函数幂函数y=axy=axb by y= (y) ,a= (a), x x= =

57、 (x)y y=a=a+bx+bx指数函数指数函数y=aey=aebxbxy y= (y) ,a= (a)y y=a=a+bx+bxS S型函数型函数y=1/(y=1/(a+bea+be-x-x) ) y y= 1/y ,x= e e-x-xy y= =a+bxa+bx第二节多元线性回归分析第二节多元线性回归分析例题：用例题：用19881988年世界若干国家的粗死亡率（年世界若干国家的粗死亡率（y y）对其）对其6565岁以上人口占总人口的比例（岁以上人口占总人口的比例（x x1 1）和人均国民生）和人均国民生产总值（产总值（x x2 2）做回归，得到）做回归，得到若仅用老年人口比例若仅用老年

58、人口比例 x x1 1 与粗死亡率与粗死亡率 y y 做回归，则做回归，则有：有：第二节多元线性回归分析第二节多元线性回归分析多元线性回归的数学模型：多元线性回归的数学模型：Y=A+BY=A+B1 1x x1 1+B+B2 2x x2 2+B+Bp px xp p+多元线性经验回归方程：多元线性经验回归方程：ppippixbxbxbayexbxbxbay22112211多元线性回归方程的拟合优度检验多元线性回归方程的拟合优度检验随着自变量个数的增加，残差平方和逐渐减少随着自变量个数的增加，残差平方和逐渐减少，R R2 2随之增大，尽管有的自变量与随之增大，尽管有的自变量与y y线性关系不线性关

59、系不显著，将其引入方程后，也会使显著，将其引入方程后，也会使R R2 2增加。所以增加。所以， R R2 2是一个受自变量个数与样本规模之比（是一个受自变量个数与样本规模之比（k:nk:n）影响的系数，一般常规是）影响的系数，一般常规是1 1：1010以上为好以上为好。当这个比值小于。当这个比值小于1 1：5 5时，时， R R2 2倾向于高估实际倾向于高估实际的拟合优度。为了避免这种情况，常用调整的的拟合优度。为了避免这种情况，常用调整的R R2 2adjadj代替代替R R2 2 。多元线性回归方程的拟合优度检验多元线性回归方程的拟合优度检验调整的决定系数：调整的决定系数：n-p-1 ,n

60、-1n-p-1 ,n-1分别是分别是SSESSE和和SSTSST的自由度。的自由度。调整的决定系数的取值范围和数值大小调整的决定系数的取值范围和数值大小的意义与决定系数的意义与决定系数R R2 2完全相同。完全相同。1112nSSTpnSSER在多元线性回归分析中，仍可以计算在多元线性回归分析中，仍可以计算R R2 2, ,它是它是被解释变量被解释变量y y与诸多解释变量与诸多解释变量x x的复相关系数的复相关系数的平方，实质测度了的平方，实质测度了y y与与x x全体之间线性相关全体之间线性相关程度，也测度了样本数据与拟合数据间的相程度，也测度了样本数据与拟合数据间的相关程度。关程度。在多元