统计学原理：第十章 相关与回归分析

1、第十章第十章 相关与回归分析相关与回归分析相关与回归分析概述相关与回归分析概述 线性相关与回归分析线性相关与回归分析 非线性回归分析非线性回归分析 一、相关与回归分析概述一、相关与回归分析概述变量间的相互关变量间的相互关系系确定性的函数关系确定性的函数关系 Y Y= =f f ( (X X) )不确定性的统计关系不确定性的统计关系相关关系相关关系 Y Y= = f f（X X）+ +e e ( (e e为随机变量为随机变量) )（一）相关关系的概念与类型（一）相关关系的概念与类型 1.1.相关关系的概念相关关系的概念相关关系是在相互联系的现象中，由于受随机因相关关系是在相互联系的现象中，由于受

2、随机因素的影响，对于某一现象数量的变化，与之相联系的素的影响，对于某一现象数量的变化，与之相联系的其他现象数量的变化，并不总是有一个确定的值与之其他现象数量的变化，并不总是有一个确定的值与之相对应相对应 。 2.2.相关关系的类型相关关系的类型相关关系相关关系单相关单相关变量数量变量数量复相关复相关相关的方向相关的方向 正相关正相关负相关负相关相关的程度相关的程度 完全相关完全相关 不完全相关不完全相关 不相关不相关表现形式表现形式 线形相关线形相关非线形相关非线形相关 单相关是两个变量之间的关系。单相关是两个变量之间的关系。 复相关是一个变量对两个或两个以上变量复相关是一个变量对两个或两个以

3、上变量的相关关系。的相关关系。 正相关是正相关是变量同方向变化，同增同减。变量同方向变化，同增同减。 负相关是变量反方向变化，一增一减。负相关是变量反方向变化，一增一减。完全相关是指相关的变量之间，其中一个变量的数值完全相关是指相关的变量之间，其中一个变量的数值变化完全由另一个或一组变量的数值变化所确定的变化完全由另一个或一组变量的数值变化所确定的 。不相关是指变量之间彼此独立，互不影响。不相关是指变量之间彼此独立，互不影响。不完全相关是指介于完全相关和不相关之间的一种相不完全相关是指介于完全相关和不相关之间的一种相关关系。关关系。线性相关是指当一个变量变动时，另一个变量随之发线性相关是指当一

4、个变量变动时，另一个变量随之发生大致均等的变动，生大致均等的变动，散布图接近一条直线。散布图接近一条直线。非线性相关是指当一个变量变动时，另一个变量的变非线性相关是指当一个变量变动时，另一个变量的变动不是均等的，动不是均等的，散布图接近一条曲线。散布图接近一条曲线。 （二）相关分析与回归分析（二）相关分析与回归分析相关相关分析分析回归回归分析分析研究现象之间相互依存关系的方向研究现象之间相互依存关系的方向和程度的统计分析方法。其目的是和程度的统计分析方法。其目的是从现象的复杂关系中消除非本质的从现象的复杂关系中消除非本质的偶然影响，从而找出现象间相互依偶然影响，从而找出现象间相互依存的形式和密

5、切程度以及依存关系存的形式和密切程度以及依存关系变动的规律性变动的规律性。研究变量之间关系的统计分析方法。在研究变量之间关系的统计分析方法。在运用时，从变量对应的实际数据出发，运用时，从变量对应的实际数据出发，将两个或两个以上变量之间的变动关系将两个或两个以上变量之间的变动关系模型化，即确定这些变量间的定量关系模型化，即确定这些变量间的定量关系式，并拟合出一个回归方程，对变量之式，并拟合出一个回归方程，对变量之间的联系给予定量的描述。间的联系给予定量的描述。联系联系与区与区别别|联系联系相关分析是回归分析的前提相关分析是回归分析的前提 ；回归分析是相关回归分析是相关分析的继续和拓展。分析的继续

6、和拓展。|区别区别m变量之间是否存在对等关系；变量之间是否存在对等关系；m变量之间地位的变化和计算结果；变量之间地位的变化和计算结果； m对资料的要求。对资料的要求。 （三）相关与回归分析的主要内容（三）相关与回归分析的主要内容确定现象之间是否存在相关关系以及表现形式确定现象之间是否存在相关关系以及表现形式测定相关关系的密切程度测定相关关系的密切程度建立相关关系的数学表达式建立相关关系的数学表达式回归方程回归方程 确定因变量估计值的可靠程度确定因变量估计值的可靠程度 二、线性相关与回归分析二、线性相关与回归分析（一）一元线性相关关系的描述与测度（一）一元线性相关关系的描述与测度线性相关分析就是

7、对两个变量之间线性关系的描述与度量，线性相关分析就是对两个变量之间线性关系的描述与度量，即对于两个变量即对于两个变量x x和和y y，通过观察和试验可以得到若干组数据，通过观察和试验可以得到若干组数据，记为记为(x(xi i,y,yi i)( )(i=1,2,n)i=1,2,n)，并对这些数据进行相关关系描述和相，并对这些数据进行相关关系描述和相关程度测度，常通过绘制相关表图和计算相关系数来进行。关程度测度，常通过绘制相关表图和计算相关系数来进行。1. 1.相关表图相关表图相关表相关表 s简单相关表简单相关表 对变量不进行分组，只将自变量按照变量值对变量不进行分组，只将自变量按照变量值大小顺序

8、或按照时间先后顺序，配合因变量值一一对应平行大小顺序或按照时间先后顺序，配合因变量值一一对应平行排列而编制成的表格。排列而编制成的表格。s分组相关表分组相关表 将有关资料分成若干组，排列在一张表将有关资料分成若干组，排列在一张表格上而形成的相关表。具体可分为单变量分组相关表和双变格上而形成的相关表。具体可分为单变量分组相关表和双变量分组相关表两种。量分组相关表两种。相关图相关图 又称散布图或散点图，它是反映两个变量间依存又称散布图或散点图，它是反映两个变量间依存关系的相关图关系的相关图, ,是利用直角坐标系的第一象限，将是利用直角坐标系的第一象限，将自变量置于横轴上，因变量置于纵轴上所描绘出自

9、变量置于横轴上，因变量置于纵轴上所描绘出的相关图。的相关图。编制相关图、表的意义编制相关图、表的意义有助于分析判断相关有助于分析判断相关有关、方向、形态、密切程度。有关、方向、形态、密切程度。 2 2、相关程度的测定、相关程度的测定相关系数是在线性相关情况下，度量现象之间相关关相关系数是在线性相关情况下，度量现象之间相关关系密切程度的统计分析指标。系密切程度的统计分析指标。相关系数相关系数总体相关系数总体相关系数r r ：根据总体数据计算的。：根据总体数据计算的。 yxxyr样本相关系数样本相关系数g g ：根据样本数据计算的：根据样本数据计算的 。 yxxysssg资料未分组情况下，相关系数

10、的计算为：资料未分组情况下，相关系数的计算为： 2222yynxxnyxxyng相关系数的取值范围是相关系数的取值范围是 -1-1，11。g g=1=1，为完全线性相关；为完全线性相关；g g =1=1，为完全线性正相关；为完全线性正相关；g g =-1=-1，为完全线性负相关；为完全线性负相关；g g =0=0，不存在线性相关关系；不存在线性相关关系；-1-1g g0 0，为负相关；，为负相关；0 0g g1 1, ,为正相关；为正相关；g g越趋越趋1 1，表示关系越密切，越趋于，表示关系越密切，越趋于0 0，关系越不密切。，关系越不密切。 【例例10.110.1】根据表根据表10-110

11、-1资料，计算相关系数。计算数据如下表资料，计算相关系数。计算数据如下表1010-4-4所示所示: :表表10-410-4 月产量与生产费用相关系数计算数据表月产量与生产费用相关系数计算数据表月份月份产量产量( (千吨千吨) ) x x生产费用生产费用( (万元万元) )y yx x2 2y y2 2xyxy1 12 23 34 45 56 67 78 81.21.22.02.03.13.13.83.85.05.06.16.17.27.28.08.06262868680801101101151151321321351351601601.441.444.004.009.619.6114.4414

12、.4425.0025.0037.2137.2151.8451.8464.0064.003844384473967396640064001210012100132251322517424174241822518225256002560074.474.4172172248.0248.0418.0418.0575575805.2805.2972.0972.01280.01280.0合计合计36.436.4880880207.54207.541042141042144544.64544.6根据样本相关系数的计算公式，计算相关系数为根据样本相关系数的计算公式，计算相关系数为: : 2222yynxxny

13、xxyng97. 088010421484 .3654.20788804 .366 .4544822月产量与生产费用之间的相关系数为月产量与生产费用之间的相关系数为+0.97+0.97。（二）一元线性回归分析（二）一元线性回归分析1.1.目的：对大量的观测数据进行整理、分析、研究，目的：对大量的观测数据进行整理、分析、研究，从而得出反映事物内部规律性的结论。从而得出反映事物内部规律性的结论。步骤步骤 1 12 23 34 45 5确定变确定变量性质量性质 建立回建立回归方程归方程 对建立的对建立的回归方程回归方程进行拟和进行拟和优度评价优度评价 进行显著进行显著性检验性检验 进行推算进行推算和

14、预测和预测 3.3.一元线性回归模型一元线性回归模型（1 1）建立一元线性回归模型的假设。建立一元线性回）建立一元线性回归模型的假设。建立一元线性回归模型，需进行两方面的假设：一是对于自变量的每一水归模型，需进行两方面的假设：一是对于自变量的每一水平，存在的概率分布；二是这些的概率分布的均值，有规平，存在的概率分布；二是这些的概率分布的均值，有规律地随的变化而变化。律地随的变化而变化。（2 2）一元线性回归模型。若和之间具有线性相关关系，）一元线性回归模型。若和之间具有线性相关关系，且相关的程度为显著性的，则可以建立一元线性回归模型，且相关的程度为显著性的，则可以建立一元线性回归模型，其基本形

15、式为：其基本形式为：eXBBy10B B0 0、B B1 1称为模型的参数称为模型的参数 B B0 0是回归直线在是回归直线在Y Y轴上的截距，轴上的截距，是当是当x x=0=0时，时，Y Y的期望值，的期望值，B B1 1是直线的斜率，称为回归系数。是直线的斜率，称为回归系数。 用样本统计量用样本统计量a a、b b去代替回归方程中的模型参数去代替回归方程中的模型参数B B0 0、B B1 1, ,就就得到样本回归方程。得到样本回归方程。bxay确定确定a a、b b参数常用的方法是最小二乘法参数常用的方法是最小二乘法 使因变量使因变量的观察值与估计值之间的离差平方和达到最小来求得的观察值与

16、估计值之间的离差平方和达到最小来求得a a、b b的方法。的方法。求得求得a a、b b的标准方程组如下：的标准方程组如下： 22xxnyxxynbxbya【例例10.210.2】如表如表10-410-4资料，建立一元线性回归方程，资料，建立一元线性回归方程，计算数据如下表所示计算数据如下表所示: :月份月份产量产量( (千吨千吨) ) x x生产费用生产费用( (万元万元) ) y yx x2 2y y2 2xyxy估计值估计值残差残差1 12 23 34 45 56 67 78 81.21.22.02.03.13.13.83.85.05.06.16.17.27.28.08.06262868

17、680801101101151151321321351351601601.441.444.004.009.619.6114.4414.4425.0025.0037.2137.2151.8451.8464.0064.003844384473967396640064001210012100132251322517424174241822518225256002560074.474.4172172248.0248.0418.0418.0575575805.2805.2972.0972.01280.01280.066.8066.8077.1277.1291.3091.30100.33100.33115

18、.80115.80129.99129.99144.17144.17154.49154.49-4.80-4.808.888.88-11.3-11.39.679.67-0.80-0.802.012.01-9.17-9.175.515.51合计合计36.436.4880880207.54207.541042141042144544.64544.6880.00880.000 0y yy解：解：8960.124 .3654.20788804 .366 .45448222 xxnyxxynb3232.5184 .368960.128880 xbyaxbxay8960.123232.514.4.一元线性回归

19、模型拟合优度的评价一元线性回归模型拟合优度的评价拟合优度，是指样本观测值聚集在样本回归线周围拟合优度，是指样本观测值聚集在样本回归线周围的紧密程度，其主要方法是利用统计学中的抽样理论来的紧密程度，其主要方法是利用统计学中的抽样理论来对回归方程的可靠性进行检验，具体分为拟合程度检验对回归方程的可靠性进行检验，具体分为拟合程度检验和显著性检验，常用的指标是判定系数和估计标准误差。和显著性检验，常用的指标是判定系数和估计标准误差。X判定系数。判定系数是对估计的回归方程拟合优度判定系数。判定系数是对估计的回归方程拟合优度的度量，其含义的理解是通过对因变量取值的变差进行的度量，其含义的理解是通过对因变量

20、取值的变差进行研究的。研究的。221ynySST总偏差总偏差: :回归偏差：回归偏差：22211xnxyxnxySSR2bxaySSESSTSSESSTSSRr/1/2剩余偏差：剩余偏差： 可决系数：可决系数：可决系数可决系数g g2 2的特征：的特征：可决系数可决系数g g2 2具有非负性；具有非负性；可决系数的取值范围为可决系数的取值范围为0 0g g2 21;1;可决系数是样本观测值的函数，也是一个统计量。可决系数是样本观测值的函数，也是一个统计量。【例例10.310.3】 根据例根据例10.210.2的数据，计算月产量与生产费用回的数据，计算月产量与生产费用回归的判定系数，并解释其意义

21、。计算资料见下表所示归的判定系数，并解释其意义。计算资料见下表所示: : 月月份份产量产量( (千吨千吨) )x x生产费用生产费用( (万元万元) )y yx x2 2y y2 2xyxy估计值估计值1 11.21.262621.441.443844384474.474.466.8066.80-43.2-43.2-48-48-4.8-4.82 22.02.086864.004.007396739617217277.1277.12-32.8-32.8-24-248.888.883 33.13.180809.619.6164006400248.0248.091.3091.30-18.7-18.7

22、-30-30-11.3-11.34 43.83.811011014.4414.441210012100418.0418.0100.33100.33-9.67-9.670 09.679.67yyyyyyy 5 55.05.011511525.0025.001322513225575575115.80115.805.85.85 5-0.8-0.86 66.16.113213237.2137.211742417424805.2805.2129.99129.9919.9919.9922222.012.017 77.27.213513551.8451.841822518225972.0972.0144.

23、17144.1734.1734.172525-9.17-9.178 88.08.016016064.0064.0025600256001280.01280.0154.49154.4944.4944.4950505.515.51合计合计36.436.4880880207.54207.541042141042144544.64544.6880.00880.000 00 00 07414880811042141222ynySST57.69714 .368154.2078804 .36816 .45441122222 xnxyxnxySSR22.4422bxaySSE则：则：9403. 07414/5

24、7.6971/2SSTSSRr该判定系数的实际意义是该判定系数的实际意义是: :在月产量取值的变动中在月产量取值的变动中, ,有有94.03%94.03%是由生产费用所决定。可见是由生产费用所决定。可见, ,月产量与生产费用月产量与生产费用之间有很强的线性关系。之间有很强的线性关系。X估计标准误差估计标准误差 用标准差来测度各观测值在其平均数周围的分散程用标准差来测度各观测值在其平均数周围的分散程度，与之类似的一个量可以用来测度各实际观测点在直度，与之类似的一个量可以用来测度各实际观测点在直线周围的散布状况，这个量就是估计标准误差。通常用线周围的散布状况，这个量就是估计标准误差。通常用均方残差

25、的平方根来表示，其计算公式为：均方残差的平方根来表示，其计算公式为： MSENSSEnyysiiy222【例例10.410.4】根据例根据例10.310.3的有关结果，计算月产量与的有关结果，计算月产量与生产费用回归的估计标准误差，并解释其意义。生产费用回归的估计标准误差，并解释其意义。59. 82822.4422nSSEsy这就是说，根据月产量来预测生产费用时，平均的预测这就是说，根据月产量来预测生产费用时，平均的预测误差为误差为8.598.59万元。万元。5.5.一元线性回归的显著性检验一元线性回归的显著性检验目的目的检验两个变量之间是否存在线性相关关系检验两个变量之间是否存在线性相关关系

26、分类分类回归系数回归系数（t t检验检验） 回归方程回归方程 （F F检验检验） 检验回归系数是否等于检验回归系数是否等于0 0。 检验自变量检验自变量x x和和因变量因变量y y之间之间是否能用线性模型是否能用线性模型y y=B B0 0+ +B B1 1x x+ +e e来表示来表示 。 q 回归系数检验的具体步骤为：回归系数检验的具体步骤为：提出假设：提出假设：H H0 0: :B B1 1=0 ,=0 ,两个变两个变量之间的关系量之间的关系不显著不显著 检验检验步骤步骤1 12 23 34 45 5检验检验步骤步骤1 12 23 34 45 5检验检验步骤步骤1 12 23 34 45

27、 5检验检验步骤步骤1 12 23 34 45 5检验检验步骤步骤1 12 23 34 45 5计算检验统计量计算检验统计量t t, ,11bsbt 检验统计量检验统计量t t, ,给定给定显著性水平显著性水平a a, ,根据根据自由度自由度n n-2-2查查t t分布分布表，表，找到相应的临找到相应的临界值确定临界值界值确定临界值t ta a确定原假设的拒绝确定原假设的拒绝规则。规则。t tt ta a，拒绝，拒绝H H0 0，即总体线性相即总体线性相关显著；反之不拒关显著；反之不拒绝绝H H0 0，即总体线性，即总体线性相关不显著相关不显著作出决策作出决策 【例例10.510.5】 根据例

28、根据例10.410.4的有关结果，检验回归系数的有关结果，检验回归系数的显著性。的显著性。1.1.提出假设：提出假设：H H0 0: : B B1 1=0=0 2.2.计算检验统计量计算检验统计量t t：3.3.检验统计量检验统计量t t，给定显著性水平给定显著性水平a a=0.05,=0.05,根据自由度根据自由度n n-2-2查查t t分布表，找到相应的临界值确定临界值分布表，找到相应的临界值确定临界值4.4.确定原假设的拒绝规则：确定原假设的拒绝规则：t t =9.7203 =9.7203t t0.0250.025=2.447=2.4475.5.作出决策：月产量是影响生产费用的一个显著性

29、因作出决策：月产量是影响生产费用的一个显著性因素。素。 7203.93267.159.811bsbt447. 2025. 02/ttaq 线性关系检验的具体步骤为：线性关系检验的具体步骤为：1 1提出假设，提出假设，H H0 0：B B1 1=0=0两个变量之间的关两个变量之间的关系不显著；系不显著； 2 2计算检验统计量计算检验统计量F F MSEMSRnSSESSRF21/3 3检验统计量检验统计量F F，给定给定显著性水平显著性水平a,a,并根据并根据分子自由度分子自由度1 1和分母和分母自由度自由度n n-2-2查查F F分布表，分布表，找到相应的临界值确找到相应的临界值确定临界值定临

30、界值F Fa a 4 4确定原假设的拒绝规则。若确定原假设的拒绝规则。若F FF Fa a，拒绝拒绝H H0 0 ，表明两个变量之间的线性，表明两个变量之间的线性相关关系显著；反之不拒绝相关关系显著；反之不拒绝H H0,0,没有没有证据表明两个变量之间的线性关系证据表明两个变量之间的线性关系显著。显著。 5 5计算检验统计算检验统计量并做出计量并做出决策决策【例例10.610.6】根据例根据例10.510.5的有关结果，检验月产量与生产的有关结果，检验月产量与生产费用之间线性关系的显著性费用之间线性关系的显著性（a a=0.05=0.05）1. 1.提出假设提出假设. . H H0 0: :

31、B B1 1=0,=0,两个变量之间的关系不显著；两个变量之间的关系不显著；2.2.计算检验统计量计算检验统计量 F F 59.9428/22.4421/57.697121/nSSESSRF3.3.作出决策。根据显著性水平作出决策。根据显著性水平a a=0.05,=0.05,分子自由度分子自由度1 1和分和分母自由度查母自由度查F Fa a=5.99,=5.99,由于由于F FF Fa a, ,拒绝拒绝H H0 0, ,表明月产量与生表明月产量与生产费用之间的线性关系是显著的。产费用之间的线性关系是显著的。 6.6.一元线性回归方程的估计预测应用一元线性回归方程的估计预测应用在在1-1-a a

32、置信水平下置信水平下, ,y y0 0置信期间为：置信期间为：nxxxxnstyy/122202/0a【例例10.710.7】 根据例根据例10.210.2所求得的估计方程所求得的估计方程, ,设设x x0 0=9,=9,建建立生产费用在立生产费用在95%95%置信水平下的置信区间。置信水平下的置信区间。 xy8960.123232.51根据前已计算的结果，已知根据前已计算的结果，已知n n=8,s=8,sy y=8.59 =8.59 若令，若令，a a=0.05,=0.05,则有则有447. 222/nta当估计预测当估计预测9 9月份产量为月份产量为9 9万吨时万吨时, ,生产费用的点估计

33、值为生产费用的点估计值为: :)(39.16798960.123232.510万元y根据根据10.2510.25公式得公式得 的置信区间为：的置信区间为：(167.39-2.447(167.39-2.4470.059050.05905，167.39+2.447167.39+2.4470.05905)0.05905)，即：，即： 0 y05905. 059. 8447. 239.16763.168,15.166即：二、多元线性回归分析二、多元线性回归分析( (一一) )多元线性回归模型的建立多元线性回归模型的建立总体多元线性回归模型的一般形式为：总体多元线性回归模型的一般形式为： e nxBxB

34、xBByn21100（二）多元线性回归模型的评价（二）多元线性回归模型的评价判定系数判定系数 2221yyyySSTSSESSTSSRi总变差回归偏差g) 10 (2g越接近越接近1 1表示非线性相关程度越强，所配合的曲线回表示非线性相关程度越强，所配合的曲线回归模拟拟合效果越好。归模拟拟合效果越好。修正后的判定系数：修正后的判定系数：12knyysy11)1 (122knnrr标准误差标准误差 （三）多元线性回归模型的显著性检验（三）多元线性回归模型的显著性检验 回归方程检验回归方程检验 提出假设提出假设 计算检验的统计量计算检验的统计量 是否是否F FF Fa a是是否否拒绝原假设拒绝原假

35、设 接受原假设接受原假设 H H1 1: :B B1 1、B B2 2.B Bk k至少有一至少有一个不等于个不等于0 01,1/knkFknSSEkSSRF给定显著性水平给定显著性水平a a0.05,0.05,根据分子自由度根据分子自由度= =k,k,分母分母自由度自由度= = n n- -k k-1 -1 回归系数的检验回归系数的检验 提出假设提出假设 计算检验的统计量计算检验的统计量 是否是否t tt ta/2a/2 是是否否拒绝原假设拒绝原假设 接受原假设接受原假设 对于任意参数对于任意参数, ,B Bi i( (i i=1,=1,2.2.k k) ) H H1 1: : b bi=0

36、i=0、b b1 1001kntsbtibii221iyibxnxss给定显著性水平给定显著性水平a a0.05,0.05,根据分子自由度根据分子自由度=n-k-=n-k-1 1查查t t分布表分布表, ,分母自由度分母自由度= = n n- -k k-1,-1,得得2/at( (四四) )多元线性回归中的相关分析多元线性回归中的相关分析负相负相关关一个因变量与多个自变量只的相关关系，一个因变量与多个自变量只的相关关系，所有自变量共同变动时，因变量随之而所有自变量共同变动时，因变量随之而变动其相关程度，可以以复相关系数来变动其相关程度，可以以复相关系数来测定测定 计算公式为：计算公式为：222

37、123yyyynygg偏相关偏相关指多元回归模型中各个自变量在其他自变量固定指多元回归模型中各个自变量在其他自变量固定不变时，但个变量同因变量的相关关系，其相关程度用偏相不变时，但个变量同因变量的相关关系，其相关程度用偏相关系数来测定。关系数来测定。 二元回归中的相关系数矩阵表二元回归中的相关系数矩阵表y yx x1 1x x2 2y y1 10000 x x1 11 10000 x x2 2g gy2y2g gy2y21 10000 x x1 1与与y y的偏相关系数：的偏相关系数：2122212212111ggggggyyyyx x2 2与与y y的偏相关系数：的偏相关系数： 2122112121211ggggggyyyy 三、非线性回归分析三、非线性回归分析（一）非线性类型（一）非线性类型常见的曲线有双曲线、幂函数、指数、对数及常见的曲线有双曲线、幂函数、指数、对数及istcistc生长曲线。生长曲