八章相关与回归分析

2024/3/191【案例】固定资产投资会影响国内生产总值吗？2024/3/192第八章相关与回归分析

第一节

相关分析第二节一元线性回归分析第三节多元线性回归分析第四节非线性回归分析2024/3/193本章重点

相关与回归分析概念、种类、相关关系与函数关系、相关关系与因果关系的联系。相关分析与回归分析的区别与联系。直线相关系数的涵义、计算与分析。直线回归方程的确定与精确度的评价。回归方程的应用。2024/3/194本章难点直线相关系数的涵义、计算与分析。直线回归方程的确定与精确度的评价。参数估计的理论方法，如最小二乘法的基本原理等。参数估计的显著性检验及拟合优度的检验的基本理论。非线性回归的转化问题。2024/3/195学习目标通过本章的学习，要明确相关与回归分析的概念、意义和种类；了解相关关系与函数关系的区别、相关分析与回归分析的联系与区别；掌握相关分析的特点和方法、进而掌握回归分析的方法；理解进行相关与回归分析应注意的问题。2024/3/196第一节相关分析p240一、变量之间的关系二、相关关系的种类三、相关分析与回归分析四、相关关系的测度一、变量之间的关系

客观现象之间的数量联系可以归纳为两种不同的类型，一种是函数关系，另一种是相关关系。函数关系，指变量之间存在的严格确定的依存关系，即当一个或几个相互联系的自变量取一定的值时，因变量必定有一个且只有一个确定的值与之对应。相关关系，指变量之间客观存在的非严格确定的依存关系，即当一个或几个相互联系的自变量取一定的数值时，与之对应的因变量往往会出现几个不同的值，但这些数值会按某种规律在一定范围内变化。2024/3/198二、相关关系的种类(一)按变量多少划分按相关关系涉及变量的多少可分为单相关、复相关和偏相关。两个现象的相关，即一个变量对另一个变量的相关关系，称为单相关。当所研究的是一个变量对两个或两个以上其他变量的相关关系时，称为复相关。在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量的相关关系称为偏相关。2024/3/199相关关系的种类(二)按相关程度划分按变量之间相关关系的密切程度不同，可分为完全相关、不完全相关和不相关。当一种现象的数量变化完全由另一个现象的数量变化所确定时，称这两种现象间的关系为完全相关。当两个现象彼此互不影响，其数量变化各自独立时，称为不相关现象。两个现象之间的关系介于完全相关和不相关之间，称为不完全相关，一般的相关现象都是指这种不完全相关。2024/3/1910相关关系的种类(三)按相关形式划分按相关关系的表现形态不同可分为线性相关和非线性相关。当两种相关现象之间的相关关系在直角坐标系中近似地表现为一条直线时，称之为线性相关。如果两种相关现象之间，在图上并不表现为直线形式而是表现为某种曲线形式时，则称这种相关关系为非线性相关。2024/3/1911相关关系的种类(四)按相关方向划分线性相关中按相关的方向可分为正相关和负相关。当一个现象的数量由小变大，另一个现象的数量也相应由小变大，这种相关称为正相关。当一个现象的数量由小变大，而另一个现象的数量相反地由大变小，这种相关称为负相关。2024/3/1912三、相关分析与回归分析相关分析是指研究一个变量与另一个变量或另一组变量之间相关方向和相关密切程度的统计分析方法。回归分析是指根据相关关系的具体形态，选择一个合适的数学模型来近似地表达变量间平均变化关系的统计分析方法。2024/3/1913相关分析与回归分析的联系

相关分析和回归分析是研究现象之间相关关系的两种基本方法，两者有着密切的联系，它们不仅具有共同的研究对象，而且在具体应用时，常常必须互相补充。

1）相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。

2）只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。由于上述原因，回归分析和相关分析在一些统计学的书籍中被合称为相关关系分析或广义的相关分析。2024/3/1914相关分析与回归分析的区别1)相关分析中，变量x与变量y处于平等地位，不需要区分自变量和因变量；回归分析中，变量y称为因变量，处在被解释的特殊地位。变量x称为自变量，可以通过x的变化来解释y的变化，故亦称为解释变量。2)相关分析中所涉及的变量y与x全是随机变量。而回归分析中，因变量y是随机变量，自变量x

可以是随机变量，也可以是非随机的确定变量。3)相关分析的研究主要是刻画两类变量间线性相关的密切程度。而回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制。2024/3/1915四、相关关系的测度p243测度相关关系的方式有三种，相关表相关图相关系数(一)相关表和相关图相关表是一种反映变量之间相关关系的统计表。将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。2024/3/19171978-2007年我国国内生产总值和固定资产投资额之间的相关图(二)相关系数(P244)(correlationcoefficient)1.概念：①对变量之间线性关系密切程度的度量②对两个变量之间线性相关程度的度量称为简单相关系数③若相关系数是根据总体全部数据计算的，称为总体相关系数，记为

④若是根据样本数据计算的，则称为样本相关系数，记为r2.相关系数的计算公式（记住P245）

样本相关系数的计算公式或化简为2024/3/19203.相关系数取值及其意义

r

的取值范围是[-1,1]

|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关关系

-1

r<0，为负相关

0<r

1，为正相关

|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数的性质2024/3/1921相关系数取值范围与直观意义

r=1,完全正相关r=－1,完全负相关2024/3/1922相关系数取值范围与直观意义-1<r<0,不完全相关0<r<1,不完全相关主要研究对象2024/3/1923相关系数取值范围与直观意义●

X和Y都是相互对称的随机变量；●

线性相关系数只反映变量间的线性相关程度，不能说明非线性相关关系；●

样本相关系数是总体相关系数的样本估计值，由于抽样随机性，样本相关系数是个随机变量，其统计显著性有待检验；●

相关系数只能反映线性相关程度，不能确定因果关系，不能说明相关关系具体接近哪条直线。

使用相关系数时应注意:2024/3/1925依据变量间线性相关程度，相关系数可划分的等级

相关系数的检验p249①检验两个变量之间是否存在线性相关关系②等价于对回归系数b1的检验③采用R.A.Fisher提出的t检验④检验的步骤为提出假设：H0：；H1：0

计算检验的统计量：

确定显著性水平，并作出决策若t>t

，拒绝H0

若t<t

，不能拒绝H02024/3/1927第二节一元线性回归分析(P249)一、一元线性回归模型的基本形式二、一元线性回归模型的估计三、回归方程的显著性检验四、回归模型的应用五、统计软件SPSS应用回归模型的类型一元线性回归含义只涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一个线性方程来表示一.一元线性回归模型的基本形式①描述因变量y如何依赖于自变量x和误差项

的方程称为理论回归模型②一元线性回归模型可表示为

y=b0+b1x+ey是x的线性函数(部分)加上随机误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量(未纳入模型但对y有影响的诸多因素的综合影响)反映了除x和y之间的线性关系之外的随机因素对y的影响，是不能由x和y之间的线性关系所解释的变异性

0和

1称为模型的参数理论回归模型XY每月家庭可支配收入X100015002000250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每960121013101432183510682319248828563201月125913401520188520662321258729003288家132414001615194321852365265030213399庭1448165020372210239827893064消1489171220782289248728533142费1538177821792313251329343274支160018412298239825383110出17021886231624232567

Y1900238724532610201224982487271025892586900115014001650190021502400265029003150举例：假如已知100个家庭构成的总体总体回归函数●在抽样中，自变量x的取值是固定的，即x是非随机的；因变量y是随机的。

即当解释变量X取某固定值时，Y的值不确定，Y的不同取值形成一定的分布，这是Y的条件分布。回归线，描述的是Y的条件期望E（Y/xi）与之对应xi，代表这些Y的条件期望的点的轨迹所形成的直线或曲线。如注意：

由于单个数据点是从y的分布中抽出来的，可能不在这条回归线上，因此必须包含随机误差项e来描述模型数据点

注意：假定xE(y)=

0+

1xy回归线回归模型的基本假设p252假设1：误差项的期望值为0，即对所有的i有假设2：误差项的方差为常数，即对所有的i有假设3：误差项之间不存在自相关关系，其协方差为0，即当时，有；假设4：自变量是给定的变量，与随机误差项线性无关；假设5：随机误差项服从正态分布。即ε~N(0,σ2)以上这些基本假设是德国数学家高斯最早提出的，故也称为高斯假定或标准假定。回归方程(regressionequation)

描述y的平均值或期望值如何依赖于x的方程称为回归方程一元线性回归方程的形式如下

E(y)=

0+

1x方程的图示是一条直线，也称为直线回归方程

0是回归直线在y轴上的截距，是当x=0时y的期望值

1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值.估计的回归方程(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必须利用样本数据去估计其中：是估计的回归直线在y

轴上的截距，是直线的斜率，它表示对于一个给定的x

的值，是y

的估计值，也表示x

每变动一个单位时，y的平均变动值

.参数的最小二乘(平方)法的估计

(ordinaryleastsquaresestimators)使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小平方法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线的误差都小2024/3/1937参数的最小二乘估计2024/3/1938参数的最小二乘估计记住啦！p2532024/3/1939参数的最小二乘估计p2532024/3/1940用Excel进行回归分析第1步：选择“工具”下拉菜单第2步：选择“数据分析”选项第3步：在分析工具中选择“回归”，然后选择“确定”第4步：当对话框出现时

在“Y值输入区域”设置框内键入Y的数据区域在“X值输入区域”设置框内键入X的数据区域在“置信度”选项中给出所需的数值在“输出选项”中选择输出区域在“残差”分析选项中选择所需的选项2024/3/1941(二)最小二乘估计量的性质p254

最小二乘法是多种估计方法中的一种。按最小二乘法求得的总体回归系数的估计值被称为最小二乘估计量。最小二乘估计量的形式是不变的，但根据所选取的样本不同，的具体数值会随之变化，因此它是一种随机变量。可以证明，在基本假设能够得到满足的条件下，回归系数的最小二乘估计量的期望值等于真值，即有2024/3/1942最小二乘估计量的性质2024/3/1943(三)回归系数的区间估计p2552024/3/1944回归系数的区间估计2024/3/1945回归系数的区间估计2024/3/1946(四)总体方差的估计p2552024/3/1947总体方差的估计回归标准差2024/3/1948总体方差的估计p2562024/3/1949

三、显著性检验p2572024/3/1950(一)F检验 P257F检验则主要用于检验整个回归方程是否有效。对于一元线性回归模型，由于只有一个回归系数，两种检验所得的结果是相同的。但对于多元线性回归模型则不同，t检验与F检验的结果可能相同也可能不相同，即会出现各个回归系数能通过检验而整个回归方程却不一定能够通过检验的情形，或者出现相反的情形。F检验的主要目的在于分析各个因变量值与其均值离差平方和中，由于自变量与因变量之间的回归关系所产生的影响情况。(一)F检验p258离差平方和的分解(三个平方和的关系)SST=SSR+SSESST:sumofsquaresfortotalSSR:sumofsquaresforregressionSSE:sumofsquaresforerror总平方和(SST){回归平方和(SSR)残差平方和(SSE){{1.总平方和(SST)反映因变量的n个观察值与其均值的总离差2.回归平方和(SSR）（SSR：sumofsquaresforregression)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和3.残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和三个平方和的意义F检验的步骤p259提出假设H0：

1=0线性关系不显著2.计算检验统计量F确定显著性水平

，并根据分子自由度1和分母自由度n-2找出临界值F

作出决策：若F>F

,拒绝H0；若F<F

,不能拒绝H0P代表自变量的个数(二)样本决定系数r2p260(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

r2

1，说明回归方程拟合的越好；r2

0，说明回归方程拟合的越差样本决定(判定)系数等于相关系数的平方样本决定系数与相关系数的关系：

联系：数值上判定(可决)系数是相关系数的平方

区别：判定系数相关系数

就模型而言就两个变量而言说明解释变量对因变说明两变量线性依存程度量的解释程度

取值有非负性取值-1≦r≦1可正可负2024/3/1956F检验2024/3/1957F检验2024/3/1958(三)t检验2024/3/1959t检验2024/3/1960t检验2024/3/1961四、回归模型的应用p262（一）单值预测法2024/3/1962回归模型的应用p2622024/3/1963回归模型的应用2024/3/1964回归模型的应用2024/3/1965回归模型的应用

回归模型的应用

2.因变量平均值的置信区间2024/3/1967回归模型的应用2024/3/1968五、统计软件SPSS应用这部分内容详见教材p265-2672024/3/1969第三节多元线性回归分析p267一、多元线性回归模型二、多元线性回归模型的估计四、拟合优度检验五、偏相关系数与复相关系数六、多元线性回归模型预测与案例分析2024/3/1970一、多元线性回归模型

因为客观现象非常复杂，现象之间的联系方式和性质各不相同，影响因变量变化的自变量往往是多个而不只是一个，其中既有主要因素也有次要因素。如果仅仅进行一元回归分析，不一定能得到满意的结果。因此，有必要将一个因变量与多个自变量联系起来进行分析。在线性相关条件下，研究两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学表达式则称为多元线性回归方程或多元线性回归模型。2024/3/1971一、多元线性回归模型2024/3/1972多元线性回归模型的一般形式

2024/3/1973多元线性回归模型的一般形式2024/3/1974(二)多元线性回归模型的基本假定2024/3/1975(三)多元线性回归方程的解释2024/3/1976多元线性回归方程的解释2024/3/1977二、多元线性回归模型的估计2024/3/1978回归系数的估计

2024/3/1979回归系数的估计2024/3/1980回归系数的估计2024/3/1981(二)最小二乘估计量的性质2024/3/1982最小二乘估计量的性质2024/3/1983(三)总体方差的估计2024/3/1984三、多元线性回归模型的检验2024/3/1985回归系数的显著性检验(t检验)2024/3/1986回归系数的显著性检验(t检验)2024/3/1987(二)回归方程显著性的F检验2024/3/1988回归方程显著性的F检验2024/3/1989(三)回归系数的置信区间2024/3/1990四、拟合优度检验2024/3/1991拟合优度检验2024/3/1992五、偏相关系数与复相关系数

在测定简单相关系数时，仅考虑一个自变量和一个因变量之间的相关关系，不考虑其他自变量对因变量的影响；在测定两个特定变量的偏相关系数时，要考虑其他自变量对因变量的影响，只不过是将其他自变量控制起来作为常数处理，以便揭示两个特定变量之间的相关程度。但是，计算偏相关系数时需要以各有关相关系数为依据。偏相关系数的数值和简单相关系数的数值常常不同，有时两者的正负号也不相同。2024/3/1993偏相关系数与复相关系数2024/3/1994偏相关系数与复相关系数2024/3/1995六、多元线性回归模型预测2024/3/1996多元线性回归模型预测2024/3/1997

七、案例分析详见教材2024/3/1998第四节非线性回归分析p281-285

一、非线性回归分析的意义二、非线性函数的主要形式及其线性化方法三、非线性回归案例分析2024/3/1999一、非线性回归分析的意义

在现实生活中，非线性关系却是大量存在的。在许多场合，非线性的回归函数比线性回归函数更能够正确地反映客观现象之间的相互关系。非线性回归分析必须解决两个主要问题：一是如何确定非线性回归函数的具体形式；二是如何估计函数中的参数。2024/3/19100二、非线性函数的主要形式及其线性化方法2024/3/19101二、非线性函数的主要形式及其线性化方法2024/3/19102二、非线性函数的主要形式及其线性化方法2024/3/19103二、非线性函数的主要形式及其线性化方法2024/3/19104二、非线性函数的主要形