统计学-第七章相关与回归分析

第七章相关与回归分析制作时间：2004—2005内容提要1、相关关系的概念与种类2、相关分析3、一元线性回归分析4、多元线性回归分析5、曲线回归分析学习目标1. 理解相关关系的概念掌握线性回归的基本原理和参数的最小二乘估计掌握回归直线的拟合优度掌握回归方程的显著性检验利用回归方程进行估计和预测用Excel

进行回归分析第一节相关关系概述一、变量间的关系（一）函数关系是一一对应的确定关系设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x

，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上

xy函数关系

(几个例子)

函数关系的例子某种商品的销售额y与销售量x之间的关系可表示为y=px

(p为单价)圆的面积S与半径之间的关系可表示为S=

R2

企业的原材料消耗额y与产量x1、单位产量消耗x2、原材料价格x3之间的关系可表示为

y=x1x2x3

（二）相关关系

(correlation)变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量y的取值可能有几个各观测点分布在直线周围

xy相关关系

(几个例子)

相关关系的例子父亲身高y与子女身高x之间的关系收入水平y与受教育程度x之间的关系粮食亩产量y与施肥量x1、降雨量x2、温度x3之间的关系商品的消费量y与居民收入x之间的关系商品销售额y与广告费支出x之间的关系二、相关关系的种类

相关关系的种类单项关1、按相关的形式分为：线性相关非线性相关2、按所研究的变量多少分为：复相关3、按相关的方向分为：正相关负相关4、按相关的程度分为：完全相关不完全相关不相关偏相关散点图

(scatterdiagram)

不相关

负线性相关

正线性相关

非线性相关

完全负线性相关完全正线性相关

三、相关关系分析的方法（一）相关分析1、相关分析主要用于测定具有相关关系的变量之间相互关系的密切程度。2、是回归分析的基础。3、分析方法主要有：绘制散点图、编制相关表、计算项关系数等。（二）回归分析

(Regression)研究具有相关关系的变量值之间一般的数量变动关系，即自变量发生变化时，因变量平均会发生多大的变化。通过建立回归方程来完成分析。回归方程除可用于研究相关变量之间的一般数量变动关系外，还常用于进行预测，即根据一个或几个变量的取值来预测或控制另一个相关变量的取值，并给出这种预测或控制的精确程度回归模型的类型（三）回归分析与相关分析的区别相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量之间的一般数量变动关系，还可以由回归方程进行预测和控制。相关分析中，变量x

变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x

可以是随机变量，也可以是非随机的确定变量第二节相关分析一、相关表和相关图相关表与相关图

（概念要点）1、相关表和相关图是研究相关关系的直观工具。一般在进行详细的定量分析之前，可以利用它们对现象之间存在的相关关系的方向、形式和密切程度做大致的判断。2、相关表是一种反映变量之间相关关系的统计表。它是将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。3、相关图又称散点图。它是以直角坐标系的横轴代表变量X，纵轴代表Y，将两个变量间相应的变量值用坐标点的形式描绘出来，用来反应量变量之间相关关系的图形。相关表

（举例分析）家庭编号12345678910可支配收入25186045628892997598可支配收入18254560627588929899

居民收入和消费的原始资料计量单位：百元

居民消费和收入相关表计量单位：百元消费支出20154030426065705378消费支出15203040425360657870散点图

(例题分析)【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据散点图

(例题分析)散点图

(例题分析)二、相关系数及其检验相关系数

(correlationcoefficient)对变量之间关系密切程度的测度值（指标）对两个变量之间线性相关程度的度量称为单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为

，若是根据样本数据计算的，则称为样本相关系数，记为r相关系数

(计算公式)

样本相关系数的计算公式或化简为相关系数

(取值及其意义)

r

的取值范围是[-1,1]

|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关关系-1

r<0，为负相关

0<r

1，为正相关

|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数

(取值及其意义)-1.0+1.00-0.5+0.5完全负相关无线性相关完全正相关负相关程度增加r正相关程度增加相关系数

(例题分析)

用Excel计算相关系数相关系数的显著性检验相关系数的显著性检验

(r的抽样分布)1. r的抽样分布随总体相关系数和样本容量的大小而变化当样本数据来自正态总体时，随着n的增大，r的抽样分布趋于正态分布，尤其是在总体相关系数

很小或接近0时，趋于正态分布的趋势非常明显。而当

远离0时，除非n非常大，否则r的抽样分布呈现一定的偏态。当

为较大的正值时，r呈现左偏分布；当

为较小的负值时，r呈现右偏分布。只有当

接近于0，而样本容量n很大时，才能认为r是接近于正态分布的随机变量1-10

=0.8r的抽样分布P接近0时样本相关系数r的分布1-10

=0.8r的抽样分布P接近1时样本相关系数r的分布1-10

=-0.8r的抽样分布P接近-1时样本相关系数r的分布相关系数的显著性检验

(检验的步骤)1. 检验两个变量之间是否存在线性相关关系由于对r的正态性假设具有很大的风险，因此通常情况下，不采用正态检验，而采用R.A.Fisher提出的t检验，该检验可用于小样本，也可用于大样本。检验的步骤为提出假设：H0：

；H1：

0计算检验的统计量：确定显著性水平，并作出决策若t>t

，拒绝H0

若t<t

，不能拒绝H0相关系数的显著性检验

(例题分析)

对不良贷款与贷款余额之间的相关系数进行显著性检(

0.05)提出假设：H0：

；H1：

0计算检验的统计量3.根据显著性水平

＝0.05，查t分布表得t

(n-2)=2.0687由于t=7.5344>t

(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系相关系数的显著性检验

(例题分析)各相关系数检验的统计量第三节一元线性回归一、一元线性回归与函数模型一元线性回归函数一元线性回归模型总体样本（一）一元线性回归函数与模型的数学表达式

0是回归直线在y轴上的截距，是当x=0时y的期望值。

1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值。XYX1X2X3X4（二）一元线性回归函数与模型意义的图形解释（三）一元线性回归模型的基本假定1.误差项u是一个期望值为0的正态分布随机变量，即2.对于所有的x值，u的方差σ2都相同，即3.对于一个特定的x值，它所对应的u与其他x值所对应的u不相关。即4.对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关XYX1X2X3X4回归模型基本假定的图形解释（四）样本回归方程与总体回归方程的联系与区别联系：样本回归方程与总体回归方程具有相同的形式，且样本回归模型是作为总体回归模型的估计而存在的。区别：1、总体回归线是未知的，并且只有一条。而样本回归线则是根据样本数据拟合的，每抽取一个样本，便可以拟合一条回归线。2、总体回归方程中的参数是未知的，但它是确定的。而样本回归方程中的参数是随机变量，随样本的不同而不同。3、总体回归模型中的ui是（因变量实际观测值）Yi与总体回归线之间的纵向距离，它是不可直接观测的。而样本回归模型中ei是Yi与样本回归线之间的纵向距离，当根据样本数据拟合出样本回归线之后，可以计算出ei的具体数值。二、模型参数的估计（一）回归系数的估计

—最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小最小二乘估计

(图示)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘法

(

和的计算公式)

根据最小二乘法的要求，可得求解和的公式如下最小二乘法

(例题分析)【例】求不良贷款对贷款余额的回归（方程）函数回归方程为：y=-0.8295

+0.037895

x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元

^最小二乘法

(例题分析)不良贷款对贷款余额回归方程的图示（二）总体方差的估计

此外，S2的正平方根有叫做回归估计的标准差。S越小，回归线的代表性越强，否则相反。除了β1和β2，一元线性回归模型还包括另外一个未知参数，那就是总体随机误差项的方差б2。б2可以反映理论模型误差的大小，它是检验模型时，必须利用的一个重要参数。由于б2本身不能直接观测，因而需要用∑et2（最小二乘残差）来估计б2。可以证明б2的无偏估计为：用Excel进行回归分析第1步：选择“工具”下拉菜单第2步：选择“数据分析”选项第3步：在分析工具中选择“回归”，然后选择“确定”第4步：当对话框出现时

在“Y值输入区域”设置框内键入Y的数据区域在“X值输入区域”设置框内键入X的数据区域在“置信度”选项中给出所需的数值在“输出选项”中选择输出区域在“残差”分析选项中选择所需的选项

用Excel进行回归分析三、回归模型的检验1、经济理论检验经济理论检验主要涉及估计值的符号和取值区间。如果它们与实质性科学的理论以及人们的实践经验不相符合，就说明模型不能很好的解释现实现象。其原因可能是样本偏小，不能代表总体或不能满足标准回归分析所要求的假定条件。2、统计检验（一级检验）统计检验是利用统计学中的抽样理论检验样本回归方程的可靠性，包括拟合优度检验和显著性检验。统计检验是所有现象进行回归分析时都必须进行的检验。3、计量经济学检验（二级检验）计量经济学检验是对标准回归方程的假定条件能否得到满足进行检验。（一）模型检验的内容（二）模型拟合优度检验拟合优度检验是检验样本回归方程对样本观测值代表性大小。衡量这一问题的指标称为可决系数（决定系数），其数学表达式为：

（RegressionSumofSquare）（ResidualSumofSquare）（TotalDeviationSumofSquare）1、概念及公式离差平方和的分解

（变差）因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示变差的分解

(图示)xyy{}}

离差平方和的分解

(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{离差平方和的分解

(三个平方和的意义)总平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和2、可决系数r2的特性（1）具有非负性（2）r2的值越接近1，SSR越接近SST,即说明回归方程对实际观测值的拟合程度愈好，否则相反。（3）可决系数是样本观测值的函数，它也是一个随机变量。（4）可决系数的平方根为相关系数，用公式表示为：

可决系数r2

(例题分析)【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系（三）显著性检验显著性检验（概念要点）回归分析中的显著性检验包括两方面的内容：一是对各回归系数的显著性检验；对于回归系数的显著性检验通常采用t检验，二是对整个回归方程的显著性检验。对回归方程的显著性检验则是在方差分析的基础上采用F检验。在一元线性回归模型中，由于只有一个自变量X，对=0的t检验与整个方程的F检验是等价的。所以这里只介绍回归系数的显著性检验，关于回归方程的显著性检验将在多元统计分析中介绍。（三）回归系数的检验回归系数的检验

（概念要点）2.检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著3.理论基础是回归系数

的抽样分布,

1.就是根据样本估计的结果对总体回归系数的是否为0进行假设检验。回归系数的检验

(样本统计量的分布)

是根据最小二乘法求出的样本统计量，它是一个随机变量,有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于

未知，需用其估计量sy来代替得到的估计的标准差回归系数的检验

(检验步骤)提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量确定显著性水平

，并进行决策

t>t

，拒绝H0；t<t

，不能拒绝H00回归系数的检验

(例题分析)

对例题的回归系数进行显著性检验(

＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t

=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系回归系数的检验

(例题分析)

P值的应用P=0.000000<

=0.05，拒绝原假设，不良贷款与贷款余额之间有线性关系Excel输出的部分回归结果R2）四、利用样本回归函数方程式进行估计和预测利用回归函数方程进行

估计和预测根据自变量x

的取值估计或预测因变量y的取值估计或预测的类型点估计y的平均值的点估计y的个别值的点估计区间估计y的平均值的置信区间估计y的个别值的预测区间估计（一）点估计点估计2.点估计值有y的平均值的点估计y的个别值的点估计在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同对于自变量x的一个给定值x0，根据回归方程得到因变量y的一个估计值

y的平均值的点估计

利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的一个估计值E(y0)，就是平均值的点估计在前面的例子中，假如我们要估计贷款余额为100亿元时，所有分行不良贷款的平均值，就是平均值的点估计。根据估计的回归方程得y的个别值的点估计

利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的一个个别值的估计值，就是个别值的点估计例如，如果我们只是想知道贷款余额为72.8亿元的那个分行(这里是编号为10的那个分行)的不良贷款是多少，则属于个别值的点估计。根据估计的回归方程得（二）区间估计区间估计与预测点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型均值的预测区间(confidenceintervalestimate)个别值的预测区间(predictionintervalestimate)均值的区间估计利用样本回归函数方程，对于自变量

x的一个给定值x0

，求出因变量y

的平均值的估计区间

，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-

置信水平下的置信区间为式中：sy为估计标准误差均值的区间估计

(例题分析)

【例】求出贷款余额为100亿元时，不良贷款95%置信水平下的置信区间

解：根据前面的计算结果，已知n=25，sy=1.9799，t

(25-2)=2.0687置信区间为当贷款余额为100亿元时，不良贷款的平均值在2.1422亿元到3.7778亿元之间个别值的预测区间利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-

置信水平下的预测区间为注意！预测区间估计

(例题分析)【例】求出贷款余额为100亿元时，不良贷款95%置信水平下的预测区间

解：根据前面的计算结果，已知n=25，sy=1.9799，t

(25-2)=2.0687置信区间为贷款余额为72.8亿元的那个分行，其不良贷款的预测区间在-2.2467亿元到6.1067亿元之间影响区间宽度的因素置信水平(1-

)区间宽度随置信水平的增大而增大数据的离散程度s区间宽度随离散程度的增大而增大3. 样本容量区间宽度随样本容量的增大而减小4. 用于预测的xp与

x的差异程度区间宽度随xp与

x的差异程度的增大而增大置信区间、预测区间、回归方程xpyx

x预测上限置信上限预测下限置信下限第四节多元线性回归一、多元回归模型与回归函数总体多元回归模型

(multipleregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1，x2，…，

xp

和误差项

的方程，称为多元回归模型涉及p个自变量的多元回归模型可表示为

b0

，b1，b2

，，bp是参数

是被称为误差项的随机变量

y是x1,，x2

，

，xp

的线性函数加上误差项

包含在y里面但不能被p个自变量的线性关系所解释的变异性总体多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变量，即E(

)=0对于自变量x1，x2，…，xp的所有值，

的方差

2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,

2)，且相互独立总体多元回归函数

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xp的方程多元线性回归方程的形式为

E(y)=

0+

1x1

+

2x2

+…+

p

xp

b1，b2，，bp称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均平均变动值二元回归方程的直观解释二元线性回归模型(观察到的y)回归面

0

ix1yx2(x1,x2)}样本多元回归函数

(estimatedmultipleregressionequation)是估计值是y

的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为样本多元回归函数的矩阵表达式矩阵形式二、参数的最小二乘估计参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即参数的最小二乘法

(例题分析)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义

用Excel进行回归三、模型的检验（一）拟合优度检验复可决系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例修正的可决系数

(adjustedmultiplecoefficientofdetermination)

用样本容量n和自变量的个数p去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2

Excel输出结果的分析估计标准误差Sy对误差项

的标准差

的一个估计值衡量多元回归函数方程的拟合优度计算公式为

Excel输出结果的分析（二）线性关系检验线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系线性关系检验提出假设H0：

1

2

p=0线性关系不显著H1：

1，

2，，

p至少有一个不等于02.计算检验统计量F确定显著性水平

和分子自由度p、分母自由度

n-p-1找出临界值F

4.作出决策：若F>F

，拒绝H0

Excel输出结果的分析（三）回归系数检验和推断回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第一类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量回归系数的检验

(步骤)提