统计学第七章相关回归分析

统计学第七章相关回归分析第一页，共七十六页，编辑于2023年，星期一第一节相关分析的基本问题一、相关关系与函数关系二、相关关系的种类三、相关分析的主要内容第二页，共七十六页，编辑于2023年，星期一寻找变量间的关系是科学研究的首要目的。变量间的关系最简单的划分即:有关与无关。在统计学上，我们通常这样判断变量之间是否有关：如果一个变量的取值发生变化，另外一个变量的取值也相应发生变化，则这两个变量有关。如果一个变量的变化不引起另一个变量的变化则二者无关。第三页，共七十六页，编辑于2023年，星期一现象之间的相互关系，可以概括为两种不同的类型：（一）函数关系（二）相关关系第四页，共七十六页，编辑于2023年，星期一

函数关系是指现象之间存在确定性的数量依存关系。在这种关系中，当某一变量或某些变量取任意一个值时，另一变量都会有一个确定值与之严格对应，并且这种对应关系可以用一个数学表达式来反映。两个变量x与y之间的函数关系一般可以表示为：

一、相关关系与函数关系

第五页，共七十六页，编辑于2023年，星期一函数关系：1、是一一对应的确定关系2、设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量3、各观测点落在一条线上xy第六页，共七十六页，编辑于2023年，星期一某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)圆的面积(S)与半径之间的关系可表示为S=R2

[例]第七页，共七十六页，编辑于2023年，星期一

相关关系，也称统计相关，是指现象之间存在的非确定性的数量依存关系。即现象之间虽然存在着数量依存关系，一个现象数量上发生变化时，另一个现象数量水平也会相应地发生变化。但这种数量变化关系并不是严格一一对应的，当一个变量数值确定时，另—个变量可能有许多个可能的取值与之相对应，这些数值围绕着它们的平均数上下波动。相关关系的数学—般形式为：(ε为随机误差项，用于反映随机因素对y的影响)一、相关关系与函数关系

第八页，共七十六页，编辑于2023年，星期一相关关系1、变量间关系不能用函数关系精确表达2、一个变量的取值不能由另一个变量唯一确定3、当变量x取某个值时，变量y的取值可能有几个4、各观测点分布在直线周围xy第九页，共七十六页，编辑于2023年，星期一商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系[例]第十页，共七十六页，编辑于2023年，星期一按相关关系涉及的变量（或因素）的多少

按变量之间相互关系的表现形式按变量之间的相互关系的方法或性质不同

按变量之间的相关程度不同

单相关复相关线性相关非线性相关正相关负相关完全相关不相关不完全相关二、相关关系的种类第十一页，共七十六页，编辑于2023年，星期一是一个因变量与一个自变量的相关，也称为一元相关。单相关是一个因变量与两个或更多个自变量之间的相关，也称为多元相关。复相关第十二页，共七十六页，编辑于2023年，星期一变量之间的关系为线性关系。线性相关变量之间的关系为非线性关系。非线性相关第十三页，共七十六页，编辑于2023年，星期一当自变量X值增加，因变量Y值也随之增加，这样的相关关系就是正相关。当自变量X的值增加时，因变量Y的值随之而减少，这样的相关关系就是负相关。正相关负相关第十四页，共七十六页，编辑于2023年，星期一完全相关当一个现象的数量变化完全由另一个现象的数量变化所确定时，称这两种现象的关系为完全相关不相关当两个现象彼此互不影响，其数量变化各自独立时，称为不相关现象。不完全相关两个现象之间的关系介于完全相关和不相关之间，称为不完全相关。它是相关关系的主要表现形式。第十五页，共七十六页，编辑于2023年，星期一完全正线性相关完全负线性相关非线性相关正线性相关负线性相关

不相关第十六页，共七十六页，编辑于2023年，星期一广义上讲，对两个或两个以上现象之间数量上的不确定性依存关系进行的统计分析，即为相关分析。

具体来说，相关分析的内容有：（一）判断确定现象之间有无关系以及相关关系的具体表现形式。（二）确定相关关系的密切程度：根据变量数据的类型，选择适当的方法，计算出相关系数。三、相关分析的主要内容第十七页，共七十六页，编辑于2023年，星期一（三）检验现象统计相关的显著性，包括检验相关关系的存在性、检验相关关系强度是否达到一定水平，检验两对现象相关程度的差异性，估计相关系数的取值。（四）广义地说，相关关系分析还包括对相关关系的数学形式加以描述，即拟合回归方程，检验回归方程的合理性，并且应用回归模型进行统计分析与预测和控制。三、相关分析的主要内容

第十八页，共七十六页，编辑于2023年，星期一第二节相关关系的测度

一、相关关系一般判断

二、相关系数的测定

第十九页，共七十六页，编辑于2023年，星期一

判断现象之间有没有相关关系，是进行相关分析的前提和出发点。（一）定性分析在研究相关关系时，应根据一定的经济理论和实践经验的总结，对社会经济现象进行科学的定性分析，以判断它们之间是否具有相关关系以及相关关系的类型。只有在定性分析的基础上，才能进一步从数量上来测定现象之间的相关关系及相关的密切程度。这是判断相关关系的一种重要方法，也是相关分析的重要前提。一、相关关系一般判断第二十页，共七十六页，编辑于2023年，星期一（二）相关表和相关图若经过调查已获得现象的数据资料，可通过编制相关表和绘制相关图来分析数据变动的规律，判断现象之间的相关性。具体方法如下：一、相关关系一般判断第二十一页，共七十六页，编辑于2023年，星期一1、简单相关表

利用未分组的原始资料，将两个现象的变量值一一对应地填列在同一张表格上，这种表就叫简单相关表，简单相关表适用于资料的项数较少的情况。年份销售额（万元）流通费用（万元）19981999200020012002200320042005200610163240741201972463451.83.15.27.710.413.318.821.228.3表7-1销售额与流通费用相关表图7-2某企业销售额与流通费用的散点图第二十二页，共七十六页，编辑于2023年，星期一分析：从表7-1可以直观地看出，随着企业销售额的增加，流通费用呈现增长的趋势。显然，该企业销售额与流通费用之间存在着相关关系。从图7-2可以看到，图中各个点虽不完全在一条直线上，但可以认为，该企业的销售额和流通费用之间有较强的直线相关关系。第二十三页，共七十六页，编辑于2023年，星期一2、分组相关表当原始资料较多，不再适合采用简单相关表时，可以编制分组相关表。分组相关表就是将原始资料进行分组而编制的相关表。它又可分为单变量分组相关表和双变量分组相关表两种。第二十四页，共七十六页，编辑于2023年，星期一（1）单变量分组表

只对自变量进行分组，因变量不分组，只是计算出其次数和平均数，这种表称为单变量分组表。

家庭月收入（元）家庭户数（户）家庭月平均支出（元）8000以上7000～80006000～70005000～60004000～50003000～40002000～30001000～20001000以下

3369834201163025282026522486225519601536976662表7-2某市家庭收入与消费支出相关表图7-3家庭收入与家庭消费支出的相关图第二十五页，共七十六页，编辑于2023年，星期一分析：从表7-2和图7-3可以清楚的看到，家庭收入与家庭消费支出之间存在相关关系，家庭消费支出随着家庭收入的增加而增加，并且基本呈现出直线相关的形态。（2）双变量分组表将自变量和因变量都进行分组制成的表称为双变量分组表。双变量分组表适用于对大量复杂数据的处理和分析。如下表：第二十六页，共七十六页，编辑于2023年，星期一家庭月收入（元）家庭月支出（元）合计500以下500~10001000~15001500~20002000~25002500~30003000以上8000以上7000～80006000～70005000～60004000～50003000～40002000～30001000～20001000以下23145316942114713551321221111336983420116合计51320242783100

从表7-3也可以看出，100户家庭分布在不同的收入和支出区间内，在表中形成一个大致向右上方倾斜的数据分布带，可见家庭收入与消费支出之间有较强的正相关关系。第二十七页，共七十六页，编辑于2023年，星期一

对于单相关情况，相关系数测定方法与相关指标量化级别有关。对于定距变量或定比变量，通常采用皮尔逊线性相关系数公式测量相关密切程度，对于定序变量，通常采用斯皮尔曼等级相关或肯特尔等级相关系数公式测量相关密切程度，对于定类变量，则常常采用列联系数等来测量相关密切程度。

二、相关系数的测定第二十八页，共七十六页，编辑于2023年，星期一本节主要介绍常用的皮尔逊直线相关系数的具体计算。通过相关图表可以了解现象之间是否具有相关关系，但要想更具体地了解现象之间的相关密切程度，必须进一步测定相关系数。第二十九页，共七十六页，编辑于2023年，星期一相关系数概念

１、是度量变量之間关系強度的一統計量。２、度量两个变量是否线性相关且相关关系密切程度的指标，称为简单相关系数。３、若相关系数是根据总体全部数据计算的，称为总体相关系数，记为p４、若相关系数是根据样本数据计算的，则称为样本相关系数，记为r第三十页，共七十六页，编辑于2023年，星期一（一）直线相关系数的计算

对于定距尺度的连续变量x和y，测定它们之间的线性相关关系最常用的方法是采用皮尔逊（Pearson）相关系数。根据资料情况不同，有不同的计算形式。其中的积差法是最基本表达式。第三十一页，共七十六页，编辑于2023年，星期一1、积差法Pearson相关系数的基本公式可定义为：式中，——直线相关系数；

——变量数列x的标准差；

——变量数列y的标准差；

——变量数列x与y的协方差。

（7-3）

据此，式（7-3）可写成下式：第三十二页，共七十六页，编辑于2023年，星期一（7-4）

第三十三页，共七十六页，编辑于2023年，星期一2、相关系数r的简捷计算方法积差法在计算过程中要使用两个数列的平均数，当平均数的小数位很多或除不尽时，计算会比较繁杂且影响最终结果的精确性。因此，计算相关系数常常采用其简捷公式：（7-5）

第三十四页，共七十六页，编辑于2023年，星期一r的取值有一定的范围，在－1和＋1之间。r的正负号只表示相关的方向，不表示相关程度的大小，“+”号即表示正相关，“-”号表示负相关。相关程度的大小要看相关系数绝对值的大小。越接近于1，表示相关密切程度越强，越接近于0，表示相关密切程度越弱。r=0时，表示不存在线性关系；

|r|＝1表示两个变量完全线性相关，当r=1时，就表示变量之间为完全正线性相关。r=-1时则表示完全负线性相关。第三十五页，共七十六页，编辑于2023年，星期一0<|r|<1表示存在不同程度的线性相关。当r的取值在0~0.3之间时，表示微弱相关(可视为不相关），r的取值在0.3~0.5之间时，表示低度相关；r的取值在0.5~0.8之间时，表示显著相关（也称为中度相关）；r的取值在0.8~1之间时，表示高度相关。第三十六页，共七十六页，编辑于2023年，星期一1.|r|³0.8时，可视为两个变量之间高度相关2.0.5£|r|<0.8时，可视为中度相关3.0.3£|r|<0.5时，视为低度相关4.|r|<0.3时，说明两个变量之间的相关程度极弱，可视为不相关5.上述解释必须建立在对相关系数的显著性进行检验的基础之上PDF文第三十七页，共七十六页，编辑于2023年，星期一4、直线相关系数r的统计检验

上述相关系数是基于样本计算的，是对总体相关系数的估计。因此需要对相关系数的显著性进行统计检验。检验的内容包括两部分：一是总体线性相关的存在性检验，即检验总体线性相关系数是否为零；二是总体线性相关差异性检验，检验某一总体线性相关程度是否等于（或者单侧检验大于或小于）某一指定值，以及检验两个相关系数是否来自同一相关总体。本节只讨论第一种情况。第三十八页，共七十六页，编辑于2023年，星期一线性相关的显著性检验相关系数的显著性检验（t检验法）目的检验总体两变量间线性相关性是否显著步骤⒈提出假设：⒉构造检验统计量：第三十九页，共七十六页，编辑于2023年，星期一步骤３、根据给定的显著性水平，找到相应的临界值；确定拒绝域。４、计算检验统计量并做出决策。若，则接受H0,表示总体两变量间线性相关性不显著;若，则拒绝H0,表示总体两变量间线性相关性显著。第四十页，共七十六页，编辑于2023年，星期一学生身高体重估计值ABCDEFGHIJ1581601621641661681701721741764750485562605261706524964256002624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.2949.4551.6153.7655.9258.0860.2462.3964.5566.71-9.71-7.55-5.39-3.24-1.081.083.245.397.559.71-10-7-9-253-5413816705702792203303295546-00［例］第四十一页，共七十六页，编辑于2023年，星期一解相关系数的显著性检验：１、提出假设：⒉构造检验统计量：第四十二页，共七十六页，编辑于2023年，星期一３、根据给定的显著性水平，找到相应的临界值；确定拒绝域。４、计算检验统计量并做出决策。拒绝域为:（－∞，－２.３１﹞(２.３１,＋∞，)结论：则拒绝H0,表示总体两变量间线性相关性显著。第四十三页，共七十六页，编辑于2023年，星期一

最后应该指出，相关分析只能说明两个变量之间的相互依存关系，并不一定代表因果关系。因此，在计算相关系数之前，一般要先做定性分析，否则就有可能因为数据的偶然巧合，得到较高的相关系数，从而把虚假相关视为可信的相关。第四十四页，共七十六页，编辑于2023年，星期一第三节回归分析的基本问题

一、回归分析的概念

二、回归分析的主要内容三、回归分析的特点四、回归分析模型的种类

第四十五页，共七十六页，编辑于2023年，星期一

在社会经济现象中，各种经济变量相互联系，相互制约。通过相关分析，可以分析现象之间相关关系的方向和相关的密切程度。但相关分析不能判断现象之间具体的数量变动依存关系，也不能根据相关系数来估计或预测因变量y可能发生的数值。因此，为了探求经济变量之间的具体数量变动关系，一般在相关分析的基础上再进行回归分析。

一、回归分析的概念第四十六页，共七十六页，编辑于2023年，星期一

回归分析就是对具有相关关系的两个或两个以上变量之间数量变化的一般关系进行测定，确定因变量和自变量之间数量变动关系的数学表达式，以便对因变量进行估计或预测的统计分析方法。回归分析是在相关分析的基础上，进一步研究现象之间的数量变化规律。一、回归分析的概念

第四十七页，共七十六页，编辑于2023年，星期一（1）根据研究目的和现象之间的内在联系，确定自变量和因变量现象之间除了有相关关系，还存在着因果关系。作为原因的变量为自变量，作为结果的变量为因变量。必要时，需要对自变量进行筛选（如采用逐步回归分析）、合并（如主成份回归），甚至于选择定性变量、设置虚拟变量等。（2）确定回归分析模型的类型及数学表达式；根据现象之间的内在影响机制或通过对具体变量数据描点分析，找出最适合的回归分析模型，再通过计算求出模型的待估参数，得到回归方程。二、回归分析的主要内容

第四十八页，共七十六页，编辑于2023年，星期一（3）对回归分析模型进行评价与诊断；得到具体的回归方程以后，要对其进行统计检验。（4）根据给定的自变量数值确定因变量的数值。回归方程可以用于统计估计或预测，即可根据给定的自变量数值估计因变量的数值或置信区间。以及利用回归模型进行回归控制。二、回归分析的主要内容

第四十九页，共七十六页，编辑于2023年，星期一（1）在两个或两个以上变量中，必须根据研究目的确定其中一个为因变量，其余为自变量。（2）在相关分析中，两个变量要求都是随机的；而在回归分析中，要求因变量是随机的，而自变量的值则是给定的。三、回归分析的特点

第五十页，共七十六页，编辑于2023年，星期一（3）若变量之间互为因果，或是没有明显因果关系，则可以求出两个回归方程。（4）回归方程有较强的应用性。根据回归方程的参数可以得出变量之间的具体数量变动关系；回归方程也可以用于估计推断。三、回归分析的特点

第五十一页，共七十六页，编辑于2023年，星期一按照具有相关关系的变量个数划分

按照变量间相互关系的形态划分简单回归分析模型多元回归分析模型

指只有一个自变量和一个因变量的回归分析模型

指由多个自变量和一个因变量组成的回归分析的模型，与简单回归分析模型相比，增加了自变量的个数，是对简单回归分析模型的拓展

非线性回归分析模型

线性回归分析模型

当变量之间关系的形态表现为线性相关时，拟合的模型称为线性回归分析模型，其模型表达式为线性回归方程当变量之间相互关系的形态表现为某种曲线趋势时，拟合的模型称为非线性回归分析模型，其模型表达式为某种曲线回归方程除上述分类外，根据简单回归和多元回归与直线回归和非直线回归的交叉结合，还可以进一步细分为简单线性回归和简单非线性回归，多元线性回归和多元非线性回归等不同类型。四、回归分析模型的种类第五十二页，共七十六页，编辑于2023年，星期一第四节回归分析的模型

一、简单线性回归分析二、多元线性回归模型三、非线性回归分析

第五十三页，共七十六页，编辑于2023年，星期一（一）简单线性回归模型简单线性回归模型在平面坐标图上表现为一条直线，所以也称为简单直线回归方程。简单线性回归方程的理论模型与估计模型可分别写成：

理论模型：y是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响，是不能由x和y之间的线性关系所解释的变异性

一、简单线性回归分析

第五十四页，共七十六页，编辑于2023年，星期一估计模型：（7-10）在数学分析中，上式中的、为回归参数或待定系数，a、b为相应的估计值。a、b值确定后，估计的直线方程就确定了，（7-10）称为y对x的直线回归方程。一、简单线性回归分析

第五十五页，共七十六页，编辑于2023年，星期一（二）参数估计拟合回归直线的主要任务是估计待定参数a、b的值，常用的方法就是最小二乘法，用这种方法求出的回归直线是原始数据的“最佳”拟合直线。

第五十六页，共七十六页，编辑于2023年，星期一（二）参数估计

xy(xt,yt)(x1,y1)(x2,y2)(x3,y3)｝et=yt-yt＾第五十七页，共七十六页，编辑于2023年，星期一找出最适合样本资料的一条直线，使预测值与观察值的差异最小。预测值或期望值yˆ与观察值yeˆ=y-yˆ由于残差值有正有负，无法正确测量出两者的距离，因此将残差值加以平方。我们的目标是要找出一条线，使每一个观察值与预测值的距离的平方和最小：使(e1ˆ2+e2ˆ2+e3ˆ2+...enˆ2)的值最小

第五十八页，共七十六页，编辑于2023年，星期一（二）参数估计最小二乘法的原理是使实际值y与估计值的离差平方和最小。得估计值为：

对斜率b的公式进行数学形式转换，可得到b的另一些表达形式：

而，所以

（7-20）

第五十九页，共七十六页，编辑于2023年，星期一课练：检查5位同学统计学的学习时间与成绩分数如下表：每周学习时数学习成绩每周学习时数（小时）学习成绩（分）

4671013

4050607090第六十页，共七十六页，编辑于2023年，星期一要求：（1）由此计算出学习时数与学习成绩之间的相关系数；（2）建立直线回归方程，并对回归系数的经济含义作出解释；第六十一页，共七十六页，编辑于2023年，星期一第六十二页，共七十六页，编辑于2023年，星期一

一元线性回归模型的检验1.从前面的讨论中已经知道，用最小二乘法得到的回归直线能够使所有散点到这条直线的垂直距离的平方和最小，但是这并不意味着这条直线已经完美的拟合了这些散点，就像是给方形的窗户装上一个圆形的玻璃，可以用“最小二乘法”找到一块最适合这个窗子的圆形玻璃，但安装了这块圆形玻璃的窗子未必能够完全遮风挡雨。2.因此，在得到回归直线后，还要对它的拟合程度进行严格地考察，只有当这种拟合程度高到一定程度时，才可以对现实作出合理的解释，并用来进行科学的预测。第六十三页，共七十六页，编辑于2023年，星期一

一元线性回归模型的检验

3.也就是说，当某个模型被选用时，我们实际上并不了解该模型是否适用，因此在利用该模型作进一步分析前，对其检验是非常必要的，使用的主要分析方法是我们已经接触过的方差分析法。4.利用方差分析的一些基本概念和方法，我们可以来求σ2的点估计值以及在所观测的样本数据中x和y之间的关联程度。第六十四页，共七十六页，编辑于2023年，星期一

一元线性回归模型的检验

回归模型的参数估计出来以后，还必须对其进行检验。如果通过检验发现模型有缺陷，则必须回到模型的设定阶段或参数估计阶段。重新选择因变量和自变量及其函数形式，或者对数据进行加工之后再次估计参数。回归模型的检验包括理论意义检验、一级检验和二级检验。回归模型检验的种类第六十五页，共七十六页，编辑于2023年，星期一

一元线性回归模型的检验

理论意义检验主要涉及参数估计的符号和取值区间，如果它们与实质性科学的理论以及人们的实践经验不相符，就说明模型不能很好地解释现实的现象。一级检验又称统计学检验，它是利用统计学中的抽样理论来检验样本回归法方程的可靠性，具体又可以分为拟合优度评价和显著性检验。一级检验是对所有现象进行回归分析是都必须通过的检验。二级检验又称经济计量学检验，它是对标准线性回归模型的假定条件能否得到满足进行检验。具体包括序列相关检验、异方差检验、多重共性检验。回归模型检验的种类第六十六页，共七十六页，编辑于2023年，星期一

回归方程拟合程度的评价

拟合优度：是指回归直线对观测值的拟合程度,即指样本观测值聚集在样本回归线周围的紧密程度。判断模型拟合优度优劣最常用的数量尺度是样本决定系数（又称决定系数），用符号r2表示，它是建立在对总离差平方和进行分解的基础上。利用方差分析的一些基本概念和方法，我们可以来求σ2的点估计值以及在所观测的样本数据中x和y之间的关联程度。第六十七页，共七十六页，编辑于2023年，星期一

1、因变量y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面：由于自变量x的取值不同造成的。除x以外的其他因素(如x对