第10章回归分析和相关分析

第十章回归分析和相关分析在生产和经营活动中，经常要对变量间关系进行分析，比如要研究商品价格的变化与商品销售量的变化之间的关系，广告费用支出与销售量之间的关系，居民收入对企业产品需求量的关系，农作物产量与施肥量之间的关系等等

由于在现实世界中关系无处不在，因而对关系的研究就显得非常有必要

第十章回归分析和相关分析

统计分析的目的在于如何根据统计数据确定变量之间的关系形态及其关联的程度，并探索出其内在的数量规律性

在对于关系的研究中发现，变量之间的关系形态可分为两种类型：一类是函数关系，另一类是相关关系第十章回归分析和相关分析函数关系：

函数是指现象之间是一种严格的确定性的依存关系具体表现为某一现象发生变化，另一现象也随之发生变化，而且有确定的值与之相对应比如用两个字母和分别代表两个变量，如果变量随变量一起变化，且完全依赖于，则称与之间为函数关系，记为

第十章回归分析和相关分析例如：银行的1年期存款利率为年息1.98％，存入的本金用表示，到期本息用表示，则（不考虑利息税）——线性函数关系

再如：企业的原材料消耗额与销售量、单位产品消耗、原材料价格之间的关系可表示为——非线性函数关系

第十章回归分析和相关分析相关关系：

相关关系是指客观现象之间确实存在的，但数量上不是严格对应的依存关系

例如：家庭的支出与其收入之间的关系；儿子的身高与他父亲的身高的关系；某种商品的销售量与其价格的关系；成本与利润的关系等

在这种关系中，对于某一现象的每一数值，可以有另一现象的若干数值与之相对应

第十章回归分析和相关分析又如：考查一个人的收入同他受教育水平这两个变量，受教育水平相同的人，他们的收入水平往往并不相同，同样，收入水平相同的人，他们受教育的水平也可能不同；因为受教育水平尽管与一个人的收入多少有密切关系，但它并不是影响收入的唯一因素，还有其他因素（如职业、工作年限等）的影响作用；因此，收入水平与受教育水平之间是一种相关关系

第十章回归分析和相关分析具有相关关系的某些现象可表现为因果关系，即某一或若干现象的变化是引起另一现象变化的原因，它是可以控制、给定的值，将其称为自变量；另一个现象的变化是自变量变化的结果，它是不确定的值，将其称为因变量

如资金投入与产值之间，前者为自变量，后者为因变量第十章回归分析和相关分析但具有相关关系的现象并不都表现为因果关系，如生产费用和生产量、商品的供求与价格等等这是由于相关关系比因果关系包括的范围更广泛

第十章回归分析和相关分析相关关系和函数关系既有区别，又有联系

有些函数关系往往因为有观察或测量误差以及各种随机因素的干扰等原因，在实际中常常通过相关关系表现出来而在研究相关关系时，其数量间的规律性了解得越深刻的时候，相关关系越有可能转化为函数关系或借助函数关系来表现

第十章回归分析和相关分析回归分析与相关分析是处理变量数据之间相关关系的一种统计方法相关分析可以判断两个或两个以上的变量之间是否存在相关关系、相关关系的方向、形态及相关关系的密切程度

回归分析是对具有相关关系现象间数量变化的规律性进行测定，确立一个回归方程，并对所建立的回归方程的有效性进行分析、判断，以便进一步进行估计和预测

第十章回归分析和相关分析回归与相关分析的类型有很多：如果研究的是两变量之间的关系，称为简单回归与相关分析；如果研究的是两个以上的变量之间的关系，称为多元回归分析与多元相关分析从变量关系形态上来看，有线性回归与线性相关分析、非线性回归与非线性相关分析之分

回归分析和相关分析§10.1一元线性回归分析

一元线性回归亦称简单线性回归，是回归分析中最简单也是最典型的一种情形，实际应用中，许多涉及两个变量统计相依关系的情形，有些本身就呈现线性关系，有些经过某种变换呈现出线性关系，实际应用中的所谓线形回归，其广义就是指可线性化的回归，这决定了线形回归在理论和实际应用中的重要地位

回归分析和相关分析§10.1一元线性回归分析回归分析的基本思想和方法以及“回归”名称的由来，归功于英国统计学家高尔顿和他的学生、现代统计学的奠基者之一皮尔逊他们在研究父母身高与其子女身高的遗传问题时，观察了1078对夫妇，以每对夫妇的平均身高作为，而取他们的一个成年儿子的身高作为，将结果在平面直角坐标系上绘成散点图，发现趋势近乎一条直线回归分析和相关分析§10.1一元线性回归分析计算出的回归直线方程为：

这种趋势及回归方程表明：父母平均身高每增加一个单位时，其成年儿子的身高平均增加0.516个单位

这个结果表明，虽然高个子父辈确有生高个子儿子的趋势，但父辈身高增加一个单位，儿子身高仅增加半个单位左右；同时，矮个子父辈也确有生矮个子儿子的趋势，但父辈身高减少一个单位，儿子身高仅减少半个单位左右

回归分析和相关分析§10.1一元线性回归分析通俗地说，一群特高个子父辈的儿子们在同龄人中平均仅为高个子，一群高个子父辈的儿子们在同龄人中平均仅为略高个子；一群特矮个子父辈的儿子们在同龄人中平均仅为矮个子，一群矮个子父辈的儿子们在同龄人中平均仅为略矮个子，即子代的平均高度向中心回归了

回归分析和相关分析§10.1一元线性回归分析这个例子生动地说明了生物学中“种”的概念的稳定性；正是为了描述这种有趣的现象，高尔顿引进了“回归”这个名词来描述父辈身高与子代身高的关系尽管“回归”这个名称的由来具有其特定的含义，在研究大量的问题中，其变量与之间的关系并不总是具有这种“回归”的含义，但借用这种名词把研究变量与间统计关系的量化方法称为“回归”分析，算是对高尔顿这个伟大的统计学家的纪念

设有两个变量和，变量的取值随变量取值的变化而变化，称为因变量，为自变量

10.1.1

一元线性回归模型回归分析和相关分析可以通过散点图大致看出它们之间的关系形态，但现在的问题是如何将变量之间的关系用一定的数学关系式表达出来

§10.1一元线性回归分析其中是未知常数，称为回归系数；称为误差项的随机变量，它反映了除和之间的线性关系之外的随机因素对的影响，是不能由和之间的线性关系所解释的变异性一般来说，对于具有线性关系的两个变量，可以借助于一个线性模型来刻画它们的关系：

回归分析和相关分析§10.1一元线性回归分析对于该模型通常有以下几个假定：

回归分析和相关分析（1）满足“正态性”的假设，误差项服从正态分布的随机变量

（2）满足“无偏性”的假设，的均值为零，即（3）满足“共方差性”的假设，的方差对于所有的的取值都相等，即所有的分布的方差都为

§10.1一元线性回归分析对于该模型通常有以下几个假定：

回归分析和相关分析（4）满足“独立性”的假设，各个间相互独立，无相关性

（5）与之间是不相关的，假定随机变量与相应的自变量对因变量的影响是相互独立的，换言之，两者对因变量的影响是可以区分的，即

§10.1一元线性回归分析易知，，当取固定值时，服从正态分布

回归分析和相关分析用样本值来估计，得估计值，从而得到的一个估计记作，即称为对的回归直线方程

§10.1一元线性回归分析回归分析和相关分析是回归直线的起始值（截距），即为0时的值，从数学意义上理解，它表示在没有自变量的影响时，其他各种因素对因变量的平均影响

是回归系数（直线的斜率），表示自变量每变动一个单位时，因变量的平均变动值

表示因变量的估计值（回归理论值）§10.1一元线性回归分析回归分析和相关分析在实际试验中，对变量与作次试验观察，并假定在的各个值上对的观察值是相互独立的，得到对试验值，在平面直角坐标系中，画出共个点，它们所构成的图形称为散点图

如果散点图中的个点分布在一条直线附近，直观上可以认为与的关系具有一元线性回归模型

§10.1一元线性回归分析回归分析和相关分析相应于的个观察值可看成试验值（或实际值）

其中，且相互独立，此式通常称为线性模型

易证：且相互独立§10.1一元线性回归分析10.1.2回归系数的估计回归分析和相关分析回归模型中的回归系数和在一般情况下都是未知数，必须根据样本数据来估计

确定回归系数和值的原则是要使得样本的回归直线同观察值的拟合状态最好，即要使得各观察点离样本回归直线最近

根据这一思想确定回归系数的估计值的方法称为最小二乘法

§10.1一元线性回归分析回归分析和相关分析对应于每一个，根据回归直线方程可以求出一个，它就是的一个估计值估计值和观察值之间的偏差为，有个观察值就有相应的个偏差，偏差有正有负

以偏差的平方和最小作为标准来确定回归模型，这就要求是最小的§10.1一元线性回归分析回归分析和相关分析记，则的最小值为使达到极小的应满足下面的方程组：§10.1一元线性回归分析回归分析和相关分析经整理得如下方程（称为正规方程组）：解正规方程组可得：§10.1一元线性回归分析回归分析和相关分析其中：称为回归系数的最小二乘估计，并得回归方程：

记此时，可记为：§10.1一元线性回归分析回归分析和相关分析特别地，由，得回归直线通过，这是回归直线的重要特征之一，它对于回归直线的作图很有帮助

§10.1一元线性回归分析10.1.3未知参数的估计回归分析和相关分析是随机误差的方差；如果误差大，那么求出来的回归直线用处就不大；如果误差比较小，那么求出来的回归直线就比较理想；可见的大小反映回归直线拟合程度的好坏

那么，如何来估计？§10.1一元线性回归分析回归分析和相关分析利用来估计，由于是未知的，，而可以证明

其中，而还是的无偏估计§10.1一元线性回归分析回归分析和相关分析例10.1.1：上海市市区的社会商品零售总额和全民所有制职工工资总额的数据如下：

年份/年1978197919801981198219831984198519861987职工工资总额/亿元23.827.631.632.433.734.943.252.863.873.4社会商品零售额/亿元41.451.861.767.968.777.595.9137.4155175试求社会商品零售总额对职工工资总额的线性回归方程，并求的估计。

§10.1一元线性回归分析回归分析和相关分析解：社会商品零售额与职工工资总额的计算过程序号7879808182838485868723.827.631.632.433.734.943.252.863.873.441.451.861.767.968.777.595.9137.4155.0175.0566.44761.76998.561049.761135.691218.011866.242787.844070.445387.561713.962683.243806.894610.414719.696006.259196.8118878.7624025.0030625.00985.321429.681949.722199.962315.192704.754142.887254.729889.0012845.00417.2932.319842.30106266.0145716.22§10.1一元线性回归分析回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析于是，回归直线为：§10.1一元线性回归分析10.1.4回归系数的性质回归分析和相关分析

性质1：是的线性函数（在统计中，如果估计量是样本的线性函数，则称它为线性估计）

证：§10.1一元线性回归分析回归分析和相关分析于是，都是的线性函数，也称是线性估计§10.1一元线性回归分析回归分析和相关分析

性质2：是的无偏估计证：由于§10.1一元线性回归分析回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析

性质3：与是不相关的（由于都服从正态分布，进而与是独立的）

证：§10.1一元线性回归分析回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析

性质4：的方差和协方差分别为：

§10.1一元线性回归分析回归分析和相关分析证：§10.1一元线性回归分析回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析

性质5：是的无偏估计证：注意到有恒等式事实上，§10.1一元线性回归分析而回归分析和相关分析§10.1一元线性回归分析由于即恒等式成立，则回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析由此，§10.1一元线性回归分析回归分析和相关分析

性质6：，三者相互独立证：取的正交矩阵，具有如下形式：§10.1一元线性回归分析个，只要，这里共有个未知参数，约束条件有由正交性，可得如下一些约束条件：回归分析和相关分析未知参数个数就不少于约束条件数，因此必定有解§10.1一元线性回归分析令回归分析和相关分析其中§10.1一元线性回归分析则仍然服从正态分布，且其期望与协方差分别为：回归分析和相关分析这表明相互独立，的共同分布为，§10.1一元线性回归分析由于回归分析和相关分析于是有，所以三者相互独立，并有而§10.1一元线性回归分析综合性质1-6可得如下结论：回归分析和相关分析（1）（2）（3）（4）三者相互独立§10.1一元线性回归分析回归系数的极大似然估计：回归分析和相关分析考虑到则的密度函数为：而相互独立§10.1一元线性回归分析由此，的联合密度为：回归分析和相关分析§10.1一元线性回归分析回归分析和相关分析令，得§10.1一元线性回归分析回归分析和相关分析易见不是的无偏估计§10.1一元线性回归分析10.1.5检验与置信区间回归分析和相关分析当得到一个实际问题的回归方程后，还不能用它去进行经济分析和预测，因为是否真正描述了变量与之间的统计规律性，还需运用统计方法对回归方程进行检验

§10.1一元线性回归分析（1）统计假设：（2）统计假设：回归分析和相关分析

回归系数的假设检验

由于，则考虑到一般是未知的，其可用代替

又，且与独立

§10.1一元线性回归分析回归分析和相关分析则

在零假设成立时，统计量§10.1一元线性回归分析回归分析和相关分析所以拒绝域为：特别地，若成立，则线性模型化为：这表明：变量并不依赖于，也即间不存在线性相关关系

§10.1一元线性回归分析回归分析和相关分析在线性回归分析中，一旦回归系数估计问题解决，应立即检验假设，以决定之间的线性关系是否显著，此时用的统计量为：当成立时，它服从于

§10.1一元线性回归分析回归分析和相关分析例10.1.2：在例10.1.1中，试问上海市市区的职工工资总额与社会商品零售总额之间是否确实存在显著的线性关系？

解：提出统计假设：

选择统计量：

，拒绝域：§10.1一元线性回归分析回归分析和相关分析由于，所以拒绝零假设，即与之间的线性关系显著

§10.1一元线性回归分析回归分析和相关分析又

同时与两者独立由于，且三者相互独立，因此§10.1一元线性回归分析回归分析和相关分析则对于检验假设，当成立时，检验统计量：

§10.1一元线性回归分析回归分析和相关分析

回归系数的置信区间

由于，则得关于的置信水平为的置信区间为：

§10.1一元线性回归分析回归分析和相关分析又，则得关于的置信水平为的置信区间为：

§10.1一元线性回归分析回归分析和相关分析例10.1.3：在例10.1.1中，试求的置信区间，显著性水平。

解：所以，的置信水平为0.95的置信区间为：

§10.1一元线性回归分析回归分析和相关分析又所以，的置信水平为0.95的置信区间为：

§10.1一元线性回归分析回归分析和相关分析

预测与预测区间

回归方程一经求得并通过检验，既能用来研究变量之间的联系，也能用来进行预测及控制，通常只适用于内插法，而不适用于外推

预测问题的一般提法：对线性模型且相互独立；回归方程为，需要对给定的自变量，预测因变量

§10.1一元线性回归分析回归分析和相关分析易见，作为的预测值

实际问题还需要知道所谓预测精度，同时也希望给出一个类似于置信区间的预测区间，也即在给定的显著性水平下，找到一个正数，使为此，必须求出的分布

§10.1一元线性回归分析回归分析和相关分析假定与相互独立，，，且与独立

易知，也服从于正态分布，且与相互独立，它的期望和方差分别为：

§10.1一元线性回归分析回归分析和相关分析于是

即§10.1一元线性回归分析回归分析和相关分析又，且两者独立，则§10.1一元线性回归分析回归分析和相关分析记也即于是置信水平的的预测区间为§10.1一元线性回归分析回归分析和相关分析该区间以为中点，长度为，中点随线性地变化，其长度在处最短，越远离，长度就越长

因此，预测区间的上限与下限的曲线对称地落在回归直线的两侧，而呈喇叭形；一般只有当比较靠近时，才能作出比较精确的预测

§10.1一元线性回归分析回归分析和相关分析当较大且较接近时有：，此时预测区间近似为：又当比较大时，近似于此时预测区间近似为：§10.1一元线性回归分析回归分析和相关分析例10.1.4：讨论例10.1.1的预测问题。设1988年上海市市区职工工资为85亿元时，试求市区社会商品零售总额的预测值和预测区间（）。

解：已知，则市区社会商品零售总额的预测值为：§10.1一元线性回归分析回归分析和相关分析所以，市区社会商品零售总额的预测区间为：§10.1一元线性回归分析10.1.6一元线性回归中的方差分析回归分析和相关分析在10.1.5小节中介绍了利用检验来对回归系数进行检验，本小节从另一个角度，即用方差分析来对回归系数进行检验

§10.1一元线性回归分析回归分析和相关分析首先介绍平方和分解公式，该公式在证明性质5中已提及：对任意的组数据，恒有：其中，为最小二乘估计是这个数据的偏差平方和，它的大小描述了这个数据的分散程度，称为总的偏离平方和，记为或，自由度为

§10.1一元线性回归分析回归分析和相关分析

是这个数的偏差平方和，它描述了的分散程度，由于

由此，的分散性来自于的分散性，称为回归平方和（线性影响），记为或，自由度为1

§10.1一元线性回归分析回归分析和相关分析称为残差平方和或剩余平方和（其他影响），记为或，自由度为

对于检验，把回归平方和跟剩余平方和进行比较：

§10.1一元线性回归分析回归分析和相关分析如果F值相当大，则表明对的线性影响较大，就可以认为与之间有线性相关关系；若F值较小，则没理由认为与之间有线性相关关系

因为

且两者独立§10.1一元线性回归分析回归分析和相关分析则所以，当假设成立时，

§10.1一元线性回归分析回归分析和相关分析检验假设的检验法构造如下：（1）统计假设

（2）选取统计量，它在成立时服从

（3）在显著水平下，确定拒绝域为

（4）计算统计量的观察值

（5）作决策：若拒绝；若接受§10.1一元线性回归分析回归分析和相关分析一元线性回归方差分析表方差来源平方和自由度均方F值回归（因素）剩余（随机因素）总计注：在此用检验和前文中用的检验是一致的

§10.1一元线性回归分析回归分析和相关分析例10.1.5：在例10.1.1中，试用方差分析来检验假设

。

解：已知方差来源平方和自由度均方F值回归19091.72119091.72596.62剩余255.96832.00总计19347.689职工工资总额与社会商品零售总额的方差分析表§10.1一元线性回归分析回归分析和相关分析而，由于，所以，拒绝零假设，即认为上海市市区的职工工资总额对社会商品零售额显著地线性相关§10.1一元线性回归分析10.1.7可线性化的一元非线性回归回归分析和相关分析在实际的应用中不仅有线性的回归模型，也有非线性的回归模型存在例如，在经济领域中有呈“S型”的增长与线形回归模型相比，非线性回归模型的计算较为复杂，这里仅介绍简单线性化方法

§10.1一元线性回归分析回归分析和相关分析下面列出几种常见的可变换为线性回归的类型：

（1）双曲函数：，令