第六章回归分析

1、第六章回归分析引言一、变量间的关系1.确定关系(函数关系)如正方形的面积与边长的关系、做匀速直线运动的质点的位移与时间的关系等等。2.非确定关系(相关关系)例1作物的单位面积产量与施肥量的关系。例2人的体重与身高的关系。例3人的血压与年龄的关系。例4某种商品(如糖果)的消费量与居民(按人口计算)的平均收入的关系。共同点变量间虽然存在着密切的关系，但从一个变量的每一确定值，不能求出另一变量的确定的值。可是在大量的试验中，这种不确定的联系，具有统计规律性，表现为的一个确定的概率分布定义. 设有两个随机变量，对其中某一个变量的每一个可能的值，另一个变量有一个确定的概率分布与之对应。则称这两个随机变量

2、间存在着相关关系。二、回归分析1.回归关系设与之间存在着某种相关关系。其中是可以控制或可以精确观察的变量(如年龄、试验的温度等等)，即，可以随意指定的个值。因此视为普通变量。此时称变量对具有回归关系。问题如何表达变量对的回归关系?回归分析是研究相关(回归)关系的一种数学工具,它能帮助我们从一个变量的取值去估计另外一个变量所取得的值.在各个学科领域得到广泛应用。2.回归分析要解决的一些问题设通过试验或抽样调查得到了和的一组观察值利用这些数据研究与之间的关系，需解决如下几个问题(1)如何判断与间是否存在相关关系(或者回归关系)?利用样本数据做与的散点图，由散点图的趋势初步判断两者是否有线性关系(2

3、)如何确定与之间的定量关系式(即回归函数)? 用最小二乘法(3)如何对所确定的关系(回归模型)的可信程度作统计检验?t分布检验法、相关系数r检验法(4)如何利用所得到与的定量关系式(回归模型)来解决实际问题？对变量进行预测和控制。下面，将围绕这四个问题展开讨论§6.1 一元线性回归设通过试验或抽样调查得到了和的一组观察值利用这些数据研究与之间的关系。一、 散点图利用和的一组观察值在直角坐标系上描点，得到散点图，根据散点图的趋势，来观察和是否想直线关系。如果是，可以考虑建立线性回归模型。例如，下列散点图中，上面两个象直线关系，可考虑对变量和建立线性回归模型。例1为研究全国人均国民收入x

4、(元)与人均消费金额y(元)之间的关系，收集到19811990年10年的样本数据如下表年份19811982198319841985人均国民收入393419461544668人均消费金额249267289329406年份19861987198819891990人均国民收入738860106911691251人均消费金额451513643699713回归分析解法后面将介绍：(10, 757.2, 909739.6, 455.9,4559, 288428.9, 3963622,经验线性回归方程为 )二、模型(1)其中，、为常数，为普通变量，、为随机变量，满足，即。自变量，因变量，随机波动项(误差)于

5、是样本满足，()(2)假设相互独立，从而满足独立、正态、等方差的前提条件。“确定与之间的定量关系式(即回归函数)”的问题归结为“如何在上述假定下确定、和”的问题。注1当、和已知时，由可得对可靠性，于是，的点估计为，误差限为，的置信区间为虚线为的95%的置信区间控制线注2两类误差实际问题中、和未知的，要通过观测数据进行估计。这样用来预测时，就面临两类误差(i)所代表的误差随机误差，由与的关系的紧密程度决定，与数据()无关。(ii)利用样本()对、和的估计所产生的误差，与数据及数据量的大小有关。三、最小二乘估计线性回归模型:设，则的估计值为，残差，残差平方和它描述了用线性函数来近似表示产生的误差程

6、度。最小二乘原则选取和使达到最小。按照这种方法确定的和叫做和的最小二乘估计，这种方法也叫做最小二乘法。l 和的最小二乘估计确定关于和二元函数的极值在二阶偏导书为0的点取得： 正规方程方程两边同除以得其解为和的最小二乘估计称：为对经验线性回归方程。四、的无偏估计(1)(2) （重要！）记，-对的回归剩余方差 ,显然，即为的无偏估计。-对的回归剩余标准差注:简化最小二乘估计的计算步骤记，注意：，表示样本二阶中心矩。不是样本方差，要注意区分。则，a.将输入计算器，求出和b.将输入计算器，求出、和c.将输入计算器，求出d.计算e.写出经验线性回归方程f.计算，注:实际上，利用具有回归功能的计算器，输入

7、相关数据后,就可以直接把回归系数求出来,非常方便.要掌握计算器的这个功能。例2某林场内随机抽取6块0.08ha大小的样地，测定样地的平均树高与每公顷平均断面积为样地号123456平均树高()202224262830断面积()24.326.528.730.531.732.9求:对的一元线性回归方程及回归剩余标准差。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,经验线性回归方程为五、和的最小二乘估计的性质1. 和的期望：可知：和分别为和的无偏估计2. 和的方差六.回归方程的显著性检验问题：对的线性回归关系是否显著，即回归关系是否成立。假设检验类型为:对的线性回归关系不

8、显著(与无关) :对的线性回归关系显著(与有关)其等价的假设为:（一）检验法：可证明：。其中为真时，对于给定的显著水平，有估计式:所以，的拒绝域为例3以显著水平=0.05,判断例2中对的线性回归关系是否显著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,，假设 :对的线性回归关系不显著=0.05, ,检验统计量为 :所以拒绝，即认为对的线性回归关系显著。（二）样本相关系数检验法（常用的方法）设有样本由最小二乘法得经验回归方程：其中 ，以下用讨论用相关系数法对与的相关性进行检验。残差平方和 ：它描述了用经验线性回归方程来近似表示所产生的误差程度。1.平方和分解将的离

9、差平方和分解其中 剩余平方和，回归平方和。当在中占主要部分时，剩余平方和在中占次要地位，这时候，说明数据都围绕在回归直线附近。即与的相关程度是很高的。为此，很自然的想到用在所占的比例来刻画与的相关程度。2.样本相关系数的定义定义 记称为对的样本(或经验)相关系数。因所以 ，时,所有点均在回归直线上.越接近于1，说明对的相关关系越紧密。3.样本相关系数的计算公式4.和的关系(1) (2) 与符号相同，则，回归直线斜率为正，称对是正相关的。，则，回归直线斜率为负，称对是负相关的(3) 与均表示对的线性关系的强弱，但与和所取的单位有关，而与和的单位无关。5. 利用样本相关系数作回归方程的显著性检验统

10、计假设为:检验用统计量:，其中对于给定的显著水平，有估计式：的拒绝域为:（前面面已讨论）与的关系:。,所以T是的单调增加函数。如果满足 ，记此为，为相关系数的临界值。 对于给定显著水平，估计式等价形式为：所以若用相关系数来检验，那么的拒绝域为:其中，为相关系数临界值（查表（附表17，P273）。例4求例2中对的样本相关系数，并以显著水平=0.05判断对的线性回归关系是否显著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,， 检验假设 :对的线性回归关系不显著。=0.05, 查表，因为 所以拒绝，认为对的线性回归关系显著。进一步，因，所以，关于是正相关的。 例5为检

11、验一次数学考试中，学生在某小题上的得分与学生的总分之间是否存在线性相关关系，随机抽取10名同学，将他们的得分情况记录如下表小题8.008.0013.007.0013.00总分33.0029.0089.0052.0086.00小题9.0010.0013.0013.008.00总分60.0078.0086.0078.0060.00试以显著水平=0.05判断学生在该小题上的得分与学生的总分之间是否存在线性相关关系?解设、之间总体相关系数为，则检验的原假设为 :。，=0.05，由原始数据计算得10.2, 57.6, 65.1,651, 4334.9, 7067,因 所以，拒绝，学生在该小题上的得分与学

12、生的总分之间存在线性相关关系。注：（1）检验、检验两种方法者等价。（2）检验的优势：用经验回归系数来检验的、相关程度的话，因为是有量刚的，所以仅仅在、的量刚不变的情况下，的大小能说明对相关的程度。而用相关系数来检验的相关程度的好处在于：没有量刚，它的值不受、的量刚改变的影响，它的大小说明了对相关的程度。练习随机调查10名同学的身高和体重，依此判断人的身高和体重之间是否存在线性相关关系。七、预测对任一给定的，由回归方程得回归值：，其中和是和的最小二乘估计。用作为的估计。预测：对给定的可靠性，找，使，或可以证明：于是，另外可以证明：，及与独立。由此，=（教材P177（6.40）对给定的可靠性，由

13、，得作为的估计，其绝对误差限为（教材P178（6.42）：的可靠性为置信区间为：.其中注：当时，。随着远离，逐渐增大。置信区间控制线形成以为中心的喇叭口形（P178图6.6）。当时，。随着远离，逐渐增大。置信区间控制线形成以为中心的喇叭口形。例6根据例2中的数据，求时对应的的估计值、可靠性为95%的绝对误差限和置信区间。解6, 25, 70, 29.1, 174.6, 53.12, 4425.4, ,，, ，经验回归方程为: 。时，=0.95, 0.05, 2.776的置信区间为27.1802, 30.1592，可靠性为95%。例7一保险公司希望确定居民住宅区火灾造成的损失数量与该住户到最近的消防站的距离之间的相关关系，以便准确地定出保险金额。调查数据如下:距消防站距离(km)3.41.84.62.33.15.5火灾损失(千元)26.217.831.323.127.536.00.73.02.64.32.11.16.14.83.814.122.319.631.324.017.343.236.426.1(1) 计算相关系数，并进行线性回归的显著性检验(0.05)。(2) 若线性回归关系显著，求经验线性回归方程及剩余标准差。(3) 求距消防站距