311回归分析的基本思想及其初步应用

1、(- )(- )-11,11,.222(- )-1111-.nnx x yyx y nxyiii iiibnnnnxxyyiix xxnxnniiiiiia y bx其其中中( , )x y称为样本点称为样本点的中心的中心12222221222221234562.23.85.56.57.04,5,55()()( 2)( 2.8)( 1)( 1.2)0(0.5)(1)(1.5)(2)(2)12.3,()( 2)( 1)01210,()( 2.8)( 1.2)(0.5)(1.5)(2)niiiniiniixyxxyyxxyy 例2相关性分析：21221115.78,()()12.312.30.97

2、92.10 15.78157.8()()niiinniiiixxyyrxxyy 1121.(1)“”.(2).(3).(4)( ,)niiiniiiniiiiiiyyiiyxiiyynyyyyqyy 由于可正可负，为避免相互抵消，取绝对值由于含绝对值，运算不方便，改用平方和由于求 的最小值，即用这 个偏差的和来刻画 个点与此直线的整体偏差求 的最小值求 的最小值求211.nniiiyx取得最小值时 ， 的值122221112211()()()()()()niiinniiiniiinniiiiix ynx yxnxynxxyyrxxyyy2021-11-22郑平正 制作3.1回归分析的基回归分析

3、的基本思想及其初步本思想及其初步应用（一）应用（一）高二数学高二数学 选修选修2-3求回归方程的关键是如何用数学的方法来刻画求回归方程的关键是如何用数学的方法来刻画“从整体上看各点与此直线的距离和最小从整体上看各点与此直线的距离和最小” .选选 变变 量量画散点图画散点图选选 模模 型型(线性线性)估计参数估计参数(a,b)分析和预测分析和预测建立回归模型的基本步骤建立回归模型的基本步骤通过散点图通过散点图, ,可直可直观地分析和了解观地分析和了解两个变量是否存两个变量是否存在相关关系在相关关系, ,以确以确定回归模型定回归模型通过分析相关指通过分析相关指数、随机误差数、随机误差（残差图），评

4、（残差图），评价模型的好坏，价模型的好坏，进行预报进行预报这也就是回归分析的基本思这也就是回归分析的基本思想想最小二乘法估计公式最小二乘法估计公式: :探究探究1：你能推导出着两个计算公式吗？：你能推导出着两个计算公式吗？(推导思路见下一片；推导过程见课本推导思路见下一片；推导过程见课本)回归直线一定过样本点的中心！回归直线一定过样本点的中心！对于一组具有线性相关对于一组具有线性相关关系的数据关系的数据:(x1,y1), (x2,y2), , (xn,yn), 我们知道其回归直线我们知道其回归直线y=bx+a的斜率和截距的的斜率和截距的最小二乘估计分别为：最小二乘估计分别为： yx目的：使各样

5、本点与这条直线的距离设回归方程为，越接近越好！(xi,yi )iiyx yx目的：使各样本点与这条直线的距设回归方程为，离越近越好！(xi,yi )iiyx21,.niiiabqyx 从已经学过的知识知道 截距 和斜率 分别是使取最小值时的值 21,niiiqyxyxyx 由于2122niiiiiyxyxyxyxyxyx21212,niiiniiiyxyxyxyxyxn yx1niiiyxyxyx注意到1niiiyxyxyx11nniiiiyxyxn yx0,yxnyn xn yx2221211221211.niiniiniiiniiniiniiixxyyn yxxxxxxxyyyyxx221

6、,niiiqyxyxn yx 所以22221112nnniiiiiiixxxxyyyyn yx后两项与后两项与,无关无关前两项均为正且与前两项均为正且与,有关有关此项为此项为0,q有最小值有最小值.,0,q 在上式中 后两项和无关 而前两项为非负数 因此要使 取最小值 当且仅当前两项的值均为 即有121,.niiiniixxyyyxxx.这正是我们所要推导的公式.,基基本本思思想想及及其其应应用用进进一一步步学学习习回回归归分分析析的的下下面面我我们们通通过过案案例例 2008年年5月，中共中央国务院关月，中共中央国务院关于加强青少年体育、增强青少年体质于加强青少年体育、增强青少年体质的意见指

7、出城市超重和肥胖青少年的的意见指出城市超重和肥胖青少年的比例明显增加比例明显增加. “身高标准体重身高标准体重”该指标对于学该指标对于学生形成正确的身体形态观具有非常直生形成正确的身体形态观具有非常直观的教育作用观的教育作用. “身高标准体重身高标准体重”从何从何而来？我们怎样去研究而来？我们怎样去研究?1.创设情境：创设情境：例例1 从某大学中随机选取从某大学中随机选取8名女大学生，其身高和名女大学生，其身高和体重数据如表体重数据如表1-1所示：所示：编号12345678身高/cm165165 157 170 175 165 155 170体重/kg4857505464614359求根据女大

8、学生的身高预报她的体重的回归方程，求根据女大学生的身高预报她的体重的回归方程，并预报一名身高为并预报一名身高为172cm的女大学生的体重的女大学生的体重.问题呈现：女大学生的身高与体重问题呈现：女大学生的身高与体重分析：分析：1、选取身高为自变量、选取身高为自变量x，体重为因变量，体重为因变量y，作散点图：，作散点图：2、由散点图、由散点图可以可以看出，样本点呈现条状分布，身高和体重看出，样本点呈现条状分布，身高和体重有比较好的线性相关关系，因此有比较好的线性相关关系，因此可以用线性回归方程刻画它可以用线性回归方程刻画它们之间的关系们之间的关系.3、从散点图、从散点图还还看到，样本点散布在某一

9、条直线的附近，而看到，样本点散布在某一条直线的附近，而不是在一条直线上，所以不是在一条直线上，所以不能用一次函数不能用一次函数y=bx+a描述它们关描述它们关系系.0.84985.712yx解：解：1.1.由于问题中要由于问题中要求根据身高预报体重，求根据身高预报体重，因此选取身高为自变因此选取身高为自变量量x x，体重为因变量，体重为因变量y y0.849 172-85.71260.316()ykg3.3.用公式求出回归方程：用公式求出回归方程：2. 2. 画画散点图；散点图；本例中本例中, 可求得可求得r=0.7980.75这表明体重与身高这表明体重与身高有很强的有很强的线性相关关系，线性

10、相关关系，从而也表明我们建立的回归模型是有意义的从而也表明我们建立的回归模型是有意义的.81iiixy821iixx y 72315218774165.2554.5身高身高172cm女大学生可以预报其体重为女大学生可以预报其体重为:所以回归方程为所以回归方程为:对回归模型进行统计检验对回归模型进行统计检验探究探究2：身高为：身高为172cm的女大学生的体重一定是的女大学生的体重一定是60.316kg吗？如果不是，你能解析一下原因吗？吗？如果不是，你能解析一下原因吗？答：身高为答：身高为172cm的女大学生的体重不一定是的女大学生的体重不一定是60.316kg，但一般可以认为她的体重接近于但一般

11、可以认为她的体重接近于60.316kg.下图中的样本点和回归直线的相互位置说明了这一点下图中的样本点和回归直线的相互位置说明了这一点.ybxa由于样本点不在同一条直线上，只是散布在某一条直线附近，由于样本点不在同一条直线上，只是散布在某一条直线附近，所以身高与体重的关系可用所以身高与体重的关系可用线性回归模型线性回归模型:y=bx+a+e, (3) 来表示，其中来表示，其中a和和b为模型的未知参数，为模型的未知参数，e是是y与与bx+a之间的误差之间的误差.通常通常e为随机变量，称为随机误差为随机变量，称为随机误差(random error),即即e称为随机称为随机误差误差.它的均值它的均值e

12、(e)=0,方差方差d(e)=2.这样线性回归模型的完整表这样线性回归模型的完整表达式为：达式为：一般假定均值为一般假定均值为0,即期望即期望各点都在直线各点都在直线y=bx+a上上.真实值真实值a,b,y思考：产生随机误差思考：产生随机误差e的原因的原因(主要来源主要来源)是什么？是什么？一个人的体重除了受身高的影响外，还受其他许多因素的影一个人的体重除了受身高的影响外，还受其他许多因素的影响响.其主要来源是其主要来源是(误差越小误差越小,回归模型的拟合效果越好！回归模型的拟合效果越好！)(1)用线性回归模型近似真实模型用线性回归模型近似真实模型(真实模型是客观存在的，只真实模型是客观存在的

13、，只是通常我们不知道真实模型到底是什么是通常我们不知道真实模型到底是什么)所引起的误差所引起的误差.另外另外可能存在非线性的函数能够更好地描述可能存在非线性的函数能够更好地描述y与与x之间的关系，但之间的关系，但是现在却用线性函数来表达这种关系，结果就会产生误差是现在却用线性函数来表达这种关系，结果就会产生误差.这这种由于模型近似所引起的误差都包含在种由于模型近似所引起的误差都包含在e中中.(2)忽略了某些因素的影响忽略了某些因素的影响.因为影响变量因为影响变量y的因素不只是变量的因素不只是变量x一个一个.例如例如:遗传因素、饮食习惯、是否喜欢运动等，遗传因素、饮食习惯、是否喜欢运动等，所引起

14、所引起的误差都包含在的误差都包含在e中中.(3)观测误差观测误差.由于测量工具由于测量工具等等原因造成度量误差也原因造成度量误差也包含在包含在e中中.事实上，我们无法知道身高和体重之间的确切关系是什么，事实上，我们无法知道身高和体重之间的确切关系是什么，这里只是利用线性回归方程来近似这种关系这里只是利用线性回归方程来近似这种关系.这种近似以及上这种近似以及上面提到的影响因素都是产生面提到的影响因素都是产生随机误差随机误差e的原因的原因.探究探究3：在线性回归模型中，：在线性回归模型中，e是用是用bx+a预报真实值预报真实值y的随机的随机误差，它是一个误差，它是一个不可观测的量，不可观测的量，那

15、么怎样研究随机误差呢？那么怎样研究随机误差呢？是真实值是真实值与估计值与估计值的差！的差！思考：如何发现数据中的错误？如何衡量模型的拟合效果？思考：如何发现数据中的错误？如何衡量模型的拟合效果？0.84985.712,iiyx,iiieyy 3335047.5812.419eyy如382.0883.2627.6137.1618.4419.2627.2373.6e 5943616454505748kg/170155165175170157165165cm/87654321残残差差体体重重身身高高编编号号残残差差图图编号编号残差残差31.3图图22121()1()niiiniiyyryy 即在实际

16、应用中应该尽量选择即在实际应用中应该尽量选择 r2 大的回归模型大的回归模型.例例2、在一段时间内，某中商品的价格、在一段时间内，某中商品的价格x元和需求量元和需求量y件之间件之间的一组数据为：的一组数据为：求出求出y对的回归直线方程，并说明拟合效果的好坏。对的回归直线方程，并说明拟合效果的好坏。价格价格x1416182022需求量需求量y1210753解：解：18,7.4,xy555221111660,327,620,iiiiiiixyx y7.4 1.15 1828.1.a1.1528.1.yx 回归直线方程为：51522155iiiiix yxybxx26205 18 7.41.15.1

17、6605 18 例例2、在一段时间内，某中商品的价格、在一段时间内，某中商品的价格x元和需求量元和需求量y件之间件之间的一组数据为：的一组数据为：求出求出y对的回归直线方程，并说明拟合效果的好坏对的回归直线方程，并说明拟合效果的好坏.价格价格x1416182022需求量需求量y1210753列出残差表为列出残差表为521()iiiyy0.3,521()iiyy53.2,5221521()1()iiiiiyyryy 0.994因而，拟合效果较好因而，拟合效果较好.iiyyiyy00.3-0.4-0.10.24.62.6-0.4-2.4-4.4用身高预报体重时，需要注意下列问题：用身高预报体重时，

18、需要注意下列问题：1、回归方程只适用于我们所研究的样本的总体；、回归方程只适用于我们所研究的样本的总体；2、我们所建立的回归方程一般都有时间性；、我们所建立的回归方程一般都有时间性；3、样本采集的范围会影响回归方程的适用范围；、样本采集的范围会影响回归方程的适用范围；4、不能期望回归方程得到的预报值就是预报变量的精确值。、不能期望回归方程得到的预报值就是预报变量的精确值。 事实上，它是预报变量的可能取值的平均值。事实上，它是预报变量的可能取值的平均值。这些问题也使用于其他问题。这些问题也使用于其他问题。涉及到统计的一些思想：涉及到统计的一些思想：模型适用的总体；模型适用的总体；模型的时间性；模

19、型的时间性；样本的取值范围对模型的影响；样本的取值范围对模型的影响；模型预报结果的正确理解。模型预报结果的正确理解。小结小结:,需要注意下列问题用身高预报体重时.,.,.1系木的高与直径之间的关描述北方干旱地区的树方程的高与直径之间的回归在南方多雨地区的树木不能用生长同样之间的关系女运动员的身高和体重描述和体重之间的回归方程不能用女大学生的身高例如所研究的样本的总体回归方程只适用于我们.,8020,.2之间的关系描述现在的身高和体重方程建立的回归年代的身高体重数据所世纪能用不例如一般都有时间性我们所建立的回归方程.),ycm70 x,cm170,cm155x,(,.3显然不合适值时的程计算而用

20、这个方的样本的取值范围为解释变量即在回归方程中重之间的关系就不恰当幼儿时期的身高和体那么用它来描述一个人立的建大学生身高和体重数据我们的回归方程是由女例如归方程的适用范围样本取值范围会影响回.,.4值的平均值它是预报变量的可能取事实上精确值的的预报值就是预报变量不能期望回归方程得到.xy,337.xy2之之间间的的回回归归方方程程与与试试建建立立中中观观察察数数据据列列于于表表组组现现收收集集了了有有关关和和温温度度一一只只红红铃铃虫虫的的产产卵卵数数例例33表表325115662421117/y35322927252321c/0个个产卵数产卵数温度温度41.3图图温度温度产卵数产卵数.41.

21、3据作散点图根据收集的数解所以不能相关关系线性个变量不呈线因此两带状区域内某个布在有分并没样本点在散点图中,.cc,ecy,.21xc12是待定参数和其中的周围指数函数曲线某一条可以发现样本点分布在根据已有的函数知识系立两个变量之间的关建来直接利用线性回归方程 .xy,.)cb,clna(abxz, ylnz.cc,2121了间的非线性回归方程之和型来建立就可以利用线性回归模这样的周围直线换后样本点应该分布在则变令系变为线性关过对数变换把指数关系我们可以通和参数问题变为如何估计待定现在 .,abxy线线性性回回归归方方程程我我们们称称之之为为非非时时当当回回归归方方程程不不是是形形如如图的样本

22、数据表的数据可以得到变换后由表, 4333.,51.3.4351.3用线性回归方程来拟合因此可以一条直线的附近变换后的样本点分布在看出中可以从图中数据的散点图给出了表784.5745.4190.4178.3045.3398.2946.1z35322927252321x43表产卵数的对数温度51.3图图.843.3x272.0z 43到线性回归方程中的数据得由表回归方程为数对温度的非线性因此红铃虫的产卵 6ey 843.3x272.01.xy,ty,xt,.cc,cxcy41.3,243423非线性回归方程之间的与从而得到之间的线性回归方程与立然后建即令变换因此可以对温度变量做数为待定参和其中的

23、附近次曲线中样本点集中在某二可以认为图另一方面.61.3,53是相应的散点图图应的温度的平方是红铃虫的产卵数和对表325115662421117y12251024841729625529441t53表.xycxcy,ty,61.3423下面介绍具体方法下面介绍具体方法到到还可以通过残差分析得还可以通过残差分析得这个结论这个结论之间的关系之间的关系与与来拟合来拟合二次曲线二次曲线即不宜用即不宜用合它合它回归方程来拟回归方程来拟此不宜用线性此不宜用线性因因直线的周围直线的周围不分布在一条不分布在一条的散点图并的散点图并与与可以看出可以看出中中从图从图温度的平方数卵产61.3图图中用线性回归模型拟合

24、表的二次回归方程关于下面建立的指数回归方程关于前面已经建立了方程归需要建立两个相应的回残差为比较两个不同模型的52.xy,xy., 7.54.202x367.0y xy,54.202t367.0y ty,222的二次回归方程为关于即的线性回归方程关于得到的数据 的残差计算公式分别为和则回归方程列的数据行第第表示表用的拟合效果和个回归方程可以通过残差来比较两76,1i153x.76i ; 7 , 2 , 1i ,eyy ye 843.3x272.0i1ii1i .7 , 2 , 1i ,54.202x367.0yy ye 2ii2ii2i .76,76.63的拟合效果好的拟合效果好型型的拟合效果

25、比模的拟合效果比模因此模型因此模型的残差的绝对值小的残差的绝对值小模型模型的残差的绝对值显然比的残差的绝对值显然比模型模型从表中的数据可以看出从表中的数据可以看出残差残差的两个回归方程的的两个回归方程的给出了原始数据及相应给出了原始数据及相应表表 965.77268.58107.4041003835.5397.19693.47e 928.32153.14889.8149.9760.1617.0518.0e 325115662421117y35322927252321x2163表 .76.432.15448q,673.1450q7663.,.,.,21型型的的拟拟合合效效果果远远远远优优于于模模

26、因因此此模模型型的的残残差差平平方方和和分分别别为为和和算算出出模模型型容容易易由由表表拟拟合合的的效效果果越越好好残残差差平平方方和和越越小小的的模模型型合合效效果果的的大大小小来来判判断断模模型型的的拟拟两两个个模模型型的的残残差差平平方方和和这这时时可可以以通通过过比比较较则则相相反反而而另另一一些些样样本本点点的的情情况况的的小小型型差差的的绝绝对对值值比比另另一一个个模模的的残残某某些些样样本本点点上上一一个个模模型型原原因因是是在在较较困困难难比比较较两两个个模模型型的的残残差差比比在在一一般般情情况况下下 ,b, xgya, xfy,y,x,y,x,y,x21nn2211 和和含

27、有未知数的模型含有未知数的模型两个两个对于给定的样本点对于给定的样本点:.ba较它们的拟合效果较它们的拟合效果可以按如下的步骤来比可以按如下的步骤来比都是未知参数都是未知参数和和其中其中 ;baba ,b, xgy a , xfy 121的估计值的估计值和和分别是参数分别是参数和和其中其中与与型的回归方程型的回归方程分别建立对应于两个模分别建立对应于两个模 ;y yqy yq2n1i22iin1i221ii1与与的残差平方和的残差平方和分别计算两个回归方程分别计算两个回归方程 .b, xgy a , xfy ,;b, xgy a , xfy ,qq3212121的好的好的效果不如的效果不如反之

28、反之的好的好的效果比的效果比则则若若假设假设 1:1:身高和随机误差的不同不会对体重产生任何影响，身高和随机误差的不同不会对体重产生任何影响， 54.554.554.554.554.554.554.554.5体重/kg170155165175170157165165身高/cm87654321编号54.5kg探究探究3：在线性回归模型中，：在线性回归模型中，e是用是用bx+a预报真实值预报真实值y的随机的随机误差，它是一个不可观测的量，那么怎样研究随机误差呢？误差，它是一个不可观测的量，那么怎样研究随机误差呢？5943616454505748体重/kg1701551651751701571651

29、65身高/cm87654321编号 例如，编号为例如，编号为6的女大学生的体重并没有落在水平直线上，她的的女大学生的体重并没有落在水平直线上，她的体重为体重为61kg。解释变量（身高）和随机误差共同把这名学生的体。解释变量（身高）和随机误差共同把这名学生的体重从重从54.5kg“推推”到了到了61kg，相差，相差6.5kg，所以，所以6.5kg是解释变量是解释变量和随机误差的和随机误差的组合效应组合效应。用这种方法可以对所有预报变量计算组合效应。用这种方法可以对所有预报变量计算组合效应。数学上，把每个效应（观测值减去总的平均值）的平方加起来，即用数学上，把每个效应（观测值减去总的平均值）的平方

30、加起来，即用21()niiyy表示总的效应，称为表示总的效应，称为总偏差平方和总偏差平方和。5943616454505748体重/kg170155165175170157165165身高/cm87654321编号 假设假设2:随机误差对体重没有影响，也就是说，体重仅受身高的影响，那么散点图随机误差对体重没有影响，也就是说，体重仅受身高的影响，那么散点图中所有的点将完全落在回归直线上。中所有的点将完全落在回归直线上。 怎样研究随机误差？怎样研究随机误差？ 因此，数据点和它在回归直线上相应位置的差异因此，数据点和它在回归直线上相应位置的差异 是随机误差的效应，是随机误差的效应，称称 为为残差残差。

31、)iiyy(iiieyy=例如，编号为例如，编号为6的女大学生，计算随机误差的效应（残差）为：的女大学生，计算随机误差的效应（残差）为：61 (0.849 16585.712)6.627对每名女大学生计算这个差异，然后分别将所得的值平方后加起来，用数学符号对每名女大学生计算这个差异，然后分别将所得的值平方后加起来，用数学符号21()niiiyy称为称为残差平方和残差平方和，它代表了随机误差的效应。它代表了随机误差的效应。表示为：表示为：我们可以用我们可以用相关指数相关指数r2来刻画回归的效果，其计算公式是来刻画回归的效果，其计算公式是22121()11()niiiniiyyryy残差平方和。总

32、偏差平方和如何衡量预报的精度？如何衡量预报的精度？显然，显然，r2的值越大，说明残差平方和越小，也就是说模型拟合效果越好。的值越大，说明残差平方和越小，也就是说模型拟合效果越好。 如果某组数据可能采取几种不同回如果某组数据可能采取几种不同回归方程进行回归分析，则可以通过比归方程进行回归分析，则可以通过比较较r2的值来做出选择，即选取的值来做出选择，即选取r2较大较大的模型作为这组数据的模型。的模型作为这组数据的模型。3.3.分析方程回归效果的常用方法分析方程回归效果的常用方法（1 1）相关指数：该法主要从）相关指数：该法主要从量量上清楚地反映解释上清楚地反映解释变量与预报变量间的效应变量与预报变量间的效应. .（2 2