数学建模93_一元线性回归

1、一、回归分析的基本的思想一、回归分析的基本的思想三、可化为一元线性回归的问题三、可化为一元线性回归的问题 四、小结四、小结第三节一元线性回归第三节一元线性回归二、二、一一 元回归的数学模型元回归的数学模型变量之间的关系变量之间的关系确定性关系确定性关系相 关 关 系相 关 关 系2rS 确定性关系确定性关系身高和体重身高和体重相关关系相关关系一、回归分析的基本思想一、回归分析的基本思想相关关系的特征是相关关系的特征是: :变量之间的关系很难用一种精确的方法表示出来变量之间的关系很难用一种精确的方法表示出来.【试试看】【试试看】 下列变量之间，能否由一个变量的值精确地求出另一个变量的值？能的话，

2、写出两个变量间的函数关系式： 圆的面积与该圆的半径； 正方形的面积与该正方形的边长； 人的体重与人的身高； 蔬菜的产量与所施的氮肥量； 某天冷饮销量与当天最高气温由于存在测量误差等原因由于存在测量误差等原因,确定性关系在实际确定性关系在实际问题中往往通过相关关系表示出来问题中往往通过相关关系表示出来;另一方面另一方面,当对当对事物内部规律了解得更加深刻时事物内部规律了解得更加深刻时, 相关关系也有可相关关系也有可能转化为确定性关系能转化为确定性关系.回归分析回归分析 处理变量之间的相关关系的一处理变量之间的相关关系的一种数学方法种数学方法,线性回归分析线性回归分析非线性回归分析非线性回归分析回

3、回归归分分析析一元线性回归分析一元线性回归分析多元线性回归分析多元线性回归分析它是最常用的数理统计方法它是最常用的数理统计方法.之之自变量自变量与普通变量与普通变量因变量因变量设随机变量设随机变量)()(xY.间存在着相互关系间存在着相互关系是随机变量，是随机变量，由于由于Y的确的确对于对于x图）图）（如（如有它的分布有它的分布Y.,2121度曲线度曲线的概率密的概率密处处分别是分别是图中图中YxxCCxY1x2x1C2C)(2x 二、一元线性回归的数学模型二、一元线性回归的数学模型定值，定值，, 因为对随机变量因为对随机变量)(YE ).(x ,)(时时当当 Ec )(2cE 作为作为的函数

4、中以回归函数的函数中以回归函数所以在一切所以在一切)( xx .)(2为最小为最小均方误差均方误差xYE ,的近似的近似Y.)(一般未知一般未知实际问题中的实际问题中的x ,)( 时时取确定的值取确定的值表示当表示当xxxyF的的所对应的所对应的Y.达到最小达到最小分布函数分布函数(4)利用回归函数进行预测与控制等等利用回归函数进行预测与控制等等.(3)对回归函数中的参数或者回归函数本身进行假对回归函数中的参数或者回归函数本身进行假设检验设检验;特别对特别对随机变量随机变量Y 的观察值做出点预测和区间预的观察值做出点预测和区间预测测.(2)讨论回归函数中参数的点估计、区间估计讨论回归函数中参数

5、的点估计、区间估计;回归分析的任务回归分析的任务: :(1)根据试验数据估计回归函数根据试验数据估计回归函数; 的独立的独立处对处对分别是在分别是在YxxxYYYnn,2121设设,21nxxxx的一组不完全相同的值的一组不完全相同的值对对.观察结果观察结果.),( ,),(),(2211是一个样本是一个样本称称nnYxYxYx对应的样本值记为对应的样本值记为问题的一般提法问题的一般提法. )(xxY 的回归函数的回归函数关于关于利用样本来估计利用样本来估计.)(的形式的形式首先推测首先推测x ).,( ,),(),( 2211nnyxyxyx否则，否则，在直角坐标系中描出在直角坐标系中描出可

6、将每对观察值可将每对观察值),( iiyx.这种图称为散点图这种图称为散点图求解步骤求解步骤1.推测回归函数的形式推测回归函数的形式方法一根据专业知识或者经验公式确定方法一根据专业知识或者经验公式确定; ;方法二作散点图观察方法二作散点图观察. .在一些问题中，在一些问题中，.)(的形式的形式可以由专业知识知道可以由专业知识知道x 它的相应的点，它的相应的点，温度温度x(oC)得率得率Y(%)10011012013014015016017018019045 51 54 61 66 70 74 78 85 89例例1测得数据如下测得数据如下 .品得率品得率Y ( % )的影响的影响, 对产对产温

7、度温度)(0Cx为研究某一化学反应过程中为研究某一化学反应过程中,是普通变量，是普通变量，这里自变量这里自变量x.是随机变量是随机变量Y画出散点图如下，画出散点图如下，,观察散点图观察散点图.)(的形式的形式具有线性函数具有线性函数bxax 的回的回关于关于的问题称为求的问题称为求利用样本来估计利用样本来估计xYx)( 特别，特别，,)()(bxaxx 为线性函数：为线性函数：若若.)(回归问题回归问题的问题称为求一元线性的问题称为求一元线性此时估计此时估计x . )(xxY 的回归函数为的回归函数为关于关于设设.归问题归问题bxax )( 一元线性回归问题一元线性回归问题),( 2 bxaN

8、Yx 的每一个值有的每一个值有假设对于假设对于2.建立回归模型建立回归模型),(bxaY 记记一元线性回归模型一元线性回归模型的线性函数的线性函数x.,2的未知参数的未知参数都是不依赖于都是不依赖于xba 那么那么)., 0(2 N , bxa .,2的未知参数的未知参数是不依赖于是不依赖于xba 随机误差随机误差Y的每一个值的每一个值在某个区间内在某个区间内假设对于假设对于)(xY),(2 bxaN .,2的未知参数的未知参数都是不依赖于都是不依赖于其中其中xba 记记 )(bxaY 作这样的正态假设，作这样的正态假设，对对YY , bxa ),0(2 N.,2xba都不依赖于都不依赖于及及

9、其中未知参数其中未知参数 上式称为一元上式称为一元,线性回归模型线性回归模型相当于假设相当于假设.称为回归系数称为回归系数其中其中b3.3.未知参数未知参数a,b的估计的估计iY. ),( , ),( , ),(2211nnYxYxYx得到样本得到样本, ),(2 iibxaNY 于是于是的联合密度函数为的联合密度函数为知知nYYY,21,1xnx个不全相同的值个不全相同的值的的取取,2x，做独立试做独立试nx,验验 ,iibxa ，), 0(2 Ni.相互独立相互独立各各i ., 2, 1ni nYYY,21由由的独立性，的独立性，L 221)(21exp21iinibxay .)(21ex

10、p)21(122 niiinbxay ., ba知参数知参数用最大似然估计估计未用最大似然估计估计未,21nyyy对于任意一组观察值对于任意一组观察值就是样本的似然函数，就是样本的似然函数，L要取最大值，要取最大值， niiinbxayL122)(21exp)21( 的平方和部分最小，的平方和部分最小，只要上式右端方括弧中只要上式右端方括弧中 .)(),(12取最小值取最小值 niiibxaybaQ aQ niiibxay1 )(2 0bQ niiiixbxay1)(2 0即只需函数即只需函数根据根据 )(1bxnanii bxaxniinii)()(121 1 niiy niiiyx1 ni

11、iniiniixxxn1211不全相同，不全相同，由于由于ix 2112- niiniixxn niixxn12)( 0方程组的系数行列式方程组的系数行列式得方程组得方程组,)()(121 niiniiixxyyxxa 其中其中b niniiininiiniiiixxnyxyxn1212111)( niiniixnbyn111 xby ,11 niixny.11 niiyn 后，后，的估计的估计在得到在得到baba, ,，对于给定的对于给定的xx的估计，的估计，作为回归函数作为回归函数取取bxaxxba )( 即即 xba )(x ，的经验回归函数的经验回归函数关于关于称为称为xYy xba

12、xba 记记 ，y 方程方程，的经验回归方程的经验回归方程关于关于称为称为xY简称简称回归方程回归方程， 其其图形称为图形称为回归直线回归直线.y ),(xxby ，对于样本值对于样本值),(),(),(2211nnyxyxyx回归直线通回归直线通).,(yx过散点图的几何中心过散点图的几何中心xyS yySxxSba ,)(1211 niiniixnx niixx12)( niiyy12)(,)(1211 niiniiyny niiiyyxx1)(),)(1111 niiniiniiiyxnyx ,xxxySS .)1(111bxnynniinii 例例2述的条件述的条件, 例例1中的随机变

13、量中的随机变量 Y 符合一元线性回归模型所符合一元线性回归模型所求求 Y 关于关于 x 的线性回归方程的线性回归方程 . x y xy x2 y210011012013014015016017018019014504551546166707478858967310000121001440016900196002250025600289003240036100218500202526012916372143564900547660847225792147225450056106480793092401050011840132601530016910101570 xxS 2145010121850

14、0 8250 xyS 6731450101101570 3985b xxxySS48303. 0a 48303. 01450101673101 73935. 2 回归直线方程回归直线方程y x48303. 073935. 2 或或 y )145(48303. 03 .67 x在在MATLAB中求解中求解x=100:10:190;y=45,51,54,61,66,70,74,78,85,89;polytool(x,y,1,0.05)源程序源程序程序运行结果程序运行结果回归图形回归图形参数传送参数传送置信区间置信区间帮助帮助)(2bxaYE , 2越小越小 iy )(2 E 2)()( ED .2

15、 .小小似导致的均方误差就越似导致的均方误差就越的近的近作为作为用回归函数用回归函数Ybxax )( 利用回归函数利用回归函数bxax )( 的关系就愈有效的关系就愈有效与与去研究随机变量去研究随机变量xY，为了估计为了估计2 引入残差平方和引入残差平方和 ixxy ，ixba 的估计的估计、未知参数、未知参数24 .处的残差处的残差为为iiixyy eQ niiixbay12)( niiiyy12)( 残差平方和残差平方和处的函数值处的函数值是经验回归函数在是经验回归函数在ix xba )(x .的偏差的平方和的偏差的平方和处的观察值处的观察值与与iiyxeQ niiiyy12)( niii

16、xxbyy12)( )( )(2)(112yyxxbyyiniinii niixxb122)()( xxxyyySbSbS2)(2 xxxySSb 由由eQ.xyyySbS b的估计量为的估计量为ab, niiniiixxYYxx121)()( ,)()(121 niiniiixxYxx niiniixnbYn111a xbY ,11 niixnx其中其中.11 niiYnYYYSxYS的表达式中的表达式中在在xyyySS , ), 2 , 1(niYyii 改为改为将将xYYYSS,并把它们分别记为并把它们分别记为,)(12 niiYY . )(1 niiiYYxx 的相应的统计量为的相应的

17、统计量为残差平方和残差平方和eQ2 eQ)( 2 eQEeQ xYYYSbS 服从分布服从分布残差平方和残差平方和eQ),2(2 n )2( nQEe , 2 n .2 2 的无偏估计量为的无偏估计量为2 2 nQe .21xYYYSbSn 例例3 求例求例2中方差的无偏估计中方差的无偏估计.解解yyS 211)(1 niiniiyny 267310147225 1 .1932 ,3985 xyS又知又知48303. 0 beQxyyySbS 23. 72 )2( nQe 823. 7 .90. 0,2236. 7)(1012 iieresidualsQ.9030. 082236. 72 5.

18、5.线性假设的显著性检验线性假设的显著性检验Y :检验假设检验假设b,相互独立相互独立并且并且eQb , bxa )., 0(2 N:0H:1Hb , 0b . 0检验法来进行检验检验法来进行检验使用使用t),(2xxSbN 22)2( n 2 eQ).2(2 n , 00 bH 为真时为真时当当, 0)( bbE并且并且txxSbb )2()2(222 nnSbbxx ),2( nt即即).2( nt此时此时t xxSb ),2( nt的拒绝域为的拒绝域为得得0HxxSb ).2(2 nt ,0:0 bH拒绝拒绝, 0:0 bH接受接受回归效果不显著的原因分析回归效果不显著的原因分析: :,

19、)1( 取值的取值的影响影响Y;)()2(的关系不是线性的的关系不是线性的与与 xYE.)3(不存在关系不存在关系与与 xY.认为回归效果显著认为回归效果显著.认为回归效果不显著认为回归效果不显著;他不可忽略的因素他不可忽略的因素及随机误差外还有其及随机误差外还有其除除 x而存在其他而存在其他.关系关系例例4解解,48303. 0 b已知已知)2(205. 0 nt取显著性水取显著性水平为平为 0.05 .检验例检验例 2 中的回归效果是否显著中的回归效果是否显著, ,8250 xxS,90. 02 查表得查表得 )8(025. 0t .3060. 2的拒绝域为的拒绝域为假设假设0:0 bHt

20、 xxSb ,3060. 2t 825090. 048303. 0 ,25.46., 0:0认为回归效果显著认为回归效果显著拒绝拒绝 bH6.系数系数b的置信区间的置信区间的置信区间为的置信区间为的置信水平为的置信水平为系数系数 1b.)2( 2 xxSntb ,例如例如 825090. 03060. 248303. 0.作区间估计作区间估计对系数对系数 b,当回归效果显著时当回归效果显著时.95. 01的置信区间的置信区间的置信水平为的置信水平为中中求例求例b ).50712. 0 ,45894. 0(的置信区间的置信区间b的置信区间的置信区间a7.7.回归函数回归函数 函数值的点估计和置信

21、区间函数值的点估计和置信区间0000)( )( xbaxyxxbaxy 的函数值的函数值在在,)(00bxaYE 因为因为.0的某一指定值的某一指定值是自变量是自变量设设xx用经验回归函数用经验回归函数.)( 00的点估计的点估计作为作为xbax 0 y考虑相应的估计量考虑相应的估计量0Y .0 xba .所以估计量是无偏的所以估计量是无偏的 )( 0 x ,0 xba bxax )( .)( 00的置信区间的置信区间求求xbax xxSxxnbxaY2000)(1)( 22)2( n.,0相互独立相互独立YQe),1 , 0(N 2 eQ),2(2 n )2()2()(1)(222000 n

22、nSxxnbxaYxx ),2( ntxxSxxnbxaY2000)(1)( ),2( nt的置信区间为的置信区间为的置信水平为的置信水平为得到得到 1)(00bxax xxSxxnntY2020)(1)2( .)(1)2(2020 xxSxxnntxba 或或8. Y 的观察值的点预测和预测区间的观察值的点预测和预测区间.00的观察结果的观察结果处对处对是在是在设设YxxY 0Y0Y的点预测的点预测作为作为000 bxaY0 ,00 bxa)., 0(2 N处的经验回归函数值处的经验回归函数值0 x)( 0 x 0 xba 的结果，的结果，是将要做一次独立试验是将要做一次独立试验0Y.,21

23、相互独立相互独立果果它与已经得到的试验结它与已经得到的试验结nYYY的线性组合，的线性组合，是是nYYYb,21的线性组合，的线性组合，是是故故nYYYxxbYY,)(2100 相互独立相互独立与与00YY0Y 0Y,)(11, 0220 xxSxxnNxxSxxnYY2000)(11 )1 , 0(N的相互独立性知的相互独立性知eQYY,00)2()2()(11222000 nnSxxnYYxx ),2( ntxxSxxnYY2000)(11 ),2( nt,1 给定置信水平为给定置信水平为 )2()(1122000ntSxxnYYPxx 1 xxSxxnntYP2020)(11)2( xx

24、SxxnntY2020)(11)2( 1 xxSxxnntY2020)(11)2( 区间区间0Y xxSxxnntxba2020)(11)2( 的预测区间的预测区间的置信水平为的置信水平为 10Y或或例例5 ( (续例续例2) );95. 00的预测区间的预测区间的置信水平为的置信水平为的新观察值的新观察值处处YY.95. 0的预测区间的预测区间解解处的值处的值在在求回归函数求回归函数125)(1) xx ,95. 0)125(的置信区间的置信区间的置信水平为的置信水平为 125 x求在求在的置信水平为的置信水平为的新观察值的新观察值处处求在求在00(2) YYxx (1)已知已知b,4830

25、3. 0 a ,7394. 2 xxS ,82502 ,90. 0 x .145)2(205. 0 nt查表得查表得 )8(025. 0t .3060. 20YxxSxxnnt202)(1)2( 125 xY ,64.57 12548303. 073935. 2 xx ,84. 0 8250)145125(10190. 03060. 22 xxSxxnnt202)(11)2( .34. 2的置信水的置信水处的值处的值在在回归函数回归函数)125(125)( xx的预测区的预测区的置信水平为的置信水平为得率得率处处在在95. 012500Yx ).84. 064.57( ).34. 264.57

26、( 的置信区间为的置信区间为平为平为95. 0间为间为的一个置信水平的一个置信水平的新观察值的新观察值处处在在00)2(YYxx 的预测区间为的预测区间为为为 95. 0 8250)145(1011)8(20025. 000 xtYxx (2)在在MATLAB中求解中求解的取值的取值x测区间测区间的观察值的点预测和预的观察值的点预测和预Y输出参数输出参数回归直线回归直线21LL 和和曲线曲线Yln三、可化为一元线性回归的例子三、可化为一元线性回归的例子 ln ,e xY)., 0(2 N方法方法通过适当的变量变换通过适当的变量变换,化成一元线性化成一元线性回归问题进行分析处理回归问题进行分析处

27、理.几种常见的可转化为一元线性回归的模型几种常见的可转化为一元线性回归的模型.,2无关的未知参数无关的未知参数是与是与其中其中x 两边取对数，两边取对数，将将 xeY得得 .lnln x,lnYY 令令,lna , b ,xx ln. 1Y型：型：转化为一元线性回归模转化为一元线性回归模 , bxa)., 0(2 N . 2 ln , xY)., 0(2 NYln.,2无关的未知参数无关的未知参数是与是与其中其中x 两边取对数，两边取对数，将将 xeY得得 .lnlnln x,lnYY 令令,lna , b ,lnxx ln型：型：转化为一元线性回归模转化为一元线性回归模Y , bxa).,

28、0(2 N . 3 ln ,)( xhY)., 0(2 N.,2无关的未知参数无关的未知参数是与是与其中其中x ,a 令令, b ,)(xxh 型：型：转化为一元线性回归模转化为一元线性回归模Y , bxa)., 0(2 N的已知函数，的已知函数，是是xxh)(求求 Y 关于关于 x 的回归方程的回归方程 .格格(以美元计以美元计), Y 表示相应的平均价表示相应的平均价今以今以 x 表示轿车的使用年数表示轿车的使用年数, 下表是下表是 1957 年美国旧轿车价格的调查资料年美国旧轿车价格的调查资料,例例6表表年数年数x价格价格Y123456789102651194314941087765538484290226204解解在在MATLAB中求解中求解首先作散点图首先作散点图x=1:1:10;y=2651,1943,1494,1087,765,538,484,290,226,204;plot(x,y,.r)12345678910050010001500200025003000呈指数关系，呈指数关系，与与xY选择模型选择模型Y变量变换变量变换 ln ,e x)., 0(2 N