第9章回归分析与经验公式拟合

1、误差理论与数据处理第九章回归统计与数据拟合9-9-1 1第9章 回归分析与经验公式拟合 作者：刘兆平部门：机电设备系 误差理论与数据处理第九章回归统计与数据拟合9-9-2 2教学目标回归分析是处理变量之间相关关系的一种数理统计方法,也是广泛用于获得数学表达式的较好方法。本章介绍测量中常用的一元与多元线性回归以及一元非线性回归的基本方法。 误差理论与数据处理第九章回归统计与数据拟合9-9-3 3v 回归分析的基本概念v一元线性回归分析v多元线性回归分析v非线性回归分析教学重点和难点 误差理论与数据处理第九章回归统计与数据拟合9-9-4 4第一节回归分析的基本概念回归分析的基本概念 变量间的关系可

2、分为函数关系和相关关系。本节介绍这两种关系，并对回归分析的一些基本概念作一个简要的介绍。 误差理论与数据处理第九章回归统计与数据拟合9-9-5 5变量间的函数关系 1、是一一对应的确定关系2、设有两个变量和，变量随变量一起变化，并完全依赖于，当变量某个数值时，依确定的关系取相应的值，则称是的函数，记为，其中称为自变量，称为因变量xyyxxxxyyy = f(x)xyv如以速度作匀速运动的物体，走过的距离与时间之间，有如下的函数关系 vstsvt 误差理论与数据处理第九章回归统计与数据拟合9-9-6 6变量间的相关关系 1、变量间关系不能用函数关系精确表达3、当变量取某个数值时，变量的值可能有几

3、个xy2、一个变量的取值不能由另一个变量惟一确定v如人的身高( )与体重( )之间的关系 yx 误差理论与数据处理第九章回归统计与数据拟合9-9-7 7什么是回归分析？v3、利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并要知道这种预测或控制可达到的精密度。 一种处理变量间相关关系的数理统计方法。他主要解决以下几个问题v1、从一组样本数据出发，确定变量之间的数学关系式v2、对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著 误差理论与数据处理第九章回归统计与数据拟合9-9-8 8回归模型的类型回归模型回归模型一元回归

4、一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归多元回归多元回归一个自变量两个及两个以上自变量 误差理论与数据处理第九章回归统计与数据拟合9-9-9 9回归模型1、回答“变量之间是什么样的关系？”2、方程中运用q1个数字的因变量q1个或多个数字的或分类的因变量3、主要用于预测或估计误差理论与数据处理第九章回归统计与数据拟合9-9-1010第二节第二节一元线性回归分析一元线性回归分析误差理论与数据处理第九章回归统计与数据拟合9-9-1111一、一元线性回归方程 误差理论与数据处理第九章回归统计与数据拟合9-9-1212一元线性回归模型概念1、当只涉及一个自变量时称

5、为一元回归，若因变量与自变量之间为线性关系时称为一元线性回归3、描述因变量如何依赖于自变量和误差项的方程称为回归模型。yx2、对于具有线性关系的两个变量，可以用一个线性方程来表示它们之间的关系yx 误差理论与数据处理第九章回归统计与数据拟合9-9-1313由实验获得两个变量和的一组样本数据，构造如下一元线性回归模型 xy11( ,)x y22(,)xy(,)nnxyiiiyabx一元线性回归模型概念一元线性回归模型概念 v模型中，是的线性函数部分加上误差项yxxyv线性部分反映了由于的变化而引起的变化v误差项是随机变量反映了除和之间的线性关系之外的随机因素对的影响是不能由和之间的线性关系所解释

6、的变异性v和称为模型的参数xyyxyab 误差理论与数据处理第九章回归统计与数据拟合9-9-14141、误差项是一个期望值为的随机变量，即。对于一个给定的值，的期望值为( )0Eixiy()iiE yabx2、对所有的值，的方差都相同ixi23、误差项是一个服从正态分布的随机变量，且相互独立。即i2(0,)iN独立性意味着对于一个特定的值，它所对应的与其它值所对应的不相关ixijxj对于一个特定的值，它所对应的值与其它值所对应的不相关ixiyjxjy一元线性回归模型基本假定一元线性回归模型基本假定 误差理论与数据处理第九章回归统计与数据拟合9-9-15151、描述的平均值或期望值如何依赖于的方

7、程称为回归方程yx2、简单线性回归方程的形式如下( )E yabx方程的图示是一条直线，因此也称为直线回归方程是回归直线在轴上的截距，是当时的期望值是直线的斜率，表示当每变动一个单位时，的平均变动值ay0 x bxy回归方程概念要点 误差理论与数据处理第九章回归统计与数据拟合9-9-16161、总体回归参数和是未知的，必须利用样本数据去估计他们ab2、用样本统计量和代替回归方程中的未知参数和，这时就得到了经验的回归方程 ab3、一元线性回归的经验的回归方程 yabx是回归直线在轴上的截距是直线的斜率，它表示对于给定的的值，是的估计值，也表示当每变动一个单位时，的平均变动值 aybxyx yya

8、b经验的回归方程 误差理论与数据处理第九章回归统计与数据拟合9-9-17172()()xyxxln xyx ybln xx xaybx 2211112222221111111,()()()()nnnniiiiiiiiinnxxiyyiiinxyiiixx yy xxxyx ynnnnlxxn xn xlyynynylxxyynxynx y 式中根据最小二乘法的要求，可得和的计算公式和的计算公式 ab误差理论与数据处理第九章回归统计与数据拟合9-9-1818二、回归效果二、回归效果F F检验检验 误差理论与数据处理第九章回归统计与数据拟合9-9-1919偏差平方和的分解偏差平方和的分解 测量值之

9、间的差异来源于两个方面12,ny yy由于自变量取值的不同造成的x除以外的其它因素(如对的非线性影响、测量误差等)的影响 iyyxy对一个具体的观测值来说，变异的大小可以通过该实际观测值与其均值之差来表示x 误差理论与数据处理第九章回归统计与数据拟合9-9-2020偏差平方和的分解图示偏差平方和的分解图示0yxyy = yab x = + y _ yy _ yy _ y 误差理论与数据处理第九章回归统计与数据拟合9-9-2121()()iiiiyyyyyy两端平方后求和得到222111nnniiiiiiiyyyyyy总偏差平方和 回归平方和 残余平方和 总回残总残回三个平方和的关系三个平方和的

10、关系 误差理论与数据处理第九章回归统计与数据拟合9-9-2222自由度1n总计算公式yyl总在总的偏离中除了对线性影响之外的其它因素而引起变化的大小 xyy1回2xyxyxxlbll回在总的偏差中因和的线性关系而引起变化的大小 xyy2n总回残 总回残总偏差平方和 回归平方和 残余平方和 意义反映因变量的n个观测值与其均值的总偏差三个平方和的意义三个平方和的意义 误差理论与数据处理第九章回归统计与数据拟合9-9-2323回归方程的显著性检验1、检验自变量和因变量之间的线性关系是否显著2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间

11、存在线性关系如果不显著，两个变量之间不存在线性关系 误差理论与数据处理第九章回归统计与数据拟合9-9-24242、计算检验统计量 F回回剩剩12Fn回剩 3、在给定显著性水平 下，由分布表查得临界值 。1,2Fn4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。1,2FFn即检验步骤1、提出假设线性关系不显著0:H0H 误差理论与数据处理第九章回归统计与数据拟合9-9-2525估计残余标准误差4、残余标准差的计算公式 2sn残xyy1、表征除了与线性关系之外其它因素影响值偏离的大小 2、反映实际观测值在回归直线周围的分散状况3、从另一个角度说明了回归直线的拟合程度 误差理论与数据处

12、理第九章回归统计与数据拟合9-9-2626偏离回归残余总和平方和xybl 回yyl 总 总回残自由度1n2n标准差2sn残统计量2Fs回置信限 1,2Fn0.10.05 0.01显著否显著否 显著否方差分析表误差理论与数据处理第九章回归统计与数据拟合9-9-2727三、回归系数的不确定度三、回归系数的不确定度与回归方程的稳定性与回归方程的稳定性 误差理论与数据处理第九章回归统计与数据拟合9-9-2828回归系数的不确定度回归系数的不确定度1、回归系数的不确定度是描述回归系数的分散性 21( )xxxU asnl1( )xxU bsl2 abxxxssl 2、回归系数和的标准不确定度的计算公式

13、ab3、回归系数和的协方差的计算公式 ab式中，是残余标准差s 误差理论与数据处理第九章回归统计与数据拟合9-9-2929回归方程的稳定性回归方程的稳定性 1、回归值的波动大小，波动愈小，回归方程的稳定性愈好。 y2、回归值的波动大小的计算公式 y标准不确定度来表示。 y( )U y21( )xxxxU ysnl回归值的波动大小不仅与剩余标准差s有关，而且还取决于试验次数n及自变量取值范围。 误差理论与数据处理第九章回归统计与数据拟合9-9-3030提高回归方程中各估计量稳定性的方法提高回归方程中各估计量稳定性的方法(1) 提高观察数据本身的准确度(2) 尽可能增大观测数据中自变量的取值范围

14、(3) 增加观测次数 (4) 减小残余误差，即拟定合适回归方程使其尽可能合乎实际数据的变化规律 误差理论与数据处理第九章回归统计与数据拟合9-9-3131四、回归预测值及四、回归预测值及其不确定度其不确定度 误差理论与数据处理第九章回归统计与数据拟合9-9-3232回归预测值回归预测值及其不确定度及其不确定度xy、利用估计的回归方程，对于自变量的一个给定值，求出因变量的一个估计值，就是回归的预测值0 x0 y的标准不确定度来表述 yyabx21( )xxxxu ysnl2n的扩展不确定度来表述 ypyabxU1,2pn 2、预测值与实际值之间存在偏差，因此给出预测值时，还必须给出其不确定度。有

15、以下两种表示方式0 yy 误差理论与数据处理第九章回归统计与数据拟合9-9-3333【例【例9-19-1】试对下表所列实验数据做直线拟合，并作方差分析和预测。 ixiyixiyixiyixiy180200145165123110191205104100141135151180190220134135144160110130153145141125190190108110155160204235190210158130177185150170161145107115177205121125165195180240143160151135154150127135147155116100115120

16、 误差理论与数据处理第九章回归统计与数据拟合9-9-3434【解】直线拟合计算 11150.09,158.283434iixxyy225453xxilxx32325xyiilxxyy32.3aybx 250094,1.27yyixyxxlyybll32.3 1.270yx 故有直线拟合 误差理论与数据处理第九章回归统计与数据拟合9-9-3535方差分析 50094yyl总241037xyxxll回9057 总回残282.516.8s 偏离回归残余总和平方和自由度标准差 统计量2145.0Fs回置信限 1,32F0.01高度显著41037905750094323316.8145.07.50 误差

17、理论与数据处理第九章回归统计与数据拟合9-9-3636预测 对于，查分布表得 232n0.01(32)2.74t0.05(32)2.04t0.10(32)1.69t21( )2.88xxxxsu ysnln( ) ( )pUtu y故有32.30 1.2707.89(0.99,32)yxp 32.30 1.2705.88(0.95,32)yxp 32.301.2704.87(0.90,32)yxp 误差理论与数据处理第九章回归统计与数据拟合9-9-3737回归直线及预测区间100120y240220180140100140160180200 xyx = 32.30 + 1.27误差理论与数据处

18、理第九章回归统计与数据拟合9-9-3838第三节第三节多元线性回归分析多元线性回归分析误差理论与数据处理第九章回归统计与数据拟合9-9-3939一、多元线性回归方程 误差理论与数据处理第九章回归统计与数据拟合9-9-4040多元线性回归模型概念要点多元线性回归模型概念要点 0111222iiimmimiybbxxbxxbxx11njjiixxn1、一个因变量与两个及两个以上自变量之间的回归2、描述因变量如何依赖于自变量和误差项的方程称为多元线性回归模型12,mx xxy3、涉及个自变量的多元线性回归模型可表示为m是参数01,mb bb是被称为误差项的随机变量是的线性函数加上误差项说明了包含在里

19、面但并不能被个自变量的线性关系所解释的变异性y12,mx xxy 误差理论与数据处理第九章回归统计与数据拟合9-9-4141多元线性回归模型概念要点多元线性回归模型概念要点 对于组实际观测数据，多元线性回归模型可表示为12(,)iimiixxxynyXB 12nyyyy111212112122221122111mmmmnnmnmxxxxxxxxxxxxxxxxxxX012mbbbbB12n 式中 误差理论与数据处理第九章回归统计与数据拟合9-9-4242多元线性回归模型基本假定1、自变量是确定性变量，不是随机变量2、随机误差项的期望值为，且方差都相同3、误差项是一个服从正态分布的随机变量，即，

20、且相互独立12,mx xx22(0,)N 误差理论与数据处理第九章回归统计与数据拟合9-9-4343多元线性回归方程概念要点1、描述的平均值或期望值如何依赖于的方程称为多元线性回归方程12,mx xxy2、多元线性回归方程的形式为0111222mmmybbxxbxxbxx称为偏回归系数表示假定其他变量不变，当每变动一个单位时，的平均变动值12,mb bbibixy 误差理论与数据处理第九章回归统计与数据拟合9-9-4444多元线性回归的估计(经验)方程1、总体回归参数是未知的，利用样本数据去估计2、用样本统计量代替回归方程的未知数，即得到估计的回归方程012,mb b bb012 ,mb b

21、bb012,mb b bb0111222mmmybbxxbxxbxx是的估计值是的估计值012 ,mb b bb012,mb b bb yy 误差理论与数据处理第九章回归统计与数据拟合9-9-4545011niibyn11212oomombllblbL111212112mmmmmllllllL11111nnnnjkjijkikjikijikiiiiilxxxxx xxxn11111nnnnjojijijiijiiiiiilxxyx yxyn,1,2,j kn参数的最小二乘估计 误差理论与数据处理第九章回归统计与数据拟合9-9-4646计算过程计算过程 1niiy1,1,2,njiixjm1,

22、,1,2,njikiix xjk j km1,1,2,njiiix yjmjkljol1L,0,1,2,jbjm误差理论与数据处理第九章回归统计与数据拟合9-9-4747二、线性回归效果检验二、线性回归效果检验 误差理论与数据处理第九章回归统计与数据拟合9-9-4848回归方程的显著性检验1、检验因变量和所有的自变量之间的是否存在一个显著的线性关系，也被称为总体的显著性检验2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系 误差理论与数据处理第九章回归统计与数据拟合9-9

23、-4949检验的检验的步骤步骤2、计算检验统计量 m(1)Fnm回残( ,1)F m nm1、提出假设线性关系不显著至少有一个不等于012:0mHbbb112:,mHb bb 3、在给定显著性水平 下，由分布表查得临界值 4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。,1FFm nm0H 误差理论与数据处理第九章回归统计与数据拟合9-9-5050偏离回归残余总和平方和jobl回yyl总 总回残自由度1n1nm标准差1sn m残统计量置信限 ,1Fm nm显著否mm(1)Fnm回残方差分析表方差分析表 2iiyy 总回残2iyyyyl总2ij joyyb l回误差理论与数据处理第

24、九章回归统计与数据拟合9-9-5151三、每个自变量在多元回三、每个自变量在多元回归中所起的作用归中所起的作用 误差理论与数据处理第九章回归统计与数据拟合9-9-5252 1、一个多元线性回归方程是显著的，并不意味着每个自变量 对因变量的影响都是重要的,可能其中有某些变量的作用很小。 12,mx xx2、用偏回归平方和来考察每个特定因素在总回归中所起的作用偏回归平方和偏回归平方和 iV 回回回归平方和，反映了所有 个回归自变量对因变量 的总影响 my回舍弃某，其余个回归自变量可拟合出元线性回归方程，其相应的回归平方和，它反映了其余个回归自变量所起的总作用。 回表示出单独对回归因变量的影响 yi

25、x1m1m1mix 误差理论与数据处理第九章回归统计与数据拟合9-9-5353偏回归平方和的实用计算公式偏回归平方和的实用计算公式 2iiiibVc原元回归的正规方程系数矩阵L的逆矩阵 中的第列元素 m1Li回归方程的回归系数 1、直接利用定义式计算偏回归平方和非常繁杂2、可利用实用公式计算 误差理论与数据处理第九章回归统计与数据拟合9-9-5454分析步骤分析步骤(1) 计算每个自变量的偏回归平方和(2) 凡是偏回归平方和大的变量，一定是对有重要影响的因素。可用残余平方和对它进行检验。y残F计算统计量1(1)iiVFnm残当时，则认为变量对的影响在水平上显著 (1,1)iFFnmixy(3)

26、 偏回归平方和小的变量，不一定不显著。但偏回归平方和最小的那个变量，肯定是所有变量中对作用最小的一个，假如此时变量检验结果又不显著，那可以将该变量剔除。剔除一个变量后，得重新建立元新回归方程，计算回归系数和偏回归平方和。 1m 误差理论与数据处理第九章回归统计与数据拟合9-9-5555在对的多元回归中，当取消一个变量后，个变量新的回归系数（），与原来的回归系数之间有如下关系 12,mx xxyix1mjbjijb0,ijjjiiicbbbijcby 新老回归系数间的关系，原元回归的正规方程系数矩阵L的逆矩阵 中的元素 m1L,ijiic c误差理论与数据处理第九章回归统计与数据拟合9-9-5656第