误差理论与数据处理的回归性分析方法

误差理论与数据处理的回归性分析方法教学目的和要求：

通过本章内容的教学，使学生掌握一元线性回归方程的求法、回归方程的方差分析与显著性检验方法；了解一元非线性回归方程的求解思路及回归曲线效果和不确定度评定；了解多元线性回归方程的求法和显著性检验与不确定度评定方法。

误差理论与数据处理的回归性分析方法主要内容：

1．回归分析的基本概念：概念、回归分析的主要内容。2．一元线性回归：一元线性回归方程的求法、回归方程的方差分析与显著性检验、重复实验判断回归方程拟合性、回归直线的简便求法。3．一元非线性回归：回归曲线类型的选取和检验、化非线性回归为线性回归、回归曲线效果与不确定度评定。4．多元线性回归：二元线性回归方程的求法、多元线性回归、多元线性回归的显著性检验与不确定度评定。5.线性递推回归：回归系数的递推计算公式、计算步骤。

误差理论与数据处理的回归性分析方法第一节基本概念

变量间的关系可分为函数关系和相关关系。本节介绍这两种关系，并对回归分析的一些基本概念作一个简要的介绍。误差理论与数据处理的回归性分析方法变量间的函数关系1、是一一对应的确定关系2、设有两个变量x和y，变量x

随变量y

一起变化，并完全依赖于x

，当变量x

取某个数值时,y

依确定的关系取相应的值，则称y

是x

的函数，记为y

=f(x)，其中x

称为自变量，称y

为因变量如以速度v作匀速运动的物体，走过的距离s与时间t之间，有如下的函数关系s=vt

误差理论与数据处理的回归性分析方法变量间的相关关系1、变量间关系不能用函数关系精确表达3、当变量x取某个数值时，变量y的值可能有几个2、一个变量的取值不能由另一个变量惟一确定如人的身高(y)与体重(x)之间的关系误差理论与数据处理的回归性分析方法什么是回归分析？3、利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并要知道这种预测或控制可达到的精密度。一种处理变量间相关关系的数理统计方法。他主要解决以下几个问题1、从一组样本数据出发，确定变量之间的数学关系式2、对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著误差理论与数据处理的回归性分析方法回归模型的类型回归模型一元回归线性回归非线性回归线性回归非线性回归多元回归一个自变量两个及两个以上自变量误差理论与数据处理的回归性分析方法回归模型1、回答“变量之间是什么样的关系？”2、方程中运用1个数字的因变量1个或多个数字的或分类的因变量3、主要用于预测或估计误差理论与数据处理的回归性分析方法第二节

一元线性回归误差理论与数据处理的回归性分析方法一元线性回归模型概念1、当只涉及一个自变量时称为一元回归，若因变量与自变量之间为线性关系时称为一元线性回归3、描述因变量如何依赖于自变量和误差项的方程称为回归模型。2、对于具有线性关系的两个变量，可以用一个线性方程来表示它们之间的关系误差理论与数据处理的回归性分析方法由实验获得两个变量和的一组样本数据，，…，构造如下一元线性回归模型一元线性回归模型概念

模型中，是的线性函数部分加上误差项线性部分反映了由于的变化而引起的变化误差项是随机变量反映了除和之间的线性关系之外的随机因素对的影响是不能由和之间的线性关系所解释的变异性和称为模型的参数误差理论与数据处理的回归性分析方法1、误差项是一个期望值为０的随机变量，即。对于一个给定的值，的期望值为2、对所有的值，的方差都相同3、误差项是一个服从正态分布的随机变量，且相互独立。即独立性意味着对于一个特定的值，它所对应的与其它值所对应的不相关对于一个特定的值，它所对应的值与其它值所对应的不相关一元线性回归模型基本假定

误差理论与数据处理的回归性分析方法1、描述的平均值或期望值如何依赖于的方程称为回归方程2、简单线性回归方程的形式如下方程的图示是一条直线，因此也称为直线回归方程是回归直线在轴上的截距，是当时的期望值是直线的斜率，表示当每变动一个单位时，的平均变动值回归方程概念要点误差理论与数据处理的回归性分析方法1、总体回归参数和是未知的，必须利用样本数据去估计他们2、用样本统计量和代替回归方程中的未知参数和，这时就得到了经验的回归方程3、一元线性回归的经验的回归方程

是回归直线在轴上的截距是直线的斜率，它表示对于给定的的值，是的估计值，也表示当每变动一个单位时，的平均变动值经验的回归方程误差理论与数据处理的回归性分析方法式中根据最小二乘法的要求，可得和的计算公式误差理论与数据处理的回归性分析方法二、回归效果F检验误差理论与数据处理的回归性分析方法偏差平方和的分解

测量值之间的差异来源于两个方面由于自变量取值的不同造成的除以外的其它因素(如对的非线性影响、测量误差等)的影响对一个具体的观测值来说，变异的大小可以通过该实际观测值与其均值之差来表示误差理论与数据处理的回归性分析方法偏差平方和的分解图示误差理论与数据处理的回归性分析方法两端平方后求和得到总偏差平方和

回归平方和

残余平方和

三个平方和的关系误差理论与数据处理的回归性分析方法自由度计算公式在总的偏离中除了对线性影响之外的其它因素而引起变化的大小在总的偏差中因和的线性关系而引起变化的大小总偏差平方和

回归平方和残余平方和意义反映因变量的n个观测值与其均值的总偏差三个平方和的意义误差理论与数据处理的回归性分析方法回归方程的显著性检验1、检验自变量和因变量之间的线性关系是否显著2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系误差理论与数据处理的回归性分析方法2、计算检验统计量3、在给定显著性水平下，由分布表查得临界值。4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。即检验步骤1、提出假设

线性关系不显著误差理论与数据处理的回归性分析方法估计残余标准误差4、残余标准差的计算公式1、表征除了与线性关系之外其它因素影响值偏离的大小2、反映实际观测值在回归直线周围的分散状况3、从另一个角度说明了回归直线的拟合程度误差理论与数据处理的回归性分析方法偏离回归残余总和平方和自由度１标准差统计量置信限0.10.050.01显著否显著否显著否方差分析表误差理论与数据处理的回归性分析方法三、回归系数的不确定度与回归方程的稳定性误差理论与数据处理的回归性分析方法回归系数的不确定度1、回归系数的不确定度是描述回归系数的分散性

2、回归系数和的标准不确定度的计算公式3、回归系数和的协方差的计算公式式中，是残余标准差误差理论与数据处理的回归性分析方法回归方程的稳定性

1、回归值的波动大小，波动愈小，回归方程的稳定性愈好。2、回归值的波动大小的计算公式标准不确定度来表示。

回归值的波动大小不仅与剩余标准差s有关，而且还取决于试验次数n及自变量取值范围。误差理论与数据处理的回归性分析方法提高回归方程中各估计量稳定性的方法(1)提高观察数据本身的准确度(2)尽可能增大观测数据中自变量的取值范围(3)增加观测次数(4)减小残余误差，即拟定合适回归方程使其尽可能合乎实际数据的变化规律误差理论与数据处理的回归性分析方法四、回归预测值及其不确定度误差理论与数据处理的回归性分析方法回归预测值及其不确定度１、利用估计的回归方程，对于自变量的一个给定值，求出因变量的一个估计值，就是回归的预测值的标准不确定度来表述

的扩展不确定度来表述

2、预测值与实际值之间存在偏差，因此给出预测值时，还必须给出其不确定度。有以下两种表示方式误差理论与数据处理的回归性分析方法例题试对下表所列实验数据做直线拟合，并作方差分析和预测。180200145165123110191205104100141135151180190220134135144160110130153145141125190190108110155160204235190210158130177185150170161145107115177205121125165195180240143160151135154150127135147155116100115120误差理论与数据处理的回归性分析方法【解】直线拟合计算

故有直线拟合误差理论与数据处理的回归性分析方法方差分析偏离回归残余总和平方和自由度１标准差统计量置信限高度显著410379057500943233误差理论与数据处理的回归性分析方法预测对于，查分布表得故有误差理论与数据处理的回归性分析方法回归直线及预测区间误差理论与数据处理的回归性分析方法第三节

一元非线性回归误差理论与数据处理的回归性分析方法非线性回归分析

5、比较不同模型拟合所得的原剩余平方和，选最小者即为所求。2、选择回归模型。根据实验数据散点图分布的特点以及所掌握的物理规律，选择可线化函数的模型。3、作线性化变量变换后，按一元线性回归问题计算待定的系数、原的剩余平方和。４、如果对拟合结果不满意，再选择其它模型，重复以上步骤。1、因变量与自变量之间不是线性关系误差理论与数据处理的回归性分析方法几种常见的非线性模型指数函数1、基本形式：2、线性化方法两端取对数得令３、图像误差理论与数据处理的回归性分析方法几种常见的非线性模型指数函数1、基本形式：2、线性化方法两端取对数得令３、图像误差理论与数据处理的回归性分析方法几种常见的非线性模型幂函数1、基本形式：2、线性化方法两端取对数得令３、图像误差理论与数据处理的回归性分析方法几种常见的非线性模型双曲线函数1、基本形式：2、线性化方法令３、图像误差理论与数据处理的回归性分析方法几种常见的非线性模型S型曲线1、基本形式：2、线性化方法令３、图像误差理论与数据处理的回归性分析方法几种常见的非线性模型对数函数1、基本形式：2、线性化方法令３、图像误差理论与数据处理的回归性分析方法第四节

多元线性回归误差理论与数据处理的回归性分析方法一、多元线性回归方程误差理论与数据处理的回归性分析方法多元线性回归模型概念要点

1、一个因变量与两个及两个以上自变量之间的回归2、描述因变量如何依赖于自变量和误差项的方程称为多元线性回归模型3、涉及个自变量的多元线性回归模型可表示为是参数是被称为误差项的随机变量是的线性函数加上误差项说明了包含在里面但并不能被个自变量的线性关系所解释的变异性误差理论与数据处理的回归性分析方法多元线性回归模型概念要点

对于组实际观测数据，多元线性回归模型可表示为式中误差理论与数据处理的回归性分析方法多元线性回归模型基本假定1、自变量是确定性变量，不是随机变量2、随机误差项的期望值为０，且方差都相同3、误差项是一个服从正态分布的随机变量，即，且相互独立误差理论与数据处理的回归性分析方法多元线性回归方程概念要点1、描述的平均值或期望值如何依赖于的方程称为多元线性回归方程2、多元线性回归方程的形式为称为偏回归系数表示假定其他变量不变，当每变动一个单位时，的平均变动值误差理论与数据处理的回归性分析方法多元线性回归的估计(经验)方程1、总体回归参数是未知的，利用样本数据去估计2、用样本统计量代替回归方程的未知数，即得到估计的回归方程是的估计值是的估计值误差理论与数据处理的回归性分析方法参数的最小二乘估计误差理论与数据处理的回归性分析方法计算过程

误差理论与数据处理的回归性分析方法二、线性回归效果检验误差理论与数据处理的回归性分析方法回归方程的显著性检验1、检验因变量和所有的自变量之间的是否存在一个显著的线性关系，也被称为总体的显著性检验2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系误差理论与数据处理的回归性分析方法检验的步骤2、计算检验统计量1、提出假设线性关系不显著至少有一个不等于０3、在给定显著性水平下，由分布表查得临界值4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。误差理论与数据处理的回归性分析方法偏离回归残余总和平方和自由度标准差统计量置信限显著否方差分析表

误差理论与数据处理的回归性分析方法三、每个自变量在多元回归中所起的作用误差理论与数据处理的回归性分析方法1、一个多元线性回归方程是显著的，并不意味着每个自变量对因变量的影响都是重要的,可能其中有某些变量的作用很小。2、用偏回归平方和来考察每个特定因素在总回归中所起的作用偏回归平方和

回归平方和，反映了所有个回归自变量对因变量的总影响舍弃某，其余个回归自变量可拟合出元线性回归方程，其相应的回归平方和，它反映了其余个回归自变量所起的总作用。表示出单独对回归因变量的影响误差理论与数据处理的回归性分析方法偏回归平方和的实用计算公式

原元回归的正规方程系数矩阵L的逆矩阵中的第列元素回归方程的回归系数

1、直接利用定义式计算偏回归平方和非常繁杂2、可利用实用公式计算误差理论与数据处理的回归性分析方法分析步骤(1)计算每个自变量的偏回归平方和(2)凡是偏回归平方和大的变量，一定是对有重要影响的因素。可用残余平方和对它进行检验。计算统计量当时，则认为变量对的影响在水平上显著(3)偏回归平方和小的变量，不一定不显著。但偏回归平方和最小的那个变量，肯定是所有变量中对作用最小的一个，假如此时变量检验结果又不显著，那可以将该变量剔除。剔除一个变量后，得重新建立元新回归方程，计算回归系数和偏回归平方和。误差理论与数据处理的回归性分析方法在对的多元回归中，当取消一个变量后，个变量新的回归系数（），与原来的回归系数之间有如下关系新老回归系数间的关系，原元回归的正规方程系数矩阵L的逆矩阵中的元素误差理论与数据处理的回归性分析方法第五节

线性递推回归误差理论与数据处理的回归性分析方法一、回归系数的递推计算公式

设回归模型为y＝b0＋b1x1＋…＋bMxM系数矩阵误差理论与数据处理的回归性分析方法引理：设A、C和A+BCD为非奇异方阵，则下列等式成立（A+BCD）-1＝A-1－A-1B（C-1＋DA-1B）-1DA-1

将XN+1的展开式代人CN+1

误差理论与数据处理的回归性分析方法BN+1=N+1将CN+1、BN+1的展开式代入bN+1bN+1＝CN+1•BN+1=CNBN－CNZ(1＋ZTCNZ)-1ZTCNBN＋CNZyN+1－CNZ(1＋ZTCNZ)-1ZTCNZyN+1将上式后两项归并整理CNZ（1+ZTCNZ）-1[（1+ZTCNZ）－ZTCNZ]yN+1＝CNZ（1+ZTCNZ）-1yN+1误差理论与数据处理的回归性分析方法将上式代人bN+1bN+1＝CNBN＋CNZ（1＋ZTCNZ）-1（yN+1－ZTCNBN)

＝bN＋CNZ（1+ZTCNZ）-1（yN+1－ZTbN）令

kN+1＝（1＋ZTCNZ）-1CNZ

则

bN+1＝bN＋kN+1