误差理论与数据处理-第六章 回归分析

合肥工业大学误差理论与数据处理第六章回归分析合肥工业大学误差理论与数据处理本章主要阐述回归分析的基本概念，并重点介绍一元线性回归和非线性回归的基本方法，给出回归方程的方差分析和显著性检验。从而使学生掌握回归分析方法的基本原理，学会从实际测量中寻求两个变量和多个变量之间的内在关系。教学目标合肥工业大学误差理论与数据处理回归分析的基本概念和主要内容一元线性回归方程的求法回归方程的方差分析和显著性检验一元非线性回归方法多元线性回归重点与难点合肥工业大学误差理论与数据处理第一节回归分析的基本概念一、函数与相关函数关系可以用明确的函数关系式精确地表示出来相关关系这些变量之间既存在着密切的关系，又不能由一个（或几个）自变量的数值精确地求出另一个因变量的数值，而是要通过试验和调查研究，才能确定它们之间的关系。合肥工业大学误差理论与数据处理第一节回归分析的基本概念二、回归分析思路1、由数据确定变量之间的数学表达式回归方程或经验公式；2、对回归方程的可信度进行统计检验；3、因素分析。合肥工业大学误差理论与数据处理第二节一元线性回归一元线性回归确定两个变量之间的线性关系，即直线拟合问题。一、回归方程的确定例确定某段导线的电阻与温度之间的关系1912503013604004655007630778079758080823583908510散点图202530354045507678828084合肥工业大学误差理论与数据处理第二节一元线性回归从散点图可以看出电阻与温度大致成线性关系。设测量数据有如下结构形式式中，分别表示其它随机因素对电阻值影响的总和。思路要求电阻Y与X的关系，即根据测量数据要求出和的估计值。根据测量数据，可以得到7个测量方程，结合前面所学，未知数有两个，而方程个数大于未知数的个数，适合于用最小二乘法求解。合肥工业大学误差理论与数据处理第二节一元线性回归设得到的回归方程残差方程为根据最小二乘原理可求得回归系数B0和B。对照第五章最小二乘法的矩阵形式，令合肥工业大学误差理论与数据处理第二节一元线性回归则误差方程的矩阵形式为对照，设测得值的精度相等，则有将测得值分别代入上式，可计算得合肥工业大学误差理论与数据处理第二节一元线性回归其中合肥工业大学误差理论与数据处理二、回归方程的方差分析及显著性检验第二节一元线性回归问题这条回归直线是否符合Y与X之间的客观规律回归直线的预报精度如何U对N个观测值与其算术平均值之差的平方和进行分解；U从量值上区别对个观测值的影响因素；U用F检验法对所求回归方程进行显著性检验。方差分析法合肥工业大学误差理论与数据处理第二节一元线性回归（一）回归方程的方差分析1、引起变差的原因A、自变量X取值的不同；B、其它因素（包括试验误差）的影响。2、方差分析总的离差平方和（即N个观测值之间的变差）可以证明合肥工业大学误差理论与数据处理第二节一元线性回归SUQ其中U回归平方和，反映总变差中由于X和Y的线性关系而引起Y变化的部分。Q残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对Y变差的影响。合肥工业大学误差理论与数据处理第二节一元线性回归（二）回归方程显著性检验F检验法基本思路方程是否显著取决于U和Q的大小，U越大，Q越小，说明Y与X的线性关系愈密切。计算统计量F对一元线性回归，应为查F分布表，根据给定的显著性水平和已知的自由度1和N2进行检验合肥工业大学误差理论与数据处理若回归在001的水平上高度显著。第二节一元线性回归回归在005的水平上显著。回归在01的水平上显著。回归不显著。合肥工业大学误差理论与数据处理（三）残余方差与残余标准差第二节一元线性回归残余方差排除了X对Y的线性影响后，衡量Y随机波动的特征量。残余标准差含义越小，回归直线的精度越高。合肥工业大学误差理论与数据处理第二节一元线性回归（四）方差分析表来源平方和自由度方差F显著性回归残余1N2总计N1三、重复试验情况1、重复试验的意义“回归方程显著”只表明因素X的一次项对Y的影响显著；难以确定影响Y的是否还有其它不可忽略的因素X和Y是否线性不表明该方程拟合得很好。合肥工业大学误差理论与数据处理为检验一个回归方程拟合的好坏，可通过重复试验，获得误差平方和和失拟平方和，然后用对进行F检验。第二节一元线性回归2、重复试验回归直线的求法1）设N个试验点，每个试验点重复M次试验，则将这M次试验取平均值，然后再按照前面的方法进行拟合，见表65和表66。2）方差分析合肥工业大学误差理论与数据处理来源平方和自由度方差F显著性回归失拟误差总计第二节一元线性回归3）方差检验判断一元回归方程拟合效果判断失拟平方和对试验误差的影响综合判断一元回归方程拟合效果合肥工业大学误差理论与数据处理第二节一元线性回归1）分组法平均值法将自变量按由小到大次序排列，分成个数相等或近于相等的两个组（分组数等于未知数个数），则可建立相应的两组观测方程将两组观测方程分别相加，得B和B02）图解法紧绳法四、回归直线的简便求法合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定回归方程的求法戴明（DEMING）解法若，分别具有误差，假定之间为线性关系，其数学模型为所求回归方程为式中，分别为的估计值。为使的误差在求回归方程式具有等价性，令，则回归方程可写成合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定式中，根据戴明推广的最小二乘原理，点到回归直线的垂直距离的平方和为最小条件下所求得的回归系数是最佳估计值。由解析几何可知，点到回归直线的距离为式中，合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定根据最小二乘原理，为使为最小，即求解得合肥工业大学误差理论与数据处理变量的方差可用下式估计第三节两个变量都具有误差时线性回归方程的确定合肥工业大学误差理论与数据处理第四节一元非线性回归2、求解未知参数。可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式回归。1、确定函数类型并检验。一、求解思路二、回归曲线函数类型的选取和检验1、直接判断法2、作图观察法，与典型曲线比较，确定其属于何种类型，然后检验。合肥工业大学误差理论与数据处理第四节一元非线性回归3、直线检验法（适用于待求参数不多的情况）A、预选回归曲线B、C、求出几对与X,Y相对应的Z1,Z2值D、以Z1,Z2为坐标作图，若为直线，则说明原选定的曲线类型是合适的，否则重新考虑。合肥工业大学误差理论与数据处理4、表差法（适用于多项式回归，含有常数项多于两个的情况）第四节一元非线性回归A、用试验数据画图；B、确定定差，列出XI,YI各对应值；C、根据X,Y的读出值作出差值，看其是否与确定方程式的标准相符，若一致，则说明原选定的曲线类型是合适的。三、化曲线回归为直线回归问题用直线检验法或表差法检验的曲线回归方程都可以通过变量代换转为直线回归方程，利用线性回归分析方法可求得相应的参数估计值。合肥工业大学误差理论与数据处理第四节一元非线性回归回归曲线方程的效果与精度残余平方和残余标准差相关指数衡量回归曲线效果好坏的指标可以作为根据回归方程预报Y值的精度指标合肥工业大学误差理论与数据处理第五节多元线性回归讨论多个变量之间试验结果的数学表示一、多元线性回归方程假如因变量与M个自变量的内在联系是线性的，通过试验得到N组观测数据那么这批数据的测量方程为式中，是M1个待估计参数；是N个相互独立，服从同一正态分布的随机变量。合肥工业大学误差理论与数据处理第五节多元线性回归回归方程为其中，是的最佳估计值。根据最小二乘的矩阵形式可得回归系数的最佳估计值。令合肥工业大学误差理论与数据处理第五节多元线性回归则回归系数的最佳估计值为二、回归方程的显著性和精度来源平方和自由度方差F回归残余MNM1U/M总计N1合肥工业大学误差理论与数据处理第五节多元线性回归三、每个自变量在多元回归中所起的作用