测量数据处理第1章

2020/5/20,1,实用测量数据处理方法,王磊电话箱:wangleinj,东南大学交通学院测绘工程系,2020/5/20,2,第一章回归分析第二章插值与拟合第三章稳健估计第四章时间序列分析第五章傅立叶分析第六章有限元方法第七章分布拟合检验,主要内容,研究背景,一是实用意义，（1）掌握各种建筑物和地质构造的稳定性，为安全性诊断提供必要的信息，以便及时发现问题并采取相应的对策和措施，防止灾害的发生或最大限度地减少灾害造成的损失；如：汶川地震中唐家山堰塞湖泄洪问题、三峡大坝蓄水、古建筑的保护等。（2）生活及国防需要，如工厂生产过程的调度、证券分析、奖学金的评定；飞机机场的控制模型，飞机、坦克及各种航天器外形的建模设计等。二是科学意义，包括更好地理解变形的机理，验证有关工程设计的理论和地壳运动的假说，进行反馈设计以及建立有效的变形预报模型。,广东九江大桥200米桥面被撞垮塌,吉林23亿铁路工程成“豆腐渣”,南京*大桥,2011-2上虞立交桥坍塌,昆明在建新机场立交桥垮塌,西安明城墙,南京明城墙,上海楼倒倒,上海楼倒倒,楼歪歪,楼碰碰,楼轻轻西安惊现纸做墙壁,2020/5/20,20,第一章回归分析,第一节概述第二节一元线性回归分析第三节多元线性回归分析第四节最优回归模型的选择第五节可化为线性回归模型的非线性回归第六节第二类非线性回归,2020/5/20,21,第一节概述,现实世界中的各种现象之间相互联系、相互制约、相互依存，某些现象发生变化时，另一现象也随之发生变化。如商品价格的变化会刺激或抑制商品销售量的变化；劳动力素质的高低会影响企业的效益；直接材料、直接人工的价格变化对产品销售成本有直接的影响，居民收入的高低会影响对该企业产品的需求量等等。研究这些现象之间的依存关系，找出它们之间的变化规律，是对经搜集、整理过的统计数据进行数据分析，为客观、科学地统计提供依据。现象间的依存关系大致可以分成两种类型：一类是函数关系，另一类是相关关系。,2020/5/20,22,1.函数关系,当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，我们称这种关系为确定性的函数关系。,一、函数关系与相关关系,2020/5/20,23,（函数关系）,（1）是一一对应的确定关系（2）设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量（3）各观测点落在一条线上,2020/5/20,24,变量间的关系（函数关系）,函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)圆的面积(S)与半径之间的关系可表示为S=r2企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1x2x3,2020/5/20,25,2.相关关系：当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化。现象之间客观存在的不严格、不确定的数量依存关系。,2020/5/20,26,变量间的关系（相关关系）,（1）变量间关系不能用函数关系精确表达；（2）一个变量的取值不能由另一个变量唯一确定；（3）当变量x取某个值时，变量y的取值可能有几个；（4）各观测点分布在直线周围。,2020/5/20,27,相关关系的例子商品的消费量(y)与居民收入(x)之间的关系商品的消费量(y)与物价(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系,2020/5/20,28,确定性关系和相关关系之间没有一道不可逾越的鸿沟，由于测量误差等原因，确定性关系在实际中往往通过相关关系表现出来；当对事物的内部规律了解得更加深刻的时候，相关关系有可能转化为确定性关系。,2020/5/20,29,二、回归分析,1回归分析,是指对具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数学模型（称为回归方程式），用来近似地表达变量间的平均变化关系的一种统计分析方法。,2回归分析应用,工程建筑物的变形分析、自然灾害破坏性的预报、地震的预测、工厂生产的调度、飞机、坦克及各种航天器外形的建模设计等。,2020/5/20,30,3回归分析主要内容和步骤,2020/5/20,31,回归分析和相关分析是研究相关关系的一种数学工具，相关分析是把变量都看做随机变量，其目的是确定变量之间的相互联系的程度如何，分析中假定所有随机变量的误差都呈正态分布。回归分析则是应用数学方法对大量观测数据加以处理，从而求出非确定性关系的变量之间的关系规律性，并用数学关系式表达出来。在回归分析中，假定因变量的误差呈正态分布，而对自变量的误差分布并无要求，也就是只考虑在自变量保持一系列定值时，因变量这个随机变量是如何变化的。,2020/5/20,32,回归分析的主要内容。利用回归分析能解决的问题可归纳为下述五个内容：1、经验公式根据实验数据，求取变量之间相关的定量关系式；2、可信性检验对求得经验公式的可信性进行统计检验；3、预报和控制利用求得的经验公式根据取得或确定的数值，预测或控制其它变量的取值，并对预报和控制的结果，进行可信程度的评定；,2020/5/20,33,4、因素分析从影响某一变量的许多变量中，判断哪些变量影响显著；哪些变量不显著；哪些变量没有影响；5、实验方案的设计根据实验的目的和对实验结果的精度要求，考虑回归分析对数据的要求，主动的安排实验方案，使设计出的实验方案，能够用较少的实验次数，获取最大的信息量，并能使获得的实验数据具有较好的统计性质，便于回归分析的数据处理。,2020/5/20,34,首先根据理论和对问题的分析判断，找出自变量和因变量；其次，设法找出合适的数学方程式（即回归模型）描述变量间的关系；由于涉及到的变量具有不确定性，接着还要对回归模型进行统计检验；统计检验通过后，最后是利用回归模型，根据自变量去估计、预测因变量。,回归分析主要步骤,2020/5/20,35,三、回归模型与回归方程,2020/5/20,36,回归模型的类型,2020/5/20,37,一元线性回归模型（概念要点）,当只涉及一个自变量时称为一元回归，若因变量y与自变量x之间为线性关系时称为一元线性回归。对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系。描述因变量y如何依赖于自变量x和误差项的方程称为回归模型。,2020/5/20,38,一元线性回归模型,对于只涉及一个自变量的简单线性回归模型可表示为yt=b0+b1x+ei模型中，y是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项i是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数,2020/5/20,39,多元线性回归模型一个因变量与两个及两个以上自变量之间的回归描述因变量y如何依赖于自变量x1，x2，xp和误差项的方程称为多元线性回归模型涉及p个自变量的多元线性回归模型可表示为,b0，b1，b2，bp是参数（回归系数）是被称为误差项的随机变量y是x1,，x2，xp的线性函数加上误差项说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性,2020/5/20,40,多元线性回归模型,对于n组实际观察数据(yi;xi1,，xi2，xip)，(i=1,2,n)，多元线性回归模型可表示为,2020/5/20,41,第二节一元线性回归分析,一、一元线性回归参数的最小二乘估计,1、一元线性回归模型和回归方程:y=b0+b1x（1.2.1)y=b0+b1xi+ei(1.2.2)0和1为未知的回归参数假定:ei是服从正态分布,又假定x是非随机变量，因此观测值y的方差也为2，且yi与yj（）也是互相独立的。,2020/5/20,42,对n个观测值yi由（1.2.2)式可构成y=A+,N(0,I)(1.2.3)(1.2.4)依最小二乘估计法由(1.2.4)求，即在的要求下求定,2020/5/20,43,将（1.2.4)代入上式，可得法方程（正规方程）,2020/5/20,44,2020/5/20,45,2020/5/20,46,二、估值的若干性质,1、无偏性,2020/5/20,47,2020/5/20,48,6、残差平方和（记为）,2020/5/20,49,2020/5/20,50,三、一元回归的方差分析和线性关系的显著性检验,回归直线方程式求出来了，但它是否有实际意义呢？这里有两个问题需要解决：其一，就这种求回归直线的方法本身而言，对任何两个变量x和y的一组数据（xi,yi),i=1,2,N,都可以用最小二乘法给他们拟合一条直线。要知道这条直线是否基本上符合y与x之间的客观规律，这就是回归方程的显著性检验要解决的问题。其二，由于x与y之间是相关关系，知道了x值，并不能精确地知道y值，那么，用回归方程，根据自变量x值预报（或控制）因变量y值，其效果如何？这就是回归直线的预报精度问题。为此，必须对回归问题作进一步分析。,2020/5/20,51,现介绍一种常用的方差分析方法，其实质是对N个观测值与其算术平均值之差的平方和进行分解，将对N个观测值的影响因素从数量上区别开，然后用F检验法对所求的回归方程进行显著性检验。1、回归方程的方差分析观测值y1,y2,yn之间的差异（称变差），是由两个方面原因引起的：（1）自变量x取值的不同；（2）其他因素（包括试验误差）的影响。为了对回归方程进行检验，首先必须把它们所引起的变差从y的总变差中分离出来。N个观测值之间的变差，可用观测值y与其算术平均值的离差平方和来表示，称为总的离差平方和，记作,2020/5/20,52,2020/5/20,53,见下图,这样，通过平方和分解式就把N个观测值的两种影响从数量上区分开来。,2020/5/20,54,2020/5/20,55,2、回归方程的显著性检验回归方程显著性是表征变量y与x的线性关系的密切程度的指标。由回归平方和和残余平方和的含义可以知道，在离差平方和一定的前提下，变量y与x的线性关系是否密切，完全取决于值和值。值越大，越小，说明y与x的线性关系越密切。回归方程显著性的检验，通常采用所谓F检验法，即计算统计量。,2020/5/20,56,2020/5/20,57,四、样本相关系数r,在统计研究中，对现象间的相关关系的密切程度用相关系数或相关指数来确定。样本相关系数r，它是衡量两个变量之间线性相关关系的重要指标，由于这个系数是由英国统计学家皮尔逊(Pearson)设计的，故又称为Pearson相关系数。设研究总体有N对（），我们可以计算出对应的均值和，通过点（，）画两条平行于X轴和Y轴的直线，将散点图分成四个部分，见图,2020/5/20,58,当X和Y是正相关时，观测点大多数散布在、部分，较大且为正值。当X与Y呈负相关时，观测点大多数散布在、部分，值较大但为负值。当X与Y不相关或低度相关时，各观测点不规则地散布在四个部分，,在各象限的值正负互相抵消，最终其值会很小或趋于零。因此可用来衡量X与Y的相关方向与程度，值大表示变量间关系密切，值小表示变量间关系不密切。,2020/5/20,59,但的值与X与Y的计量单位及X和Y自身的变异程度都有关，为了使不同总体的相关系数可以互相对比，将除以X与Y的标准差、以消除变量值大小和离差值大小不等的影响，这样得到一个抽象系数r，称为总体直线相关系数，即：,样本相关系数是根据样本观测值计算的，抽取的样本不同，其具体的数值也会有所差异。容易证明，样本相关系数是总体相关系数的一致（无偏）估计量。,2020/5/20,60,2020/5/20,61,样本相关系数有以下特点：1.的取值介于与之间。2.当时，与的样本观测值之间没有线性关系。3.在大多数情况下，即与的样本观测值之间存在着一定的线性关系，当时，与为正相关，当时，与为负相关。4.如果，则表明与完全线性相关，当时，称为完全正相关，而时，称为完全负相关。5.是对变量之间线性相关关系的度量。只是表明两个变量之间不存在线性关系，它并不意味着与之间不存在其他类型的关系。对于二者之间可能存在的非线性相关关系，需要利用其他指标去进行分析。,2020/5/20,62,r检验,2020/5/20,63,第三节多元线性回归分析,一、多元线性回归参数的最小二乘估计,1、多元线性回归模型和回归方程:ei是相应于的随机误差，假定又假定xi是非随机变量，因此观测值的方差也为2，且yi与yj也是互相独立的。,2020/5/20,64,若记,2020/5/20,65,多元线性回归模型的基本假定为了保证模型参数估计的正确性，对回归方程做如下基本假定：(1)变量xi是确定性变量，不是随机变量。(2)随机误差项具有零均值和同方差，即(3)正态分布的假定条件：由上述假定和多元正态分布的性质可知：Y仍遵从n维正态分布，且,2020/5/20,66,按最小二乘估计法由上式求未知的多元回归参数的估值，也就是在的要求下求定,2020/5/20,67,将（1.3.4)代入上式，可得法方程（正规方程）,2020/5/20,68,2020/5/20,69,二、参数的中心化解,2020/5/20,70,将(1.3.13)式代入(1.3.7)式中的其它各式，则可以得到中心化法方程,2020/5/20,71,2020/5/20,72,三、多元线性回归统计性质,2020/5/20,73,2020/5/20,74,2020/5/20,75,四、多元线性回归的方差分析和显著性检验1、方差分析：由离差平方和的分解公式可知，回归模型的总离差平方和等于回归平方和与残差平方和的和。,2020/5/20,76,2、显著性检验（F检验法）对多元线性回归方程，必须检验X和Y之间是否存在线性相关问题。一个很自然的想法就是把回归平方和（线性影响）跟剩余平方和（其他影响）进行比较。由于回归平方和与残差平方和的数值会随观测值的样本容量和自变量个数的不同而变化，因此不宜直接比较，而必须在方差分析的基础上利用检验进行。,2020/5/20,77,多元回归中进行这一检验的目的主要是为了检验与各回归系数对应的自变