测量平差最小二乘法与数学模型.doc

测量平差由于测量仪器的精度不完善和人为因素及外界条件的影响，测量误差总是不可避免的。为了提高成果的质量，处理好这些测量中存在的误差问题，观测值的个数往往要多于确定未知量所必须观测的个数，也就是要进行多余观测。有了多余观测，势必在观测结果之间产生矛盾，测量平差的目的就在于消除这些矛盾而求得观测量的最可靠结果并评定测量成果的精度。测量平差采用的原理就是“最小二乘法”。测量平差是德国数学家高斯于18211823年在汉诺威弧度测量的三角网平差中首次应用，以后经过许多科学家的不断完善，得到发展，测量平差已成为测绘学中很重要的、内容丰富的基础理论与数据处理技术之一。最小二乘法与数学模型最小二乘法在我们研究两个变量（x，y）之间的相互关系时，通常可以得到一系列成对的数据（x1，y1、x2，y2xm，ym）；将这些数据描绘在x-y直角座标系中（如图1），若发现这些点在一条直线附近，可以令这条直线方程如式（1-1）。Y计=a0+a1X （1-1）其中：a0、a1是任意实数为建立这直线方程就要确定a0和a1，应用最小二乘法原理，将实测值Yi与利用式（1-1）计算值Y计=a0+a1X的离差Yi-Y计的平方和（Yi-Y计）2最小为“优化判据”。令：=（Yi-Y计）2 （1-2）把式（1-1）代入式（1-2）中得：=（Yi-a0-a1Xi）2 （1-3）当（Yi-Y计）平方最小时，可用函数对a0、a1求偏导数，令这两个偏导数等于零。 （1-4） （1-5）亦即：ma0+（Xi）a1=Yi （1-6）（Xi）a0+（Xi2）a1=（Xi，Yi） （1-7）得到两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：a0=（Yi）/m-a1（Xi）/m （1-8）a1=XiYi-（XiYi）/m/Xi2-（Xi）2/m （1-9）这时把a0、a1代入式（1-1）中，此时的式（1-1）就是我们回归的元线性方程即：数学模型。在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1，y1、x2，y2xm，ym）的，为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。R = XiYi - m (Xi / m)(Yi / m)/ SQRXi2 - m (Xi / m)2Yi2 - m (Yi / m)2 （1-10）在式（1-10）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。最小三乘法当研究实际中两个变量（x，y）之间的相互关系时，也可得到一系列成对的数据（x1，y1、x2，y2xm，ym）；将这些数据描绘在x-y直角座标系（如图2）中，发现这些点在一条曲线附近，假设这条曲线的一元非线性方程（如式2-1）。Y计=a0+a1Xk （2-1）其中：a0、a1、k是任意实数为建立曲线方程，就要确定a0、a1和k值，应用最小二乘法同样的方法，将实测值Yi与计算值Y计（Y计=a0+a1Xik）的离差（Yi-Y计）的平方和（Yi-Y计）2为依据：令：=（Yi-Y计）2 （2-2）把式（2-1）代入式（2-2）中得：=（Yi-a0-a1Xik）2 （2-3）用函数分别对a0、a1和k求偏导数，令这三个偏导数等于零即： （2-4） （2-5） （2-6）得到三个关于a0、a1和k为未知数的三元方程组，解方程组即可得到数学模型。判断数学模型的好坏，同样可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。这样的验证很好时，有的模型计算误差还是很大，为了更进一步的验证数学模型，必需计算模型的最大误差、平均误差和平均相对误差来验证模型。“最小三乘法”与“最小二乘法”比较若对任意曲线用（式3-1）拟和Y计=a0+a1XK （3-1）“最小二乘法”和“最小三乘法”比较表：最小二乘法最小三乘法拟和式：Y计=a0+a1XkY计=a0+a1Xk优化判据：（Yi-Y计）2（Yi-Y计）2回归计算结果：a0和a1，k=1（默认）a0、a1和k通过比较，“最小二乘法”和“最小三乘法”的“优化判据”（Yi-Y计）2相同，“最小三乘法”计算了因变量的幂值k，“最小二乘法”不计算因变量的幂值k，把它默认为1。1“最小三乘法”利用计算幂值，使回归模型函数曲线以不同曲率弯曲，来更好的拟和不同曲率的曲线。它省去了“最小二乘法”中繁琐的建机理模型和线性化处理，使回归模型与数据拟和更好。对多维非线性数据回归，不用“偏最小二乘法”的每因素逐一与目标函数回归建模，再把所有模型捆绑成最终模型的方法，而是所有因素与目标函数，同时一次回归成数学模型，在回归时，它不但考虑因素对目标函数的贡献，还把因素之间的影响考虑进去，这样的模型要比用“偏最小二乘法”回归的模型准确。“最小二乘法”数据回归一因素数据只有一元“X”，“最小三乘法”数据回归一因素数据可有若干个元“Xk1”、“Xk2”、“Xkn”（如式3-2），利用这一特性，可使回归模型拟和数据更准确。Y计=a0+a1Xk1+a2Xk2+anXkn （3-2）模型选择一、机理研究法机理研究法是研究某过程的内在联系，对过程假设后，而建立的两个或两个以上因素之间关系的数学方程式；对数学方程式做数学变形处理，找出与预设模型（数学方程式）相对应的元和目标函数，再利用数据回归计算机理模型的系数。二、数据研究法数据研究法是对两维数据，以两维数据分别为目标函数和因素，因素X的变化引起目标函数Y变化，这种变化可分为六种情况（如图3-1图3-6）。第一种：线性增加，随因素X增加，因素Y匀速增大。第二种：线性减少，随因素X增加，因素Y匀速减小。第三种：非线性增加，随因素X增加，因素Y加速增大。第四种：非线性增加，随因素X增加，因素Y减速增大。第五种：非线性减少，随因素X增加，因素Y加速减小。第六种：非线性减少，随因素X增加，因素Y减速减小。假设此六种情况方程式为：Y=a0+a1Xk （4-1）第一种情况：a00时，a10、k1第二种情况：a00时，a10、k1第三种情况：a00时，a10、k1、k0第四种情况：a00时，a10、0k1第五种情况：a00时，a10、0k1第六种情况：a00时，a10、k1、k0通过上述分析总结，确定回归参数（即每一元）的数学式，第三、六种情况，曲线上凹，与指数曲线相似，可选指数形式eX；第四、五种情况，曲线上凸，与对数形式相似，可选对数形式LOG（X）（对数底为e）；若选择幂形式Xk，可根据上述第一种情况至第六种情况中a0、a1、a2和k之间的关系选择k值。三、选择回归参数注意问题1、当一因素数据中有0值时，此因素数据不可作除数和取对数；可把此维数据加上一个数，使它大于零。2、当一因素数据中有负数都有时，此因素数据不可做回归计算；可把此维数据乘上一个负数，使它大于零。3、某因素数据取幂时，不可太大和太小，否则回归计算机会中断溢出；有时回归出的模型，不能逆运算。最小二乘法最小二乘法是处理各种观测数据进行测量平差的一种基本方法。如果以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。因此称最小二乘法。所谓“权”就是表示观测结果质量相对可靠程度的一种权衡值。法国数学家勒让德于1806年首次发表最小二乘理论。事实上，德国的高斯于1794年已经应用这一理论推算了谷神星的轨道，但迟至1809年才正式发表。此后他又提出平差三角网的理论，拟定了解法方程式的方法等。为利用最小二乘法测量平差奠定了基础。最小二乘法也是数理统计中一种常用的方法，在工业技术和其他科学研究中有广泛应用。下面是一道有趣的智力思考题。给你一本书，你能否仅用普通的刻度尺，测出一张纸的厚度吗？答案是肯定的！我想聪明的读者都已猜到了：只需量出全书的厚度（如果书很薄，可以把相同的书叠它几本！），然后除以全书纸的张数，即得每张纸的厚度。上述方法可以用于类似的场合。例如，为了测出细漆包线的直径大小，可以采用绕线的办法，在一根铅笔上，紧密地绕上n圈，如图测量出这n圈漆包线在铅笔上所占位置的长L，则该漆包线的直径d，显然应该满足然而，尽管很多人都懂得应该这样去做，但并非所有的人都知道其中的科学原理。假设某本书共1128页（除封页），测得厚60mm，各页的厚度（单位mm）为：a1，a2，a3，a1128可得到：而一张纸的厚度0.0532（mm），则是这1128个数的平均值。现在需要证明的是：对于量x的n个观测值a1，a2，an，它们的平均值是所要测定的量X的最理想取值。式中求和符号表示从1累加到n。事实上，最理想的取值X，应当使它与n个观察值的差的总和为最小。但考虑到差（x-a1）（i1，2，n）可能有正有负，如果直接地把它们相加，势必使某些差的值相抵消，影响了偏离的真实性，这显然是不合理的。于是，人们想到了用（x-ai）2来替代相应的差。这样一来，最理想的取值X应当使函数y=(x-ai)2+(x-a2)2+(x-an)2=nx2-x(ai)x+ai2取极小值。这是关于X的二次函数，易知当时y取极小。这就是为什么平均值可以看成是观测量最理想取值的道理。同样的原理可以用于二维的情形，只是计算要稍为复杂一些，我们将要得到的结果，在数学上非常有名，叫做最小二乘法。它是德国数学家高斯，于公元1795年创立的，那时他年仅18岁！现在假定我们观察到n个经验点：(x1，y1)，(x2，y2)，(xn，yn)如果我们认定这n个经验点Mi（i1，2，n）是对直线yAxB上的点在观测时的误差。那么，这些经验点Mi（xi，yi）与直线上相应点N（xi，Ai+B）之间的以下量应当取极小值。“最小二乘法”的名称，大约就是由此而来！函数y显然可以写成A的二次函数时取极小值。整理得：（xi2）A+（xi）B=xiyi同理，函数y又可以写成B的二次函数，而当这一函数取极小值时，又得：（xi）A+（xi）B=xiyi这样，由方程组便可以确定参数A、B的值。从而得到一条最逼近n个经验点Mi（I=1，2，n）的直线。最小二乘法在科学上有许多妙用，这里暂不介绍。组合模型建模平稳时间序列分析，其基本形式是xt=mt+yt，通常称mt为序列的确定性部分，而称yt为零均值的平稳随机部分。ARIMA模型是采取一些办法剔除mt部分的作用，这里所要介绍的组合模型不仅要将趋势性和周期性分量分离出来，而且要给出mt的具体表达式，因此最后建立起既有确定性又有随机性部分的组合模型，由这两部分的组合来共同描述某些类型的非平稳过程，常常能达到令人满意的效果。建立组合模型的方法，简单地说是选用最小二乘法按照某类函数拟合数据序列的确定性部分，从低阶开始，逐渐增加阶数，直到模型无明显改进为止。然后对消除了确定趋势的残量序列建立适宜的ARMA(n，m)模型。最后，用前述得到的两部分参数估值作为初值，对确定性部分和ARMA部分的所有参数，用非线性最小二乘方法重新估计，得出组合模型的最终估计。我们对各种组合模型，从简单情形到一般情形分别叙述如下：（1）线性趋势。数据序列含有线性趋势，即观察数据在某一直线附近散布，这是组合模型中最简单的一种情形。我们可以先用熟知的统计方法拟合回归直线，然后对残差建立ARMA(n，m)模型，最后把分别估计得到的两部分参数作为初值，用非线性最小二乘法估计出组合模型的最终参数。与此类似，对于含有多项式趋势的序列，我们采用适当阶数的多项式和ARMA模型叠加所构成组合模型来拟合。（2）指数趋势。数据序列有时呈现指数增长或衰减趋势，这里所讨论的是实指数的情形。我们可用组合模型拟合。其中Kj，Aj为实数，yt为ARMA序列。建模的步骤与（1）基本相同。对于r1即多个指数趋势混合的情形，求和阶数r的判别比较麻烦。我们要么根据实际物理背景决定应用有若干加项。要么采用使r=1,2,3,L由低到高的拟合办法，使r增加到组合模型的残差平方和无显著改进为止。（3）周期趋势。如果随机序列不仅含有指数衰减或增长趋势，而且还呈现出某种规律的周期性起伏，则可用如下形式的组合模型去拟合 （31.1）其中yt是ARMA(n,m)序列，L为序列所含有的指数趋势项的项数，K是周期趋势项的项数，j为基频，由数据的物理性质决定，单位为弧度秒，Bj和rj分别表示周期趋势的振幅和相位，ebjt控制周期振荡的增长或衰减趋势。由于在式（31.1）中，描述周期趋势所用的正弦函数是对称的，但在生物、社会、经济领域，周期并不是对称的，如1年或1天中的气温旬变化趋势，上升比下降要缓慢；生物种群数量的波动，先是较缓慢地上升，到达高峰后，较快（甚至是急剧）下降，等等。针对这种比较普遍的时间动态趋势，作者在DPS数据处理系统中，对式(31.1)进行了改进，即将式(31.1)改写为如下形式： (31.2)式(31.2)中的|表示时间t除以周期长度s的小数部分，0|t/s|1，d为指数。显然，当d等于1时，式(31.2)和式(31.1)是等价的；当d小于1时，式(31.2)表达的周期趋势为上升较下降快；但当d大于1时，式(31.2)表达的周期趋势为上升较下降慢。组合模型建模的具体步骤为：首先拟合线性或指数趋势，然后逐个地增添周期趋势项，最后对残差序列yt建立ARMA模型。各个分模型的参数都估计出来，再以它们作为初值，对整个组合模型（31.2）统一进行参数估计。在估计过程中需反复使用非线性最小二乘法。尽管模型结构比较复杂，待估计参数个数较多，建模过程还是比较麻烦，但在DPS数据处理系统的支持下，实现起来还是较容易的。数学模型基础知识一数学模型的定义现在数学模型还没有一个统一的准确的定义，因为站在不同的角度可以有不同的定义。不过我们可以给出如下定义：“数学模型是关于部分现实世界和为一种特殊目的而作的一个抽象的、简化的结构。”具体来说，数学模型就是为了某种目的，用字母、数学及其它数学符号建立起来的等式或不等式以及图表、图象