非线性最小二乘平差

1、非线性最小二乘平差6-1问题的提出经典平差是基于线性模型的平差方法。然而在现实世界中，严格的线性模型并不多见。测量上大量的数学模型也是非线性模型。传统的线性模型平差中的很多理论在非线性模型平差中就不一定适用；线性模型平差中的很多结论在非线性模型平差中就不一定成立；线性模型平差中的很多优良统计性质在非线性模型平差中就不一定存在。例如，在线性模型平差中，当随机误差服从正态分布时，未知参数X的最小二乘估计工心具有一致无偏性和方差最小性。但在非线性模型平差中，即使随机误差严格服从正态分布，未知参数 X的非线性最小二乘估计也是有偏的。其方差一般都不能达到最小值。对于测量中大量的非线性模型，在经典平差中总

2、是进行线性近似（经典的测量平差中称之为线性化），即将其展开为台劳级数，并取至一次项，略去二次以上各项。如此线性近似，必然会引起模型误差。过去由于测量精度不高，线性近似所引起的模型误差往往小于观测误差，故可忽略不计。随着科学技术的不断发展，现在的观测精度已大大提高，致使因线性近似所产生的模型误差与观测误差相当，有些甚至还会大于观测误差。例如，GPSa波相位观测值的精度很高，往往小于因线性近似所产生的模型误差。因此，用近似的理论、模型、方法去处理具有很高精度的观测结果，从而导致精度的损失，这显然是不合理的。现代科学技术要求估计结果的精度尽可能高。这样，传统线性近似的方法就不一定能满足当今科学技术的

3、要求。 另外，有些非线性模型对参数的近似值十分敏感，若近似值精度较差， 则线性化会产生较大的模型误差。由于线性近似后，没有顾及因线性近似所引起的模型误差，而用线性模型的精度评定理论去评定估计结果的精度，从而得到一些虚假的优良统计性质，人为地拔高了估计结果的精度。鉴于上述各种原因，对非线性模型平差进行深入的研究是很有必要的。非线性模型的平差和精度估计以及相应的误差理论研究也是当前国内外测绘界研究的前沿课题之一。电子教材 第六章非线性模型平差 6-2非线性模型平差原理一、非线性误差方程测量中大量的观测方程是非线性方程。比如导线测量中，以待定点坐标为未知参数的角度观测方程和边长观测方程分别为：用一

4、仃脸arctg +和勺一弓/一飞 尸卜*二加工）十上-力、6（621）式中：%方为待定点坐标的真值，“片和与分别为角度观测值也和边长观测值用的真误差。角 度观测值和边长观测值的观测方程（ 6-2-1 ）式是待定点坐标真值（毛，区）的非线性函数。又如在 GPSftj距测量中，第j颗卫星至测站k的几何距离的观测方程为：尺7g 一 /尸+s, 一炉厂十国一/彳十国十小;也是测站点k的待定坐标真值（尾，口莓）的非线性函数。一般地，用 L表示总尺1的观测向量，用工表示乂1的未知参数向量的真值，用表示冷K1的真误差向量，则非线性观测方程可写为:(6-2-2 )A=/() + A(6-2-2 )式中：八尸（

5、式的为工），是由n个笈的非线性函数组成的修灯的向量；。（6-2-2 ）式就是我们所要讨论的一般的非线性模型。在一般的非线性模型（6-2-2 ）式中，用未知参数向量和真误差向量的估计值代替其真值，得非线性误差方程如下:(6-2-3 )式中：V为观测值的改正数向量（残差向量）；X为参数向量的估值。、非线性模型平差 由非线性误差方程（6-2-3 ）式知，非线性误差方程（6-2-3 ）式中仅有n个方程，而有n + t个未知数（n个观测值的改正数和t个参数）。因此非线性误差方程（6-2-3 ）式是非线性不定方程组，有 无穷组解。在这无穷组解中，必然有一组解能使/力-炉/V由如min（6-2-4）我们将满

6、足（6-2-4 ）式的一组解作为最优解，并称（6-2-4 ）式所确定的齐为笈的一个非线性最小二乘网估计。本书中将求解非线性最小二乘估计的过程称为非线性模型平差。可见，非线性模型平差与线性模型平差的是完全一致的。（6-2-4 ）式的几何意义就是观测空间至解空间的距离最短， 或者说/5 是解轨迹兀上离观测值L最近的点（见图6-1 ）。L到兀的距离就是IIVII。图6-1JF1在非线性模型（6-2-3 ）式中，若/（为 存在一阶连续偏导数，且工 的非线性最小二乘估计量 X存在，则残差向量 V在工处垂直于切空间 T （见图6-1）24。、非线性最小二乘估计的近似解当非线性模型（6-2-3）式的非线性强

7、度24较弱时，可以将非线性模型在工。处线性近似，并用线性模型的求解理论和方法来近似地求解非线性模型（6-2-3 ）式。这也就是我们大家所熟悉的传统方法线性化方法，即将非线性模型（6-2-3 ）式在1口处用台劳级数展开，取至一次项，得：(6-3-1 )丸”=看丸”=看嘤cfcf1既（幻7J(6-3-2 )(6-3-3 )则（6-3-1 则（6-3-1 ）式可写为：VBSX-l(6-3-4 )(6-3-5 )(6-3-5 )(6-3-6 )（6-3-4 ）式就是我们熟悉的间接平差的误差方程。由间接平差知，根据最小二乘原理可解得：鼓=的尸丁那汽于是参数X的非线性平差结果为：X=XqMX例6-1 （本

8、例取自参考文献24）已知非线性模型为乙二工逐”。其中参数1和*2的真值为工=（5.420136团-0一254%1网了。人的5个真值（用参数的真值X算得）和相应的5个同精度独立观测值列于表 6-1。表6-1 L的真值和相应的观测值i12345真值4.2028343.2589242.5270061.9594691.519394观测值4.203.252.521.951.51观测方程为:JTJ1取参数x的近似值为瑞=51取参数x的近似值为瑞=51得误差方程:0.74020.5488P = BBx + l = 0.74020.5488P = BBx + l = 0.4066030120.22314.00

9、0415.92726.58646.50580.1996、0.28640,32450.32366.0245)03051；由（6-3-5 ）式得:6X =I 0.049953787 ）于是，由（6-3-6 ）式得参数X的平差值为:X = X8X =r 5.394141979 0.250246213,参数估值x的真误差为:-0.025994200、L 0.004315680 ;其范数为:|AX| = g；十 但 = 0.02631801其范数为:二、非线性最小二乘平差的迭代解当非线性模型的非线性强度很强时，线性近似可能产生大于观测误差的模型误差，所以对于非线 性模型，一般采用迭代的方法求解。求解非线

10、性误差方程（6-2-3 ）式的最小二乘平差值，就是求参数X的估值.，使自=5幻-工）/。（幻-0二（心寸江）-2，5）互 + ENE = mi门（6-3-7 ）由于产上是一常量，所以（6-3-7 ）式等价于目标函数为（6-3-8 ）R（龙）=f PfX-2fXPL = （6-3-8 ）的非线性无约束最优化问题。因为不是发的非线性函数，所以对（6-3-8 ）式求一阶偏导数，并令其为零，得不到 发 的显 表达式。故求不出 发的解析解。因此，我们只能设法寻找某一近似解X ,使（6-3-9 ）成立。寻找使（6-3-9 ）式成立的近似解 丫二一般只有采用迭代的方法。为此，下面介绍几种常用的 迭代方法。1

11、 .牛顿法设义步）的极小值的一个近似值为X,在X附近将展为台劳级数，取至二K （尤+幽即） 二氏（X）4 g心式中:产=靖K （尤+幽即） 二氏（X）4 g心式中:产=靖g界-8R OR QjCgr我也RdR*R区=为因弼 一 RR工药附列亚儿称为工）处的Hessian矩阵。 += nnn6(6-3-10 )萨)西/X = W)1(6-3-11 )Nr *密密d2R明殂=G： 氏 X =3出, 、6(6-3-12 )dXwdXw = X* _ X(6-3-13 )g是在处的梯度方向。由于X是上囚的一个已知的近似值，故（6-3-10 ）式只是d*的函数，为了求得使（6-3-10 ） 式成立的奴豺

12、,将（6-3-10 ）式对W求偏导，并令其为零，得:g十(女/4 = 0移项后两边转置，顾及（6-3-12 ）式，得gW（/）gW（/）(6-3-14 )当G非奇异时，由（6-3-14 ）式可解得使（6-3-10 ）式成立的联斯二一斯二一Gj （耳尸(6-3-15 )当dX）充分小时，dX能使（6-3-10）式成立。但由于X未知，故不能充分小,需不断迭代，直至 ax充分小，其迭代公式为:1a1a用=X +办曲二叱的一Gjg出y(6-3-16 )（6-3-16 ）式就是牛顿迭代的基本公式，迭代终止条件:R(Xf = R(Xf = R(Xa)(6-3-17 )(6-3-18 )二：(6-3-18

13、)是一个绝对值较大的数， 而且的各元素的绝对值都很小，因此，由于计算机有效数字的限制，以（6-3-17 ）式作为迭代收敛条件比（6-3-18 ）式作为迭代收敛条件收敛要快一些。牛顿法的迭代步骤为:(1)选取初值工，并令k=0o (2)按(6-3-11 )式计算梯度万向 自 ，若舌 =0则转至(7)。(3)计算Hessian矩阵。(4)解线性万程组(6-3-14 )式，得。(5)按(6-3-16 )式计算新的近似值 X*。(6)计算目标函数值网对叫若Rg仪万力则转至(2)继续迭代。(7)终止迭代，输出 心碎和网加力 ,结束。例6-2在例6-1中，仍设“二(吊)乃=(54 -0.3jJ ,用牛顿法

14、求例6-1中非线 性模型的非线性最小二乘平差值。解：由例6-1知P=I,故目标函数为：R(X) = ff0b-VT(X)L TOC o 1-5 h z 55-.Xe 阳一4 Z4*SR：=11-1SR(55、2(工/漆一4泊) ；-1 2元(耳他端一自叫*) I i=i：=1jq=将五k-0.255672087,所以停止迭代，得 X的非线性最小二乘解则,X=X-X =Go一 00260B395、-0.001310197J|A| = A+A =0.0029由例6-1知，本迭代解与其真值的距离比线性近似解与其真值的距离要小一个数量级。当初值取V 一）时，迭代发散，这说明牛顿法对初值很敏感。2.信赖

15、域法牛顿法具有很快的收敛速度，但它总是局部收敛的。因为牛顿法的基本思想是用二次函数Q（ ）=氏（牙席）+ X由金 十 一 （dx徜）丁仔/电去逼近（星）。只有当出性充分小时,。（星同）才能很好地逼近於 （W）。然后在限制既然只有当温小充分小时，QM*）才能逼近网主力，那么可以对dX加以限制,然后在限制条件下来寻求我（-）的极小值。这个思想相当于求解下列约束最优化问题：目标函数：(6-3-19 )0（工31）=H侬4+号闻必:1虫，产却xW = nnin(6-3-19 )约束条件：|树叫&比式中：也为一正数，它随迭代而变化。约束条件限制了，使d约束条件限制了，使d左”的长度不大于总在一个给定的小

16、区域中活动。这个区域是可信赖的，所以称该方法为信赖域法。常数4取决于的逼近程度。这个逼近程度可用下式来描述八 /(6-3-20 )与越接近于1,。(“要*)对网工出”的逼近程度越好，于是加.，4 ,0.75, 0 25 r, 0. 756(6-3-21 )这样，可总结出信赖域法的迭代程序：(1)选取初值X，% , -0 Oom 。(2)按(6-3-11 )式和(6-3-12 )式计算梯度方向吕和矩阵 维，若占 =0则转至(7)。(3)按(6-3-15 )式计算乩炉外，并检查I I是否满足约束条件。若不满足，则采取适当方 法对I* II予以压缩。然后在区域体内求使。=min的忠华。(4)计算月的

17、新的近似值 的十=工+dX”)。尤h(5)按(6-3-20 )式计算 上，并按(6-3-21 )式确定 1t十1。(6)检查凡(“)氏(五)是成立。若不成立，则转(2)继续迭代。(7)终止迭代，输出 X3)和仪皿),结束。丫二国 = (5 4 -0 31y 4例6-3,设I 1 2J =0.08 ,用信赖域法求解例6-1中非线性模型的非线性最小二乘平差值。衣1为、g和G的表达式同例6-2,用信赖域法迭代计算的结果列于表6-3。表6-3信赖域法迭代计算ki23456-1.12050249080.12476302340.005486260960.0001230533147.605186 X10-5

18、4.700803 X10-5宫尹-17.15305032.7464276240.096099297860.0021541677371.331179 X10-38.228461 X10-4X产5.3421934885.4214826075.4227163795.4227271535.4227338065.422737919承-0.2446971417-2553841042-0.2556656317-0.2556680975-0.255669209-0.255670562-40.21054702-40.62555285-40.63548246-40.6254928-40.63549279-40.6

19、3549279迭代六次，有=*)= -40.63549279 ,共 X* -Ax -1-0.255670562/|印=心；+AxJ =0.0029所以停止迭代，得：0.002601732、0.0013086727当初值二（5 4 一。二）时，和牛顿法一样发散。这说明信赖域法也与初值有关，仍然是局 部收敛，并不像想象的那样全局收敛。3 .拟牛顿法牛顿法是基于二次模型龙（x（幻片式（丫阳）+/幻幽上）+ 1（加约）丁弓.村田2的。当R的形式很复杂时，求 R的二阶偏导数阵 5 将非常困难。为了避免求二阶偏导数，我们考虑用 一个仅包含一阶偏导数信息的对称矩阵 以 去逼近5,然后再按牛顿法予以迭代。可见

20、拟牛顿法与牛 顿法的差别就是用2代替5。拟牛顿法的关键是寻找一个只包含一阶偏导数信息的W 拟牛顿法的关键是寻找一个只包含一阶偏导数信息的W 矩阵。此处介绍按“数值法确定4 方法24。由（6-3-12 ）式并顾及（6-3-11 由（6-3-12 ）式并顾及（6-3-11 ）式有根据多元函数偏导数的定义:=lim纲知:如 -1十曲丁码,斗）即（方知:如 -1十曲丁码,斗）即（方*I处w式餐工入,&）- g式X） 明小lim晶t。知51马+一且式力曲g式汗1，,七十 d/）一&（琦%（Xi +%（Xi +叼j匕/ ） 一小工叫61 N1 3 A2 3 F /百收（）的津、宫二6 2，内 23 A3

21、? 1% ，宫二（6-3-22 ）则去掉极限后，得 热 的近似矩阵:(6-3-23 )(6-3-23 )用（6-3-23 ）式定义的对称矩阵乌既能较准确地逼近 7 ,用（6-3-23 ）式定义的对称矩阵需要求二阶偏导数，有了 鼻后，一切迭代均按牛顿法进行。由于拟牛顿法一开始就要按（6-3-23 ）式计算 阵，所以计算前除了给定 X的初值外，还必须给定 型 的初值盅*。叱）可以这 样确定：当给定x后，将减去一个很接近 V的向量胃。则差值就是段）。即匿1人（6-3-24 ）开始计算时，用 WW） 即可。例6-4 ,用拟牛顿法求解例 6-1中非线性模型的非线性最小二乘平差值。初值为”二（染好）=（5

22、.4 一0.3） O由于给定铲砂=（54q3广则取那= 039 5,，由（6-3-24） 式得。2丁。取定/）和比后，按拟牛顿法迭代的结果列于表6-3-4。由表 6-3-4可以看出，迭代6次后，有取了）三阳工），停止迭代，得(5.422737919(5.4227379191X=1,-0.255670562 J(0.002508373 Ax =0.001310195 J闻二 3；十3 二0,0029与以上迭代解相同，这表明用数值法确定的且阵，能很好地逼近 5阵。表6-4拟牛顿法迭代计算k123456必）-0.2212457710.856623242-0.03115185858-0.0038407

23、6635-0.000103474252.358884 X10-7宫尹-2.96595985212.93742451-0.4936312734-0.0575278579-0.00156179733.739449 X10-6看）5.4516695345.4205436615.4227059295.4227446515.4227445615.422744560承-0.256609692-0.255545476-0.2556687702-0.2556720931-0.2556720852-0.2556720849-40.62536846-40.48402317-40.63523365-40.63548

24、925-40.6354928-40.6354928Su2.50226282.7530006252.7651948512.7637780922.763734282.7637342821226.2060480133.0199188231.1255648931.1365668231.139476831.1394768022398.1482354533.4314266472.3603199469.4625468469.7401401469.7401401Gk%2.3116199153.0036954482.7800517262.7638399562.7637402982.763740270%21.21

25、9671135.5479196631.44353731.1398253431.1379900631.13798972%289.8392513546.7992839475.1482883469.7863468469.7540942469.75408984-高斯一一牛顿法以上介绍的几种方法，都是求目标函数尺（*）=口近口的非线性最优化算法。与我们在误差理 论与测量平差基础中已掌握的平差方法相去甚远。而高斯-牛顿法则不同，几乎和我们已经掌握的平差方法相同。高斯-牛顿法的基本出发点就是在初值 丫“处对非线性模型进行线性近似。并按传统的平差方法求出一次近似值然后反复迭代，直至前后两次厂的值相等，即（，印

26、产。迭代步骤如下：假设非线性模型（6-2-2 ）式存在一阶连续偏导数，且参数 X之间相互独立，则在近似值 V 处线性化，得误差方程：VB （小）dX-L-/（黑）式中：为用X）按（6-3-2 ）式算得的误差方程系数矩阵。根据最小二乘原理，有。）= N十（门工）尸巩T）-3（皿）尸（上- 星）求得了后，再以公）为近似值继续迭代，其迭代公式为：网二婢十的（/）闭犷*-35”刊工-炉空）、（6 3 25 /终止迭代条件：（尸即明（切严。高斯-牛顿法具有一定的合理性。因为若（6-2-2 ）式是线性模型，则有）=B产（y%二屋。于是:丫=+ 喇 T P（L_月X）=5H）T btpl上式表明：若（6-2

27、-2 ）式是线性模型，则由高斯 -牛顿法从任意初值出发，经一次迭代就可得到最小二乘平差的精确解。当非线性模型（6-2-2 ）式的非线性强度111较弱时，高斯一一牛顿法是较好的方法。例6-5,设工=（淄=（5.4 -。3）?,用高斯牛顿法求解例6-1中非线性模型的非线性最小二乘平差值。按（6-3-25 ）式迭代的结果列于表6-55.422737919 )5.422737919 )A =556Tor 0.002608336 )Ar =-0.001310196；表6-5高斯一一牛顿法迭代计算k12345”同5.3941413315.4222989895.4227445025.4227445735.4

28、22744573修-0.250050-0.255618-0.255672-0.255672086-0.255672086我（吗-39.78568664-40.62829761-40.63549238-40.6354928-40.6354928|Ax|= TAxf + Axf =0.0029当=国）=p14 一。司时，迭代发散。这说明虽然高斯牛顿法有一定的合理性，但在具体执行时可能会产生一些问题。首先是对初值的依赖性较大。当初值较差时，会出现迭代发散现象，使迭代无法进行下去。好在我们在实际计算时，总是用观测值算出X）,即如此求得的初值 N 与X的真值很接近，故一般可迭代收敛。工=工=BX + A

29、中，当&服从正态分通过误差理论与测量平差基础的学习，我们知道在线性模型布时，最小二乘估计量 和片均为无偏估计。并且上和学均具有最小方差。即在线性模型L =+中，当A服从正态分布时，最小二乘估计量具有优良的统计性质。那么，在非线性模型工-+A中，当A仍服从正态分布时，非线性最小二乘估计量和戈 是否还有这些优良统计性质呢？回答是否 定的（参见文献24）。非线性最小二乘估计量 工和为有偏估计，而且上和片的方差达不到最小值。二、单位权中误差文献25已推导出非线性模型平差中单位权方差就的严密估计公式。由于非线性模型平差中单位权方差5?的严密估计公式非常复杂，建议在实际工作中仍用（6-4-1 ）去估计单位

30、权方差并称（6-4-1 ）式为非线性模型平差中单位权方差苗的近似估计公式。三、非线性函数的误差传播一 ，一 、丁二二（Q为简单起见，仅讨论独立观测的情况。 设独立观测向量的真值为,，观测值为工,& 4功，观测值的真误差为/服从正态分布，即屋m（。，。）。其中of 0 - 0Z（A）= D（Z）= 谛0 - - -现有独立观测向量的非线性函数(6-4-2 )式中用为常数。现要求根据独立观测向量l的方差口来求非线性函数尸的方差口（尸）。这就是非线性函数的误差传播问题。 为了根据观测向量 L的方差口求非线性函数尸的方差,将（6-4-2 ） 式在观测值L处展为台劳级数，并取至二次项得：，二为+由与+；

31、品源 +22+4.#&1A皿用十七3A363 +ZM-lji A 准33式中：l-板）笠(6-4-3 )(6-4-3 )切二 + ，+44 +；匚11吊 +，+ fA1A/+=血 +, +c -1. A a_|A r对必 取数学期望，并顾及左国) = 0, .() = (&：) = 夙田片)(6-4-4 )E(A)= 0. 以A向)=Q(i * E(g“ 左国) = 0, .() = (&：) = 夙田片)(6-4-4 )得:E)= g 匕产;+ % + + :)根据方差的定义知:虱4）=0,虱4）=0,双%与）=0/,国国）=0, 联；） = &*取Ag 0, M；)=仇讥=时，必科)=1寸+ + 4与+异国-封）+ -+ 1二海（第一田）十 白匕12 + *， + s-Lme-Ibb顾及(6-4-4 )式，得:n1用m-1 h%)吓百+工初+小初H上1/小1(6-4-5)例6-6在GIS矢量数据库中得 A B两点在空间直角坐标系中的坐标观测值为工二也% 以 % k 3二区Jk乙弓丹) =G 5 4 2 0 2) L的方差阵为：W 0W 0000口：%000000000000口0