（大地测量学与测量工程专业论文）非线性同伦最小二乘理论研究及其应用.pdf

西南交通大学硕士研究生学位论文第1 页 ! - - 一一一一一 一_ i_ ii i 蔓曼鼍曼曼曼曼曼曼曼曼曼曼曼曼! 曼曼曼 摘要 传统的测量数据处理方法通常是将非线性最小二乘模型在待估参数的近似值处泰 勒展开至次项，略去高阶项，用所得的线性模型来近似替代非线性模型，再用线性 模型的数据处理方法进行数据处理。这种线性化近似模型要满足两个前提方能解算出 足够精度的待估参数：第一，非线性函数模型的非线性强度要足够弱；第二，要有足 够精度的近似值。如果这两个前提难以满足，由线性化近似模型带来的模型误差将变 得难以控制。大多数的测量定位模型都是非线性强度很强的模型，而且各种特殊要求 的测量控制网网形千差万别，使得坐标近似值求取异常困难，同时随着测绘技术的发 展以及相关测绘服务领域对测量数据处理精度的日益提高，因此，这种线性化的近似 模型己难以满足其要求，积极开展非线性模型数据处理的研究就显得日趋重要。 本文首先论述了非线性数据处理的研究意义和目的，比较系统全面地分析了非线 性测量数据处理的研究现状。其次讨论了线性化近似法、几种牛顿类迭代法( 包括牛顿 法、高斯牛顿法和改进的高斯牛顿法等) 、高阶偏导直接法、序列二次规划法( s q p m l 以及随机搜索法( 包括蒙特一卡罗法和遗传算法等) 在非线性数据处理中的若干特点和适 用范围。 针对上述方法收敛范围小、初值依赖性强、运算时间长等不足之处，根据同伦方 法的优点，本文提出了基于曲率比的步长自适应非线性同伦最小二乘算法。文中详细 介绍了同伦方法的基本理论，重点研究了l i y o r k e 连续同伦算法，并就算法中的牛顿 迭代校正的终止判据进行改进，同时提出了一种基于曲率比的步长白适应控制策略， 通过这两步改进提高了同伦曲线的跟踪速度和稳定性，实现了同伦曲线的快速可靠跟 踪。 最后，将本文提出的改进的曲率比步长自适应非线性同伦最t j , - 乘算法通过编程 实现。通过平面网实例计算分析，本文算法对近似值依赖性比传统同伦算法、线性化 近似法以及牛顿类迭代法更低，收敛范围更大，参数估计的稳定性更高，同时计算速 度比传统的同伦算法更快；通过三维坐标转换实例计算分析，本文算法能够适用于任 意旋转角的坐标转换，而应用布尔沙沃尔夫模型进行坐标旋转，旋转角则不能超过 6 6 0 s e c ，旦旋转角超过这一限值，其转换精度将急剧下降，而本文算法的计算精度则 不受旋转角限制，且参数估计精度和稳定性都要高于布尔沙沃尔夫模型。 关键词：测量数据处理；非线性模型；最小二乘；同伦算法 西南交通大学硕士研究生学位论文第1 i 页 皇量曼皇曼曼曼皇曼皇鼍皇曼皇曼曼毫曼葛鼍皇曼皇曼曼毫曼皇曼曼曼曼皇曼皇曼曼曼! ! ! ! ! 皇曼曼曼曼鼍曼曼曼皇曼曼皇曼皇曼曼皇曼i ii = !i a b s t r a c t t r a d i t i o n a lm e t h o do fs u r v e y i n gd a t ap r o c e s s i n gi st h a tg e n e r a l l yt h en o n l i n e a rl e a s t s q u a r e sm o d e la r ee x p a n d e di n t ol i n e a ro n e si nt h ep l a c eo ft h ea p p r o x i m a t ev a l u e so f u n k n o w np a r a m e t e r sb yt a y l o r , n e g l e c t i n gt h eh i g h e r - o r d e rt e r m s t h e l lt h el i n e a rm o d e l s o b t a i n e da r eu s e dt or e p l a c et h en o n l i n e a rm o d e la n dd a t aa r ep r o c e s s e di nl i n e a rt h e o r ya n d m e t h o d t oo b t a i ne n o u g ha c c u r a c yp a r a m e t e r st ob ee s t i m a t e d ，t h i sl i n e a rm o d e lm u s tm e e t t w op r e c o n d i t i o n s ：f i r s t ，t h en o n l i n e a rs t r e n g t ho fn o n l i n e a rm o d e l si se n o u g hw e a k ：s e c o n d t h ea p p r o x i m a t i o no fu n k n o w np a r a m e t e r si se n o u g ha c c u r a t e i ft h et w op r e c o n d i t i o n sa r e d i f ! 丘c u l tt os a r i s f y t h em o d e le r r o rc a u s e db yt h el i n e a ra p p r o x i m a t i o nw i l lb e c o m ed i f f i c u l t t oc o n t r 0 1 m o s ts u r v e y i n gp o s i t i o n i n gm o d e l sh a v es t r o n gn o n l i n e a rs t r e n g t h ，a n dv a r i o u s s u r v e y i n gc o n t r o ln e t w o r k st om e e ts p e c i a lr e q u i r e m e n t st h a tv a r yw i d e l ym a k ee x t r e m e l y d i f ! f i c u l tt oc a l c u l a t ee o o r d i n a t e so fa p p r o x i m a t i o n w i t ht h ed e v e l o p m e n to fs u r v e y i n ga n d m a p p i n gt e c h n o l o g y ，m e a n w h i l ew i t hh i g ha c c u r a c yd e m a n do ns u r v e y i n gd a t ap r o c e s s i n g i n c r e a s i n gi nt h er e l a t e df i e l do fs u r v e y i n ga n dm a p p i n gs e r v i c e s ，f o rt h e s er e a s o n s ，t h i s l i n e a rm o d e li sd i 佑c u l tt om e e tt h e s er e q u i r e m e n t s a n da c t i v e l yc a r r y i n go u tn o n l i n e a r m o d e ld a t ap r o c e s s i n gr e s e a r c hb e c o m e si n c r e a s i n g l yi m p o r t a n t a tt h eb e g i n n i n go ft h i st h e s i s ，t h ep u r p o s ea n ds i g n i f i c a n c eo fn o n l i n e a rd a t ap r o c e s s i n g i ss t a t e d ；am o r es y s t e m a t i ca n dc o m p r e h e n s i v ea n a l y s i so ft h ec u r r e n ts t u d yo nn o n l i n e a r s u r v e y i n gd a t ap r o c e s s i n gi s d o n e t h e nad i s c u s s i o ni nt h en o n l i n e a rd a t ap r o c e s s i n g f e a t u r e sa n da p p l i c a t i o nr a n g eo ft h el i n e a ra p p r o x i m a t em e t h o d s e v e r a ln e w t o n 1 i k e m e t h o d ( i n c l u d i n gn e w t o nm e t h o d ，g a u s s n e w t o nm e t h o da n dm o d i f i e dg a u s s n e w t o n m e t h o d ，e t c ) ，d i r e c tm e t h o do fh i g ho r d e rp a t t i a ld e r i v a t i v e ，s e q u e n t i a lq u a d r a t i c p r o g r a m m i n g ( s q p m ) a n dr a n d o ms e a r c hm e t h o d s ( i n c l u d i n gm o n t e c a r l om e t h o da n d g e n e t i ca l g o r i t h m ) a r em a d er e s p e c t i v e l y a i m e da tt h ea b o v em e t h o d ss h o r t c o m i n g s s u c ha s1 i m i tr a n g eo fc o n v e r g e n c e s t r o n g i n i t i a lv a l u e sd e p e n d e n c e ，l o n gc o m p u t i n gt i m ea n ds oo n ，a c c o r d i n gt ot h ea d v a n t a g e so f h o m o t o p ym e t h o d ，t h i st h e s i sp r o p o s e san o n l i n e a rh o m o t o p yl e a s ts q u a r e sa l g o r i t h mb a s e d o nc u r v a t u r er a t i oa d a p t i v es t 印t h eb a s i ct h e o r yo fh o m o t o p ym e t h o di si n t r o d u c e di n d e t a i l ，f o c u s i n go nt h el i y o r k ec o n t i n u o u sh o m o t o p ya l g o r i t h m t h e ni nt h ea l g o r i t h m n e w t o ni t e r a t i o nt e r m i n a t i o nc r i t e r i o ni si m p r o v e d ，m e a n w h i l e ，t h i st h e s i sp u t sf o r w a r da s t e pa d a p t i v ec x m t r o ls t r a t e g yb a s e do nc u r v a t u r er a t i o ，f o rt h et w os t e p si m p r o v e d ，t h e h o m o t o p yc u r v et r a c k i n gs p e e da n ds t a b i l i t yi si n c r e a s e d a n dt r a c k i n gh o m o t o p yc a r v ef a s t a n dr e l i a b l yi sa c h i e v e d f i n a l l y , t h ep r o p o s e dn o n l i n e a rh o m o t o p y1 e a s ts q u a r e sa l g o r i t h mb a s e do nc u r v a t u r e r a t i oa d a p t i v es t e ph a v eb e e np r o g r a m m e d t h r o u g hp l a n en e t w o r ke a s ec a l c u l a t i o na n d a n a l y s i s ，c o m p a r e dw i t ht r a d i t i o n a lh o m o t o p ym e t h o d ，l i n e a ra p p r o x i m a t i o nm e t h o da n d n e w t o n l i k em e t h o da n ds oo n ，t h i sm e t h o dh a sal o w e rd e p e n d e n c eo nt h ea p p r o x i m a t i o n ，a w i d e rr a n g eo fc o n v e r g e n c ea n dah ig h e rs t a b i l i t yo fp a r a m e t e re s t i m a t i o n a n dt h i sm e t h o d o p e r a t i o nt i m ei ss h o r t e rt l l a nc l a s s i ch o m o t o p ym e t h o d a c c o r d i n gt oc o m p u t i n ga n d a n a l y z i n gt h et h r e e d i m e n s i o n a lc o o r d i n a t et r a n s f o r m a t i o nc a s e t h i sm e t h o dc a ns a t i s f yt o t h ea r b i t r a r yr o t a t i o na n g l eo ft h ee o o r d i n a t et r a n s f o r m a t i o n 姗1 e nb u r s a - w o l fm o d e li s a p p l i e dt ot h ec o o r d i n a t et r a n s f o r m a t i o n ，t h er o t a t i o na n g l em u s tb el e s st l l a n6 6 0s e c i fn o t c o o r d i n a t et r a n s f o r m a t i o na c c u r a c yw i l ld e c l i n es h a r p l y h o w e v e rt h ea p p l i c a t i o no ft h e i m p r o v e dh o m o t o p ym e t h o di sn o tl i m i t e db yt h er o t a t i o na n g l e ，a n da c c u r a c ya n ds t a b i l i t y o fp a r a m e t e re s t i m a t i o ni sh i g h e rt h a nb u r s a - w o l fm o d e l k e yw o r d s ：s u r v e y i n gd a t ap r o c e s s i n g ，n o n l i n e a rm o d e l ，l e a s ts q u a r e s ，h o m o t o p ym e t h o d 西南交通大学曲南父遗大字 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密使用本授权书。 ( 请在以上方框内打“v ”) 学位论文作者签名：砍帕匙 指导老师签名： 育$ ，叫司 日期：山口j 勺1 日期：2 6 1 西南交通大学硕士学位论文主要工作( 贡献) 声明 本学位论文的主要工作或贡献如下： 对l i y o r k e 连续同伦算法中的牛顿迭代校正的终止判据进行了改进，提出了基于 曲率比的步长控制策略，将改进的算法应用于平面控制网平差和三维坐标转换计算， 通过实例对比分析，得出本文算法具有初值依赖性低、收敛范围大、数值稳定性好、 计算速度较快的优点，为发展更为快速有效的算法提供了参考。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。 除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确的说明。本 人完全意识到本声明的法律结果由本人承担。 一繇盈严疋 日期： 山，口s 7 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 i i 非线性科学的研究意义 非线性科学是研究复杂性现象的一门学科。近几十年来，在各门以非线性为特征的 分支学科如耗散结构理论、分形理论、混沌理论、突变论、协同学等理论的基础上综 合、交叉形成了非线性科学。这些理论的发展，较好地从不同侧面揭示了非线性科学 的本质及非线性动力学机制，也进一步证实了非线性科学具有跨学科，相互影响，相 互渗透的特征。非线性科学的形成极大地改变了人们观察世界的方法和思考问题的方 式，在哲学和方法论上引起了一场深刻的革命。因此，人们要想更深入地理解客观世 界的运动规律，就必须考虑各种非线性因素，建立非线性模型。几十年来，自然科学、 工程技术、社会科学各领域广泛而深入地开展了对非线性科学的研究，非线性科学在 探求非线性现象的普遍规律，发展普遍适用的非线性模型和数据处理方法等方面取得 了显著的成就。但是，由于非线性问题的理论研究远比线性问题复杂得多、困难得多， 因此，在未来相当长一段时间内，非线性理论与科学仍将是一个非常重要的研究领域 i h 1 2 。 1 2 非线性测量数据处理理论的研究目的 测绘学科领域中同样存在着大量的非线性模型，例如传统的导线网、三角网、测边 网以及3 s ( 包括g p s 、g i s 和r s 等) 技术中各种非线性模型，要深入准确地描述这些现 象，就必须建立起与之相适应的数据处理方法。然而，长期以来，由于非线性模型研 究的复杂性和困难性，缺乏完善的非线性理论，有效的非线性数值计算方法和计算手 段，以及测绘仪器的精度偏低，为使问题简单化而便于计算，使得人们在非线性模型 的待估参数近似值处按泰勒级数展开，取一次项的方法将其转化为线性最d - 乘模型。 为了保证平差成果的精度和可靠，这就要求参数近似值必须接近真值，而且模型的非 线性强度较弱。 随着社会的发展进步，一些行业对空间位置数据的精度需求有了极大的提高，这就 对测量数据处理提出了更高的要求。虽然近代平差理论和方法的发展，在现代大地测 量、工程测量和航空摄影测量等领域都得到了广泛的应用，也解决了许多数据处理的 实际问题，但是迄今为止，无论是经典平差还是近代平差，其理论基础均是线性最小 二乘，即对非线性模型均是采用线性化的近似方法。现代测绘技术的很多定位模型都 有很强的非线性，对参数初始值非常敏感，而参数初始值求解往往比平差本身还要复 杂，这样必然会导致因初始值选取不当而产生较大的模型误差，而这模型误差往往 远大于观测误差。鉴于此，基于线性化的平差理论可能无法得到高精度、高可靠性的 西南交通大学硕士研究生学位论文第2 页 测量成果，而且其本身也不足以描述客观实物的非线性本质。因此，对非线性数据处 理的理论和方法进行研究就显得尤为重要【1 0 】【l l 】【1 2 11 1 3 国内外非线性测量数据处理理论的研究现状 非线性测量数据处理是非线性问题的一个分支部分，其研究大约始于二十世纪六十 年代初期，在近五十年里，非线性测量数据处理的研究主要集中在以下几个方面： 1 3 1 非线性模型强度的度量指标 在对非线性测量平差模型中的参数进行估计之前，应对非线性模型强度做出明确的 判断，以选择适当的数据处理方法。测量平差模型的非线性强度的度量概念最早由 b e a l e 于1 9 6 0 年提出，其目的是以一个数量指标来判断某非线性模型可否被线性化处 理，并给出了曲率度量的定义。1 9 8 0 年，b a t e s 和w a t t s 从微分几何的观点出发定义了 模型的固有曲率和参数效应曲率，较好地反映了非线性模型的本质。1 9 8 8 年，t e u n i s s e n 提出了由二阶余项、参数偏差和残差偏差来作为非线性强度的指标并阐述了模型曲率 的几何意义 4 3 1 。王新洲于1 9 9 7 年和1 9 9 9 年给出了模型线性化的近似判别准则【1 9 】【2 0 1 。 1 9 9 8 年，陶本藻、吴圣武归纳了非线性强度的七种度量指标即：( 1 ) 最大固有曲率，( 2 ) 最大参数效应曲率，( 3 ) - - 阶余项，( 4 ) 参数偏差，( 5 ) 残差偏差，( 6 ) 类权k 因子，( 7 ) 百 分偏差，并推荐使用( 1 ) ，( 2 ) 两种指标【2 l j 【2 2 儿川。1 9 9 8 年，刘国林、陶华学等提出了加 权曲率度量指标哺j 【1 7 j 。 1 3 2 非线性模型参数估计方法 测量平差中涉及的大多数函数模型，其待估参数和观测值之间的关系都是非线性 的，对此类参数估计的研究目前主要集中在两类模型：一是最大固有曲率在可接受范 围内的模型；二是最大参数效应曲率显著的模型。1 9 8 7 年，刘大杰研究了高斯牛顿法、 最速下降法和阻尼最小二乘法在数据处理中的应用策略和计算公式。1 9 8 9 年，t e u n i s s e n 研究了最小二乘准则下非线性模型区间迭代求解法。1 9 9 1 年，白亿同研究了高斯一牛顿 法、阻尼最小二乘的收敛性，并给出了影响迭代收敛的因素及估算程序收敛的方法。 1 9 9 7 年，胡圣武建议在处理满秩的非线性数据时，采用改进的高斯牛顿法，处理秩亏 数据时采用阻尼最小二乘。1 9 9 8 年，刘国林给出了顾及二次项的非线性最小二乘解。 1 9 9 9 年，王新洲提出了顾及三阶项的非线性最小二乘解：同年，党亚民在大地测量反 演理论中采用了模拟退火算法和遗传算法。2 0 0 0 年，范东明将非线性规划的优化设计 方法引入非线性最小二乘平差，并提出了改进的二次序列规划算法【2 3 】；同年，陶华学 研究了非线性多目标优化算法。2 0 0 1 年，李朝奎提出了非线性误差模型的参数估计口引。 2 0 0 3 年，陶本藻、张勤提出了非线性最小二乘估计的同伦算法【2 引。2 0 0 8 年，胡志刚提 出了非线性模型参数稳健估计的同伦算法和带约束非线性模型参数估计的同伦算法， 推导了相应的非线性同伦算法的函数模型【3 0 | 。2 0 0 9 年，唐利民提出了一种秩亏非线性 最小二乘问题的一种正则同伦迭代解法【j 2 1 。2 0 0 9 至2 0 1 0 年间，游为后提出了改进的 非线性同伦最小二乘平差法和同伦函数与填充函数相结合的非线性最小二乘法【3 i 】p 引。 西南交通大学硕士研究生学位论文第3 页 1 3 3 非线性模型的误差传播和精度评定 1 9 6 0 年，w 6 l f 首次提出了含有二次项的误差传播公式。1 9 8 6 年，徐培亮推导了非 线性函数的协方差传播的严密公式，同时证明了w 6 1 f 的公式仅是该严密公式的近似。 1 9 8 8 年，t e u n i s s e n 给出了非线性估计量的一、二阶矩。1 9 8 9 年，w o l f 和k n i c k m e y e r 讨论了非线性估计量的均值与方差。1 9 9 7 年，陶本藻、胡圣武另辟蹊径同样得出了顾 及二次项非线性模型的误差传播公式。1 9 9 8 年，陶华学、王同孝提出了顾及三阶项的 非线性动态平差参数的方差一协方差传播公式，同年，刘国林研究了广义方差协方差 传播公式。2 0 0 0 年，王新洲给出非线性模型平差中单位权方差估计的计算公式【l i 】【1 2 1 。 1 4 本文的主要研究内容 由于非线性模型形式的多样性，参数间关系的复杂性，线性测量数据处理模式不能 简单地移植到非线性测量数据处理模式上来，但是非线性数据处理理论上尚不成熟， 离实用还有很长一段距离，因此还需要深入系统地研究非线性数据处理理论与方法【l 。 本文主要就非线性参数估计方法及其在非线性最小二乘平差和三维坐标转换中的 应用展开研究和讨论，论文的组织结构如下： 第1 章绪论：简述了非线性数据处理的研究意义、目的和研究现状，以及本文的 主要研究内容。 第2 章非线性最小二乘参数估计的理论和方法：概括了非线性最小二乘参数估计 的基本原理及其几何意义，着重介绍了非线性最小二乘估计的线性近似法、迭代法、 直接解法、序列二次规划法( s q p m ) 和随机搜索法；详细介绍了迭代法中的应用较为广 泛的高斯牛顿法、改进的高斯牛顿法以及序列二次规划法( s q p m ) ，并就各种算法的 特点及其适用性做了简要说明。 第3 章非线性同伦方法：首先介绍了同伦方法的基本理论以及与之相关的微分拓 扑学基本概念，然后着重讨论了由具有大范围收敛性、对初值依赖性低的l i y o r k e 连 续同伦算法，并就其算法具体执行步骤和数值解算常微分方程作了详细探讨，同时对 算法的牛顿迭代终止判据和步长控制策略做了重点研究，以期提高算法执行效率和可 靠性。 第4 章非线性同伦最小二乘平差算法研究与实例分析：研究了非线性同伦最, b - 乘平差模型，并通过平面网算例比较，说明了采用此模型克服了因线性化导致的模型 误差，而且具有大范围收敛、对初值依赖性低和数值解稳定且精度高的优点；同时还 研究了三维直角坐标转换模型的布尔沙模型以及基于同伦算法的三维直角坐标转换模 型，研究证明，后者能够适应于任何旋转角度的坐标转换。 第5 章结论与展望：总结全文，并提出与本论文相关的下一步拟研究解决的问题。 西南交通大学硕士研究生学位论文第4 页 曼皇曼曼曼鼍曼曼曼曼皇曼罾曼! 皇曼皇曼曼曼曼曼曼曼曼! 曼曼曼曼皇! 鼍曼鼍曼皇皇曼皇曼皇鼍曼曼曼! 曼皇量曼皇曼皇曼曼i = i = i = i ：l = l l 曼皇! 曼曼曼曼曼曼曼皇 第2 章非线性最小二乘参数估计的理论和方法 2 1 非线性最小二乘参数估计理论概述 参数估计是对具有某种统计分布的观测子样建立函数模型，在某一准则函数约束 下，采用一定数值计算方法来估计母体参数的过程。在参数估计的过程中一般包含三 个步骤：( 1 ) 在观测子样和待估参数之间建立符合统计规律的函数模型；( 2 ) 根据评估目 标选择合适估计准则；( 3 ) 采用适当的数值解算方法，以确保待估参数解的精确性和稳 定性【l l 】。 参数估计的函数模型一般可分为线性模型和非线性模型。线性模型的参数估计，经 过二百多年的发展，已形成一套较为完善的理论和方法。线性模型的估计准则主要有 以下几种：( 1 ) 最d - - 乘估计准则；( 2 ) 极大似然估计准则；( 3 ) 线性最小方差估计准则； ( 4 ) 绝对和最小估计准则；( 5 ) 贝叶斯估计准则。选用不同的估计准则，所得到的参数结 果不完全相同，但是人们都希望所得到的估计结果是最优的或是尽可能接近最优，即 估计参数应有无偏性、一致性、有效性和稳健性【1 1 】。 而对于非线性模型参数估计，由于模型本身的复杂性，线性模型参数估计的理论和 方法不能简单地移植到非线性模型参数估计上来，因此必须建立起非线性模型的参数 估计理论。非线性模型参数估计准则与线性模型参数估计准则类似，在此不再赘述。 在这些估计准则中应用最为广泛的是最4 , - - 乘估计，下面给出非线性最小二乘的定义 及其在欧氏空间的几何意义。 特别地，就测量平差问题而言，一般为非线性模型，可设为 l = 厂( x ) + ( 2 1 ) 式中，为l t 维观测向量，f ( x ) 为，z 维非线性函数向量，x 为t 维待估参数向量，为 随机误差。 相应的随机模型为 砬三= 仃2 p = 仃2 缆 ( 2 - 2 ) 式中，仃2 为单位权方差因子，d 址、p 、缆分别为观测向量的方差阵、权阵和协因数阵。 由于的不可估，在测量平差中通常用误差方程来代替( 2 1 ) 式，即 v = 厂lxl 三( 2 3 ) 式中，矿为残差向量。带权残差平方和为 v r p v = 厂( 岩) 一三 2p 厂( 譬) 一l ( 2 - 4 ) 由最小二乘定义知，若( 2 4 ) 式满足关系 v r p v = 厂( j ) 一三 p 厂( 岩) 一三 = r a i n ( 2 - 5 ) 西南交通大学硕士研究生学位论文第5 页 则称j 为待估参数的最小二乘估值。 非线性方程解的轨迹为曲面，如图2 1 所示，它可以看作是t 维参数空间到n 维样 本空间的一个映射。式( 2 5 ) 中的矿r p v 可以看作是从观测向量到非线性模型向量f f 岩l 的加权距离，非线性最小二乘估计就是在，z 维样本空间使厂( x1 到带权距离最近的 点，即到解曲面的带权距离为v 2 p v 。 图2 1 非线性方程解轨迹及最d - - 乘解的几何表示 要使式( 2 5 ) 成立，则有 蜥掰r 尸乳一即掣k 2 啪( 碧) = 。p 6 ， 式中，b ( 戈1 为i ( x ) 在x = 戈处的阶偏导数，这表明改正数向量v 与b ( 耍1 的列向 量构成的切空间带权垂直 2 0 】【2 1 1 。 关于非线性最d , - - 乘参数估计解的存在性问题，可由以下定理2 1 给出。 定理2 1 设dcr “为紧集，f ( x ) 关于x 在d 上连续，则必存在j r ”上的可测函数， 戈= x - ( l ) ，使得i i 厂( 贾) 一l l l 2 = 嘧( 0 厂( 宕) 一l i l 2 ) ，三r “。此定理的证明过程参见文献 2 】。 非线性参数估计的数值解算理论是非线性理论研究的重要内容，有很强的实用性， 这也是本章的主要研究内容，下节将着重介绍。 2 2 非线性最小二乘参数估计方法 非线性参数估计的数值解算理论作为非线性问题研究的一个重要分支，经过一大批 学者的潜心研究，这一领域已经取得了卓有成效的成果。非线性参数估计数值解算方 法一般可分为5 大类：( 1 ) 线性化近似法；( 2 ) 迭代法；( 3 ) 高阶偏导直接法；( 4 ) 最优化方 法；( 5 ) 随机搜索法。在这5 大类解非线性问题的方法中迭代法是最基本的一种方法， 而牛顿法又是迭代法中最重要的一种方法，很多其它的算法都是牛顿法的变形或改良， 下面将介绍几种具有代表意义的非线性参数估计方法。 西南交通大学硕士研究生学位论文第6 页 暑i 一 一 -iiiri i ih i 量皇! 曼蔓曼! 曼曼! 蔓 2 2 1 线性近似法 一般地，在对非线性参数估计的数值解算精度要求不高的情况下常采用线性化近似 方法进行参数估计，即将非线性参数模型( 2 1 ) 在其待估参数附近展开为泰勒级数，并 取至一次项，略去二次以上各项，得到线性误差模型的误差方程式【l l 】 v = b ( x o ) 6 x + l 厂( x o ) 一ll ( 2 7 ) 式中，b ( x o ) 为在x = x o 处对带故参数戈的阶偏导数， l 萌( x )奶( x ) i 弘1弘2 俐= 掣l = l 鬻掣二 既( ) 既( x )既( x ) = 一= 。一= 一 甄c o x 2o x 3 ( 2 - 8 ) 待估参数x 为 j = x o + 西 ( 2 9 ) 式中，g x 为待估参数的改正数。 根据线性最d - - 乘原理y7 尸y = r a i n ，即 y r p y = p ( x 。) 万x + 厂( x 。) 一三 1p e ( x 。) j x + 厂( x 。) 一三 = m i n ( 2 - 1 0 ) 将式( 2 - 1 。) 对j 求一阶导数，并令其等于。，得o v 矿r p v = 2 矿r 朋( 义。) = 。，即 b ( x 。) 。p v = 0 ( 2 1 1 ) 将式( 2 7 ) 代入式( 2 11 ) 式得 b ( x 。) 7p b ( x 。) 万工+ 召( 石。) r 尸 厂( x 。) 一三 = 0 ( 2 - 1 2 ) 测量平差中常将式( 2 1 2 ) 称为法方程。若秀( x 。) 列满秩时，则由法方程式( 2 1 2 ) n - - j 得 6 x = - b ( x 。) r p b ( x 。) 卜( x 。) r 吐厂( x 。) 卅( 2 - 1 3 ) 若b ( x 。) 秩亏时，则b ( x 。) 1 尸曰( x 。) 也是秩亏的，通过求其伪逆，也可求得唯一 解为 a x - - - i b ( x 。) rp b ( x 。) 1 + b ( x 。) ，p 厂( x 。) 卅( 2 - 1 4 ) 于是由线性化近似法的最小二乘法可得参数估值为 文= x 内+ 6 x q 1 5 ) 线性化近似一般适用于非线性强度较弱的非线性模型。 2 2 2 几种牛顿类迭代法 1 牛顿迭代法 越警一 西南交通大学硕士研究生学位论文 第7 页 对于非线性强度很强的非线性模型，由于线性近似将产生较大的模型误差，有时模 型误差甚至超过观测误差，这时考虑采用非线性的参数估计方法，其中牛顿迭代法是 应用最为广泛的一种。 由式( 2 5 ) ，可设 f ( 牛：矿( 戈) r p 矿( 童) = 厂( 量) 卅r 札厂( j ) 一三 ：讹( 2 - 1 6 ) 设f ( j ) 存在二阶连续偏导数，将尸( 安) 在x 处泰勒级数展开至二次项得1 1 1 f ( 戈) = f ( x + 万) f ( x ) + g 万矿+ 专( 6 x 。) 7g k ( 6 矿) ( 2 - 1 7 ) 式中 小降- o f ( x ) 掣百o f ( x ) l 。 ( 2 - 1 8 ) g 。： 0 2 f ( x ) 0 2 f ( x ) 0 2 f ( x ) 挑2钆 挑钆 0 2 f ( x ) o e f ( x ) 0 2 f ( x ) 挑魄2 ，豇 0 2 f ( x ) a x p x t 0 2 f ( x ) 8 x x t? 窖l 钆豇j i r 一一 ( 2 1 9 ) g 为x 处的一阶偏导阵，称为j a e o b i 矩阵，是f ( j 1 在x 。处的梯度方向；g 为x 处的二阶偏导阵，称为h e s s i a n 矩阵。 要使式( 2 1 6 ) 成立，只要将式( 2 1 7 ) 对6 求偏导，并令其为0 ，得 g 。+ f 6 x 1g = 0 ( 2 2 0 ) 当g 满秩时，由式( 2 2 0 ) n - f i - j 解算得 5 x = ( g ) 一1g ( 2 2 1 ) 由于x 只是近似值，为了达到足够的精度，则艿必须充分小，因此需要进行迭 代。其迭代基本公式为 x 川= x + s x = x 一( g - 1g ( 2 2 2 ) 式( 2 2 2 ) 就是牛顿迭代的基本公式，高斯牛顿法正是基于此公式的改进型。 2 高斯牛顿法 高斯牛顿法由于迭代公式构造简单，解算精度高，比线性近似法精度高出一个数 量级【2 0 】，因此被广泛应用于测量数据处理。高斯牛顿法的基本思想是将二阶偏导数 h e s s i a n 矩阵分解为高斯牛顿矩阵与非线性二阶项m 之和，即【1 1 1 g = n + m ( 2 2 3 ) 其中高斯牛顿矩阵为式( 2 3 ) q hv c x ) 在x 处阶偏导数j a c o b i 矩阵雪( x ) 的自乘 的乘积，即【1 1 1 西南交通大学硕士研究生学位论文第8 页 儿( 署) r p o v 。= 掣卜 = b ( ) rp b ( x ) ( 2 - 2 4 ) x x k 当非线性模型残差较大时，应采用定算法获得二阶项m 的近似阵，而当非线性 模型残差较小时，则二阶项m 可近似取零。 在小残差的条件下，顾及式( 2 1 6 ) ，f ( xl 的阶偏导数阵g 可表示为 小l 掣( 斗矶广b ( x 。) m 他) - l ( 2 - 2 5 ) 此时牛顿法的迭代表达式如下【2 0 】 y + l = = x i 2 ( j j 。) 2p b ( x 。) i 上；( j f ) 2p j 厂( j f - ) l ( 2 - 2 6 ) 高斯牛顿法是一种经典的迭代算法，其实质就是把非线性最小二乘问题化为一系列的 线性最小二乘问题进行迭代求解【6 】。其在实际应用中，就是将f ( x 1 在给定的初始值x o 处泰勒级数展开至一次项，然后用线性最小二乘迭代得到新的近似值，直到y r p 矿不 再下降为止。 高斯牛顿法一定程度上克服了非线性强度较强时线性化近似带来的较大模型误差 的问题，同时，它又与线性最小二乘非常接近，因此在测量平差中得到广泛的应用。 但是，高斯牛顿法对初值x o 的选取仍然有较高要求，一旦初值离真值较远时，高斯 牛顿矩阵可能出现秩亏的情况，导致高斯牛顿法失效，当初值离真值很远时，这 种算法还可能发散而无法进行下去【2 0 】【2 7 】。 3 改进的高斯牛顿法 由于高斯牛顿法对初值的强烈依赖，为此，文献 2 提出通过引入步长因子，并采 用三点抛物线法近似计算，得到改进的高斯牛顿法，其迭代公式如下： x “l = x + 口。i 口( x ) 2p b ( x ) i b ( x ) 2 尸 厂( x ) 一 ( 2 - 2 7 ) 由式( 2 1 6 ) 展开得 f ( j ) = 厂( j ) 2 矽( 岩) 一2 厂( j ) 2p l + i l l = m i n ( 2 - 2 8 ) 由于f 三为常量，所以式( 2 2 8 ) 等价于 尺( j ) = 厂( 岩) 2 可( 耍) 一2 厂( j ) 1p l=min(2-29) 文献 2 采用尺( x ) ，r 【x + 专6 x l ，只( x + 万) 三点抛物线插值计算步长因子 口。得 ( 2 3 0 ) 改进的高斯牛顿法，可以降低对初值的依赖性，避免了迭代过程中的波动性，一 定程度上改进了高斯牛顿法易发散的缺点【2 】，但是迭代过程中 召( x ) ，p b ( x ) 仍然 有可能不正定，从而导致迭代不收敛【6 】。 西南交通大学硕士研究生学位论文第9 页 2 2 3 高阶偏导直接法 为了更好地逼近非线性模型，一些学者提出了将非线性模型泰勒级数展开至二次、 三次甚至更高阶次，以达到减小模型误差影响。由于将非线性模型展开至二次、三次 甚至更高阶次，本质上区别不大，这里仪介绍二次模型【1 7 】【2 0 1 ，三次模型详见文献 1 9 】。 对非线性模型式( 2 3 ) ，由最小二乘法则易知所求参数应满足式( 2 6 ) ，将式( 2 6 ) 左端 在x = x o 处按泰勒级数展开至二次项得 h 舻叭卟小h x ) 船( 咖l 掣陋( 砂工 i l l l j j ( 2 3 1 ) m + 矧2 州舻掣+ 掣州z ) ：。 令形( x 。) =，i ( x 。) - l = - i ，通过移项，式( 2 3 1 ) 可写为 召r x 。p b ( x 。) 以= 召rx 。p i + w7 ( x 。) 爿舐 一3 二3 x r b r ( ) 尸形( x 。) 溉 2 - 3 2 上式右端同时乘以 曰r ( x 。) 胎( x 。) - 1 得 6 x = b rx 。) 船( x 。) 一b r ( x 。) 爿+ w r ( x 。) 纠占x 一导万，占r ( x 。) 矿( x 。) 孤i 。 、，、，、， 将上式右端万二用 矿( x 。) p b ( x 。) - 】召r ( x 。) 用代替，得直接近似解 万x = b r ( x 。) 船( x 。) 。b r ( x 。) 科+ 形r ( x 。) 纠 b 丁( x 。) 胎( x 。) _ 1 占r ( z 。) 纠一 兰 b r ( x 。) p b ( x 。) 一