（概率论与数理统计专业论文）信息处理与融合中递推算法研究.pdf

信息处理与融合中递推算法研究 概率论与数理统计专业 研究生周杰指导教师朱允民教授 现代信息处理、信息融合中存在着大量的优化问题，如通讯、控制、信 号处理、多源信息融合、数据挖掘、人工智能、生物遗传信息处理、金融 分析、智能决策支持系统等等其显著特点是信息量大，要求处理的准确率 高、速度快、可靠性强，因而研究求解这些优化问题的高效、精确且稳定的 计算方法至关重要对于存储量和计算量相对固定、计算复杂度低、稳定性 高的递推算法，由于计算装置实现上的方便而在信息处理、融合的许多领域 中广泛运用所以，研究最优解的递推计算问题在理论和应用两方面都具有 非常重要的意义 沦文研究了信息处理与融合中具有广泛而重要应用的某些递推算法获 得如下几方面研究成果： l 给出一般条件下几种常用最小二秉估计精确初始化的递推公式 众所周知递推最小二乘算法在信息处理中有着广泛的应用但是，在算 法韧始时，由于数据矩阵不满秩，多年来一直未能实现一般条件下的精确递 推，只能人为给定一个满秩初始数据矩阵启动递推虽然在渐近意义下：这样 做影响不大，但由于人为初始数据矩阵实际上是添加的虚假数据，在要求初期 处理效果的许多实际信息处理问题中却是不能容忍的 在一般情形下，科学技术领域中许多问题的最优解中包含了矩阵的广义 逆其计算量随着矩阵阶数的增加而增大为了给出这类最优解的递推算法i 其关键是矩阵广义逆的递推计算问题 论文首先改进了广义逆计算中经典的g r e v i l l e 阶数递推公式，每次递摧所 需存储量几乎减少一半，更为重要的是，新公式便于推导包含广义逆的最优解 的递推计算公式我们还进一步发展，分别得到正交投影变换下、遗忘因子 加权情形下矩阵广义逆的阶数递推公式，它们具有统一的形式 摘要 i i i 上述几个新的阶数递雄公式的个重要应用是直接导出了无约束、线 性等式约束以及遗忘因子加权l s 估计的精确初始化的递推公式我们的整 个推导过程比a l b e r t 和s i t t l e r 在【1 1 中的方法更加简明、且最终的递推公式也 更加简洁以往文献中在观测数据阵满列秩条件下相应l s 估计的递推公式 均成为我们公式的特例特别地，无约束和线性等式约束下的递推公式完全 相同，只是初值不同，因而给递推算法的实际应用带来了方便此外：我们还对 精确初始化的递推最小二乘算法进行数值分析，研究了截断误差、累积误差 对l s 估计的影响该部分内容参见文f 6 5 ，6 6 2 给出最好线性无偏估计一个新的解析表达式 g a u s 8 一m a r k o v 模型是具有广泛应用的一种重要的线性模型更一般地设 计矩阵不要求满列秩、误差方差阵也可以是奇异的，这种模型也称为广义 g a u s s - m a x k o v 模型由于它更加符合实际情形，因而成为现代信息处理、信息 融合中倍受关注的模型该模型的最好线性无偏估计( b l u e ) 是观测数据的 线性组合、著名统计学家r a o 等在最近3 0 多年里对b l u e 的解析表达式进行 了深人研究但是，由于这些表达式包含了高阶矩阵的广义逆、给实际应用带 来了困难 我们注意到一个重要的事实：虽然广义g a u s s - m a r k o v 模型的最好线性无 偏估计( b l u e ) 几乎处处唯一，但是，将观测数据组合成为b l u e 的方式却是 无穷多的，这些组合系数在一个子空间中，由此，我们提出求解b l u e 的一个 新思路：根据实际应用问题的需要选择便于存储、计算量小且稳健性高的 “适当”的组合系数 为了解决大类随机动态系统最优估计的快速计算问题、我们选择一种 适当的组合系数，给出了计算b l u e 的一个新解析表达式，其计算量比直接运 用a l b e r t 所给公式的计算量小特别地，我们给出该表达式的一种递推求解 算法 3 蛤出一般条件下分布式多传感器最优估计融合的计算简单的算法 1 9 8 1 年国际信息融合界极负盛名的专家b a r s h a l o m 在假设传感器噪声 不相关且估计误差方差阵非奇异的条件下，提出了计算简单的两传感器估计 融合公式，这是该领域众人皆知的经典结果但是、多年来一直未获得更一般 条件下同样计算简单的多传感器估计融合公式 i v目川太学博士学位论文 我们用广义g a u s s m a r k o v 模型来描述多传感器最优估计融合问题，基于 最好线性无偏估计这一优化准则给出新的融合公式，突破了b a r - s h a l o m 公式 只能处理两个传感器、传感器之间噪声不相关且估计误差方差阵可逆的限 制，并且推导出估计融合的递推算法该算法的一个突出优点是将结构复杂 的矩阵的广义逆计算转化为若干个结构非常简单的矩阵的广义逆计算，每一 步递推只涉及与单个传感器估计误差协方差阵阶数一致的矩阵的广义逆或 逆因此，当传感器数量较多时，我们的算法大大节约了计算量我们还以三 个和四个传感器系统为例，给出最优估计融合的详细计算过程，并且用模拟 计算对新算法和直接计算所需时间进行比较，说明了我们所提出算法的优点 该部分内容参见文6 8 1 4 研究了协方差矩阵广义逆的平方根分解问题 对于随机系统的最优化问题，许多最优化准则下最优解表达式中包括协 方差矩阵的逆或广义逆，其平方根分解在矩阵计算中具有较好的数值稳定性， 因而有许多文献对此进行了研究 我们用加边矩阵广义逆有关结果直接给出协方差矩阵广义逆平方根分 解一个精确的阶数递推公式对于l a r i m o r e 发表在“i e e et r a n s o r la u t o m a t i c c o n t r o l ”上基于广义奇异值分解理论提出的阶数递推方法，我们用反例说明 了其主要结论的本质错误，并在理论上证明了其所提出的分解方法是不可能 实现的，得到了l a r i m o r e 的完全接受，参见文【3 2 ，6 7 】_ 关键词：信息处理，信息融合最优化递推算法，m o o r e - p e n r o s e 广义逆 广义g a u s s m a r k o v 模型，最小二乘估计，最好线性无偏估计，平方根分解 s t u d y f o rr e c u r s i v ea l g o r i t h m si n i n f o r m a t i o np r o c e s s i n ga n df u s i o n m a j o r ：p r o b a b i l i t yt h e o r ya n dm a t h e m a t i c a ls t a t i s t i c s p h dc a n d i d a t e ：z h o uj i es u p e r v i s o r ：z h uy u n m i n t h e r ea r em a n yo p t i m i z a t i o np r o b l e m si nm o d e r ni n f o r m a t i o np r o c e s s i n ga n d f u s i o n ，f o re x a m p l e lc o m m u n i c a t i o n c o n t r o l ，s i g n a lp r o c e s s i n g ，m u l t i s o u r c ei n f o r m o t i o nf u s i o n ，d a t am i n i n g ，a r t i f i c i a li n t e l l i g e n c e ，b i o l o g i c a lg e n e t i ci n f o r m a t i o np r o - c e s s i n g ，f i n a n c i a la n a l y s i s ，m a dd e c i s i o ns u p p o r ts y s t e m s t h en o t a b l ec h a r a c t e r so f t h e s ep r o b l e m sa r et h a tt h ea m o u n to fi n f o r m a t i o ni sl a r g e 】a n da c c u r a c y h i g hs p e e d a n dr e l i a b i l i t ya x er e q u i r e di nt h ep r o c e s s i n go fi n f o r m a t i o n t h e r e f o r e 、i ti sl l e c e s s a r yt os t u d yt h ea l g o r i t h m si nv a r i o u so p t i m i z a t i o np r o b l e m s e s p e c i a l y ，r e c u r s i v e a l g o r i t h m sa t eu s e di nv a r i o u se n g i n e e r i n ga n dt e c h r f i c a lp r o b l e m ss i n c et h e yc a n b ei m p l e m e n t e de a s i l yi nt h ea c t u a lc o m p u t a t i o n a le q u i p m e n t s i ti s s i g n i f i c a n tt o i n v e s t i g a t et h er e e u r s i v ec o m p u t a t i o n a lm e t h o d so ft h eo p t k n a ls o l u t i o n so fv a r i o u s p r o b l e m si ni n f o r m a t i o np r o c e s s i n ga n dl u s i o n i nt h i st h e s i s ，w es t u d i e ds o m er e e u r s i v ea l g o r i t h m sw i t hw i d ea n di m p o r t a n t a p p l i c a t i o n st oi n f o r m a t i o np r o c e s s i n ga n d f u s i o n 1w ep r o p o s e dt h ee x a c t l yi n i t i a l i z e dr e e u r s i v ef o r m u l a so ft h el e a s ts q u a r e s p r o b l e m s i ti sw e l b k n o w nt h a tt h er e c u r s i v el e a s ts q u a r e s ( l s ) h a v ev e r yw i d ea p p l b c a t i o n si nv a r i o u sp r a c t i c a lf i e l d s t nt bp a s t t h e e c t l l ；v e 璐a l g o r i t h mm u s t s t a r ta t a p p r o x i m a t ei n i t i a l i z a t i o ns i n c et h ei n i t i a l o b s e r v e dm a t r i xd o e sn o th a v e f u uc o l u m nr a n k a l t h o u g ht h ea p p r o x i m a t ei n i t i a l i z a t i o nm a k e sas m a l li m p a c to n t h ew h o l er e c n r s i v ep r o c e s si na s y m p t o t i cs e n s e i tc n o tb en e g l e c t e di ns o n l e p r a c t i c a la p p i c a t i o n s m o o r e p e n r o s eg e n e r a l i z e di n v e r s e so fm a t r i c e sa r eo f t e ni n v o l v e di n t h eo p t i m a ls o l u t i o n so fv a x i q u ss c i e n t i f i ca n de n g i n e e r i n gp r o b l e m s t h e i rc o m p u t a t i o n v r 日川大学博士学位论文 i n v o l v e sa ni n c r e a s i n gn u m b e ro fv a r i a b l e sw i t hac o r r e s p o n d i n gi n c r e a s ei nt h em a - t r i xo r d e rt of i n dar e e u r s i v ev e r s i o no fs u c ha no p t i m a ls o l u t i o nak e yt e c h n i q u e i sa no r d e r r e c u r s i v ev e r s i o no ft h eg e n e r a l i z e di n v e r s eo fam a t r i x w ei m p r o v e dt h ec l a s s i c a lo r d e r r e c u r s i v ea l g o r i t h mp r o p o s e db yg r e v i l l e ，a n d o b t a i n e dn e wr e c u r s i v ef o r m u l a sf o rt h r e ed i f f e r e n tm a t r i xs t r u c t u r e s n o to n l yd o t h ep r o p o s e df o r m u l a sr e d u c et h er e q u i r e dm e m o r yl o c a t i o n so ft h eg r e v i l l ef o r m u l a a te a c hr e e u r s i o nb ya l m o s th a l f , b u tt h e ya r ea l s ov e r yu s e f u t od e r i v et h er e c u r s i v e f o r m u l a 8f o rt h eo p t i m a ls o l u t i o n si n v o l v i n gt h eg e n e r a l i z e di n v e r s e so fm a t r i c e s b yu s i n gt h en e wf o r m u l u s 】w es t u d i e dt h er e e u r s i v ec o m p u t a t i o nf o rt h el s e s t i m a t i o nw h e nt h eo b s e r v e dd a t aa r el i n e a r l yc o r r e l a t e d 】a n dd e r i v e dr e c u r s i v el s p r o c e d u r e sw h i c hc o i n c i d ee x a c t l yw i t ht h eb a t c hl s s o l u t i o n sf o rt h eu n c o n s t r a i n e d l s ，f o r g e t t i n gf a c t o rw e i g h t e dl s ，a n dl sw i t hl i n e a re q u a l i t yc o n s t r a i n t s ，r e s p e e t i v e l y i n c l u d i n gt h e i rs i m p l ea n de x a c ti n i t i a l i z a t i o n s n e wf i n d i n g si n c l u d et h a t t h el i n e a re q u a l i t yc o n s t r a i n e dl sa n dt h eu n c o n s t r a i n e dl sc a nh a v ea ni d e n t i c a l r e c u r s i o n - - 一t h e i ro n l yd i f f e r e n c ei st h ei n i t i a lc o n d i t i o n s i na d d i t i o n ，s o m er o b u s t h e s si s s u e s ，d u r i n gt h ee x a c ti n i t i a l i z a t i o no ft h er e e u r s i v el s ) a r es t u d i e d ，s e e 【6 5 ，6 6 】 2 w ep r o p o s e dau e wf o r m u l ao ft h eb e s tl i n e a ru n b i a s e de s t i m a t i o n ( b l u e ) o ft h eg e n e r a l i z e dg a u s s - m a r k o vm o d e l t h eg e n e r a l i z e dc a n s s m a r k o vm o d e li sa ni m p o r t a n tl i n e a rs t a t i s t i c a lm o d e l i nw h i c ht h ed e s i g n e dm a t r i xc a nh a v en of u l lc o l u m nr a n ka n dt h ee r r o rc o v a r i a j a c e m a c r i xc a nb es i n g u l a r t h eb e s tl i n e a ru n b i a s e de s t i m a t i o n ( b l u e ) o ft h i sm o d e l c a nb er e g a r d e d t h el i n e a rc o m b i n a t i o no ft h eo b s e r v e dd a t a t h eg e n e r a l i z e d i n v e r s e so fh i g hd i m e n s i o n a lm a t r i c e sa r ei n v o l v e di nt h eb l u e ，t h e r e f o r e i ti s n e c e s s a r yt os t u d yt h ec o m p u t a t i o n a lm e t h o d sf o rt h eb l u e a l t h o u g h t h eb l u ei su n i q u ew i t hp r o b a b i l i t y1 ，t h ec o e f f i c i e n t so fc o m b i n a t i o n h a v ei n f i n i t ec h o i c e sw i t h i nas u b s p a c e b a s e do nt h i sv i e w p o i n t ，w es e l e c t e da n a p p r o p r i a t ec o e f f i c i e n t f o rak i n do fm o d e l si n d y n a m i cs t o c h a s t i cs y s t e m s ，a n d p r o p o s e dan e w f o r m u l af o rt h eb l u ew h i c hc a nb ec o m p u t e dr e c u r s i v e l y 3w ep r o p o s e das i m p l ea l g o r i t h mf o rt h ed i s t r i b u t e dm u l t i - s e n s o ro p t i m a l e s t i m a t i o nf u s i o nu n d e rt h eg e n e r a lc o n d i t i o n s 摘要 u n d e rt h ea s s u m p t i o no fi n d e p e n d e n c ec r o s ss e n s o rn o i s e s ，b a r - s h a l o mp r o - p o s e dat r a c k i n gf u s i o nf o r m u l af o rt w o s e n s o rs y s t e mi n1 9 8 1 ，w h i c hi st h ec l a s s i c a l f o r m u l a t i o ni ni n f o r m a t i o nf u s i o nf i e l d u pt ot h ep r e s e n t ，t h es a m es i m p l ef u s i o n a l g o r i t h mi s a b s e n ti nad i s t r i b u t e dm u l t i - s e n s o re s t i m a t i o no rt r a c k i n gs y s t e m w e p r o p o s e d8g e n e r a l i z e dg a n s s - m a r k o vm o d e l f o rt h eg e n e r a lo p t i m a lf u s i o n p r o b l e m ，a n dp r e s e n t e dm u l t i - s e n s o re s t i m a t i o nf u s i o nf o r m u l a ，w h e r et h ea s s u m p - t i o no fi n d e p e n d e n c ec r o s ss e n s o rn o i s e sa n dt h ed i r e c tc o m p u t a t i o no ft h eg e n e r a l i z e di n v e r s eo fj o i n tc o v a r i a n c em a t r i xo fm u l t i p l es e n s o re s t i m a t i o ne r r o r sa r en o t n e c e s s a r y a t e a c hr e c u r s i o n ，t h ei n v e r s e so rt h eg e n e r a l i z e di n v e r s e so ft h em a t r i c e s h a v i n gt h es a m ed i m e n s i o n s8 8t h ec o v a r i a n c em a t r i c e so fs i n g l es e n s o re s t i m a t i o n e r r o r sa r eo n l yr e q u i r e d t h e r e f o r e ，t h ep r o p o s e dr e c u r s i v ea l g o r i t h mr e d u c e st h e c o m p u t a t i o n a lc o m p l e x i t ys i g n i f i c a n t l y w ep r e s e n t e d t h e s p e c i f i cr e e u r s i v ep r o c e s s e s f o rt h r e ea n df o u rs e n s o rc a s e s ，a n dd i dac o m p a r i s o no ft h ec p ut i m et or u nt h et w o a l g o r i t h m s ，w h i c hd e m o n s t r a t et h ea d v a n t a g e o fo n ra l g o r i t h m s e e 6 8 4 w es t u d i e dt h es q u a r er o o tf a c t o r i z a t i o np r o b l e m so ft h eg e n e r a l i z e di n v e r s e s o fc o v a r i a n c em a t r i c e s t h eg e n e r a l i z e di n v e r s e so fe o v a r i a n c ema _ t r i e e sa r eo f t e ni n v o l v e di nt h ee x p r e s s i o n so fo p t i m a ls o l u t i o n so fv a r i o u ss t o c h a s t i cs y s t e m s t h es q u a r er o o tf a c t o r i z a t i o na l g o r i t h m sa r en o t i c e de s p e c i a l l yo w i n gt ot t m i rs t a b i l i t i e si nt h em a t r i x c o m p u t a t i o n w ed e r i v e da no r d e r - r e e u r s i v ea l g o r i t h mu s i n gt h er e s u l t so i lt h eb o r d e r e dm a t r i c e si nt h el i t e r a t u r e f o rt h eo r d e r r e c u r s i v ea l g o r i t h m ，w h i c hi sb a s e d o n t h eg e n e r a l i z e ds i n g u l a rv a l u ed e c o m p o s i t i o n ，p r e s e n t e db yl a r i m o r ei n 【n i l ，w eg a v e s o m ec o u n t e r e x a m p l e st od e m o n s t r a t et h ee e 8 e n t i a le r r o r st h e r e ，a n dp r o v e dt h e e r e t i c a l l yt h a th i sm e t h o dc a nn o tb ei m p l e m e n t e d ，w h i c hw a sa c c e p t e dc o m p l e t e l y b yl a r i m o r es e e 3 2 ，6 7 k e y w o r d s ：i n f o r m a t i o np r o c e s s i n g ，i n f o r m a t i o nf u s i o n ，o p t i m i z a t i o n ，r e c u r - s i r ea l g o r i t h m s m o o r e p e n r o s eg e n e r a l i z e di n v e r s e lg e n e r a l i z e dg a u s s - m a r k e rm o d e l l e a s ts q u a r e se s t i m a t i o n ，b e s tl i n e a ru n b i a s e de s t i m a t i o n ，s q u a r er o o tf a c t o r i z a t i o n 致谢 感谢导师朱允民教授的悉心指导、热情鼓励和关怀。感谢马洪教授 的热心帮助。我所取得的每点成功，都是与两位老师的关心和指导分 不开的。两位老师表现出的深厚的科研基础、踏实的科研精神、严谨的 治学态度、对学术问题敏锐的把握和指导能力，给予我深刻的影响，必 将使我终身受益。 感谢概率论与数理统计教研室其他老师与同学，与他们进行的有益 的讨论对我的研究工作具有很大的帮助。 感谢数学学院领导多年来的关，t 2 , 、支持。 感谢家人的无私奉献和关爱，他们的理解和极大的支持，为我完成 学业以及进行研究工作提供了坚实的保障。 符号表 所有复( 实) m r t 阶矩阵全体 所有复f 实) n 维向量的全体 所有复( 实) 数的全体 矩阵a 的h e r m i t i a n 转置 矩阵且的逆 矩阵a 的m o o r e p e n r o s e 广义逆 矩阵a 的减号逆 矩阵a 的秩 矩阵4 的条件数 矩阵4 的值域 矩阵a 的零空间 向量x 的e u c l i d i a n 范数 矩阵a 的e u c l i d i a n 范数 单位矩阵 n 阶单位矩阵 m 的正交补 沿村到l 上的投影算子 到l 上的正交投影算子 且一b 是半正定h e r m i t i a n 矩阵 一b 是正定h e r m i t i a n 矩阵 矩阵a 和丑的k r o n e c k e r 积 随机变量( 向量) x 的估计 随机变量( 向量) x 的期望 随机变量( 向量) x 的方差( 阵) 随机变量 向量) x 与y 的协方差( 矩阵) 一叫删”一r一一删喜，k嘶咒一一建川一 第一章引言 现代科学和技术的许多领域广泛存在着大量信息的处理问题根据实际 应用问题所处的条件及处理目的不同，人们需要在各种优化准则下研究这些 信息的最优化处理例如，通讯、控制、信号处理、多源信息融合、数据挖 掘、人工智能、生物遗传信息处理、金融分析、智能决策支持系统等等都 涉及到各种信息的最优处理问题，这些最优化问题的显著特点是待处理信息 量相当犬要求处理的准确率高、速度快、可靠性强，因而研究求解这些优化 问题的高效、精确而且稳定的计算方法至关重要 由于信息的产生和收集常常受到各种噪声的干扰，数据般不再是确定 千宅的。而是具有一定统计特性的随机数据对于大量随机系统、首先需要建立 符合应用实际的准确的数学模型，然后求出其最优的参数或非参数估计在不 同的应用背景及各种条件下，人们提出了最小均方误差、线性最小方差、最 小二乘等优化准则，并基于一定的假设获得了这些优化准则下最优估计的解 析表达式，以及求解这些最优估计的计算方法 现代社会在高科技、医学、军事、经济等领域迅速发展，人们面临更一 般条件下的各种随机优化问题诸如矩阵非奇异、噪声不相关等过去研究中 的基本假设不再符合现代各种信息处理的实际情形，如果直接沿用以往提出 的若干算法，就不可能获得更弱条件下的最优解因此，在现代信息处理和融 台的许多领域、迫切需要研究更一般情况下的各种最优化问题，并且开发出求 船这些问题的有效算法 对于存储量和计算量相对固定、计算复杂度低、稳定性高的递推算法 由于计算装置实现上的方便而在许多领域中广泛采用，特别是在各种实时处 理要求很高的随机系统例如，k a l m a n 滤波，递推最小二乘等经典的递推算法 极大地推动了随机最优化方法在实际中的应用、成为信息处理、信息融合中 非常重要的算法因此，研究更一般条件下的各种最优化问题以及最优解的 递推计算方法，无论在理论还是在应用方面都具有十分重要的意义 2 日川大学博士学位论文 1 ，1 最优解中的矩阵广义逆及其递推计算 经典的递推最小二乘方法，k a l m a n 和b h e y 提出的动态系统状态估计 的递推滤波等各釉递推计算方法具有十分重要的应用价值推导出这些递 推公式的关键是利用分块矩阵逆的表示定理或者著名的s h e r m a n m o r r i s o n ， w o o d b u r y 矩阵求逆引理 在现代信息处理、多源信息融合等随机处理系统中，观测数据矩阵、观 测噪声和系统噪声的方差阵等一般不是满秩的因而一般条件下最优化问题 的最优解表达式中包括了矩阵广义逆 与分块矩阵逆或矩阵求逆引理在包含矩阵逆的最优解递推算法研究中 所扮演的角色一样，矩阵广义逆的分块算法、各种秩更新矩阵广义逆的表示 等等，是研究与广义逆相关的最优解递推计算方法的关键 矩阵广义逆的概念最早是m o o r e 于1 9 2 0 年在文f 4 3 】中提出的他利用投 影矩阵定义了矩阵唯一的广义逆此后三十多年里广义逆很少被人注意直 到二f 世纪五十年代中期，广义逆与线性方程组解之间关系的研究使广义逆 理论有了新的发展1 9 5 5 年，p e n r o s e 在文f 4 6 中证明了m o o r e 所定义的广义逆 是满足四个矩阵方程的唯一的矩阵这一重要发现开辟了广义逆研究的新纪 元，人们也将这个唯一的广义逆称为m o o r e p e n r o z e 逆以示纪念 近五十年来，广义逆矩阵的理论和应用得到了迅速发展，它在微分方程、 积分方程、算子理论、数理统计、最优化、随机滤波、自动控制、测量、 金融等领域中发挥了广泛的重要作用广义逆的研究不仅包括与解方程组有 关的广义逆和最b - - 乘解问题，而且已在无穷维理论、数值计算、系统理论 等研究方面获得重要的成果在回归分析、随机滤波、控制论、系统辨识等 钓研究中，广义逆更是成为不可缺少的工具国内外已出版广义逆方面多部 专著和文集，如文f 5 ，4 4 ，4 9 ，7 4 ，7 8 1 等 在广义逆的计算方面，人们经过多年的研究，提出了各种计算方法，包括 满秩分解方法、奇异值分解方法、分块算法、嵌入算法( 见文【2 8 ) 、有限算 法( 见文f 1 7 6 l j ) 、并行算法( 见文 1 6 ，6 0 】) 等等 在矩阵计算中，分块算法是一种十分重要的方法自广义逆概念提出不 信息处理与融合中递椎算法研究3 久，人们陆续开展了g r e v i i l e 分块( 见文 2 2 1 ) ，c l i u e 分块( 见文 1 4 】) 以及更广泛 的n o b l e 分块( 见文【4 5 1 ) 三种分块情形下矩阵广义逆的研究，取得十分丰富的 成果例如h u n g 和m a r k h a m 在文【2 7 1 中讨论了一般情形下n o b e l 分块的广 义逆王国荣和陈永林在文f 5 9 1 中，缪建铭在文【4 21 中分别将g r e v t l l e 分块和 c l i n e 分块阵推广到加权广义逆情形 各种秩更新下矩阵逆或广义逆的表示也与涉及矩阵的各种递推算法密 切相关，例如矩阵求逆引理在推导经典的递推蕞小二乘算法时起着关键作 用k a r t , w i g 在文f 2 4 1 中详细地研究了秩1 更新矩阵的广义逆问题，缪建铭在 文f 7 6 】中讨论了秩r 更新矩阵的广义逆，c l i n e 在文f 1 5 】中研究了两个矩阵之 和的广义逆表示定理：r i e d e 在文f 5 1 1 中将矩阵求逆引理加以推广，在一定的 条件下得到个广义逆情形的s h e r m a n m o r r i s o n w o o d b u r y 公式，并将其运用 于定条件限制下的信息融合在文f 1 8 1 中，f i r 和f i s h k i n d 也在不同条件下 研究了两个矩阵和的广义逆 尽管已有许多文献在矩阵广义逆的分块算法、各种秩更新下矩阵广义 逆的表示等方面取得大量研究成果，但是，由于这些公式是基于各自不同的出 发点而得到的、难以满足实际应用中许多最优化问题的一般条件，因而其应用 限于某些特定的情形：另外一些公式仍然包括了阶数很高的矩阵广义逆相 应的算法难以在实时处理要求很高的动态系统中得以有效实现，因此，至今 我们仍未看到这些公式在现代信息处理、融合问题中最优解的递推算法研 究中得到深入应用。 12 主要问题与解决思路 1 2 1一般情形下精确初始化的递推最小二乘 1 递推算法及其应用 最小二乘( l e a s ts q u a r e s ) 估计方法最早由g a u s s 和l e g e n d r e 提出( 见文献 2 0 ，3 4 】) ，由于它不需要关于被估计量和观测数据的任何统计知识，使用起来 非常方便，因此一直沿用至今，广泛应用于线性模型的参数估计等 在动态系统的参数估计中，如果数据矩阵x ( 表示时刻) 是满列秩的， 4 日川大学博士学位论文 那么参数8 的最小二乘估计可表为 o n = ( x 知x n ) 一1 x 斋 如果直接运用上述公式进行计算，就要利用当前新获得的数据与以前的所有 数据一起进行运算，才能得到当前时刻的参数估计值因而必须把所用到的全 部数据保存起来用这种算法设计相应的计算装置，其存储量和计算量均是 很大的，甚至不能应用于实时处理系统虽然最小二乘这一优化准则非常简 单，但用上述的批处理算法却严重限制了最小二乘方法的实际应用 在计算非奇异矩阵的逆时，为了减少计算量和存储量，常常采用分块求逆 的方法，把一个高阶矩阵分成适当的低阶子矩阵并用低阶矩阵的逆表示原矩 阵的逆。由此容易得到矩阵求逆引理，即著名的s h e r m a n - m o r r i s o n w o o d h u r y 公式( 见f 6 4 】) ，它在许多递推算法研究中发挥了关键作用 十世纪五十年代，p l a c k e t t 就是利用矩阵求逆引理得到了递推最小二乘 ( r e e u r s i v el e a s ts q u a r e s ) 算法( 见f 4 7 1 ) 用递推方法计算最小二乘估计不要求 保存过去的所有数据，只需将当前观测到的新数据和前一时刻的估计值一起 代人递接公式就可以计算出当前时刻的估计值这种方法的显著优点是算 法所需存储量和计算量在每一步递推中是相同的，便于设计专用的计算装置： 同时，递推方法与批处理方法相比，存储量和计算量均大大减少，因丽特剐适 合于实时处理系统目前，经典的递推最小二乘方法仍然广泛运用于统计回归 分析、时间序列分析、自适虚滤波、通讯、控制、自动化等方面，并在应用 中不断发展、完善 另一个递推算法的著名例子是k a l m m 滤波方法w i e n e r 在文f 6 3 1 提出平 稳随机过程的最优线性滤波理论，得到的滤波公式所需存储量和计算量也随 时间不断增加k a l m a n 和b u c y 于二十世纪六十年代初提出的k a j m a n 滤波 是动态系统状态估计的一种递推滤波方法2 9 ，3 0 1 ：与传统的w i e n e r 滤波方法 相比在计算方面的显著优点是不需保存大量过去的观测资料，计算量也大大 降低，便于计算装置实时处理同时，它也可应用于非平稳随机过程k a h n a n 滤波方法出现以后，被成功地应用到了电子、通信、控制、军事、空间技术 等许多领域 由此可见，在各种信息处理中，递推算法具有十分重要的应用价值 信皂处理与融合中递推算法研究 2 问题的提出 以往的递推最小二乘公式是基于矩阵求逆引理得到的，因而必须要求数 据矩阵x 是满列秩的，于是，只能在观测到一定数据之后才能开始递推但 是，在算法初始盹由于数据矩阵不满秩，矩阵x x 是奇异的 为了从初始时刻就能递推，一个解决办法是将半正定矩阵x 等x v 加上 ( 其中的 0 根据实际情况选定 ，于是对任意自然数n ，x z + k i 总是非 奇异的，递推算法就可避行可以证明，在一定的条件下，当一。c 时，这种自 修正后的递推公式得到的估计收敛于批处理方式得到的最小二乘估计 但是，许多年来最小二乘算法一直未能在一般条件下实现精确的递推，只 能如上人为地给定一个满秩的数据矩阵启动递推虽然在渐近意义下。这样 做影响不大，但由于这种初始数据矩阵实际上是添加的虚假数据，在要求初期 处理效果的许多实际信息处理问题中却是不能容忍的 一个自然的问题是，最小二乘递推算法能够从初始时刻n = l 就开始精 确地进行吗? 由于在义非满列秩时，最小二乘解只能用矩阵广义逆的形式 表示于是上述问题的关键是矩阵广义逆的递推计算、 3 解决思路 1 9 6 5 年，a l b e r t 和s i t t