（控制理论与控制工程专业论文）基于椭球集员估计理论的神经网络学习算法研究.pdf

摘要 本论文在分析现有集员估计理论研究成果的基础上，对集员估计理论及其应 用做了进一步的研究。重点研究了未知但有界系统的状态估计和有关神经网络的 学习算法。 论文首先研究了基于椭球集合描述下的线性系统状态定界估计问题，给出了 当系统和测量噪声均为未知但有界条件下的状态定界递推估计算法。仿真实例表 明，此算法的性能与卡尔曼滤波方法接近。另外，研究了非线性系统下的状态定 界估计问题，得到了最优扩展椭球集员估计算法，此算法同扩展卡尔曼滤波算法 一样对系统状态方程进行了线性化处理。该算法具有描述简单，估计效果更好的 特点。 接着研究了b p 神经网络的结构和学习算法，并将椭球集员估计理论应用于 b p 神经网络，得到了基于椭球集员估计理论的b p 神经网络学习算法，此算法通 过最优外定界椭球状态估计来完成对网络权值的训练。仿真结果表明，此算法与 传统的学习算法相比，具有更快的网络学习速度和收敛精度。 最后本文研究了r b f 神经网络的结构和学习算法，同样将椭球集员估计理论 应用于r b f 神经网络，得到了基于椭球集员估计理论的r b f 神经网络学习算法， 该算法对整个径向基网络的所用参数进行训练，以达到最优解。仿真结果说明了 此算法的有效性。 关键词：集员估计；最优定界椭球；状态定界估计；学习算法；神经网络 a bs t r a c t b a s e do nt h e e x i s t i n g r e s u l t so fs e t - m e m b e r s h i pe s t i m a t i o n t h e o r ya n di t s a p p l i c a t i o n ，t h ef u r t h e rr e s e a r c ho ns e t m e m b e r s h i pe s t i m a t i o na n di t sa p p li c a t i o n a r ec a r r i e do u ti nt h i st h e s i s a n dt h ei s s u e so fs t a t ee s t i m a t i o no fu n k n o w nb u t b o u n d e da n dl e a r n i n ga l g o r i t h mo fn e u r a ln e t w o r ka r ed i s c u s s e di nd e t a i l s f i r s t l y ，b a s e do na n a l y z i n gt h el i n e a rs y s t e ms t a t eb o u n d i n ge s t i m a t i o nu n d e r e l l i p s o i d a ls e td e s c r i p t i o n ，ar e c u r s i v es t a t eb o u n d i n ge s t i m a t i o na l g o r i t h mo n c o n d i t i o nt h a ts y s t e ma n dm e a s u r e m e n tn o i s ea r eu n k n o w nb u tb o u n d e di sp r o p o s e d t h es i m u l a t i o ne x a m p l es h o w st h a tt h ep e r f o r m a n c eo ft h ea l g o r i t h mi sc l o s et o k a l m a nf i l t e r i n gm e t h o d b e s i d e s ，w i t ha n a l y z i n gt h en o n l i n e a rs y s t e ms t a t e b o u n d i n ge s t i m a t i o n ，a ne x t e n d e do p t i m a lb o u n d i n ge l l i p s o i d s t a t ee s t i m a t i o n a l g o r i t h mi sp r e s e n t e di sg a i n e d ，j u s tl i k et h ee k f , t h ea l g o r i t h ml i n e a r i z e st h e s y s t e ms t a t ee q u a t i o n s t h ea l g o r i t h mi s c h a r a c t e r i s t i co fs i m p l ed e s c r i p t i o na n d e f f e c t i v ee s t i m a t i o n t h e n ，n e u r a ln e t w o r ka n dl e a r n i n ga l g o r i t h mo ft h eb pn e t w o r ks t r u c t u r eo fa r e s t u d i e d ，a n de l l i p s o i d a ls e t - m e m b e r s h i pe s t i m a t i o nt h e o r yi sa p p l i e dt ob pn e u r a l n e t w o r k ，a n dt h eb pn e u r a ln e t w o r kl e a r n i n ga l g o r i t h mi sg i v e no nt h eb a s i so f e l l i p s o i d a ls e t - m e m b e r s h i pt h e o r y t h ea l g o r i t h mi sa p p l i e do u t s i d et h eo p t i m a ls e t b o u n d i n ge l l i p s o i da l g o r i t h m t o c o m p l e t e t h e t r a i n i n g o fn e t w o r kw e i g h t s s i m u l a t i o nr e s u l t ss h o wt h a tt h ea l g o r i t h mh a sf a s t e rl e a r n i n gs p e e dt h a nt h e t r a d i t i o n a ll e a r n i n ga l g o r i t h m f i n a l l y ，n e u r a ln e t w o r ka n dl e a r n i n ga l g o r i t h mo ft h er b fn e t w o r ks t r u c t u r eo fa r e a n a l y z e d ，a n de l l i p s o i d a ls e t - m e m b e r s h i pe s t i m a t i o nt h e o r yi sa p p l i e dt or b f n e u r a l n e t w o r k ，a n dt h er b f n e u r a ln e t w o r kl e a r n i n ga l g o r i t h mi sp r o p o s e do nt h eb a s i so f e l l i p s o i d a ls e t m e m b e r s h i pt h e o r y t h ea l g o r i t h mt r a i n e dt h ep a r a m e t e rw h i c hu s e d b ya l lo f t h er a d i a lb a s i sf u n c t i o nt oa c h i e v et h eo p t i m a ls o l u t i o n s i m u l a t i o n s h o w st h ee f f e c t i v e n e s so ft h ea l g o r i t h m k e yw o r d s ：s e t - m e m b e r s h i p ；o p t i m a lb o u n d i n ge l l i p s o i d ；s t a t eb o u n d i n ge s t i m a t i o n ； l e a r n i n ga l g o r i t h m ；n e u r a ln e t w o r k 1 1 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名：? 贯旧 日期：神年，月内日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。， ( 请在以上相应方框内打“4 ) 作者签名： 鞭碉 e l 期：驴l 哞p 月涉e t 新虢饵秀 隰纠碑了月如日 1 1 估计理论概述 第一章绪论 估计理论n 圳是信息论的一个分支，它是在对系统可观测信号进行测量的基 础上，根据一定的估计准则，应用统计学方法来估计实际参量、随机变量、随机 过程或系统某些特性的理论。 归结起来，估计理论可以分为两类，一类是参数估计，另一类是状态估计。 两者的主要区别在于：参数估计的被估计量为系统变量或曲线拟合中多项式的系 数等，它们是不随时间变化或者只随时间缓慢变化的随机变量，所以参数估计一 般为静态估计；状态估计的被估计量为系统的状态变量，是随时间变化的随机过 程，所以状态估计为动态估计。被估计的参量又可分为随机变量和非随机变量两 种，要估计的状态又有离散时间和连续时间的区别。 一般地，估计问题是由估计验前信息、估计约束条件和估计准则三部分构成。 假设x o ) 为n 维未知状态或参数向量，圣0 ) 为其估计值，z o ) 为与x o ) 有关的m 维观 测向量，它与x o ) 的关系可表示为 z o ) = 【z o ) 】+ ，o )( 1 1 ) 其中， ，( f ) 为m 维观测噪声，它的统计规律已知。则一般来 兑， 估计问题可叙述 为：给定观测向量z ( f ) 和观测噪声向量y o ) 的全部或部分统计规律，根据选定的 准则和约束条件( 1 1 ) ，确定一个函数厂( z ) ，使得它成为( 在选定准则下) x 的最 优估计，即叠= 厂( z ) 。若厂( z ) 为线性函数，则圣称为x 的线性估计。 根据获得状态最优估值的时间与获得观测值时间的不同关系，可分为3 种不 同类型的估计，设在【f 1 d ， 】时间段内的量测为z ，相应的估计为叠o ) ，则： 当状态估值的时间与最后观测时间重合时，即t t l 时，戈o ) 称为x ( f ) 的滤波。 当状态估值的时间在最后观测时间之后时，即t t l 时，圣o ) 称为x o ) 的预测或 外推。 当状态估值的时间处于得到观测数据的时间间隔之内时，即t 。 a 最小容积椭球：满足方程式q 。) = ( 1 + p 一1 ) 事2q 1 + ( 1 + p ) 事2q 2 的最优值p 可通过 = 咒求得。 证明：求最小容积椭球等价于求取此椭球形状矩阵的最小行列式，即求以下函数 8 1 一 + 一令 一劣p q 二i 砰一z 一丑 一 4 一 p 。y 台 的最小值 厂( p ) = d e t ( q ( p ) ) = d e t ( ( 1 + p 一1 ) 事0 2q l + ( 1 + p ) 事2 q ：) ( 2 1 7 ) 对函数，( p ) 进行微分，则： 要d e t ( a ) ：d e t ( a ) t r ( a t 掣 口pd 矽 其中，d e t 似) 表示为矩阵a 的行列式，f r i 口) 为矩阵彳的迹。 式不为零，即： t r ( , 4 一，掣) 。o 口p ( 2 1 8 ) 假设被最小化的行列 ( 2 1 9 ) 因为 彳= ( 1 + p 一1 ) 乒0 - 2q l + 0 + p ) 事2q 2 = ( 1 + p 一1 ) ( 手o r 2q 1 + p 争2q 2 ) 所以式( 2 1 9 ) 可变为： 纱( 0 + p - 1 ) - 1 ( 叠0 - 2 门1 + 号q 2 ) - 1 ( 一p 之( 争2q 1 + p 事2q ) + ( 1 + p - 1 ) 拳q 2 ”一。( 2 2 0 ) 利用公式t r ( a + b ) = t r ( a ) + t r ( b ) ，则式( 2 2 0 ) 可变为： 州t c 0 - ? n ，+ p 事q 2 ) - 1 事2q 2 - 志) ) = 护晤q 1 + p 事q 2 ) - 1 事q 2 ) 一而n ( 2 2 1 ) 其中，l 表示n 以单位矩阵，由式( 2 2 0 ) 和( 2 2 1 ) 可得 矿( 孚q + p 事2q ) - 1 事2 皱) 。而n ( 2 2 2 ) 因为护似。) = 。玎1 口) ，a 。( a a + f l i ) 。咀) + 卢，这里a ( 4 ) 为矩阵a 的第f 个 特征值，则当p 满足下式时，有d ( p ) l d p oc t _ 砉赤2 而n ( 2 2 3 ) b 最小迹椭球：满足方程式q 。) = ( 1 + p 一1 ) 事2q l + ( 1 + p ) 事2q 2 的最优值p 为 p 2 9 ( 2 2 4 ) 证明：求最小迹椭球，相当于求以下函数的最小值 m ) ；驴( q p ) ) ：护( ( 1 + p 一1 ) 乒0 2q 1 + ( 1 + p ) 矿0 - - 5 - q ：) ( 2 2 5 ) 对上式进行微分后可得到最优值p p 2 = 舞舢 ( 2 2 6 ) 证毕。 通过定理2 1 及最小容积椭球和最小迹椭球的证明结果，采用如下递推方法， 我们可以得到包含状态转移矩阵椭球a ( k 一1 ) e ( k 一1 ) 和过程噪声椭球w ( k - 1 ) 向量 和的最优外定界时间更新椭球e i 七- 1 ) 。 戈( 七i 七一1 ) = i ( 七- 1 ) ( 2 2 7 ) 仃2 ( 足lk 一1 ) 一仃2 - 1 ) ( 2 2 8 ) p ( 七i 七一1 ) = ( 1 + p 一1 ( 尼) ) 彳( 七一1 ) p ( 七一1 ) 彳r ( 七一1 ) + 揣m ( k 一1 ) ( 2 2 9 ) 其中，p ( kl 七一1 ) j r ，标量p ) ，仃2 ik 一1 ) 0 。 使时间更新椭球e ik 一1 ) 的容积达到最小的最优参数p ) 满足以下非线性 方程 砉面高晶百一万n 而 ( 2 3 。) 、一曩一 i 厶j u - 白仃( 尼i 七一1 ) 硝们+ p( 1 + p ) p 、7 其中，硝p ) ；凡口 一1 ) p ( k 一1 ) a r 一1 ) m 一1 一1 ) ) 为相应矩阵的特征值，以为状态的 维数。 使时间更新椭球e ( klk 一1 ) 的迹达到最小的最优参数p ) 满足非线性方程 p 咖( 型唑器筹半幽) 2 仁3 1 ， 2 2 2 量测更新 设由量测方程和量测噪声向量y ) 限定的集合状态为后，云称为测量集合 豆 ) = 缸：忙 ) 一- ( 七) x l l 2s ) ，2 ) ( 2 3 2 ) 测量更新椭球e ( 足) 为集合e ( kik 一1 ) 与后的线性集合，即： 1 0 e ) = 怛( 七i k - 1 ) n e ( k ) 一 x ：( x 一戈( 七) ) 丁p 。1 ( 尼) 一戈( 尼) ) s 仃2 ( 七) = 缸：0 一戈 l k 一1 ) ) 丁p 。 i k 一1 ) o i ( kl k 一1 ) ) + a ) 忙( 七) 一日 弦旷s 口2 l k 一1 ) + a ( 七) ) ，2 ( 2 3 3 ) 其中，z ( k ) 芑0 ，p ( k ) e r “为正定对称矩阵，o r 2 ( 七) 0 ，叠( 七) 为椭球e ( k ) 的几何 中心。 定理2 2已知测量集合后以及时间更新椭球e ( klk 一1 ) ，如果状态x e e ( k ) ，即x 被包含在测量更新椭球e ) 中，可以得到下面的递推算法： 尸- 1 ) 一p 4 lk 一1 ) + a ) 日r ) 日( 七) ( 2 3 4 ) 2 ) = 仃2 一1 ) + a ) y 2 一a ( k ) a r ) q - 1 ) 6 ) ( 2 3 5 ) 戈( 七) 一圣( 七ik 一1 ) + a ( k ) p ( k ) h r ( 尼) 6 ( 七) ( 2 3 6 ) 其中， q ) 一l + a ) 日 ) 尸 i k 一1 ) 日f ) ， 6 ) ；z ( k ) 一日 弦 i k - 1 ) ， 这罩6 ( 尼) 表示为预测误差。 证明：利用矩阵求逆公式 p ) 【p 。1 ik 一1 弦 ik 一1 ) + a ( k ) h r ( 七) y ) 】 = 【e ( kik 一1 ) 一, r k ) p ( klk 一1 ) h r ( 尼) ( l + a ( k ) h ( k ) p ( kik 一1 ) h r ) ) 。h ( k ) p ( kik 1 ) 】 【p - 1 i 七- 1 弦 i k 一1 ) + a 日r ) z ) 】 = ；4 ki 七一1 ) + a ( k ) e ( ki 七- 1 ) h r ( 七) ( ，坍+ a ( 七) g ( 七) ) 一1 6 ( 尼)( 2 3 7 ) 这里， g ( k ) = h ( k ) p ( kik 一1 ) h r ) 曼俅) = 曼( 足ik 一1 ) + a ) 【p i 七一1 ) 一a ( k ) p ( klk 一1 ) h r ) ( l + a ( k ) h ( k ) p ( ki k 一1 ) h r ) ) 以h ( k ) p ( ki 七一1 ) 】h r ) 6 ) 一p ( k ) p r ( ki k 一城 i k 一1 ) + a ) h r ) z ) k r p 。 l k - 1 ) x + a ) 8 日 ) 石1 1 2 2 x r i f - 1 l 七一1 ) ? c ( klk - 1 ) + z ( k ) h r 俅) z ( 足) 】+ 妒 ik 一1 ) p 一1 ik 一1 碡( 七l 尼一1 ) + a ) 忙 ) 1 1 2 一g 一耍 ) ) r p - 1 ) o 一耍 ) ) 一量r ) 尸- 1 谚( 七) + 圣1 ( 七i k 一1 ) p 。 i k 一城( 足i 足一1 ) + a ( 删z ( 删2 ( 2 3 8 ) 因此式( 2 3 5 ) 可变为 g 一戈( 七) ) r p 一1 ( 七) ( x 一孟( 七) ) so 2 ( 七ik - 1 ) + z ( k ) r 2 一【a ( 七) i i z ( 七) j 1 2 一 爻r ( 七) 尸。1 ( 七) 戈( 七) + 戈r ( 七i k 一1 ) p 1 ( 七i 七一1 ) j ( 七i k 一1 ) 】( 2 3 9 ) 通过代数推导即可以得到上述结果。 证毕。 引入增益矩阵k ( 七) ，则递推方程可以写成以下形式： 圣( 七) = a ( k 一1 ) 戈( 七- 1 ) + k ( 七) 6 ( 七)( 2 4 0 ) k ( 七) ；z ( k ) e ( k ) h 2 ) l p ( k l 七一1 ) h r ) ( 而1 ，+ - ( k ) e ( ki k 一1 ) h r 晰1 ( 2 4 1 ) p 似) 一( ，- k ( k ) h ( k ) ) p ( k - 1 )( 2 4 2 ) 更新椭球e ( k ) 随z ( k ) 值不同而不同，状态的有效点估计为椭球的中心圣 ) 。 通过优化a ( 忌) 来最小化仃2 的上界值，以减少计算量。 确啡- 1 ) + 娴产娴警 ) ( 2 4 3 ) 留( 尼) = 1 + a ( 七) g ( 尼)( 2 4 4 ) 其中q ) 和g ( k ) 分别为q ( k ) 和a ( k ) 的最大奇异值。 定理2 3 考虑不等式( 2 3 4 ) ，a + ) 表示z ( k ) 的优化值，可以得到下面的结果： f 0 忪 ) 忙) ， - i 高c 掣_ 1 ) i 俐h q 4 5 上述的时间更新、测量更新构成了线性系统的集员状态估计算法，下面给出 算法的计算步骤。 第一步 耍 i 七一1 ) 一彳( 七一1 ) x ( k 一1 ) 第二步 最小容积椭球： 七 ! ；竺 白a ( ki k 一1 ) 硝p 。 + p ( 七) ( 1 + p ( 七) ) p ( 七) 最小迹椭球： 刖= ( 型业篙器产) 2 第三步 p l 七一1 ) = ( “志m 一1 ) 尸 。m r 一1 ) + 言苌等m - 1 ) 1 2 第四步6 ) 一z ( k ) - h ( k ) i c ( ki k - 1 ) 如果忪( 驯 ) ， 砸，= 嘉( 掣一1 ) k ) 目p ( 七l 七一1 ) h r ) ( 瓦两1 ，+ h ) p ( 七i 七一1 ) h r ) ) 1 p ( 七) = ( j - k ( k ) h ( k ) ) p ( k - a ) 圣( 尼) 。彳( 七一1 ) 叠( 七一1 ) + k ( 七) 6 ( 七) g ( 七) = 1 + a ( 七) g ( 七) 仃2 ( k ) - a 2 啡_ 1 ) 邯矿邯) 噼 否则 p ) = 尸 lk 一1 ) ；叠 ) = 戈 ik 一1 ) ；仃2 ) 一仃2 一1 ) 戈( o ) = 0 ；尸( o ) = 2 3 最优扩展椭球集员估计算法 前面讨论了线性系统的集员估计，但是在很多工程中，所碰到的控制系统往 往是非线性的。对于这些非线性的控制系统，用以上讨论的方法不能有效地进行 状态估计，因此需要对线性系统的集员估计进行扩展，得到非线性系统的集员状 态估计。在以往集员状态估计的研究基础上，对线性系统下o b e 状态估计进行 扩展，得到一种用于非线性系统的最优扩展定界椭球( e x t e n d e do p t i m a l b o u n d i n ge l l i p s o i d e o b e ) 状态估计算法，该算法通过最优外定界椭球来描 述非线性系统的可行状态集合。最优扩展椭球集员估计方法就是将非线性方程线 性化，这是解决非线性状态估计问题有效常用的一种方法。同其他集员估计算法 相比，该算法具有实时性好、描述简单等优点。 设非线性离散时间系统状态方程为 x ( k + 1 ) 一厂【z ( 七) ，k 】+ w ( 忌) ， 工( 0 ) = x o ( 2 4 6 ) z ) = h i x ( k ) ，k 】+ v ( 后) ( 2 4 7 ) 其中，x ( k ) e r ”为状态向量，w ( k ) e r “为未知系统噪声，z ( k ) e r ”为观测向量， v ( k ) e r “为测量噪声，x ( o ) = z 。为初始状态，( ) 和j l ( ) 分别为n 维可微向量方 程和m 维可微向量方程，是o ) ，k ) 的非线性函数，并且已知噪声w ) 和v ( k ) 被 包含在下面的椭球集合中 w ( k ) 暑 w ( k ) e r ”：w r ( 七) m 1 ( 七) 以七) q v ( k ) 鲁 v ( k ) e r ”：y ) r v ( k ) 量y2 ) ( 2 4 8 ) ( 2 4 9 ) 对于任意给定时刻k 以及任意j 。，z r ”，函数厂( ) 和 ( ) 可以展开成泰 勒级数的形式 f ( x ，k ) = f ( x o ，k ) + d i 厂 o ，七) ( z z o ) + r ，( 工，z o ，k ) ( 2 5 0 ) h ( x ，k ) = h ( x o ，k ) + d h ( x o ，七) 0 - - x o ) + r ，x o ，七) ( 2 5 1 ) 其中 忙， ，孙七) 忙) ，忙一z 。1 1 2 ( 2 5 2 ) i i r h ，z 。，七) 忙y h i k z 。1 1 2 ( 2 5 3 ) x - 戈( 2 5 2 ) ，( 2 5 3 ) 分另u 为动态方程和量测方程线性化误差，并有) ，。 0 将离散时间系统状态方程( 2 4 6 ) 、( 2 4 7 ) 分别围绕j ) 和戈 l k 一1 ) 线性化， 司得 x ( k + 1 ) = 厂 ( 七) ，k ) + 巧 ) ，七) 0 ) 一戈 ) ) + r ，( z ( 七) ，戈( 尼) ，七) + w ( k ) z ) = h ( f c ( kik 一1 ) ，k ) + 砒 ik - a ) ，七) ) 一戈( 尼ik 一1 ) ) + 民0 ( 后) ，戈( 七l k - 1 ) ，k ) + v ( k ) 令： o f ( i ( k ) 一掣k ) 一删 d h ( j ( ki k 一1 ) ，七) 一o h ( 缸x , k ) 。i ( 雄一1 ) = 日 ) 则式( 2 5 4 ) 矛n ( 2 5 5 ) 表示为如下形式 x ( k + 1 ) 一a ( 七) x ( 七) + r ， ( 七) ，戈( 七) ，k ) + w ( 七) z ( k ) = h ( k 扣 ) + 凡 ) ，孟 i k - 1 ) ，k ) + v ) 因为线性化误差项r ， ) ，量 ) ，足) ，r 。o ) ，戈 ik - 1 ) ，k ) 都是有界的， 和噪声w ( k ) 和v ) 合并，即有 万( 七) = r ， ) ，孟 ) ，k ) + w ) 矿 ) = r 。o ) ，戈( 七i k - 1 ) ，k ) + y ) 这里，w ( k ) 和歹( 七) 为伪噪声项，假设它们包含在以下椭球中 1 4 4 5 6 7 8 9 伊 0 1 5 5 5 5 5 5 6 6 2 2 2 2 2 2 气 2 2 ( ( ( ( ( (靠寸 ( ( w 一( k ) 墨 万 ) 尺”：万r ) 厅- 1 ( 尼) 万( 尼) 量u 矿 ) 羞妒 ) 尺肼：矿 ) r 矿 ) s - 2 ) 因此，方程( 2 5 8 ) ，( 2 5 9 ) 转变为： x ( k + 1 ) 一a ( 七) x ( 七) - i - 万( 七) 孑 ) = 日 弦 ) + 矿 ) ( 2 6 2 ) ( 2 6 3 ) ( 2 6 4 ) ( 2 6 5 ) 根据最优椭球算法，仿照扩展卡尔曼滤波算法的推导过程，可以得到最优扩 展椭球算法，算法如下： 时间更新 戈似lk - 1 ) 一a ( k - 1 弦 一1 ) “厂 一1 ) ，k - 1 ) 一彳 一1 弦( 七- 1 ) 】 = 厂 ( 七一1 ) ，k - 1 ) 尸( 七i 七一1 ) = ( 1 + p 4 ( 七) ) 彳( 七一1 ) 尸( 七一1 ) 彳r ( 七一1 ) + 揣 测量更新 ( 2 6 6 ) m 一1 ) ( 2 6 7 ) 戈 ) = 戈 i k 一1 ) + a ) p ) 日r ) 6 )( 2 6 8 ) 6 ) = 万 ) 一日 弦 i k - 1 ) 一z ) - h i k - 1 ) ，k ) 一h 弦 i k - 1 ) - h ( k ) c c ( ki k - 1 ) 一z ( 七) - h ( i ( ki 七- 1 ) ，七) 盯2k ) = 0 - 2 啡_ 1 ) + 娴产删噼 引入增益矩阵k ( k ) ，将递推公式写成如下形式 ( 2 6 9 ) ( 2 7 0 ) 圣 ) 一a - 1 弦( 后一1 ) + k ) 6 ) ( 2 7 1 ) k ( k ) = a ) p ) h r ) 一p ( 七i 七一1 ) h r ) ( 丽1 ，+ 日 ) p 肛1 ) h r 甜1 尸( 七) a ( j - k ( k ) h ( 七) ) p ( 忌- 1 ) 1 5 ( 2 7 2 ) ( 2 7 3 ) 2 4 仿真实验 1 已知离散时间线性系统 f 1oo1 x ( 七) = l0 2 10i 工( 七) + w ( 七) 【o o 3 1 3 j z c 七，= ( 0 0 9 三：主- 1 0 1 9 1 z c 七，+ v c 七， 其中，系统噪声向量w ( k ) 和量测噪声向量v ( k ) 的都为卜1 ，1 】之间均匀分布的噪 声。用椭球e ( k ) 的几何中心圣 ) 作为k 时刻的状态点估计，分别用卡尔曼滤波方 法、最小容积( o b e l ) 、最小迹( o b e 2 ) 算法进行仿真。算法的初始协方差矩阵 p ( 0 ) 一1 0 0 i ，状态初始值x ( 0 ) = 0 。 仿真结果如图2 1 ，图2 1 ( a ) 、( b ) 、( c ) 为均方误差随时间变化的曲线，分量e 。 表示第一个状态的均方误差，分量e ，表示第二个状态的均方误差，分量e ，表示第 三个状态的均方误差。表2 1 给出了状态估计结果比较。其中f ( f ) ) ，m s e ( e ( i ) ) 分 别代表状态估计的误差均值和均方误差。 表2 1 状态估计结果 估计算法 巳e 2巳m s e ( e 1 )m s e ( e 2 )m s e ( e 3 ) 0 b e l0 0 9 10 0 0 50 0 2 01 0 0 80 5 0 11 0 8 2 0 b e 2 0 0 6 10 0 2 90 0 0 20 9 9 10 4 9 31 0 6 6 k fo 0 5 10 0 3 60 0 1 60 9 8 30 4 8 21 0 5 8 ( a ) 分量e 1 1 6 ( b ) 分量e 2 f c ) ”ie 3 图2 1 过w 盐观测啪卢均为均匀分布时的状态 + 计 从图21 可以看出椭球集员估计算法与卡尔曼滤波算法性能相近 2 考虑如下非线性系统状态空间方程： ( i ) 2 ( 一，。，：，+ 。，) + ( ：) w o ， ：= k 屯r + v ( r ) 这里w ( t ) ，v o ) 【_ 02 ，02 1 ，均为均匀分布噪声，系统参数为：= 0 2 ，韧始 状态设定为x ( 0 ) = 【1 40 1 7 ，i ( 0 ) = 05 1 7 ，初始协方芹矩阵爿0 ) = 1 0 0 f ，一卿= 1 。 仿真结果如图22 、图23 、图24 、图25 ，图22 、罔23 给出了e o b e 算法的 状态估计变化过程，图24 、图25 给出了分量 、z ：均方误差的变化过程。 圈22 分昔j l 的状态变化曲线 酗2 3 分茸x 2 的状态变化皓线 图2 4 分量毛均方误差的变化过程图2 5 分量z 2 均方误差的变化过程 由图2 2 、图2 3 、图2 4 、图2 5 可以看出，采用e o b e 算法进行状态估计 时，收敛速度快，精度高。 2 5 本章小结 本章首先对集员估计理论下的线性系统状态估计问题进行了研究，在过程和 测量噪声均为未知但有界的前提下，给出了时间更新时包含两椭球向量和的最小 容积和最小迹椭球的表达方式，以及测量更新过程中两椭球交集的椭球外定界计 算方法，得到了一种用于线性系统的递推状态定界估计算法。随后将线性系统的 集员估计算法扩展到非线性系统，得到了非线性系统最优扩展椭球集员估计算 法。通过仿真实例可以看出，该同卡尔曼滤波相比，性能与卡尔曼滤波接近。 1 8 第三章基于椭球集员估计理论的b p 神经网络学习算法 3 1 引言 神经网络是近年来发展起来的一门新兴学科，也是当今的一个研究热点，它 具有很强的自适应、自学习能力。在图象处理、语音识别、信号处理、预测、系 统辨识、模式识别和自动控制等很多领域都有相当重要的研究应用。目前，在神 经网络的研究领域中，有近2 0 0 种网络模型和数十种常用的学习算法，其中被广 泛使用的仍然是多层前馈神经网络模型，由于其采用误差反向传播算法，因此也 称b p 神经网络学习算法。该算法解决了多层前馈神经网络的学习问题，使得多 层前馈网络成为当今应用最广的神经网络模型。虽然b p 算法优点很多，但是人 们在使用中也发现一些缺陷：基于梯度下降法的b p 算法在求解实际问题时，因 网络误差曲面的复杂性，造成学习收敛速度太慢，容易陷入局部极小；隐层节点 数的选择，初始权值的设定，尚无理论指导。本文将扩展椭球集员估计算法应用 于b p 网络的权值训练中，得到一种新的神经网络学习算法，该学习算法具有快 速的收敛性以及精度高的优点，能够满足实时性和精度高的要求。 3 2b p 神经网络 设三层b p 神经网络，如图3 1 所示，输入层有m 个节点，隐层只有一层， 具有n 个节点，输出层有个节点，置为神经网络的输入。设输入层神经节点的 输出为a i o = l 2 ，m ) ；隐层节点的输出为b j ( j = l2 ，) ；输出层神经节点的输 出为乙 il 2 ，l ) 。 隐层 图3 1 三层b p 网络结构 1 9 网络各层神经节点的输入输出关系 输入层第f 个节点的输入为 m 以已t i 一鼍+ 佛 ( 3 1 ) 式中，t o 一1 ，2 ，m ) 为神经网络的输入，o i 为第i 个节点的阀值。 对应的输入层输出为 口t 2 厂( ，z e ) 2 i ：l i i 丽1 1 + e x p ( 一善写一谚 ( 3 2 ) 在b p 神经网络学习中，非线性特性的学习主要是由隐层和输出层来完成。一般 令： 隐层的第_ 个节点的输入为 口f2 而 n e t j 。荟惭+ q 式中，o j 分别为隐层的权值和第_ 个节点的阀值。对应的隐层输出为 ( 3 3 ) ( 3 4 ) 6 ，2 厂( ，z p f ，) 2i ：l i 丽1 。：；丽1 ( 3 5 ) 输出层第k 个节点的输入为 ；ikbnetk w j k b j + 色 ( 3 6 ； ： + 色【3 6 ) 缁 式中，o k 分别为输出层的权值和第k 个节点的阀值。对应的输出层输出为 儿5 ，( 刀e 气) 。i ：l i 丽1 。j：；：两1 ( 3 7 ) b p 网络权值调整规则 定义每个样本的输入输出模式对应的二次型误差函数为： e p5 去荟( z 砧嘞) 2 则系统的误差代价函数为： el e p2 去荟荟) 2 式( 3 9 ) 中，p 和分别为样本模式对数和网络输出节点数。 ( 3 8 ) ( 3 9 ) 调整连接权值使 误差代价凼数e 最小。f 回讨论基于式( 3 8 ) 的最速下降法。 ( 1 ) 当计算输出层节点时，口肚= z k ，网络训练规则将使e 在每个训练循环按 梯度下降，则权系数修正公式为： 蛳广囊叫嚣 n 埘 为了简便，式中略去了的下标。若n e t k 指输出层第k 个节点的输入网络：，7 为 按梯度搜索的步长，0 卵 ) ，时 谛( 七) = 力( 七一1 ) + k ( 七) 6 ( 七) ( 3 6 0 ) k ) j p 一1 ) 日r ) 【丽1 埘 ) p 一1 ) h r 1( 3 6 1 ) e ( k ) = e ( k 一1 ) - k ( k ) h ( k ) p ( k - 1 ) ( 3 6 2 ) 柏”2 邯) 等 ( 3 6 3 ) 当忪 ) 忙，时 力 ) = 力 一1 ) ( 3 6 4 ) p ( 七) = p ( 七一1 ) ( 3 6 5 ) 口2 ( 七) = 口2 ( 七一1 ) ( 3 6 6 ) 参数a ) 由下式得到 f 0 6 ( 尼) 0s ) ， m 卜1 高( 甲- 1 ) 忪啡y 。石7 其中，g ( k ) 并l l 留 ) 分别是a ( k ) 、q ) 的最大奇异值，g ) = h ( k ) p ( k 一1 ) ( 七) 2 ， q ( k ) 一，+ a ) 日 ) p l k 一1 ) h r ) 值，一般可以选择y 【o ，1 1 。 3 5 仿真实验 1分别采用b p 、e k f b p 和o b e b p 算法对非线性问题进行辨识。 考虑如下非线性系统： 獭) 1 2 。羔 这里，h ) 【一1 ，1 】为一均匀分布的输入信号，样本数目为2 0 0 ，神经网络结构采 用三层前向神经网络结构形式，输入层1 = 2 ，隐层n 2 1 1 ，输出层3 = 2 。 在仿真时，各算法的初始值设定如下，b p 神经网络算法的学习系统为 ，7 = 0 2 5 ，动量因子口= 0 2 ，阀值为0 ；e k f b p 算法的初始协方差矩阵p 2 ( 0 ) = 1 0 0 i ， 噪声协方差矩阵r = 0 0 5 1 ；o b e - b p 算法的初始协方差矩阵p ( o ) = 1 0 0 1 ，) ，= 0 9 。 表3 1 给出了上述算法的均方误差比较结果。图3 2 给出了上述三种算法的均方 误差具体变化过程。 表3 1 三种学习算法的均方误差变化比较 七b p e k f b po b e b p 5 00 0 0 3 1 30 0 0 0 3 5 70 0 0 0 2 0 2 1 0 0 0 0 0 2 2 70 0 0 0 3 0 60 0 0 0 1 0 3 1 5 00 0 0 1 8 60 0 0 0 2 51 0 0 0 0 0 8 6 5 2 0 00 0 0 1 2 80 0 0 0 2 3 90 0 0 0 0 7 0 1 图3 2 三种学习算法的m s e 变化过程 由以上仿真结果可以看出，0 b e b p 算法在学习精度和收敛性方面比b p 和 e k f b p 算法都有了较大提高。 2e o b e b p 算法在非线性系统参数估计中的应用 假设非线性系统的状态空间模型如下： 窿跚2 心臻州淞川， z ( t ) 一岛z 2 0 ) 一b 2 x 1 2 0 ) + ，o ) 2 7 这里“o ) 卜1 ，1 】为均匀分布的输入信号，w ( t ) ，v o ) 【一0 1 ，0 1 】均为均匀分 布噪声，样本数为2 0 0 ，初始状态设定为x ( o ) 葛【11 】丁，j ( 0 ) 罱【01 】r ，初始协方差 矩阵以0 ) = 1 0 0 ，y 一0 9 。表3 2 给出了参数估计的结果。图3 3 一图3 6 给出了各 参数估计的变化过程。 表3 2 参数估计结果 口1 a 2岛 b 2 真实值1 30 410 5 估计值 1 3 0 9 10 4 1 6 50 9 9 1 30 4 8 7 9 图3 3 参数a 1 的变化过程 以、 图3 5 参数轨的变化过程 o5 0 4 5 0 ，4 0 3 s o3 o2 5 0 2 o 5 o ， o 。5 o l n l i 一可u 1 02 0 4 0 1 1 加1 4 01 6 01 8 02 图3 4 参数a 2 的变化过程 图3 6 参数b 2 的变化过程 3 6 本章小结 本章首先介绍了b p 神经网络模型和学习算法，b p 神经网络学习算法的实 质是求取误差函数的最小值问题，并按误差函数的负梯度方向修改权值。接着介 绍了基于扩展卡尔曼滤波的b p 神经网络学习算法，并将椭球集员估计理论应用 于神经网络权值的训练当中，得到了基于椭球集员估计理论的b p 神经网络学习 算法。仿真实验验证了该学习算法的有效性。 第四章基于椭球集员估计理论的r b f 神经网络学习算法 径向基函数( r a d i a lb a s i sf u n c t i o n - - r b f ) 神经网络在分类能力、逼近能力 和学习速度等方面均优于b p 神经网络，具有很强的非线性映