（运筹学与控制论专业论文）贝叶斯动态模型若干问题的研究.pdf

山东科技太学硕士学位论文 摘要 摘要 本文首先介绍了遗传算法与神经网络的知识以及用遗传算法优化神经网络的方法， 然后讨论了用进化的神经网络( e n n ) 逼近观测方程为非线性的贝叶斯动态模型的方法，其 中神经网络的权值和闽值用遗传算法确定，这样就避免了神经网络算法中目标函数存在 局部极小点的缺陷：m c m c 方法是处理非线性贝叶斯动态模型的一种极为有效的模拟方 法，对于不易直接取样的密度函数，可以考虑用m e t r o p o l i s h a s t i n g s 方法，通过构造 一个易于抽样的建议分布来实现对目标函数的取样，本文中介绍的a m 算法是一种自适应 m e t r o p o l i s 算法，用a m 算法模拟非线性动态模型不仅简化了抽样过程，而且较一般的 m e t r o p o l i s - h a s t i n g s 方法有更好的收敛性；最后，在广义线性动态模型和混合广义线 性模型的基础上，提出了一种新的模型概念混合广义线性动态模型( m g d l m ) ，并对两 种特殊形式的m g d l m 进行了初步的探讨。 关键词：非线性贝叶斯动态模型，遗传算法，神经网络，自适应m e t r o p o l i s 算法， 混合广义线性动态模型。 坐查型垫盔兰堡主堂壁堡苎一i ! 兰 a b s t r a c t i nt h i sp a p e r ，t h ek n o w l e d g ea b o u tg e n e t i ca l g o r i t h ma n dn e u r a ln e t w o r ki s i n t r o d u c e da tf i r s t 。a n dc o n s i d e r i n gt h ea p p l i c a t i o ni nt h ep a p e r ，t h em e t h o d f o ri m p r o v i n gn e u r a ln e t w o r ku s i n gg e n e t i ca l g o r i t h mi sa l s oi n t r o d u c e d t h e n t h em e t h o df o rs o l v i n gt h eb a y e s i a nd y n a m i cm o d e lw i t han o n l i n e a ro b s e r v a t i o n e q u a t i o nu s i n ge v o l u t i o n a ln e u r a ln e t w o r k ( e n n ) i ss t u d i e d w h e r et h ew e i g h t s o ft h en e u r a ln e t w o r ki sd e c i d e db yg e n e t i ca l g o r i t h m t h em e t h o da v o i d st h el o c a l e x t r e m em i n i m u mp o i n t si nt h et a r g e tf u n c t i o nu s i n gn e u r a ln e t w o r ka l g o r i t h m m c m cm e t h o di sak i n do fu s e f u lw a yf o rd e a l i n gw i t hn o n l i n e a rb a y e s i a nd y n a m i c m o d e l i ft h et a r g e tf u n c t i o ni sn o te a s yt os a m p i e ，w e c a nc o n s i d e ru s i n g m e t r o p o l i s h a s t i n g sa l g o r i t h mt os a m p l ef r o mt h et a r g e tf u n c t i o nb ys e l e c t i n g ap r o p o s a ld i s t r i b u t i o n ，w h e r et h ep r o p o s a ld i s t r i b u t i o ni se a s yt os a m p l e t h e a ma l g o r i t h mi n t r o d u c e di nt h i sp a p e ri sak i n do fm e t r o p o li sa l g o r i t h m u s i n g a ma l g o r i t h mt os i m u l a t en o n l i n e a rd y n a m i cm o d e l si sn o to n l ys i m p l i f y i n gt h e s a m p l i n gp r o c e s s ，b u ta l s oh a sb e t t e rc o n v e r g e n c ep r o p e r t y a tl a s t ，o nt h eb a s i c o ft h es t a n d a r dg d l ma n dm g l 6 【i ak i n do fn e wm o d e ic a l l e dm i x e dg e n e r a ll i n e a r d y n a m i cm o d e l ( m g d l m ) i sp u tf o r w a r d t h e ns o m ep r i m a r ys t u d yf o rt w os p e c i a l k i n do fm g d l mi sjn t r o d u c e d k e y w o r d s ：n o n l i n e a rb a y e s i a nd y n a m i cm o d e l ，g e n e t i ca l g o r i t h m ，n e u r a l n e t w o r k ，a d a p t i v em e t r o p o l i sa l g o r i t h m ，m i x e dg e n e r a ld y n a m i cl i n e a rm o d e l 声明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所 公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交 于其它任何学术机关作鉴定。 硕士生签名： 壶品 日 期越占 a f f i r m a t l 0 n id e c l a r et h a tt h i sd i s s e r t a t i o n ，s u b m i t t e di nf u l f i l l m e n to ft h e r e q u i r e m e n t sf o rt h ea w a r do fm a s t e ro fs c i e n c ei ns h a n d o n gu n i v e r s i t y o fs c i e n c ea n dt e c h n o l o g y ，i sw h o l l ym yo w nw o r ku n l e s sr e f e r e n c e do f a c k n o w l e d g e t h ed o c u m e n th a sn o tb e e ns u b m i t t e df o rq u a l i f i c a t i o na t a n yo t h e ra c a d e m i ci n s t it u t e s i g n a t u r e ： d a t e ： 曼晶 幽$ z 占 山东科技大学硕士学也论文 绪论 1 绪论 1 1贝叶斯理论的发展简述 现代统计学界主要分为两个学派：经典学派和贝叶斯学派。相对于前者，贝叶斯学 派的发展起步较晚。b a y e s 一词源于1 8 世纪英国的一位牧师托马斯贝叶斯( t o m a s ，b a y e s ， 1 7 0 2 1 7 6 1 ) 生前所作的一篇论文论有关机遇问题的求解，在文章中他提出了著名的贝 叶斯公式和一种归纳推理的方法。然而在当时，贝叶斯的理论成果并没有得到足够的重 视，直到他去世后论文被整理发表，其理论价值才被世人认知。后来在他的理论基础上 逐渐形成了贝叶斯学派，与经典学派共同成为现代两大统计学派。 与经典学派相比，贝叶斯学派有两个特点：一是把未知参数作为随机变量：二是建 立先验分布，通过利用主观的判断和经验，提供先验信息。经典学派与之争论的焦点正 是在于这两点，一是未知参数作为随机变量是否妥当，二是先验分布是否存在，如果存 在应如何选取。关于第一点经典学派和贝叶斯学派间争论了很长时间，如今经典学派已 经不反对这一观点，现在争论的焦点在于如何利用先验信息合理地确定先验分布，从而 得到正常的后验。 贝叶斯学派的发展经历了以下几个阶段： 1 7 3 6 年t o m a sb a y e s 提出了重要的贝叶斯定理，1 7 6 3 年其遗著论有关机遇问题的 求解被他的朋友r i c h a r dp r i c e 整理发表，贝叶斯理论的价值才被世人认识，贝叶斯理 论开始奠基。 随后，e c l a p l a c e 等作了迸一步的工作，之后虽然有一些零星的研究，但由于理论 的不完善和应用中出现了一些问题，贝叶斯学派的理论长期不被人们所接受。 进入到上世纪5 0 年代，贝叶斯理论得到了充分发展，6 0 、7 0 年代以来，许多专家 学者投身于贝叶斯理论的研究和应用推广中来，力图从不同的角度对贝叶斯理论进行进 一步的探讨和研究，形成了具有多分支的理论系统。这期间，l j s a v a g e ，h j e f f e r y , a w j l d ， m w e s t ，i j g o o d 等人对贝叶斯理论做了大量有意义的工作，使贝叶斯理论成为一个统一 的理论体系和方法论。 作为贝叶斯理论系统中的个重要分支，贝叶斯动念模型理论是英国统计学家 r j h a r r i s o n 教授和c e s t e v e n 教授在帝国化学公司工作的时候，由于预测突发事件而提 生查型苎查兰竺兰堂堡堡苎 塑堡 出发展起来的一种有名的预测方法。1 9 7 6 年，他们在英国皇家学会上宣读了论文贝叶 斯预测，引起了人们的重视，此后在英美等国，这个方法的理论研究和应用迅速地开展 起来了。1 9 8 9 年，m w e s t 和p - j h a r r i s o n 合著了一本贝叶斯预测和动态模型，全面地 论述了这个方法。贝叶斯动态模型及其预测理论具有广泛的应用性，如在通信，控制 人工智能，经济管理，气象预报等领域。 国内对贝叶斯理论的研究起步较晚，初始发展较缓慢。张孝令教授曾于上世纪8 0 年代向h a r r i s o n 教授学习了这个方法，回国后和我的导师刘福升教授在这个领域作了一 些开拓性的研究工作并取得了丰硕的成果1 1 “，对其在国内的发展产生了积极的影响。 对于贝叶斯动态模型及其预测理论的研究大体经历了以下几个阶段： 首先是单变量动态模型及其预测，主要是p jh a r r i s o n 等人的工作：然后，张老师和 刘老师等人一起做了有关多变量动态模型和矩阵变量模型预测的研究工作；随后，我院 的部分研究生做了关于非线性模型的一些研究工作，主要方法有线性化，变换，拟线性 化，数值近似等；进入9 0 年代，随机模拟的方法开始应用于模型预测的研究领域，这为 非线性模型的研究开辟了新的天地。将随机模拟的方法用于模型的预测能得到较精确的 结果，但是对于非线性贝叶斯动态模型来说，仍存在许多不完善的地方，某些方法还需 要改进。因此，本文的一部分就是利用改进的随机模拟方法，对非线性贝叶斯模型进行 处理。 潘福臣在他的毕业论文中f 8 ，将人工智能思想与动态模型结合起来，对非线性动态 模型进行了人工网络的处理，从而为贝叶斯动态模型的发展提供了一条可行的途径。本 文的另一部分尝试利用遗传算法改进神经网络模型，从而得到更好的预测结果。 另外，基于标准广义线性动态模型的定义，本文在最后提出了混合广义动态线性模 型，并对之进行了初步探讨。 1 2 论文主要内容 为使读者对本文有一个大致的了解，在这儿简单介绍下本文研究的主要问题。 首先，在第2 章中，分别简要地介绍了神经网络模型和遗传算法的知识，并介绍了 利用遗传算法改进神经网络权值的方法。在第3 章中，将遗传算法与神经网络方法结合 起来，用改进的人工神经网络模型逼近观测方程为非线性的贝叶斯动态模型，从而改进 起柬，用改进的人工神经网络模型逼近观测方程为非线性的贝叶斯动态模型，从而改进 当查兰! 垫查兰堡主兰垡堡苎堕笙 了非线性贝叶斯模型的神经网络处理方法。在第4 章中，介绍了种改进的 m e t r o p o l i s h a s t i n g s 方法：自适应m e t r o p o l i s 算法( 简称a m ) ，并把a m 算法用于贝叶 斯非线性动态模型的随机模拟过程中；由于在a m 算法中，即使对不易抽样的密度函数 也可通过构造合适的建议分布来实现抽样，这样就简化了模拟过程；而且这种算法较一 般的m e t r o p o l i s h a s t i n g s 方法有更好的收敛性。第5 章主要是在广义线性动态模型和混 合广义线性模型的基础上提出了混合广义线性动态模型( m g d l m ) 的定义，并且初步探讨 了两种特殊形式的模型指数族m g d l m 和二分量m g d l m 的性质以及模型的递推 修正与预测方法。 山东科技大学硕士学证论文 避传算法与人工神经网络 2 遗传算法与人工神经网络 遗传算法( g e n e t i ca 1 9 0 r i t h m g a ) 阡】，是模拟达尔文的遗传选择和自然淘汰 的生物进化过程的计算模型，它是由美国m i c h i g a n 大学的j h o l l a n d 教授于1 9 7 5 年首先 提出的。遗传算法作为一种新的全局优化搜索算法，以其简单通用，鲁棒性强，适于并 行处理以及应用范围广等显著特点，奠定了它作为2 l 世纪关键技能计算之一的地位。神 经网络( n e u r a ln e t w o r k s ) 1 8 - 1 9 简称n n ，是模仿人脑工作方式而设计的一种机器，它 具有通过学习获得知识并解决问题的能力，且只是分布存储在连接权中，而不象常规计 算机那样按地址存在特定的存储单元中。在实用中，神经网络算法存在着目标函数存在 局部极小点的缺点。遗传算法的出现使神经网络的训练有了一个崭新的面貌，目标函数 既不要求连续，也不要求可微，仅要求该问题可计算，而且它的搜索始终遍及整个解空 间，一次容易得到全局最优解，解决了神经网络算法中的局部极小问题。 2 1 遗传算法概述 2 1 1 遗传算法基本术语 生物的遗传物质的主要载体是染色体，d n a 是其中最主要的遗传物质，而基因又是 控制生物性状的遗传物质的功能单位和结构单位。复数个基因组成染色体，染色体中基 因的位置称作基因座( 1 0 c u s ) ，而基因所取的值又叫做等位基因( a l l e l e s ) 。基因和基因座决 定了染色体的特征，也就决定了生物个体的性状。此外，染色体有两种相应的表示模式， 即基因型( g e n e t y p e ) 和表现型( p h e n o t y p e ) 。所谓表现型是指生物个体所表现出来的性状， 而基因型指与表现型密切相关的基因组成。同一种基因型的生物个体在不同的环境条件 下可以有不同的表现型，因此表现型是基因型与环境条件相互作用的结果。在遗传算法 中，染色体对应的是数据和数组，在标准遗传算法中，这通常是由一维的串结构数据来 表现的。串上各个位置对应上述的基因座，而各位置上所取的值对应上述的等位基因。 遗传算法处理的是染色体，或者叫基因型个体( i n d i v i d u a l ) 。一定数量的个体组成了群体 ( p o p u l a t i o n ) ，也叫种群。群体中个体的数目称为群体的大小( p o p u l a t i o ns i z e ) ，也叫群体规 4 坐查登丝墨兰堡主兰竺兰塞 堂生簦鎏竺三! 丝堕堑 模而各个体对环境的适应程度叫做适应度( f i t n e s s ) 。 执行遗传算法时包含两个必需的数据转换操作，一个是表现型到基因型的转换，另 一个是基因型到表现型的转换。前者是把搜索空间中的参数或解转换成遗传空间中的染 色体或个体，此过程称为编码( c o d i n g ) 操作；后者是前者的一个相反操作，叫做译码 ( d e c o d i n g ) 操作。 2 1 2 遗传算法的基本操作 遗传算法是一种群体型操作，该操作以群体中的所有个体为对象。选择( s e l e c t i o n ) 、 交叉( c r o s s o v e r ) 年l 变异( m u t a t i o n ) 是遗传算法的3 个主要操作算子，它们构成了所谓的遗传 操作，使遗传算法具有了其他传统方法所没有的特性。遗传算法中包含了如下4 个基本要 素： ( 1 ) 参数编码 由于遗传算法不能直接处理解空间的解数据，因此我们必须通过编码将他们表示成 遗传空间的基因型串结构数据。一般来说，由于遗传算法的鲁棒性，它对编码的要求并 不苛刻。标准遗传算法采用的是二进制编码方案。对于较复杂的解空间，为了减少计算 量，可以采取十进制编码方案。这种编码方案比较直观，不需要解码过程。 ( 2 ) 初始群体的设定 由于遗传算法群体型操作的需要，我们必须为遗传算法操作准备一个由若干初始解 组成的初始群体。群体规模的确定受遗传操作中选择操作的影响很大。群体规模越大， 算法陷入局部解的危险就越小。所以，从考虑群体多样性出发，群体规模应较大。但群 体规模太大会带来若干弊病：一是群体越大，计算量也增加，从而影响算法效能；二是 群体中个体生存下来的概率大多与适应度成比例，当群体中个体非常多时，少量适应度 很高的个体会被选择而生存下来，但大多数个体却被淘汰，这会影响配对库的形成，从 而影响交叉操作。另一方面，群体规模太小会使遗传算法的搜索空间中分布范围有限， 可能会使搜索停止在未成熟阶段，引起未成熟收敛现象。这就要求群体规模不能太小。 在实际应用中群体个体数的取值范围一般为几十到几百个。 ( 3 ) 适应度函数的设计 遗传算法在进化搜索中基本上不用外部信息，仅用目标函数即适应度函数为依据。 遗传算法的目标函数不受连续可微的约束且定义域可以为任意集合。对目标函数的唯一 要求是针对输入可计算出能加以比较的非负结果。在具体的应用中，适应度函数的设计 要结台求解问题本身的要求而定。需要强调的是，适应度函数评估是选择操作的依据。 s 生堡壁垫查兰堕生兰堡笙茎 适应度函数设计直接影响到遗传算法的性能。 ( 4 ) 遗传操作设计 遗传算法与人工种经网络 遗传操作包括选择操作、交叉操作和变异操作。 选择操作的目的是为了从当前群体中选出优良个体，使他们有机会作为父代为下一 代繁衍子孙。选择操作算子是判断个体优良与否的标准，就是各自的适应度值。个体适 应度越高，其被选择的机会就越多。目前遗传算法中最基本最常用的方法是适应度比例 方法，也叫做赌轮或蒙特卡罗选择。在该方法中，各个个体的选择概率和其适应度成正 比。 交叉操作是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。通过 交叉，遗传算法的搜索能力得以飞跃提高。杂交是两个染色体之间随机交换信息的一种 机制。交叉算子需保证前一代优秀个体的性状能在后一代的新个体中尽可能得到遗传和 继承。交叉算子是根据不同的编码方式而设计的，常用的交叉算子有点交叉、二点交 叉以及多点交叉，另外还有一致交叉、顺序交叉等。 变异操作的基本内容是对群体中个体串的某些基因座上的基因值按变异概率作变 动。就基于o ，1 的二进制码串而言，变异操作就是把基因座上的值取反。对于十进制编 码而言，变异算子就是在基因取值范围内随机取值，然后替换该基因座上的值。 图2 1 遗传算法的基本流程图 f i g 2 1 t h eb a s i cf l o wc h a r to f g e n e t i ca l g o r i t h m 些查翌垫查兰堕主兰堡堡兰 丝堡竺鲨望三塑丝堕垡 从上述算法的描述中，我们知道，遗传算法依靠选择保持优秀种群，依靠变异和交 叉操作来达到改变搜索区间，以便不断得到最好解的目的。 遗传算法的基本操作流程如图2 1 所示【1 2 】 2 2 人工神经元网络模型 人工神经元网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本特性 的某种理论抽象、简化和模拟而构成的一种信息处理系统。从系统观点看，人工神经元 网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。由于 神经元之间有着不同的连接方式，所以组成不同结构形态的神经网络系统是可能的。 人工神经元网络模型的结构如图2 2 所示： ： i 誓， 图2 2 人工神经元网络模型 f i g 2 2 t h ea r t i f i c i a ln e u r a ln e t w o r k ( a n n ) m o d e l - y k 其中而，x z ，z 。为输入信号，段为神经元内部状态，吼为阈值，为以至i “连接 的权值，屯为外部输入信号( 在某些情况下，它可以控制神经元以，使肌可以保持在 某一状态) ，o ( ) 为激活函数，y 。为输出。上述模型可以描述为 q = _ + s 。一吼 ( 2 1 ) 山东科技大学硕上学位论文遗传算法与人工种经l 埘络 。= g ( 盯。) 儿= 中( 胁) = m k ( 吼) 】 ( 2 2 ) ( 2 3 ) 当神经元没有内部状态时，y 。= g 瓴) ，可令中) = g ( ) 。通常的情况是没有如的，此 时，每一个神经元的输入接受前一级神经元的输出。因此，对神经元七的总作用o k 为所 有输入的加权和减去闽值，而神经元女的输出y 。为其当前状态q 的函数。这时，模型可 描述为： q = 0 3 f x j 一吼 儿= g h ) = 。h ) = 巾陲。一幺 若把输入的维数增加一维，则可把阈值幺也包括进去。例如 以= j ， 一o 此处增加了一个新的连接，其输入x 。= 一1 ，权值q 。= o k 。 ( 2 4 ) ( 2 5 ) ( 2 6 ) 激活函数中) 一般情况下采用s 型函数，其中最常用的是s 瑶卵d 耐函数以及双曲正切 函数。s i g m o i d 函数的表达式为： ，g ) 。鬲丽1 面 2 7 ) 其中参数口 0 可控制其斜率。 双曲正切函数的表达式为： g ) = 丽1 - e x p ( - x ) ( 2 8 ) 双曲正切函数的形状与j 枷d 耐函数的相同，但它是以原点对称的，使得当x ：o 时， y = 0 。它常常被选用为要求输入是卜l ，+ 1 ) 范围内的信号。这类函数具有平滑性和渐进 性，并能保持单调性。 现已证明，任何一个连续函数均可用一个人工神经网络很好的逼近。此结论在以后 山乐科技人学顺上学l 芷论文堂萝婆与型中经m 络 的应用中非常重要，现具体表述为以下定理： 定理2 1 1 9 i ：令妒( ) 是有界，单调，连续函数，e ，表示p 维单位超立方体【o ，1 9 ，c ( ，) 表 示定义在，。上的连续函数构成的集合，则给定任何函数c ( ，) 和s 0 ，存在整数n 和 一组实数c r ，f i ，其中i = 1 , 2 ，= 1 , 2 ，p ，使网络输出 夕g ，b ) ：兰。一杰工，一。1 ( 2 _ 9 ) i = 1 ，；1 可任意逼近厂) ，即 l ，( ，o ) 一，( ，x ，) | 占v b l ，一，b ) i ( 2 1 0 ) 2 3 用遗传算法优化神经网络 用遗传算法优化神经网络，可以使得神经网络具有自进化、自适应能力，从而构造 出进化的神经网络( e n n ) 【1 4 】l ”】。用遗传算法优化神经网络主要包括三个方面的内容： ( 1 ) 连接权的进化；( 2 ) 网络结构的进化：( 3 ) 学习规则的进化。 这里主要介绍用遗传算法进化神经网络连接权值的方法。 神经网络连接权的整体分布包括着神经网络系统的全部知识，传统的权值获得方法 都是采用某个确定的权值变化规则，在训练中逐步调整，最终得到一个较好的权值分布。 用遗传算法优化神经网络连接权值的过程如下： ( i ) 随机产生一组分布，采用某种编码方案对该组中的每个权值( 或阈值) 进行编码， 进而构造出一个个码链( 每个码链代表网络的一种权值分布) ，在网络和学习规则一定的 前提下，该码链就对应一个权值和闽值取特定值的神经网络； ( 2 ) 对所产生的神经网络计算它的误差函数，从而确定其适应度函数值。误差越大，适 应度越小； ( 3 ) 选择若干适应度函数值最大的个体，直接遗传给下一代： ( 4 ) 利用交叉和变异等遗传操作算子对当前一代群体进行处理，产生下一代群体； ( 5 ) 重复( 2 ) ，( 3 ) ，( 4 ) ，使初始确定的一组权值分布得到不断的进化，直到训练目标 得到满足为止。 9 山东科技大学硕士学位论文 遗传算法在处理非线性儿叶斯动态模型中的应用 3 遗传算法在处理非线- 眭贝叶斯动态模型中的应用 非线性贝叶斯动态模型的定义为： 观测方程：y ，= z ) + _ _ 【o 一】 ( 3 i ) 状态方程：b = g 。 一，) + d 0 1，m o ，彬 ( 3 2 ) 其中，z ( ) 是已知的回归函数，晶) 是状态函数，且z o g ( - ) 至少其一为非线性函 数，u 和q 分别是观测误差和状态误差，它们相互独立且各自独立，和彬分别为观 测误差方差和状态误差方差。m 为t 时刻的观测值，幺为t 时刻的状态向量。b = p 。，y ，j 表示t 及t 时刻以前的信息。 对于上述贝叶斯非线性动态模型已有一些处理方法，如拟线性化法、高斯积分法、 随机模拟法、m c m c 方法等。特别是m c m c 方法，无论在理论上还是在应用上均取得 了令人满意的效果，此方法已成为处理复杂系统问题的流行工具，在经常需要复杂的高 维积分运算分析的领域更是如此。 文献【8 】采用了人工神经网络方法来处理上述非线性贝叶斯动态模型。这里我们主要 讨论通过利用遗传算法改进神经网络，用进化的神经网络( 卧) 来处理非线性贝叶斯 动态模型的方法。 3 1 观测方程为非线性的贝叶斯动态模型的 进化神经网络( e n n ) 处理 考虑下面的观测方程为非线性的贝叶斯动态模型： 观钡9 方程： r = z 0 t ) + y ，_ n 0 ，巧 ( 3 3 ) 状态方程： z ，= g 一一+ o tn 0 ，彬】 ( 3 4 ) 其中，：0 为已知的非线性函数。 我们采用自主滤波算法与进化的神经网络相结合的方法来处理上述模型。其主要思 o 山东科技大学硕士学位论文遗传算法枉处理非线性! ! | 斯动态模型中的应用 想是，在某一时刻以前采用自主滤波算法对模型进行递推运算，在这一时刻以后采用神 经网络来逼近非线性函数，( x ，) ，其训练样本来自前一算法的抽样值。其中神经网络的 权值可以用遗传算法来改进。- 3 1 1 t 及t 时刻以前的自主滤波算法 设在尼( 七 f ) 时刻我们有一组p k l n ) 的抽样值，记为辟。l d 。，i = 1 2 ， ，以此为 基础，利用方程( 3 4 ) ，寻找一组抽样点集合& 。j 皿。i = 1 ，2 ， ，使其近似p g 。i d 。) 。 具体做法在文献【8 中已经详细讨论过了，这里不再赘述。 3 1 2t 时刻以后的预测 在t 时刻以后采用人工神经网络的方法处理以上模型，由定理2 1 可知，任何非线性 函数都可由人工神经网络逼近，在这里我们利用遗传算法来确定人工神经网络的权值和 闽值。 1 小波神经网络建模 8 】【2 1 1 由定理2 1 可知，方程( 3 _ 3 ) 中的非线性函数，阮) 可由下面的小波神经网络来逼 近： z 阶静文缸b 一叫 s ， 其中，k i = l ，2 ，= 1 ，2 ，p 为输入层到隐层的连接权值， c 。l f ：1 2 ) 为 隐层到输出层的连接权值， f 。f f = 1 2 ，) 为隐层节点阈值。伊( ) 为小波函数，满足容 许性条件。故方程( 3 3 ) 可近似写成： t = 喜q 。圭j = l 哆。工，一r 。 + 一 c 。s ， t = c f l 叫艺凡1h ( 3 - 6 ) l = l ， 2 小波神经网络学习的改进遗传算法 设在时刻t 有n 对样本 似，k l ，2 = 1 , 2 ，聍 ，现在用样本观测值来训练网络，步骤 如下： 山东科技大学硕士学位论文遗传算法在处理非线性儿叶逝塑奄焦型! 塑些用 ( 1 ) 从训练样本中随机选取一样本x 。，将其作为输入信息输入到上面的网络( 3 5 ) 中 c z ，计算网络的真实输出毫= 姜c 。文芸一“ ( 3 ) 计算此样本的误差峨：k 一圪y ( y m 一丘) ，其中t 为转置符号 ( 4 ) 输入下一个样本，返回( 1 ) 、( 2 ) 、( 3 ) ，直到全部样本训练完毕，计算总误差三， e ，：杰瓴一允，k 一克) ( s 7 ) m = l 因此，上述神经网络中权值的学习问题可化为如下的优化问题： 其中， c = m i n e = m i n 奎k 一点) r k 一东) c | r ，r l ，= q 1 1 ( 0 t 2 1 ，r = f f f 2 ( 3 8 ) 为待定参数。 下面考虑优化问题( 3 8 ) 的遗传算法。为了解决变量维数过高所带来的编码过长的 问题，我们考虑改进遗传算法l ”】，即不对变量进行二进制编码，而直接引用遗传算法的 并行搜索机理。算法步骤如下： ( 1 ) 编码。可由各参数( c ，矿，r ) 级联而成，其总长度为n p + 2 ： ( 2 ) 确定算法参数，如群体规模h ，交叉概率p 。，变异概率p ，遗传规模2 m ( 2 m 0 由统计学的知识，对k + 1 个样本观察值，_ r 4 ，试验的协方差阵为 c 。v 缸。 ) = i 1 偿k 碱t 一k 瓦刁 ( 4 9 ) 其中瓦= 鬲1 萎kt ，元素x i r a 可以看作是列向量。 由( 4 8 ) 和( 4 9 ) 式可知，当t o 时，e 满足下面的递推公式： e ：，= t - f1 c ，+ _ s d - - 。z 一。r o + 1 ) z 置7 + 墨一7 + 矾) ( 4 1 0 ) 而z 也有明显的递推关系： 墨= 者五，+ 击z ( 4 山东科技大学硕士学位论文自适应m e t r o p o l i s 算法和非线性贸叶斯动态模型 这样，根据递推公式( 4 1 0 ) ，( 4 1 1 ) 就可以简单地计算协方差c ，了。 4 2 2a m 算法的定义及其遍历性 显然，经过上述过程得到的a m 链是非马尔可夫的，我们可以用随机过程理论给出 它的确切定义。 假设目标分布定义在子集s c r 4 上，我们可以选择j 作为状态空间。目标分布的密 度函数为石g ) ，我们假设它在s 上是有界，即对某个珊 0 ，对门1 ，e 如( 4 8 ) 式定义，则对于给定的初始分布，对所有的”l ，x i s ( o s is 一1 ) 和子集a ，由上 面的( 4 1 3 ) 式所确定的a m 链是s 上的一条随机链，其中 k 。g o ，工，i ；爿) = m 矗( h 一) g ，i ；爿) ( 4 1 4 ) 显然，由上面的定义4 1 所确定的a m 链不是m a r k o v 链，但它仍然具有很好的遍历 性，因此可以用于积分的近似计算中。具体描述为下面的定理： 定理4 1 设瘁是定义在可测子集scr 。上的目标分布，并且满足有界性条件( 4 1 2 ) ， 占 0 是已知常数，硒是定义在s 上的任意的初始分布，则由定义( 4 1 ) 定义的a m 链阢) 可以正确的模拟目标分布厅，即对任何有界可测函数f ：s 哼r ，有下式成立： ! i r a 寿( 厂伍。) + ，( 置) ”+ ，伍。) 超坠l ，讧k ( 扰) 定理4 1 的详细证明参见文献 2 3 ，这里不再叙述。 由定理4 1 可知，对有界函数( x ) ，积分( 4 1 ) 可以通过a m 算法抽样建立一条 a m 链来近似计算。 4 3 非线性贝叶斯动态模型的a m 算法处理 贝叶斯动态线性模型由于自身的局限性，无法满足各种需要，所以有时我们必须使 用非线性贝叶斯动态模型来处理实际问题，但非线性贝叶斯动态模型处理起来会遇到很 多困难。以前常用的处理这类问题的方法主要是将非线性函数用线性函数近似，但是这 种方法的精确度不高。本文主要从随机模拟的角度，用a m 算法对非线性贝叶斯动态模 型进行处理。由于贝叶斯动态线性模型是非线性贝叶斯动态模型的一种特殊情况，所以 下面所用的方法对于处理贝叶斯动态线性模型也是适用的。 考虑多变量非线性贝叶斯动态模型： 观测方程： 儿= ( 舅) + _ ，v ，n o ，】 ( 4 1 5 ) 2 i 些查型垫查堂堡主兰些笙苎 皂垩坐竺! ! 竺! ! 生竺生塑苎塑丝墨! ! ：堑垫查堡型 状态方程：只= 岛 一) + q ，( 0 1 n o ，彬】 ( 4 1 6 ) 其中，y ，是，维观测向量：只是”维状态向量；，( ) 是已知的r 维回归向量函数，晶( - ) 是已知的 维状态向量函数，且厂 g ( ) 两者至少其一为非线性函数；_ 是r r 观测误 差方差阵，形是n x ”状态误差方差阵；观测误差项y ，和状态误差项q 独立，而且v ，与哆 各自相互独立。 若记p 协，p 一。) 和p ( o , l o , + q 。) 分别为已知的观测密度和状态密度，记矾为初始 信息，d ，= p 。y ，) 表示时刻t 及t 以前时刻的所有信息，则在非线性动态模型背景下， 要处理的计算问题主要包括【7 1 ： ( 1 ) 状态参数只的进化，即只的先验分布： p l 口一) = f p ( o , l o , + q 一。b 一，盼一，p 只一 ( 4 1 7 ) ( 2 ) 观测值y ，的一步预测： p ( y ，i d ，。) = j p ( y ，i o , ，d t 。扫 i d 。p 只 ( 4 1 8 ) ( 3 ) 参数e 的修正，在得到儿后，计算只的后验分布： p 阻) = p 旧+ 口b 一id f p 舅一 ( 4 1 9 ) ( 4 ) 在时刻t ，预测者所需的主要