（计算机应用技术专业论文）贝叶斯模型及其在混沌序列分析中的应用研究.pdf

摘要 实际测量得到的混沌时间序列不可避免地存在噪声，极大地影响了其参数计算和下一步 的预测精度。鉴于此，本文深入研究了贝叶斯的理论与方法，并且把它与其他模型相结合构 造了含加性高斯噪声的混沌时间序列的降噪和预测模型。主要研究工作及成果如下： ( 1 ) 基于马尔可夫模型及经验贝叶斯的思想，提出了一种混沌时间序列的小波域统计降噪 方法。对含加性高斯噪声的混沌时间序列进行对偶树复小波变换，得到小波系数的实部和虚 部；对该实部和虚部数据分别建立隐马尔科夫树模型，再结合经验贝叶斯方法估计加噪前源 混沌时间序列所对应的小波系数的实部和虚部：最后采用对偶树复小波逆变换得到降噪后的 混沌时间序列。仿真结果表明该方法能够有效地对混沌时间序列进行降噪，且能够较好地校 正混沌时间序列相空间中点的位置，逼近真实的混沌吸引子轨迹。 ( 2 ) 运用r b f 神经网络模型及分层贝叶斯的思想，建立了一种含噪混沌时间序列的相空 间域预测方法。分层贝叶斯算法把r b f 神经网络模型中的径向基函数个数、模型参数、以及噪 声参数都视为随机变量需要进行估计。对其中必要的计算，采用可逆跳跃马尔可夫链蒙特卡罗 方法。仿真结果表明该方法具有较强的抗噪能力以及有效地抑制了过拟和现象，且预测精度对 重构相空间的嵌入维数和时延参数的变化不敏感。 ( 3 ) 基于变分贝叶斯及相空间重构理论，构造了含噪混沌时间序列相空间域线性回归预测 模型。对序列进行相空间重构，在相空间中用变分贝叶斯推断方法估计线性同归系数。仿真 结果表明该模型具有较强的抗噪能力以及有效地抑制了过拟和现象，且预测精度对重构相空 间的嵌入维数和时延参数的变化不敏感。 ( 4 ) 借鉴k r i g i n g 模型及相空间重构理论，建立了含噪混沌时间序列相空间域k r i g i n g 预 测方法。仿真结果表明该方法能够有效地预测含噪混沌时间序列，且具有较强的抗噪能力以 及有效地抑制了过拟和现象。同时预测精度对重构相空间的嵌入维数和时延参数的变化不敏 感。 ( 5 ) 基于k r i g i n g 模型及变分贝叶斯方法，建立了一种含噪混沌时间序列相空间域预测模 型。仿真结果表明该方法能够有效地预测含噪混沌时间序列，且具有较强的抗噪能力以及有 效地抑制了过拟和现象。同时预测精度对重构相空间的嵌入维数和时延参数的变化不敏感。 v 关键词：混沌时间序列，降噪，对偶树复小波，马尔可夫，贝叶斯。可逆跳跃m c m c ，r b f 神经 网络，预测，相空间，k r i g i n g 模型 a b s t r a c t c h a o t i ct i m es e r i e sh a v en o i s ea r r i v e df r o mp r a c t i c a lm e a s u r e ，w h i c ha f f e c tp a r a m e t e r sc a l c u l a t i o n a n dt h en e x tp r e d i c t i o np r e c i s i o n t h ed i s s e r t a t i o ns t u d i e sb a y e s i a nt h e o r ya n dm e t h o d a n dw e i n t e g r a t eb a y e s i a nm e t h o dw i t ht h eo t h e rm o d e l st oc o n s t r u c td e n o i s i n gm o d e l sa n dp r e d i t i n gm o d e l s o fn o i s yc h a o t i ct i m es e r i e s t h em a i nr e s u l t si nt h i sd i s s e r t a t i o na r eo u t l i n e da sf o l l o w s o ) w ep r e s e n t e dac h a o t i ct i m es e r i e ss t a t i s t i c a ld e n o i s i n gm e t h o di nw a v e l e td o m a i nb a s e do nt h e i d e ao fm a r k o vm o d e la n de x p e r i e n t i a lb a y e s t h ed u a l - t r e ec o m p l e xw a v e l e td e c o m p o s e dc h a o t i c t i m es e r i e sw i t ha d d i t i v eg a u s s i a nn o i s et oo b t a i nr e a lp a r ta n di m a g i n a r yp a r to f w a v e l e tc o e f f i c i e n t s w em o d e l e dt h er e a lp a r ta n di m a g i n a r yp a r td a t a 船h i d d e nm a r k o vt r e e sm o d e l e m p i r i c a lb a y e s i a n m e t h o dw a su s e dt oe s t i m a t ew a v e l e tc o e f f i c i e n t sr e a lp a r ta n di m a g i n a r yp a r to fs o u r c ec h a o t i ct i m e s e r i e s f i n a l l yu s i n gd u a l - t r e ec o m p l e xw a v e l e ti n v e r s et r a n s f o r m ，w ec a ng e tt h ed e n o i s e dc h a o t i c t i m es e r i e s t h en u m e r i c a le x p e r i m e n t sr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o di se f f i c i e n t i tc a l l b e t t e rc o r r e c tt h ep o s i t i o no fd a t ap o i n t si np h a s es p a c ea n da p p r o x i m a t et h er e a lc h a o t i ca t t r a c t o r t r a j e c t o r i e sm o r ec l o s e l y ( 2 ) u s i n gr b fn e u r a ln e t w o r k sa n dh i e r a r c h i c a lb a y e s i a na l g o r i t h m ，ap h a s es p a c ed o m a i n p r e d i c t i o nm e t h o do fn o i s yc h a o t i ct i m es e r i e sw a sc o n s t r u c t e d t h eh i e r a r c h i c a lb a y e s i a na l g o r i t h m t r e a t e dt h en u m b e r so fr a d i a lf u n c t i o n ，m o d e lp a r a m e t e r s ，a n dn o i s ep a r a m e t e r s 嬲r a n d o mv a r i a b l e s t h a tn e e dt ob ee s t i m a t e di nt h er b fn e u r a ln e t w o r k s w eu s e dt h er e v e r s i b l ej u m p i n gm a r k o vc h a i n m o n t ec a r l o ( r j m c m c ) m e t h o dt op e r f o r mt h en e c e s s a r yc o m p u t a t i o n s t h en u m e r i c a le x p e r i m e n t r e s u l t ss h o wo u rm e t h o dc a np r e d i c tn o i s yc h a o t i ct i m es e r i e se f f e c t i v e l y t h em o d e li sr o b u s tt o n o i s ea n dc o n t r o lt h eo v e r f i t t i n ge f f e c t i v e l y t h ep r e d i c t i o ne f f e c ti sn o ts e n s i t i v et ot h ec h a n g eo f e m b e d d i n gd i m e n s i o na n dt i m ed e l a y ( 3 ) b a s e do nv a r i a t i o n a lb a y e s i a na n dp h a s es p a c er e c o n s t r u c t i v et h e o r yw ec o n s t r u c t e dal i n e a r l y r e g r e s s i v ep r e d i c t i o nm o d e li nn o i s yc h a o t i ct i m es e r i e sp h a s es p a c e t i m es e r i e sp h a s es p a c ew a s c o n s t r u c t e d v a r i a t i o n a lb a y e s i a nm e t h o de s t i m a t e dt h el i n e a l yr e g r e s s i v ec o e f f i c i e n t s t h en u m e r i c a l e x p e r i m e n tr e s u l t ss h o wt h em o d e li sr o b u s tt on o i s ea n dc o n t r o lt h eo v e r f i t t i n ge f f e c t i v e l y t h e p r e d i c t i o ne f f e c ti sn o ts e n s i t i v et ot h ec h a n g eo fe m b e d d i n gd i m e n s i o na n dt i m ed e l a y ( 4 ) w ec o n s t r u c t e dap r e d i c t i o nm o d e lo ft h ec h a o t i ct i m es e r i e sw i t ha d d i t i v eg a u s s i a nn o i s e b a s e do nk r i g i n gm o d e li nt h ep h a s es p a c e t h en u m e r i c a le x p e r i m e n tr e s u l t ss h o wt h em o d e li s r o b u s tt on o i s ea n dc o n t r o lt h eo v e r f i t t i n ge f f e c t i v e l y t h ep r e d i c t i o ne f f e c ti sn o ts e n s i t i v et ot h e c h a n g eo fe m b e d d i n gd i m e n s i o na n dt i m ed e l a y ( 5 ) b a s e do nt h ev a r i a t i o n a lb a y e s i a nm e t h o da n dk r i g i n gm a t h e m a t i c a li d e aw ec o n s t r u c t e da n o i s yc h a o t i ct i m es e r i e sp h a s es p a c ed o m a i np r e d i c t i o nm o d e l t h en u m e r i c a le x p e r i m e n tr e s u l t s s h o wo u rm e t h o dc a np r e d i c tn o i s yc h a o t i ct i m es e r i e se f f e c t i v e l y t h em o d e li sr o b u s tt on o i s ea n d c o n t r o lt h eo v e r f i t t i n ge f f e c t i v e l y t h ep r e d i c t i o ne f f e c ti sn o ts e n s i t i v et ot h ec h a n g eo fe m b e d d i n g d i m e n s i o na n dt i m ed e l a y k e y w o r d s ：c h a o t i ct i m es e r i e s ，d e n o i s i n g ，d u a l - t r e ec o m p l e xw a v e l e t , m a r k o v , b a y e s i a n ，r j m c m c 。 r b fn e u r a ln e t w o r k s ，p r e d i c t i o n ，p h a s es p a c e ，k r i g i n gm o d e l 表格清单 表2 1l o r e n z 混沌序列x 分量降噪后信噪比”3 4 表2 2l o r e n z 混沌序列y 分量降噪后信噪比”3 4 表2 3l o r e n z 混沌序列z 分量降噪后信噪比3 4 表3 1l o r e n z 时间序列预测均方根误差”5 3 表3 2m a c k e y g l a s s 时间序列预测均方根误差5 4 表3 3 不同相空间m a c k e y - g l a s s 时间序列预测均方根误差”5 5 表4 1l o r e n z 时间序列预测均方根误差”6 4 表4 2m a c k e y g l a s s 时间序列预测均方根误差6 5 袁4 3 不同相空间m a c k e y - g l a s s 时间序列预测均方根误差”6 6 表5 1l o r e n z 混沌时间序列预测均方根误差”7 6 表5 2m a c k e y - g l a s s 时间序列预测均方根误差7 7 表5 3 不同相空间m a c k e y g l a s s 时间序列预测均方根误差“7 8 表6 1l o r e n z 混沌时间序列预测均方根误差8 8 表6 2m a c k e y g l a s s 时间序列预测均方根误差8 9 表6 3 不同相空间m a c k e y g l a s s 时间序列预测均方根误差”9 0 插图清单 图2 1 小波域隐马尔可夫树模型的无向图2 i 图2 2l o r e n z 源混沌时间序列及其平面投影图2 9 图2 3 含噪l o r e n z 混沌时间序列及其平面投影图3 0 图2 4 经典小波硬阈值方法降噪后时间序列及其平面投影图3 1 图2 5 经典小波软阈值方法降噪后时间序列及其平面投影图3 2 图2 6本章方法降噪后时间序列及其平面投影图3 3 图2 7 远红外激光器产生的混沌序列及其二维相图3 5 图3 1r b f 神经网络模型框架图“3 8 图3 2 先验概率分布的有向无环图4 2 图3 3l o r e n z 混沌时间序列预测效果5 2 图3 4m a c k e y g l a s s 混沌时间序列预测效果5 4 图4 1l o r e n z 混沌时间序列预测效果6 4 图4 2m a c k e y - g l a s s 混沌时间序列预测效果6 6 图5 1l o r e n z 混沌时间序列预测效果7 5 图5 2m a c k e y - - g l a s s 混沌时间序列预测效果7 7 图6 1l o r e n z 混沌时间序列预测效果8 7 图6 2m a c k e y - g l a s s 混沌时间序列预测效果8 9 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得 金里些厶堂 或其他教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 意。 学位论文作者签名： ：童仑蓖 签字日期 。宕年月7 日 学位论文版权使用授权书 本学位论文作者完全了解金日巴：! ：些厶堂有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金月墨土 些厶堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 汪仓俑 签字日期：og 年f 月1 日 学位论文作者毕业去向：合肥工业大学数学系 1 ：作单位：合肥工业大学 通讯地址：合肥：i ：业人学数学系 导师签名求功劾 签字日期：口矿年多月日 电话：1 3 8 6 6 6 8 4 7 6 7 邮编：2 3 0 0 0 9 致谢 在研究生学习阶段即将完成之际，回首近几年来学习、工作中的点点滴滴。我从心里感激 如此多的师长和朋友给予我的帮助。正是这几年他们在研究上的指导和合作，在生活上的关 心和照顾，才使得我能顺利完成研究生阶段的学习和研究任务。 首先，我要感谢我的导师朱功勤教授。在攻读博士学位期间，朱老师在学习和研究方面 给了我精心的指导和莫大的帮助。至今，我还清晰地记得朱老师告诫我做研究是严肃的，来 不得半点马虎，一定要踏踏实实，不能急功近利。在后来的学习和研究中，我都谨记这番谈 话。并以此鞭策和激励自己。这几年来，朱老师渊博的知识、敏锐的科学洞察力、严谨的治 学态度、为人师表的品格、孜孜不倦的进取精神和开拓创新的科学精神一直感染并激励着我。 我还要特别感谢高隽教授、张佑生教授、刘晓平教授、檀结庆教授、凌能祥教授、朱士 信教授、林京教授等多年来对我无私的帮助。难以忘记我的硕士导师杜雪樵教授和方毅处长 对我的一贯支持与鼓励。 非常感谢非线性科学计算实验室里面的成员。在这里，大家团结合作、积极探讨、勇于 探索，在科研上给了我很多启发和帮助。感谢张莉、刘植、邢燕、苏本跃、盛敏、储标等同 学，与他们之间的良好合作给我留下了深刻的印象。感谢殷明老师、江平博士对我的帮助和 鼓励。 感谢我的家人一直以来对我的关心与支持，多年的求学生涯。他们对我的理解与支持始 终激励着我不断前进，不敢懈怠。我所取得的每一点成绩都凝结着他们的爱，我永远感激他 们。特别感谢我的丈夫徐小红，他在生活上给予我无微不至的关心和照顾，在学习、工作上 不断鼓励和支持我，才使我有勇气一直坚持并努力前行。感谢我可爱的儿子徐纯谦，他是我 一直以来不断进取、努力学习和工作的动力。 多年的学习和研究工作中，太多的人给予了我热心的帮助和温暖的关怀，我无法在这里 一一列举他们的名字，但我从心里感激他们。感谢所有关心，帮助和支持过我的人! 最后，要感谢评阅、评议博士论文和出席博士论文答辩会的各位专家学者，感谢他们在 百忙的工作中能给予指导和帮助。 汪金菊 2 0 0 8 年5 月1 日于逸夫楼 第一章绪论 1 1 混沌的起源与本质 第一章绪论 2 0 世纪下半叶，非线性科学蓬勃发展，其中对混沌的研究占了极大的份额。混沌科学是 随着现代科学技术的迅猛发展，尤其是在计算机技术的出现和普遍应用的基础上发展起来的 新兴交叉学科。在数学、物理学、化学、生物学、地质学、经济学以及社会学等领域中，普 遍存在着混沌现象，它体现了许多不同学科之间的共性，是涉及系统总体本质的- - f - 新兴科 学。 混沌研究的鼻祖是法国的庞加莱( i q p o i n c a r e ) ( 【吕0 2 】) ，他在研究能否从数学上证明太 阳系的稳定性问题时，发现即使只有三个星体的模型，仍产生明显的随机结果。1 9 0 3 年，庞 家莱在他的 ：科学与方法一书中提出了庞家莱猜想。他把动力学系统和拓扑学有机地结合 起来，并提出三体问题在一定范围内，其解是随机的，实际上这是一种保守系统中的混沌。 1 9 5 4 年，前苏联概率论大师柯尔莫哥洛夫( k o l m o g o r o v ) ，在探索概率起源的过程中发 表了哈密顿( h a m i l t o n ) 函数中微小变化时条件周期运动的保持一文，这一文章是k a m 定 理的锥形。1 9 6 3 年，k o l m o g o r o v 的学生，年轻的、具有超群才华的v i a r n o l d 对此给出了严 格的数学证明。差不多同时间，瑞士数学家j m o s e r 对此给出了改进表述，并独立地作出了数 学证明。此文思想为混沌未发生之初在保守系统中如何出现混沌提供了信息。这为早期明 确不仅耗散系统有混沌，而且保守系统也有混沌的理论铺平了道路。 1 9 6 3 年。洛伦兹在著名论文确定性的非周期流中指出：在三阶非线性自治系统中可 能会出现混乱解。他研究的是大气在温度梯度作用下的自然对流系统，这是天气预报的一种 极端简化模型，即著名的洛伦兹方程： 出 国 。 咖 去2 y 卜y 叫z 堕：x 1 ，一6 z 瓦2 x y d z 方程右端不显含时间，它是一个完全确定的三阶常微分方程组。三个参数o r ，( 普兰德尔p r a n a f l 2合肥工业大学博士学位论文 数) ，( 瑞利数与其临界值之比) ，b 为正实数。如取仃：1 0 ，6 ：昙，改变参数，：若厂 1 ，其解为非周期的，看起来很混乱。这就是在耗散系 统中，一个确定的方程却能导出混沌解的第一个实例。2 0 0 0 年， ，表示从子树i 中去除子树乃，其中z 、，表示空树。 不失一般性，对形进行排序使成为整棵树的根节点。正表示所有小波系数构成的树， 所以有时候为了概率表达的方便，可以用瓦表示形。对子树乙，定义条件似然函数： 屈如) = p 亿慨= 肌，0 ) 屈删似) = p 亿k ( j ) = m ，0 ) 础幻) = p 眈i s p ( 0 = 所，0 ) 及联合概率函数： 口，似) = p ，= 垅 j0 ) 由隐马尔可夫树模型知，给定状态变量s ，树z 和互、。是相互独立的，则： p ，= 朋，正i 口) = 口) 屈幻) p p 。= 脚，s 所) = 刀，互1 秒) = 口面) g ) 色( 加g 协弦兹，) 刚w 的似然函数为： p 眇l 目) ：p 亿1 秒) ：圭p 6 ，：m ，正i p ) ：圭尼似b ，) 应用贝叶斯公式于( 2 1 0 ) - ( 2 1 2 ) 得所期望的条件概率： ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 第二章混沌序列的隐马尔可夫树贝叶斯模型降噪 2 5 p b 砒s p ( 0 = n w ，秒) ：垃监1 坐塑盥 口肋协0 ) e 步算法( u p w a r d d o w n w a r d 算法) ( 2 1 4 ) 模型中所有的状态变量都是相互依赖，确定这些状态变量的概率必须在整棵树内传递状 态信息。u p w a r d d o w n w a r d 算法是一种传递信息的有效算法。u p 步通过从叶子节点到根节点 传递信息来计算。d o w n 步通过从根节点到叶子节点传递信息来计算a 。利用方程( 2 1 3 ) - ( 2 1 4 ) 获得树中每个隐状态变量的概率。 u p 步： 初始化：对于最小尺度，= 1 上的所有状态变量s 计算： 其中： ，屈如) = g d ，；o ，0 删2lm = 0 ，1 枷“丽1e x p ( 一筹 1 对m = 0 , 1 及尺度，上的所有状态变量s 计算： 以( f ) ) = g - 加) ；o ，盯刖2 用) 兀形如) f e c ( p ( j ) ) 其中c ( f ”表示节点f 所对应父节点p ( f ) 的所有子节点。 p ) = ，( ，) 如) 屈，p ( 。) ) 2 令，= ，+ 1 ( 向上移一个尺度) 3 如果，= 三( 三为小波分解的最大尺度) ，则停止。否则转到第一步。 d o w n 步： 初始化：对最大尺度，= l 上的状态变量s l ，计算： 口，似) = p a 似lm - o ，1 1 令，= z 一1 ( 向下移一个尺度) ( 2 1 5 ) ( 2 z 6 ) ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) 合肥工业大学博士学位论文 2 对尺度z 上的所有状态变量s ，计算： l 口f 如) = 口p ( ，) g b 徵。) 形( ，卜g ) ，m = o ，1 3 如果，= l ，则停止。否则转向第1 步。 2 2 2 2 多棵树蹦算法 ( 2 2 1 ) 为了处理k 1 棵树的情形，添加上标七表示树数。所有小波系数表示为 形= 形1 形2 矽r 】，对应隐状态s = 【s 1s 2 s r 】。 e 步：对每棵树独立地应用u p w a r d - d o w n w a r d 算法，再利用方程( 2 1 3 ) 和方程( 2 1 4 ) 计算每棵 树对应的概率p 幡= 聊i 形，乡) 和p 瞬= m , s ：( 0 = n i w ，0 ) m 步：由最大似然原理得； 如西) = i 1 荟kp 0 7 = 聊w k , o ) p 研= 甩，s = m w 。，0 ) 铲2 南黔) 2 p b 聊咿) 2 3 基于d t c w t - h m t 模型的混沌序列贝叶斯降噪算法 ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) 假定h 表示原始源混沌时间序列，如果被加性高斯噪声污染，可以获得观察时间序列： g = h + r l ，其中，7 一n ( o ，蠢) 且与日独立。降噪的目标是从观测到的含噪声时间序列g 中 获得对源时间序列日的估计h 。对污染时间序列g 进行对偶树复小波变换，得到复小波系数 嵋= w 产+ 矿j f ，- ，是虚数单位。小波系数可以表述( c n 9 8 ， r c 0 1 ，【削0 4 】) 为： 嵋= y ，+ ，其中，咒，分别表示观察时间序列，源时间序列及噪声对应的小波系 数。混沌时间序列的降噪问题可转化为从可观察到的含噪混沌时间序列的小波系数中估计源时 间序列对应的小波系数。 r 描 一、l-，一似 一 一p k 第二章混沌序列的隐马尔可夫树贝叶斯模型降噪2 7 分别对小波系数实部w 产和虚部矿按第2 2 节方法进行统计建模。用2 2 2 节介绍的期 望最大化方法迭代求解p 盼= m w r h , o r 。) 、p 睁= 聊l 形1 m ，乡h ) 、吒2 刀及盯孟，。再利 用经验贝叶斯方法( d 9 5 a ， d 9 5 b ， c n 9 8 ) 估计源混沌时间序列所对应的小波系数的实部 夕产和虚部夕p ，即： 鲈= 却l 扩，o - 1 = 套拇= 叫胪，矿岛鲁苦矿 c 2 2 5 ， 其中k k = r e ，i r n ，噪声方差仃盏j ，由最小尺度上的小波系数形殷的中值估计( d 9 5 a 】， d 9 5 b 1 ) 得到： 盯舭2，：med丽ianqw麒) ( 2 2 6 ) 最后由对偶树复小波的逆变换得到降噪后的混沌时间序列膏。 算法步骤如下： 步骤1 对含噪混沌时间序列进行对偶树复小波变换，得到小波系数的实部妒和虚部w _ m ； 步骤2 对小波系数的实部 w i r l 5 和虚部矿分别建立隐马尔可夫树模型，模型的参数集分别为 0 r 。和0 h ： 步骤3 对参数集0 r 。，0 h 初始化； 步骤4 分别使用实部w i r i 。和虚部矿数据按照2 2 2 节介绍的期望最大化方法对参数日r 。， 口h 训练，得：p 睁= m l w r h , o r 。) 、p ”= 加j 肜i m , o h ) 、吒2 朋，及仃孟脚， 步骤5 用( 2 2 5 ) 式计算源混沌时间序列对应小波系数的实部鲈和虚部鲈，得到源混沌时 间序列对应小波系数的估计值或= 夕，+ 夕，_ ，； 步骤6 用对偶树复小波逆变换得到降噪后的混沌时间序列詹。 合肥工业大学博士学位论文 2 4 仿真实例 为验证本章算法的有效性，分别采用经典小波硬闽值方法、经典小波软阈值方法和本章方 法对叠加不同强度高斯噪声的l o r e n z 混沌时间序列及实测远红外激光器产生的混沌时间序列 ( 相张0 5 ) 进行降噪比较分析。 经典小波硬阈值方法( 【d 9 5 b 】) ： 胪侈黔 眨2 7 ， 经典小波软阈值方法( d 9 5 a ) ： f o w , j g ( w ，)旯 y f2 l om 0 = 0 w 0 。同时假设人服从伽玛分布，即： a g a 0 2 + z l ，占2 ) b 1 个样本点近似服从后验概率分布 p ，0 ，i f ，j x ，y ) 。有了这些样本点就可以获得感兴趣参数的后验特征。例如： 多任：水，y ) ：i 1 pu d ) ( 3 1 5 ) 壹( o k = j , x , y ，= 碟措 另外，得到蜘+ l 的预测值虱+ l ： ( 3 1 6 ) 丸+ = 色饥+ 。l 西：州，朋：) = p 1 壹i f f i l 刚，h + 。) e b ：，k n ，趔，司，铲( ) ，五y ) ( 3 - 7 ) 3 3 可逆跳跃m c m c 算法的实现过程 可逆跳跃m c m c 算法，可以在不同维数的子空间跳跃以达到快速求解的目的。它主要包括： 生过程、灭过程、合成过程、分裂过程和更新过程。分别利用概率钆，d k ，m i ，u i 第三章混沌序列的分层贝叶斯r b f 神经网络预测4 5 选择这些过程，钆+ 吮+ m k + & + = 1 ，0 k 。k = 0 时，不可能执行灭过程、 aaa 分裂过程和 合成过程，所以定义盛= 0 ，= 0 ，m o = o 。k = 1 时，不可能执行合 成过程，所以定义所l = 0 。k = 七m 戤时，不可能执行生过程和分裂过程，所以定义 b 。= o ，s 。= 0 。对于其他情况，采用下面的概率： “m “t x 矗m i n ，错k 。呻鼎) ( 3 1 8 ) p ) 是径向基函数个数的先验分布，c 是指定参数，但保证有：b k p ( k ) d 川p + 1 ) 】1 = 1 。 本章取c = o 2 5 ，k + 也+ 聊七+ 【o 2 5 ，1 】。另外，选择聊七= d k ，s 七= b k 。 可逆跳跃m c m c 算法的主要步骤为： 1 初始化：给定初始值g ( 0 1 ，9 ( o l ，沙( 0 ) ) o y 2 第f 次迭代： 抽样u u o ，l 】均匀分布 如果“b k ( f 1 执行生过程( 见3 3 1 节) 如果钆( f ) u b k ( ，) + 以( ) 执行灭过程( 见3 3 1 节) 如果6 七o ) + 以o ) u 阮( f ) + 以( 。) + 吼o ) 执行分裂过程( 3 3 2 节) 如果6 七o ) + 以( i ) + & ( j ) u 6 七( ，) + 以( f ) + ( 1 ) + m i ( ，) 执行合成过程( 见3 3 2 节) 否则，更新径向基函数的中心( 见3 3 3 节) 利用方程( 3 3 0 ) ( 3 3 1 ) 对参数b ，口 ) ) 进行抽样。 利用方程( 3 3 2 ) ( 3 3 3 ) 对超参数，万2 ( f ) ) 进行抽样。 3 令f 卜f + 1 ，执行第2 步。 4 6合肥工业大学博士学位论文 为了方便，下面叙述中省略第f 步所有参数的上标( f ) 3 3 1 生和灭过程 假定马尔可夫链现在的状态是婊 o i y 。 生过程： 随机从区间 m i n g 州。) 一z 巨，m a x ( x l 。) + z 巨，】， i = 1 ，d ，中确定一个新的径向 基函数中心， 利用方程( 3 1 9 ) 计算a 6 肭，并且抽取样本甜u o 1 1 。 如果甜a 6 枷，马尔可夫链的状态变为 + 1 ，：) ，否则仍然保持原状态 ，”。：) 。 假定马尔可夫链现在的状态是取 o f ，。 灭过程： 从存在的k 个基函数中随机选择一个基中心准备删除。 利用方程( 3 1 9 ) 计算a 删，并且抽样“u o 1 l 。 如果“a 枞，马尔可夫链的状态变为 一1 ，“l ：) ，否则仍然保持原状态 ，”i ：i ) 。 对应的接受率( a n 0 1 ， g r 9 5 ) 为： f 肭2 r d 硼2 a 6 m = m i n 1 ，r b m ) ，a 捌= m i n 1 ，么枷) 1 k + 1 吣y 2 ( 糍怒尸 七 ( 3 1 9 ) ( 3 2 0 ) ( 3 2 1 ) 爿 r怒 坐w掣幌 鱼 一严 埘 。兀 第三章混沌序列的分层贝叶斯r b f 神经网络预测4 7 3 3 2 分裂和合成过程 合成过程为随机选择一个基函数g 1 ) 并和他最近的基函数0 2 ) 合成为一个基函数“： “l + “2 “= 二= 。 2 ( 3 2 2 ) 为，保证司逆性，相应的分裂过程为： 材l 2 ”一 一f ( 3 2 3 ) “22 u + “埘j f 其中f 是模拟参数，且甜脚u o 。1 1 。为确保可逆，只有当慨一“20 2 f 时才执行合成过程。 假定马尔可夫链现在的状态是取) y 。 分裂过程： 随机选择一个已经存在的径向基函数中心。 用两个相邻的径向基函数来代替被选基函数，其中心由方程( 3 2 3 ) 确定。新的中心必须位 于空间q 中，并且两者的距离应该小于所选基函数与其他基函数的距离。 利用方程( 3 2 4 ) l t 3 9a w n , ，并且抽取样本“u f o i 】 如果甜a 舢，马尔可夫链的状态变为 + l ，材。：川) ，否则，仍然保持其原状态为 ，“l 坐) 。 假定马尔可夫链现在的状态是承) t y 。 合成过程： 从已经存在的k 个基函数中随机选择一个基函数中心，然后找出与它距离最近的基函数 如果怯l 一甜20 2 f 。，利用方程( 3 2 2 ) 确定一个新的基函数来代替这两个基函数 利用方程( 3 2 4 ) 计算a 。昭，并且抽取样本“一u o 。1 1 如果甜a 册。僻，马尔可夫链的状态变为 一1 ，z ，l ：) ，否则仍然保持其状态为 ，甜l ：i ) 4 8合肥工业大学博士学位论文 对应的接受率( a n o1 ， g r 9 5 ) 为： a s p l i t = m i n i ，ia 。僻= m i n i ，。僻 其中： r s 邮2 哗2 3 3 3 径向基函数中心的更新 ( 3 2 4 ) 毒t ( 3 2 5 ) s + 1 ) “一“ k ( 3 2 6 ) f 一1 ) “一 对径向基函数中心的抽样是比较困难的，因为基函数中心的分布关于参数是非线性的。 采用m e t r o p o l i s h a s t i n g s ( 删) 步的混合抽样来对径向基函数中心一次一个地进行抽样。 步涉及到一个不变的目标分布万g ) 和一个近似分布g g i z ) ，按照概率g ( z i z ) 在给定当前值z 时 抽取被选点z 。马尔可夫链根据概率a g ，z ) 全m i n l ，b g k ( z i z1 ( z b ( z l z ) 转向z 否则 仍然保持在点：。算法思想比较简单清楚，但重要的是选择好的近似分布以避免抛弃太多的被 选点。 根据方程( 3 1 2 ) ，目标分布是基函数中心的条件分布： 其中：u - j , l ：d 表示协1 1 矗，甜2 ，l 矗，“j 1 ，m ，“憎，“t ，谢 在概率万( o 万 i ) ，对于y 的每一列都有( 5 1 5 ) 式成立，此时( 5 1 5 ) 式d p 的 r “9 由( 5 1 4 ) 式给出，y 火册x 4 由r y = 】，一即计算。 显然给定数据集s 。和y 就被确定。对于新的x 值，需重新计算厂g ) r n , r g ) r 埘。 均方误差的计算量相当大，再次令g = 1 ，从式( 5 9 ) 和式( 5 1 2 ) 可以推出均方误差的 另外一种表达式： 妒g ) = 盯2 0 + c7 俅c 一2 ，” = 仃2 0 + 何一厂) r + 棚 ：伊2 1 1 + 护f r r - 1 而一，7 r - 1 ，) = 仃2 ( 1 + ”r f r r 。1 f u - r r r 1 ，) 其中u = f r r 一1 ，一f ，方差仃2 的最大似然估计( 【l n 0 2 】) 为： 盯2 = 土m p 一即f r 一1 p 一即) ( 5 ，6 ) 这个表达式可以推广到响应值为多维的情况。 矩阵j 6 c ，以及由它推导出的和盯2 的计算都依赖于口。因此只有相关模型参数秒确定 后，k r i g i n g 模型才能完整建立。利用最大似然法( 【l n 0 2 】) 来优化确定9 ，在高斯过程的假 设下，目可以通过解： 等幻捌圳 钟 7 2 合肥工业大学博士学位论文 的优化l 司越获得。给定值0 就能建立一个k r i g i n g 模型，它司以通过求解多变量非线性约柬优 化问题获得一个“最好”的k r i g i n g 模型。本章采用模式搜索的方法( l n 0 2 】) 确定相关模型参 数口。 5 2 1 回归模型 回归模型f ，x ) 是设计空间上的全局近似，一般采用多项式函数组的形式，通常为0 次、一次和二次多项式模型。回归模型阶次的选取对模型精度的影响并不显著( 游贾0 7 ) 。 0 次，p = 1 ：zg ) = 1 1 次，p = n + l ：石g ) = 1 ， g ) = x 。，+ 。g ) = 2 次，p = 丢( 玎+ i x n + 2 ) ： 石g ) = i 办g ) = 而， + ，g ) = 矗 以+ ：g ) = x ；， 州g ) = x 。 厶。+ ：g ) = x ；9 l l ，六。g ) = x ： g ) = x ： 5 2 2 相关模型 相关模型代表与全局模型的局部偏差，反映数据的局部特性。通常相关模型结构为： 吼p ，w ，x ) ：血倪，p ，w ，- x j ) j = i ( 5 1 7 ) 通常采用简单的单变量核函数来构造相关模型，包括高斯函数、指数函数、线性函数以及