（应用数学专业论文）混沌神经网络及其应用研究.pdf

大连理工大学硕士学位论文 摘要 混沌就是指在确定性系统中出现的貌似无规则的类似随机的现象 近来人们发现人 脑中存在着混沌现象 混沌理论可解释人脑中某些不规则的活动 因此 混沌动力学为 人们研究神经网络提供了新的契机 对于混沌神经网络的研究成为摆在人们面前的又一 新课题 带有混沌特征的人工神经网络表现出更复杂的动力学特征 不同于仅具有梯度下降 特征的常规神经网络 具有混沌特征的神经网络具有更加丰富的和远平衡点的动力学特 征同时存在各种吸引子 混沌神经网络的这种复杂的动力学特征使它在信息处理和优化 计算等方面有着广泛的应用前景 本文对混沌神经网络进行了深入的研究 系统的介绍了混沌动力学的有关内容 首 先给出了混沌的概念与定义 其次给出了混沌的特征和测度 包括l y a p u n o v 指数 测度 熵 功率谱 分形与分维 然后阐述了耗散系统中的混沌 详尽描述了吸引子 普适性 等概念以及相关知识 对h o p f i e l d 神经网络 h n n 进行了研究 从d h n n 和c h n n 两方面分析了网络的动 力学 然后在h o p f i e l d 神经网络的基础上引入混沌动力学 构造了混沌神经网络 c n n 分析了该网络的混沌特征 通过引入一种退火机制提出了具有暂态混沌特点的混沌退火 方法 该网络有更加丰富的动力学特征 更强的全局搜索能力 最后 通过复合正弦函数和s i g m o i d 函数构成非单调的激励函数 构造了一种新的 暂态混沌神经网络 对混沌神经元模型的倒分岔和l y a p u n o v 指数谱图进行了分析 基 于这个神经元模型 建立了混沌神经网络 对各参数进行了网络的寻优能力的比较和分 析 通过对非线性连续函数的寻优问题的解决 验证了该网络的有用性和有效性 关键词 混沌 混沌神经网络 暂态混沌 激励函数 混沌神经网络及其应用研究 c h a o t i cn e u r a ln e t w o r ka n di t sa p p l i c a t i o n a b s t r a c t c h a o t i cs y s t e mi sak i n do fd e t e r m i n e ds y s t e ma n da tt h es a m et i m ei ta p p e a r sr a n d o m p h e n o m e n o nw h i c hl o o k s l i k eh a v en or u l e s r e c e n t l yp e o p l ef i n dt h a tt h ec h a o sp h e n o m e n o n e x i s t si nh u m a nb r a i n c h a o t i ct h e o r yc a ne x p l a i ns o m ei r r e g u l a rt h i n gi nb r a i n s oc h a o t i c d y n a m i c so f f e rn e wc h a n c ef o rs t u d y i n gn e u r a l t h er e s e a r c h o fc h a o t i cn e u r a ln e t w o r k b e c o m e san e wt a s kf o ru s b e c a u s ea l la r t i f i c i a ln e u r a ln e t w o r kw i t hc h a o t i cc h a r a c t e rh a sm o r ec o m p l i c a t e d d y n a m i c sp r o p e r t y u n l i k et h eg r a d i e n td e s c e n tn e u r a ln e t w o r k t h ec h a o t i cn e u r a ln e t w o r k h a sm o r ec o m p l e xd y n a m i c sp r o p e r t y a n dd i v e r s i f i e da t t r a c t o re x i s t s i ti sj u s tt h i sd y n a m i c s p r o p e r t yt h a tm a k ei tp o s s i b ef o rt h en e t w o r kt ob eat e c h n o l o g yw i t he x t e n s i v e l ya p p l i c a t i o n f o r e g r o u n df o ri n f o r m a t i o np r o c e s s i n ga n do p t i m a l i t yc a l c u l a t i o n ai n d e p t hr e s e a r c hi sd o n et oc h a o t i cn e u r a ln e t w o r ki nt h i sp a p e r i n t r o d u c e dt h er e l e v a n t i n f o r m a t i o na b o u tt h ec h a o sd y n a m i c s t h ec o n c e p ta n dd e f i n i t i o no fc h a o sa r ep r e s e n t e da t f i r s t t h e nt h ec h a r a c t e r i s t i c sa n dm e a s u r e m e n tc h a o si n c l u d i n g l y a p u n o ve x p o n e n t m e a s u r e e n t r o p y p o w e rs p e c t r u m f r a c t a l sa n df r a c t a ld i m e n s i o n n e x tt h ec h a o si nt h ed i s s i p a t i v e s y s t e ma r ee x p l a i n e d c o n c e p t so fa t t r a c t o r s u n i v e r s a l i t ye t c a n dt h e i rr e l e v a n tk n o w l e d g ea r e g i v e n t h es t u d yo fh o p f i e l dn e u r a ln e t w o r k h n n a n a l y z et h en e t w o r k sd y n a m i c sf r o mt w o a s p e c t s o n ei st h ed h n n a n d t h eo t h e ri sc h n n t h e nt h ec h a o sd y n a m i c si se d u c e do nt h e h n nt oc o n s t r u c tc h a o sn e u r a ln e t w o r k c n n a n da n a l y z et h ec h a r a c t e r i s t i c s w ep u tf o r w a r d t h et r a n s i e n tc h a o t i cn e u r a ln e t w o r ka n dan o v e lc h a o t i ca n n e a l i n gm e t h o db yi n d u c i n gc e r t a i n a n n e a l i n gm e c h a n i s m i th a sr i c h e ra n dm o r ef l e x i b l ed y n a m i c s s ot h a ti th a sh i g h e ra b i l i t yo f s e a r c h i n gg l o b a lo p t i m a lo rn e a r o p t i m a ls o l u t i o n s l a s t l y t h i sp a p e rp r e s e n t san e wm o d e lo fc h a o t i cn e u r a ln e t w o r kw h o s ea c t i v a t i o n f u n c t i o ni sc o m p o s i t eo fs i na n ds i g r n o i df u n c t i o n b ya n a l y z i n gt h eb i f u r c a t i o np r o c e s sa n d l y a p u n o ve x p o n e n ts p e c t r u m b a s e do nt h i sn e u r a lm o d e l w ep r o p o s ean o v e lc h a o t i cn e u r a l n e t w o r k p r o v i n gt h ea v a i l a b i l i t yo f t h ea l g o r i t h mb ys o l v i n gn o n l i n e a rf u n c t i o no p t i m i z a t i o n k e yw o r d s c h a o s c h a o t i cn e u r a ln e t w o r k t r a n s i e n tc h a o s a c t i v a t i o nf u n c t i o n i i 独创性说明 作者郑重声明 本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写的研究成果 也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料 与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名 盘查盘 日期 函0 8 s i 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解 大连理工大学硕士 博士学位论文版权使用 规定 同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版 允许论文被查阅和借阅 本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索 也可采用影印 缩印或扫描等复制手段保存和汇编学位论 文 作者签名 岛务魂作者签名 塑 堕 导师签名 鲤耋童 大连理工大学硕士学位论文 1 绪论 1 1 选题背景及意义 人类对脑的探索由来已久 脑科学在人类社会进步中正起着越来越重要的作用 而 神经网络是基于模仿人类大脑的结构和功能而构成的一种信息处理系统或计算机系统 它具有很多与人类智能相类似的特点 它的中心问题是智能的认知和模拟 从解剖学和 生理学来看 人脑是一个复杂的并行系统 它不同于传统的逻辑计算机 更重要的是它 具有 认知 意识 和 感情 等高级脑功能口3 以人工方法模拟这些功能 毫 无疑问 有助于加深对思维及智能的认识 8 0 年代初 神经网络的崛起已对认知和智力 的本质的基础研究乃至计算机产业都产生了空前的刺激和极大的推动作用n 1 5 1 在过去的十年里 人工神经网络的研究与应用是计算机与人工智能 认知科学 神 经生理学 非线性动力学等相关专业的热点 它吸引了为数众多的科技工作者 最近 由于具有混沌特性的人工神经网络具有十分复杂的动力学特性 获得了广泛的研究 1 然而 由于人类对真实生物神经系统只了解非常有限的一部分 对于自身脑结构及其活 动机理的认识还十分肤浅 当今的神经网络实际上是极为简略和粗糙 并且是带有某种 先验的 譬如 b o l t z m a n n 机引入随机扰动来避免局部极小 有其卓越之处 然而缺乏 必要的脑生理学基础 因此 人工神经网络的完善与发展有待于神经生理学 神经解剖 学的研究给予更加详细的信息和证据n 吨1 近年来 人们发现 脑中存在着混沌现象 混沌理论可解释人脑中某些不规则的活 动 从而 混沌动力学为人们研究神经网络提供了新的契机 对于混沌神经网络的研究 成为摆在人们面前的又一新课题n 忍5 7 1 由于具有混沌特征的人工神经网络具有十分复杂 的动力学特征 获得了广泛的研究乜5 删 不同于仅具有梯度下降特征的常规神经网络 具有混沌特征的神经网络具有更加丰富的平衡点的动力学特征同时存在各种吸引子 不 仅有固定点吸引子和周期点吸引子 而且有奇异吸引子 混沌神经网络的这种复杂的动 力学特征使它在信息处理和优化计算等方面有着广泛的应用前景 由于混沌神经网络的 自抑制效应的积累 混沌神经网络的状态游动仅为相空间上的某种分形结构 它的这种 特征可能是一种避免局部极值寻找全局最优解或近似全局最优解的有效启发式搜索方 法 利用神经网络的混沌特征的最大困难就是决定何时结束混沌特征和怎样控制混沌行 为 使网络收敛到一个最优的或近似最优的稳定平稳点口引 混沌神经网络及其应用研究 1 2 混沌神经网络发展综述 1 2 1 混沌学综述 僻2 町 混沌 c h a o s 是近代非常引人注目的热点研究 它掀起了继相对论和量子力学以 来基础科学的第三次大革命 科学中的混沌概念不同于古典哲学与日常生活语言中的理 解 简单地说 混沌是一种确定的系统中出现的无规则的运动 混沌理论所决定的是非 线性动力学混沌 目的是揭示貌似随机的现象背后可能隐藏的简单规律 以求发现一大 复杂问题普遍遵循的共同规律 公认为真正发现混沌的第一位学者 是法国数学物理学家h p o i n c a r e 它在研究能 否从数学上证明太阳系的稳定性问题时 发现即使只有三个星体的模型 仍产生明显的 随机结果 1 9 0 3 年 h p o i n c a r e 在他的 科学与方法 一书中提出了h p o i n c a r e 猜想 他把动力学和拓扑学有机的结合起来 并提出三体问题在一定范围内 其解是随机的 这就是我们现在讲的动力学混沌现象 在h p o i n c a r e 之后 一大批数学家和物理学家 在各自的研究领域所做的出色工作为混沌学的建立提供了宝贵的知识积累 早期混沌研究的一个重要阶段是把p o i n c a r e 的拓扑动力学思想推广应用于耗散系 统 最早的工作开展在电工学领域 经历了漫长的知识积累 到了本世纪五 六十年代 混沌现象在众多的学科领域被发现 学者们针对各类混沌建立了各种数学处理方法 混沌学研究的第一个重大突破 发生在以保守系统为研究对象的天体力学领域 k a m 定理被公认为创建混沌学理论的历史性标记 1 9 5 4 年 前苏联学者k o l m o g o r o v 在阿姆 斯特丹国际数学大会上宣读的论文 哈密顿 h a m i l t o n 函数中微小变化时条件周期运 动的保持 被公认为是具有划时代意义的科学文献 1 后来 他的学生v i a r n o l d 和瑞士数学家j m o s e r 完善了他的工作 k a m 定理就是用他们三人名字的首位字母命名 的 这是一个多世纪以来人们用微扰方法处理不可积系统所取得的最成功的结果 具有 极为重要的理论价值 混沌学研究的第二个重大突破 发生在遍布于现实世界的耗散系统 作出杰出贡献 的学者是美国气象学家e n l o r e n z l o r e n z 在1 9 6 3 年发表了著名论文 确定性非周期 流 以后又陆续发表了三篇论文 这组论文是混沌研究的第二大突破 成了后来研究 耗散系统混沌现象的经典文献阳1 l o r e n z 揭示了一系列混沌运动的基本特征 如确定性 非周期 对初值的敏感依赖性 长期行为的不可预测性等等 他还在混沌研究中发现了 第一个奇怪吸引子 l o r e n z 吸引子 他为混沌研究提供了一个重要模型 并最先在计 算机上采用数值方法进行具体研究 为后来的混沌研究开辟了道路 大连理工大学硕士学位论文 7 0 年代是混沌科学发展史上光辉灿烂的年代 这一时期 作为新兴的科学 混沌 学正式诞生 1 9 7 1 年法国物理学家r u e l ld 和荷兰数学家t a k e n sf 为耗散系统引入了 奇 异吸引子 这一概念 1 9 7 5 年 正在美国马里兰大学攻读博士学位的华人李天岩和他的 导师j y o r k e 联合发表了一篇震动整个学术界的论文 周期3 蕴含混沌 这是一个关 于混沌的数学定理 李天岩给出了具体证明 这就是著名的l i y o r k e 定理口2 j 定理描述 了混沌的数学特征 为以后的一系列研究开辟了方向 李天岩和y o r k e 在动力学研究中 率先引入 混沌 一词 为这一新兴研究领域确立了一个中心概念 为各学科研究混沌 现象树起一面统一的旗帜 1 9 7 6 年美国数学生态学家r m a y 在美国 自然 杂志上发表题为 具有极复杂的 动力学的简单数学模型 文章中指出 在生态中一些非常简单的确定性的数学模型却能 产生看似随机的行为n 引 如 z 1 a x 1 一x 即著名的l o g i s t i c 模型 这是描述生物种群系统演化的典型模型 常称为虫口 或人口 模型 该模型很简单且是确定性的 但参数a 在一定范围变化时 他就有极复杂的混沌 动力学行为 从而向人们表明了混沌理论的惊人信息 1 9 7 8 年和1 9 7 9 年美国物理学家f e i g e n b a u mm 等人在m a y 的基础上独立的发现了 倍周期分叉过程中分叉间距的几何收敛性 驯 并发现了收敛速度即每次缩小的倍数为 4 6 6 9 2 是个常数 这就是著名的f e i g e n b a u m 常数 f e i g e n b a u m 还把相变临界态理 论中的普适性 标度性 重正化群方法引入混沌研究 计算出了一组新的普适常数 建 立了关于一维映射混沌现象的普适理论 发现了怎样做尺度变换 给出了一条走向混沌 的具体道路 把混沌学研究从定性分析推进到了定量计算的阶段 成了混沌学研究的一 个重要的里程碑 2 0 世纪8 0 年代以来 人们着重研究系统如何从有序进入新的混沌及混沌的性质和 特点 除此之外 借助于 单 多标度分形理论和符号动力学 还进一步对混沌结构的研 究进行了理论的总结 这一阶段的研究使混沌理论进入切实的应用阶段 进入9 0 年代 基于混沌运动是存在于自然界中的一种普遍运动形式 所以对混沌 研究不仅推动了其他学科的发展 而且其他学科的发展又促进了对混沌的深入研究 混 沌与其他学科相互交错 渗透 促进 使得混沌在生态学 数学 物理学 化学 电子 学 信息科学经济学等多个领域中得到了广泛的应用 混沌神经网络及其应用研究 1 2 2 神经网络的起源与发展n 纠幻 人类关于认知的探索由来已久 早在公元前4 0 0 年左右 希腊哲学家p l a t o 和a r i s t o t l e 等就曾对人类认知的性质和起源进行过思考 并发表了有关记忆和思维的论述 在此及 以后很长的一段时间里 由于科学技术发展水平所限 人们对大脑的认识主要停留在观 察和猜测的基础之上 缺乏有关人脑内部结果及其工作原理的科学依据 因而进展缓慢 直到2 0 世纪4 0 年代 随着神经解剖学 神经生理学以及神经元的电生理过程等的研究 取得突破性进展 人们对人大脑的结构 组成及最基本工作单元神经元有了越来越充分 的认识 3 4 1 才使得神经网络的研究成为可能 纵观神经网络的发展历史 其发展过程大 致可以概括为如下五个阶段h 1 1 奠基阶段 1 9 4 3 年 神经网络学家m e c u l l o c h 和青年数学家p i t t s 合作 提出 了第一个人工神经元模型 并在此基础上抽象出神经元的数理模型 开创了人工神经网 络的研究 以m e c u l l o c h 和p i t t s 提出的人工神经的数理模型 即神经元的阈值模型 简称m p 模型 为标志 神经网络拉开了研究的序幕 为了模拟起连接作用的突触的可 塑性 神经生物学家h e b b 于1 9 4 9 年提出了连续权值强化的h e b b 法则 这一法则告诉 人们 神经元之间突触的联系强度是可变的 这种可变性是学习和记忆的基础 h e b b 法则为构造有学习功能的神经网络模型奠定了基础 5 0 年代初 神经网络理论具备了初步模拟试验的条件 1 9 5 2 年英国生物学家 h o d g k i n 和h u x l e y 建立了长枪乌贼巨大轴索非线性动力学微分方程 简称h h 方程 这一方程引起了许多学者的关注 方程中包含了丰富的内容 对理论和实践产生了极大 的作用 有些学者对h h 方程研究得到了很多有意义的结果 1 9 5 4 年生理学家e c c l e s 提出了真实突触的分流模型 并通过突触的电生理试验得到证实 其重要意义是 为神 经网络模拟突触的功能提供了原型和生理学的证据 1 9 5 6 年 u t t l e y 发明了一种有处理 单元组成的推理机 用以模拟行为及条件反射 2 第一次高潮阶段 1 9 5 8 年计算机科学家r o s e n b l a t t 基于m p 模型 增加了学习 机制 推广了m p 模型 他提出的感知器模型 首次把神经网络理论付诸工程实现 例 如 1 9 5 7 年到1 9 5 8 年间在他的率领下完成了第一台真正的神经计算机 即 m a r ki 感 知器 他还指出了带隐层处理元件的3 层感知器这一重要的研究方向 并尝试将两层感 知器推广到3 层 但他未能找到比较严格的数学方法来训练隐层处理单元 它的成功之 举大大激发了众多学者对神经网络的兴趣 r o s e n b l a t t 的神经网络模型包含了一些现代 神经计算机的基本原理 从而形成神经网络方法和技术的重大突破 神经网络的研究迎 来了第一次高潮期 1 9 6 0 年 b w i n d r o w 和e h o f f 提出了a d a l i n e 网络模型 这是一种连续取值的 自适应线性神经元网络模型 可以用于自适应系统 他们针对输入为线性可分的问题进 行了研究 得出期望值响应与计算响应的误差可能搜索到全局最小值 在研究神经网络 中会出现的回响现象时 意大利科学家c a i a n i e l l o 在神经元模型中引入了不应期特征 为了研究思维和大脑结合的理论问题 c a i a n i e l l o 从信息处理的角度 研究了自组织性 自稳定性和自调节律 日本科学家a m a r i 注重把生物神经网络的行为与严格的数学描述 相结合 尤其是对信任问题数学求解研究得出一定成果 w i l l s h a w 等人提出了一种称为 全息音的模型 为利用光学原理实现神经网络奠定了基础 n i l s s o n 对多层机即有隐层 的广义认知机作了精辟的论述等等 上述成果足以表明神经网络研究已获得了广泛的成 功 3 低潮阶段 正当 些科学家怀着极大的热情追求神经网络那遥远但并非不可及 的目标时 美国著名人工智能学者m m i n s k y 和s p a p e r t 于1 9 6 9 年编写了 p e r c e p t r o n 一书 从理论上证明单层感知器的能力有限 如 异或 不可表示 而且推测多层网络 的感知器能力也不过如此 因此 参与研究的部门纷纷退出 在这之后近1 0 年 神经 网络的研究进入了一个缓慢发展期 使神经网络研究处于低潮期的另外一个原因是 2 0 世纪7 0 年代以来 集成电路和 微电子技术的迅猛发展 使传统的v o nn e u m e n n 计算机进入全盛时期 基于逻辑符号 处理方法的人工智能得到了迅速发展并取得显著成绩 它们的问题和局限性尚未暴露 因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性 在这个低潮期中 研究工作并没有完全停下来 仍有少数具有远见卓识的科学家 持之以恒地继续这一领域的研究 1 9 7 2 年芬兰学者t k o h o n e n 提出了自组织映射理论 反映了大脑神经细胞的自组织特性 记忆方式以及神经细胞兴奋的规律 1 9 7 6 年美国学 者s a g r o s s b e r g 提出了著名的自适应共振理论a r t a d a p t i v er e s o n a n c et h e o r y 其 学习过程具有自组织和自稳定的特征 1 9 8 0 年日本学者k f u k u s h i m a 提出了认知器模 型 上述许多重要研究成果虽然未能得到应有的重视 但其科学价值不可磨灭 他们的 工作为日后神经网络研究的又一次高潮打下了坚实的基础 4 第二次高潮阶段 这是神经网络理论研究的主要发展时期 这一阶段的标志之 一是美国加洲理工学院的生物物理学家j j h o p f i e l d 于1 9 8 2 年提出循环网络 并将 l y a p u n o v 函数作为网络性能判定的能量函数 阐明了人工神经网络与动力学的关系 用非线性动力学的方法来研究人工神经网络的特性 建立了人工神经网络稳定性的判别 依据 指出信息被存放在网络中神经元的联结上 1 9 8 4 年 他又设计研制了后来被人们 称为h o p f i e l d 网的电路 较好的解决了著名的t s p 问题 找到了最佳解的近似解 引起 混沌神经网络及其应用研究 了较大的轰动 为神经网络的工程实现指明了方向 他的研究成果开拓了神经网络用于 联想记忆的优化计算的新途径 并为神经计算机研究奠定了基础 同年 h i n t o n 与年轻 学者s e j n o w s k i 等合作提出了大规模并行网络学习机 并明确提出隐单元的概念 这种 学习机后来被称为b o l t z m a n n 机 1 9 8 6 年 r u m e l h a r t 和m c c l e l l a n d 等人所在的并行分布处理 p d p 小组的研究者 提出了多层网络学习算法一b p 算法 成为至今为止影响很大的一种网络学习方法 较好地解决了多层网络的学习问题 1 9 8 8 年c h u a 和y a n g 提出了细胞神经网络 c n n 模型 它是一个具有细胞自动机特征的大规模非线性计算机仿真系统 k o s k o 建立了双 向联想存储模型 b a m 它具有非监督学习能力 5 新发展阶段 2 0 世纪9 0 年代中后期 神经网络研究进入了一个新的发展时期 一方面已有理论在不断深化和得到进一步推广 另一方面 新的理论和方法也从未停止 过其不断开拓的步伐 9 0 年代初 诺贝尔奖获得者e d e l m a n 提出了d a r w i n i s m 模型 建 立了神经网络系统理论 随着人们发现人脑中存在着混沌现象 一些科学家又提出了混 沌神经网络理论 1 9 9 1 年 a i b a r a 等在前人推导和实验的基础上 给出一个混沌神经元 模型 该模型已成为一种经典的混沌神经网络模型 同年 i n o u e 等提出用耦合混沌振 荡子作为单个神经元构造混沌神经网络模型的方法 神经网络的发展已到了一个新时期 应用研究也取得了突破性的进展 范围正在不 断扩大 其应用领域几乎包括各个方面 随着人们对大脑信息处理机制认识的日益深化 人工神经网络必将对科学的发展贡献更大的作用 具有强大的生命力 1 2 3 混沌神经网络 混沌是一种非线性的动力学行为 而h o p f i e l d 结构正是神经网络与非线性动力学行 为的良好结合 因而它可以作为研究混沌神经网络 c n n 的基础网络 b p 算法可用来 观察 学习混沌动力学系统 用被破坏的输入数据集重构二维混沌系统的吸引子 得到 相应的几何信息 混沌神经网络的研究起于并基于混沌神经元的研究 混沌神经元是构造混沌神经网 络的基本单位 对于单个神经元的混沌特征的了解可为混沌神经网络提供必要前提和认 识基础 混沌神经元的研究中 振荡子是一种典型的研究对象 因为振荡子或它们的组 合可表现出丰富的混沌动力学行为 对于在动力系统平衡点不满足l i p sc h i t z 条件所 引起的极限混沌的现象的研究显示 神经元活动的混沌态与高级认识过程有关 还有用 谱和维数分析混沌神经元模型 并用厂 口 谱量化混沌神经元模型的多分形结构陋1 混沌 神经网络的框架或模型也已提出 并涉及联想记忆 组合优化如t s p 问题 大连理 t 大学硕士学位论文 描述混沌神经网络的模型主要有a i h a r a 依据动物试验提出的模型和i n o u e 依据 l o g i s t i c 映象提出的模型两种 1 a i h a r a 的混沌神经网络模型 1 9 9 0 年 a i h a r a 等在前人推导和实验的基础上 给出了一个混沌神经元模型m 1 在生物神经元的动力学模型构造历史上 m c c u l l o c h p i t t s 神经元和c a i a n i e l l o 神经元方程是非常重要的 后者包含了前者 z o 1 h 薹毫w 名 k o r 一b c1 其中 x i f 1 是在离散时刻f 1 时第i 个神经元的输出 x 取1 激活 或0 非激活 u 定义如下 y 呈 三三 c1 2 f j 是第 个神经元激活 1 个时间单位后影响第f 个神经元的联结权值 是第i 个神经元激活 1 个时间单位后保持的对自己的影响的记忆系数 与不应性相对 应 0 是第i 个神经元的全或无激活的阈值 这里 不应性指神经元激活后其阈值增加 的性质 全或无规律是指神经元激活与否取决于刺激的强度是否大于阈值 n a g u m o 和s a t o 1 9 7 1 在此基础上 假设过去的激活导致的不应性影响随指数衰 减 即 j 一一a k 7 七 0 l a 0 k 是不应性的衰减因子 并设彳 f 是离散时刻f 的输入强度 得出 z o 1 i 彳o 一口乏七7 x o r 一口i l 3 定义神经元内部状态 y o 1 彳 f 一口罗七7 x t 一 一0 1 4 则 1 3 式可化为 y g 1 砂0 一口 y o 口o 1 5 z o 1 y f 1 1 6 这里 a t 彳g 一乜4 g 一1 一0 1 一七 1 7 在通常的生物电子实验中 输入彳 f 是等幅周期脉冲 所以 1 7 式可改写为 口o 4 0 一p x l 一k 1 8 其l y a p u n o v 指数为 混沌神经网络及其应用研究 扣 l i m 1 f 薹 n i 矧d y t 9 一 j l 平均激活率为 p l i m 三罗石o 1 1 0 但c o l e 等 1 9 7 0 的实验与上述方程所预期的结果不符 即空间箝制条件下的全 或无定律未被满足 响应并非不连续地全或无 而有连续增加的趋势 因而考虑用一连 续递增函数厂代替 1 3 式中的 工一o 1 i 厂l 彳g 一a 荟七7 9 g o 一 一目l l 1 1 毛 f 1 为 0 1 间的模拟输出 g 是表示神经元输出与不应性的大小间的关系的函数 可取为具有陡度参数 的l o g i s t i c 函数 厂 y 一i o e y 8 1 1 2 内部状态 y o 1 彳o 一 e k g g o 一 一口 1 1 3 从而 同理可简作 y o 1 砂g 一口g 厂 y g 口o 1 1 4 x f 1 一厂 y o 1 1 1 5 平均激活率为 p l i m 三罗j l z g o 1 1 6 g 一 三 二三三 主 c t 7 通过上面的分析可知 由以上神经元构成混沌神经网络时 要考虑几个不同于普通 神经网络的方面 类似h o p f i e l d 结构的来自内部神经元的反馈项和类似b p 算法的外部 输入项 以及不应性响应和阈值 从而有 础 1 i 陲 乒j l l g 荟n 荟t 肼肛 口乏t 如 b 1 1 8 m 是混沌神经元的个数 是外部输入个数 形 是第j 个混沌神经元到第i 个混沌神 经元的联结权值 k 是第j 个外部输入到第i 个混沌神经元的联结权值 正是第i 个混沌 人连理工大学硕士学位论文 神经元的连续输出函数 h 是第 个混沌神经元的内部反馈函数 i g r 是离散时刻 t 一 第 个外部输入的强度 是第f 个混沌神经元的不应性函数 假设过去的输入随 时间指数衰减 形如彬i 七7 或圪k 7 七为衰减因子 则同样可得 y f 1 k y o y o 三 o 一ag f y o 一8 1 一足 1 1 9 x i o 1 丘 y t 1 1 2 0 当k 和口趋向零时 则有 t o 1 正l 善 矗鼽 y 删 荟 o 一0 ii 2 1 该模型已用于联想记忆 它有如下特点 i 具有梯度动作电位的连续刺激 反映曲线 i i 激活后相应的不应性的连续指数衰减缘于先前动作电位的不应效果的叠加 i i i 通过许多突触的输入的时空累加 2 i n o u e 等的混沌神经网络模型 1 9 9 1 年i n o u e 等提出用耦合的混沌振荡子作为单个神经元 构造混沌神经网络的方 法 耦合的混沌振荡子的同步和异步分别对应神经元的激活和抑制两个状态 虽然混沌 是由简单的确定性规则产生的 但它包含规则性和不规则性两个方面 耦合的混沌振荡 子的同步来自规则性 而不规则性可产生随机搜索能力 对于离散时间 耦合的振荡子 的运动方程由 b 和g b 描述 x ig 1 厂g o d g y g 1 一t0 1 1 2 2 y 1 0 1 g y g d g b 0 1 一y g 1 1 2 3 其中 d g 是时刻 z 第f 个神经元的耦合系数 x i g 和y g 分别是时刻 l 第f 个神经元 第一和第二个振荡子变量 设九是同步态最大的l y a p u n o v 指数 则当d 0 d e x p a t 一1 2 时 可观察 到完全同步态 f x g g 选混沌动力学基本的l o g i s t i c 映射 f x 麟 1 x 0 as 4 1 2 4 g x b y 1 一y 0 0 2 3 根据上述的定义和定理 对闭区间 上的连续函数f x 如果存在周期为3 的周期 点时 就一定存在正整数周期点 即一定出现混沌现象 混沌神经网络及其应用研究 除了l i y o r k e 混沌定义之外 还有多种混沌的定义 其中最常见的是r l d e v a n e y 混沌定义 3 5 1 混沌定义2 设y 是一个紧度量空间 连续映射厂 v y 如果满足下列三个条件 1 对初值敏感依赖 存在6 0 使得对每一点x e v 和x 的任意邻域u 存在 y u 和 l 0 满足l 厂 b 一厂4 y 6 2 拓扑传递性 对于矿上的任意一对开集x 存在k 0 使得 厂 x ny 驴 3 f 的周期点在x 内处处稠密 则称厂是在d e v a n e y 意义下的混沌映射或混沌运动 简而言之 混沌的映射具有不可预测性与不可分解性 但仍有一种规律性这三个要 素 这是因为 对初始条件的敏感依赖性 使得混沌系统是不可预测的 又由于拓扑传 递性使得它不能被细分或不能被分解为两个在 下相互影响的子系统 尽管如此 但在 混沌行为中确实存在着规律性的成分 即有稠密的周期点 2 2 混沌的定性特征 3 j 混沌运动 如前所述只出现在非线性动力系统中 它是既普遍又极复杂的现象 时 至今日 科学上仍没有能给混沌下一个完全统一的定义 它的定常状态不是通常概念下 确定性运动的三种状态 静止 周期运动和准周期运动 而是一种始终局限于有限区域 且轨道永不重复的 性态复杂的运动 它有时被描述为具有无穷大周期运动或貌似随机 的运动等 混沌运动还具有通常确定性运动所没有的几何和统计特征 如局部不稳定而 整体稳定 无限自相似 连续功率谱 奇怪吸引子 分维 正的l y a p u n o v 指数等等 为了与其他复杂现象相区别 一般认为混沌应具备以下三个主要的定性特征 1 内随机性 在一定的条件下 如果系统的某个状态既可能出现 也可能不出现 该系统就被认为具有随机性 通常人们习惯于把随机性的根源归结为来自系统外部的或 某些尚不清楚的原因的干扰作用 认为如果一个确定性系统不受外来干扰 它自身是不 会出现随机性的 这称为外随机性 但是 外随机性的观点是经不起分析和实践验证的 对某些看来完全确定的系统进行数学模拟时发现 它们能自发的产生出随机性来 天体 力学中的平面三体问题就是一个著名的例子 天体力学家s z e b e h e l y 在1 9 8 1 年考虑了 所谓有限制的平面三体问题 发现用计算机计算一个小质量天体m 在两个等量的大天体 m 和m 所在的平面的垂线上运动时 来回摆动若干次以后 m 的行为变得 随机 起 来 人们再也无法预测它的位置 速度及回归时间 这些实验结果是令人惊奇的 在原 来完全确定的系统内部竟产生了随机性 我们称它为内随机性 因此 混沌常被称为自 发混沌 确定性的随机性等 它所强调的就是混沌现象产生的根源在于系统自身 而不 在外部的影响 大连理 t 大学硕士学位论文 2 分维性质 混沌态具有分维性质 但其非整数维不是用来描述系统的几何外形 而是用来描述系统运动轨道在相空间的行为特征 当我们用 相空间 来表示系统所有 可能的状态时 系统的变化在相空间中可用一条轨道线来描述 混沌运动在相空间中的 某个区域内无限次的折叠 构成一个有无穷层次的自相似结构一奇怪吸引子 3 普适性 混沌是一种无周期性的 高级 有序运动 如果数值的或实验的分辨 率足够高 可以发现混杂在小尺度混沌中的有序运动花样 在研究混沌的转变中 出现 某种标度不变性 代替通常的空间或时间周期性 所谓普适性 是指在趋向混沌时所表 现出来的共同特征 它不依具体的系数以及系统的运动方程而改变 文献中常常提到的 普适性有两种 即结构的普适性和测度的普适性 前者是指趋向混沌过程中轨线的分岔 情况与定量特征不依赖于该过程的具体内容 而只与它的数学结构有关 后者是指同一 映象或迭代在不同测度层次之间嵌套结构的相同 结构的性态只依赖于非线性函数幂级 数展开式的幂次数 混沌的这种普适性 为人们研究和把握它带来了许多方便 只要研 究一种最简单的模型 就可以将所得的结论放心的运用到同类运动形态中去 著名的 f e i g e n b a u m 常数就是通过对l o g i s t i c 方程的研究而得到的 系统在通向混沌的道路上 最常见的方式是倍周期分岔方式 它反映了系统在趋向混沌时的一种普遍的动态不变 性 系统在趋向混沌时 把标尺缩小或放大 看到的仍然是相似的几何结构 如果把系 统每次分岔所对应的参数值分别记为口 口剃 等 那么式二丛l 的值对不同的迭代 次数咒是不同的 但是当以 0 0 时 此比例式存在一个极限值 它是一个无理数并称为 f e i g e n b a u m 常数 是一个与具体迭代形式无关的普适常数 是混沌现象深层规律性的一 种体现 2 3 刻画混沌的特征量 混沌在长期内是不可预测的 但它仍有一定的统计规律性 混沌可以用l y a p u n o v 指数 分维 功率谱 测度熵等特征量来描述 它们是对整个吸引子或无穷长的轨道平 均后得到的特征量 1 l y a p u n o v 指数 混沌运动的基本特点是运动对初值条件极为敏感 两个很靠近的初值所产生的轨 道 随时间推移按指数方式分离 l y a p u n o v 指数就是定量描述这一现象的量啪1 下面先 考虑一个最简单的线性常微分方程 r 出 j 五 戤 2 4 1 瑞 砘 他 4 混沌神经网络及其应用研究 其解为 x x e 它是以指数规律增减的 如果a 0 在初始时刻的两条轨道 在 下一时刻就要按指数速率分离开 如果a 0 它们之间的距离就要按指数速率减小 只有当a 0 时 不同初值给出不同的平行线 它们之间的距离永远不变 在大多数实 际系统 特别是耗散系统中 状态变量不能趋向无穷 因此对非线性系统 只有在给定 状态附近实行线性化 才能使得其局部存在类似 2 4 式的关系 一般说来 x 是矢 量 a 是雅可比矩阵 且依赖于所给定的线性化点 该矩阵的特征值决定了相邻两点的 拉伸 压缩或转动 其速率可能在相空间中各点不同 只有对运动轨道各点的拉伸或压 缩的速率进行长时间平均 才能刻画动力学系统的整体效果 这就是l y a p u n o v 指数的 概念 2 功率谱 混沌动力学关心的主要是运动轨道的回归行为 纯随机性的运动包含一切可能的频 率成分 而一切非随机的运动都具有一定的特征尺度或频率结构 阐明时间信号的频率 结构 正是傅立叶的用武之地 功率谱中的宽带 被作为可能存在混沌的简单指示汹1 对于连续函数y f 其f o u r i e r 变换为 夕 r y o e x p 一j 2 蜀m t d t 对于有限长的离散时间序列 y 其离散f o u r i e r 变换 d f t 定义为 r l 夕i 一罗y e x p 一y 2 翮k n k 0 1 n 一1 锄 f o u r i e r 变换的模的平方就是信号的功率谱 用离散的时间序列s 阮1 2 对其进行估 算 3 分形与分维 如果说混沌是在时间尺度内反映了世界的复杂性态 那么与它密切相关的分形和分 维则重在空间尺度上反映了世界的复杂性态 为了从另一侧面理解混沌 这里对分形和 分维作一个简单的介绍 分形 英文为f r a c t a l 是美籍法国数学家b m a n d l b r o t 用拉丁词根拼造的单词 传 统的几何语言只能处理规则 光滑的形态 科学家们一直探索着从欧氏几何体系中解放 出来的道路 经过近一二十年的努力 一个新的几何学 即关于自然形态的几何学 或 者说分形几何学已初具雏形p 7 侧 它把自然形态看作是具有无限嵌套层次的精细结构 并且在不同尺度下保持某种相似的属性 即自相似形与无标度性 分形成为描述不规则 几何形态的有力工具 大连理工大学硕士学位论文 最初 m a n d l b r o t 把那些h a u s d o f f 维数不是整数的集合称为分形 这样 某些看来 应是分形成员的 例如著名的p e a r l o 曲线 y 一瓦而l 而司 它的维数为2 就要被排除在外 1 9 8 2 年 m a n d l b r o t 修改了原来的定义 认为分形是 那些局部和整体按某种方式相似的集合 它被大部分人所接受 k f a l c o n e r 曾这样说过 对分形定义可以