基于参数自适应BP算法的模糊神经网络模型的设计与研究.pdf

内容摘要 了 f W l 7 自s 年代末以后 在国际上掀起了一股强劲的研究模糊逻辑系统与模糊 网络理论与 技术的热潮 有些国际著名学者断台 模糊逻辑与神经网络相 了 经 山甲 不1 结合的技术 一 神经模糊技术将是2l 世纪带头的核心技术 目前 这股热潮 依然强劲 其表现为研究队伍不断壮大 学术论文的发表数以千计 应用成果 迭出 神经模糊原理已经成功应用于图象处理 模式识别 语音综合及机器人 控制等领域 近年来 美国等先进国家又相继投入巨额资金 制定出强化研究 计划 开展对脑功能和新型智能计算机的研究 目前我国也有越来越多的学者 关 注神 经 模糊技术并 投入了 该 项研究 己 经取得了 一系列 成果 可以 f 见 神 经 模糊技术将有厂泛的发展前景 本论文就是在这种背景下开展的 本文对人工神经网络模型进行了介绍 全面而深入地分析和研究了模糊神 经元及模糊神经网络 提出了改进的参数自 适应B P 算法 对该算法进行了详 尽的分析 基于该算法建立了一个四层的模糊神经网络模型 并用C 十 对该网 络模型进行了实现 乙 序 言 部 分 介 绍 了 人 工 神 经 网 络 的 优 势 及 国 内 外 的 研 究 现 状 分 析 了 该 选 题 的重要意义 第一章介绍了人工神经网络的基本概念和特征 人工神经网络的构成的基 本原理和功能以及人工神经网络的分类 工作过程和模型 给出了前向神经网 络的定义 研究了前向神经网络的结构分类 并探讨了训练神经网络的具体步 骤和几个实际问题 第二章对模糊神经元及模糊神经网络进行了深入地研究 分析了 模糊神经 网络的特点及它的研究现状 给出了三种模糊神经元的类型及由这三种模糊神 经元组成的几种模糊神经网络 研究了模糊神经元的学习和自 适应机制 第三章和第四章是本人工作的重点 第三章首先研究前向神经网络的学习 在总结和分析前向神经网络的学习 概念 学习能力 典型学习算法和学习复杂性的基础上 重点研究本人提出的 改进的参数自 适应B P 算法 给出了理论分析和实验验证 得出的结论是该算 法收敛速度明显比标准即更高 第四章分析总结了前向神经网络的设计要求 设计准则 研究了设计方法 然后建立了一 个模糊神经网络模型 给出了该模糊神经网络模型的运行结果 该网络模型共有四层组成 分别为输入层 隶属度函数生成层 推理层及反模 糊化层 该网络模型采用改进的参数自 适应B P 算法 给出了新的即算法中参 数自 适应的选取方法 该章最后应用该算法对组建的四层模糊神经网络通过一 组样本输入得到了该网络模型的输出 并计算了均方差 对该模型进行了评价 本文最后总结了该设计的优点和局限性 主题词 模糊神经网络参数自 适应即算法隶属度收敛 Ab s t r a c t S i n c e t h e e n d o f t h e e i g h t i e s o f l a s t c e n t u ry a w h i ff o f p o w e r f u l u p s u r g e i n r e s e a r c h o n t h e o r y a n d t e c h n o l o g y o f f u z z y l o g i c s y s t e m a n d t h e f u z z y n e u r a l n e t w o r k h a s b e e n r a i s e d i n t h e w o r l d S o m e i n t e rn a t io n a l l y f a m o u s s c h o l a r s h a v e a f f i r m e d t h a t t h e t e c h n o l o g y w h i c h i s c o m b i n a t i o n o f f u z z y l o g i c a n d n e u r a l n e t w o r k t h e n e u r a l f u z z y t e c h n o l o g y w o u l d b e t h e k e y l e a d i n g t e c h n o l o g y i n 2 1 s t c e n t u r y A t p r e s e n t t h i s w h i ff o f u p s u r g e i s s t i l l p o w e r f u l a n d i t s e x p r e s s i o n i s g r o w i n g r a n k s o f r e s e a r c h a n d t h o u s a n d s o f t h e a c a d e m i c p a p e r s a n d p u b l i c a p p l i c a t i o n a c h i e v e m e n t s T h e n e u r a l f u z z y p r i n c i p le h a s b e e n u s e d i n i m a g e p r o c e s s i n g p a t t e rn r e c o g n i t i o n p r o n u n c i a t i o n a n d s y n t h e s iz e d R o b e rt c o n t r o l l i n g e t c S o m e a d v a n c e d c o u n t ry i n c l u d i n g A m e r ic a p u t h u g e f u n d i n t o m a k i n g f u r t h e r r e s e a r c h s c h e m e s t o r e s e a r c h b r a i n f u n c t i o n a n d n e w 一p e i n t e l l i g e n t c o m p u t e r I n o u r c o u n t ry m o r e a n d m o r e s c h o l a r s p a y c l o s e a tt e n t i o n t o t h e n e u r a l f u z z y t e c h n o l o g y a n d s e t a l o t r e s e a r c h S o m e o f t h e m h a v e a l r e a d y g e t a s e r i e s o f a c h i e v e m e n t s N e u r a l f u z z y t e c h n o l o g y i s p re d i c t e d t o h a v e w i d e l y d e v e l o p i n g p r o s p e c t s T h i s t h e s i s i s p u t f o r w a r d u n d e r t h i s k i n d o f b a c k g r o u n d T h e a r t i f i c i a l n e u r a l n e t w o r k m o d e l i s i n t r o d u c e d i n t h e d i s s e r t a t i o n a n d f u z z y n e u r o n a n d f u z z y n e u r a l n e t w o r k i s a n a l y s e d a n d s t u d i e d o v e r a l l a n d d e e p l y A n i m p r o v e d p a r a m e t e r a d a p t i v e B P a l g o r i t h m i s e x p o u n d e d e x h a u s t i v e a n a ly s i s t o t h i s a l g o r it h m i s c a r r i e d o u t O n t h e b a s i s o f t h a t a f o u r l a y e r s o f f u z z y n e u r a l n e t w o r k m o d e l i s s e t u p a n d t h i s n e t w o r k m o d e l h a s r e a l i z e d w i t h C I n t h e p r e f a c e t h e a d v a n t a g e a n d r e s e a r c h s i t u a t i o n o f a rt i f i c i a l n e u r a l n e t w o r k i s p r e s e n t e d w h i c h s h o w s t h a t t h e s u b j e c t i s o f i m p o r t a n c e I n c h a p t e r o n e c o n c e p t a n d c h a r a c t e r o f t h e a r t i f i c i a l n e u r a l n e t w o r k b a s i c p r i n c i p l e a n d c l a s s i f i c a t i o n w o r k i n g c o u r s e a n d m o d e l o f t h e f u n c t i o n a n d t h e c o m p o s i t i o n o f t h e a r t i f i c i a l n e u r a l n e t w o r k a r e p r e s e n t I n c h a p t e r t w o f u z z y n e u r o n a n d f u z z y n e u r o n n e t w o r k i s s t u d i e d d e e p l y T h e p e r f o r m a n c e a n d r e s e a r c h c u r r e n t s i t u a t i o n o f f u z z y n e u r a l n e t w o r k i s a n a l y z e d a n d t h e k i n d s o f f u z z y n e u r a l n e t w o r k c o m p o s e d b y t h r e e k i n d s o f f u z z y n e u r o n a r e g i v e n T h e s t u d y a n d a d a p t i v e m e c h ani s m o f f u z z y n e u r o n i s s t u d i e d T h e t h i r d c h a p t e r a n d t h e f o u rt h c h a p t e r a r e e m p h a s i s o f m y w o r k I n t h e t h i r d c h a p t e r l e a rni n g o f n e u r a l n e t w o r k i s s t u d i e d o n t h e b a s i s o f t h e s u m m a r i z in g a n d ana l y s in g o f s t u d y c o n c e p t l e a rn i n g a b i l i t y m o d e l s t u d y a l g o r i t h m and s t u d y c o m p l i c a t e f o u n d a t i o n n e u r a l n e t w o r k K e y i m p r o v e d p a r a m e t e r a d a p t i v e B P a l g o r it h m w h i c h d e v e l o p e d b y m y s e l f i s s t u d i e d T h e o r y ana l y s e a n d v e r i f i c a t i o n w i t h t h e e x p e r i m e n t a r e g i v e d T h e c o n c l u s i o n i s t h a t t h e s p e e d o f c o n v e r g e n c e i s f a s t t h an n o r m a l B P a l g o r it h m d i s t i n c t l y I n t h e f o rt h c h a p t e r t o t h e d e s i g n i n g r e q u i r e m e n t o f t h e n e u r a l n e t w o r k d e s i g n c r i t e r i a b e f o r e ana l y s i n g t h a t h as s u m m a r i z e d s t u d y t h e d e s i g n m e t h o d T h e n s e t u p a f u z z y n e u r a l n e t w o r k m o d e l t h e r e s u l t o f t h i s m o d e l i s g i v e d T h e n e t w o r k i s d iv i d e d i n t o f o u r le v e l s in p u t l e v e l s u b j e c t i o n f u n c t i o n r e s u l t a n t l e v e l d e d u c e d le v e l and ant i m o d u l a r i z e d l e v e l I n t h e n e t w o r k m o d e l i m p r o v e d p a r a m e t e r a d a p t i v e B p al g o r i t h m i s u s e d T h re e p a r a m e t e r s i n v o l v i n g i n t h e a lg o r it h m a r e d i s c u s s e d and n e w t y p e B p al g o r i t h m c h o o s i n g m e t h o d o f p a r a m e t e r a d a p t i v e i s g iv e n A n o u t p u t w as g o tt e n b y i n p u t i n g a g r o u p o f s a m p le u s i n g b u i l t f o u r l e v e l s f u z z y n e u r a l n e t w o r k a t t h e e n d o f t h e c h a p t e r V a r i anc e i s c a l c u l a t e d w h i c h a p p r a i s e d t h e m o d e l I n t h e l as t p a rt o f t h e p a p e r a d v ant a g e s and d i s a d v ant a g e s o f t h e d e s i g n a r e s u mma r i z e d 4 序言 人脑是宇宙中已知最复杂 最完善和最有效的信息处理系统 是生物进 化的最高产物 是人类智能 思维和情绪等高级精神活动的物质基础 也是 人类认识较少的领域之一 长期以来 人们不断地通过神经学 生物学 心 理学 认知学 数字 电子学和计算机科学等一系列学科 对神经网络进行 分析和研究 企图揭示人脑的工作机理 了 解神经系统进行信息处理的本质 并通过对人脑结构及其信息处理方式的研究 利用大脑神经网络的一些特性 设计出具有类似大脑某些功能的智能系统来处理各种信息 解决不同问题 用机器代替人脑的部分劳动是当今科学技术发展的重要标志 现代计算 机中每个电子元件的计算速度为纳秒级 而人脑中每个神经细胞的反应时间 只有毫秒级 然而在进行诸如记忆回溯 语言理解 直觉推理 图 像识别等 决策过程中 人脑往往只需要一秒钟左右的时间就可以完成复杂的处理 换 句话说 脑神经细胞做出决定需要的运算不超过1 0 0 步 范德曼称之为1 0 0 步程序长度 显然 任何现代串行计算机决不可能在1 0 0 步运算中完成类似 上述的一些任务 由 此人们希望去追求一种新型的信号处理系统 它既有超 越人的计算能力 又有类似于人的识别 判断 联想和决策的能力 人工神经网络正是在人类对其大脑神经网络认识理解的基础上人工构造 的能够实现某种功能的神经网络 它是理论化的人脑神经网络的数学模型 是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统 它实际上 是由大量简单元件相互连接而成的复杂网络 具有高度的非线性 能够进行 复杂的逻辑操作和非线性关系实现的系统 人工神经网络吸取了生物神经网络的许多优点 因而有其固有的特点 1 高度的并行性 2 高度的非线性全局作用 3 良好的容错性与联想记忆功能 4 十分强的自 适应 自 学习功能 当前 神经网 络的研究和应用己 经渗透到各个领域 美国国防部预研计 划管理局 P M P A 于 1 9 8 8 年 1 1 月开始执行一项发展神经网络及其应用的八年 I 计划 投资数亿美元 此后相继出现了日 本的H F S P 计划 法国的 尤里卡 计划 德国的 欧洲防御 计划 前苏联的 高技术发展 计划和澳洲的 高 技术 计划等 并拨专款用于神经网络的研究 从近几年的 I J C N N论文集内容看 神经网络的应用领域达到了前所未有 的广度 按照 I J C N N 大会主席D R u m e l h a r t 在开幕词中的说法 神经网络的 发展己到了转折关头 它的范围正在不断扩大 其应用领域几乎包括各个方 面 I N N S主席 P W e r b o s 也指出 神经网络在近年的应用 无论在广度方面 还是在深度方面都有了新的发展 这是对当前神经网络应用状况的很好概括 我国神经网络研究起步于 1 9 8 8 年前后 并在基础与应用领域开展了一些 工作 这反映在 1 9 8 9 年全国第一届神经网络 信号处理会议 1 9 9 0 年 1 2 月 中国第一届神经网络学术大会1 1 9 9 1 年1 2 月中国第二届神经网络学术大 会等 特别是 1 9 9 2 年国际神经网络学会和工 E E E 神经网络委员会联合学术会 议在北京的召开 表明我国神经网络研究的工作已引起国际神经网络学会的 重视 人工神经网络应用领域 随着人工神经网络技术的发展 其用途日 益广泛 应用领域也在不断拓 展 己 在各工程领域中得到广泛的应用 总而言 之 人工神经网络技术可用 于如下信息处理工作 函数逼近 感知觉模拟 多目 标跟踪 联想记 忆及数 据恢复等 具体而言 其主要用于 或比较适宜于用来 解算下述几类同题 1 模式信息处理和模式识别 2 最优化问题计算 3 信息的智能化处理 4 复杂控制 5 信号处理 从神经网络研究的发展历史和现状 我们可以得到如下几点启示 1 神经网络的发展正在走向成熟 它的发展已经到了一个转折点 我们 正处在神经网络大规模应用的前夜 因此 应用是当今神经网络研究的关键 点和重点之一 2 神经网络的各种实现的发展步伐要比预想的快 并且灵活性 针对性 强 易于使用的小规模神经网络软 硬件产品的发展应用规模也会越来越大 相对而言 理论和基础研究的发展则较平稳较缓慢 需要不断积累成果以求 新的突破 特别是对于 建立一套完整的理论体系来说 总体水平还远远不够 需要多学科 长n 寸 期的不懈努力 3 神经网络研究历史上的几度沉浮表明 以联结主义机制为理论摹础的 神经网络系统在许多方面有它无可替代的优点 是智能理论和计算理沦体 系中不容忽视的一个重要方面 同时 它也存在一些固有的弱点和不足而 许多其它钊能理论又各有其长 因而 在神经网络的发展中 神经网络同其 他智能技术 计算技术及信号处理技术的紧密结合 充分发挥各自 之所长 预 构成性能更强的系统将是一个重要方向 峨 人脑实际 卜 是神经元网络与模糊系统的有机的自 然结合 从物质结构 上 人脑是一种典型的生物神经元网络 从主要的功能角度看 人脑义是个 典型的模糊系统 随着时间的推移及学科的发展 我们也清醒地意识到 模 糊技术和神经网络技术的相互渗透与协作 己是一个毋庸质疑的发展方向 当前 在国内外掀起了一股强劲的研究神经模糊技术的热风 其技术成果得 到了广泛的应川 正是基于 卜 述这些认识和背景 我开展了本论文所述的工作 第一章人工神经元网络模型研究 1 1 人工神经元网络的基本概念和特征 人工神经元网络是生理学上的真实人脑神经网络的结构和功能 以及若 干基本特性的某种理论抽象 简化和模拟而构成的一种信息处理系统 从系 统观点看 人工神经元网络是由大量神经元通过极其丰富和完善的联接而构 成的自 适应非线性动态系统 由于神经元之间有着不同的连接方式 所以组 成不同结构形态的神经网络系统是可能的 大脑是由大量的神经元组成的 每个神经元可以看作为一个小的处理单 元 这些神经元按照某种方式互相连接起来 构成了大脑内部的生理神经元 网络 显然 神经元是信息处理系统的最小单元 虽然神经元的类型有很多 种 但其基本结构相似 如图1 1 所示 图 I 1 神经元结构示意图 神经元 即神经细胞 是由细胞体 树突 轴突和突触四部分组成 细胞 的外部叫做细胞膜 从细胞体向外伸出许多树突和一条长的轴突 树突和轴 突分别负责传入和传出兴奋或抑制信息到细胞体 神经元的树突较短 分支 很多 是信息的输入端 轴突较长 是信息的输出端 突触是一个神经儿与 另一 个神经元相联系 的特殊结构部位 突触包括突触前 突触间隙和突触后 三个部分 突触前是第一个神经元的轴突末梢部分 突触后是指第二个神经 元的受体表面 突触前通过化学接触或者电接触 将信息传往突触后受体表 面 实现神经元的信息传输 树突和轴突一一对接 从而靠突触把众多的神 经元连成一个神经元网络 神经元群或者神经网络系统对外界有兴奋和抑制 两种反应 兴奋指的是相对静止变为相对活动 抑制是指由相对活动变为相 对静止 神经元之间信息的传递形式有正负两种连接 正连接呈相互激发 负连接呈相互抑制 各神经元之间的连接强度和极性可以有所不同 并I 1 都 可进行调整 因此人脑刁 可以有存储信息的功能 人工神经元的结构模型如图1 2 所示 图 1 2 神经元的结构模刑 其中X x 二 X 为u i 到u i 连 接的 权 值 5 为对神经元i 的总作用 为 输 入 信 号 绮 为 神 经 元 内 部 状态 e 为 闭 值 W i 表 示 外 部 输入 信号 f 为 激发 F 9 数 Y 为 输出 Q 上述模型可以描述为 艺w x s 一 B Y 二 八 7 n 艺 w jx 十 s 一 叱 1 1 2 由大量神经元相互连接组成人工神经元网络将显示出人脑的某些纂本 特 征 1 分布存储和容错性一个信息不是存储在一个地方 而是按内容iiu 分 布在整个网络上 网络某一处不是只存储一个外部信息 而每个神经元存 储 多种信息的部分内容 网络的每部分对信息的存储有等势作用 这种分布式 存储方法是存储区与运算区合为一体的 在神经网络中 要获得存储的知识 则采用 联想 的办法 即当一个神经网络输入一个激励时 它要在已存的 知识中寻找与该输入匹配最好的存储知识为其解 当然在信息输出时 也还 要经过一种处理 而不是直接从记忆中取出 这种存储方式的优点在于若部 分信息不完全 就是说或者丢失或者损坏甚至有错误的信息 它仍能恢复出 原来正确的完整的信息 系统仍能运行 这就是网络具有容错性和联想记忆 功能 自 然呈现出较强的鲁棒性 人的大脑的容错性是它的一种重要的智慧 形式 2 大规模并行处理人工神经元网络在结构上是并行的 而且网络的各 个单元可以同时进行类似的处理过程 因此 网络中的信息处理是在大量单 元中平行而又有层次地进行 运算速度高 大大超过传统的序列式运算的数 字机 虽然每个神经元的信息传递 神经脉冲 速度是以毫秒计算的 比普通 序列式计算机要慢很多 但是人通常能在 1 秒内即可作出对外界事物的判断 和决策 这就是能神奇地完成所谓 百步 决策 这按照现有传统的计算机 及人工智能技术目 前还是做不到的 3 自学习 自 组织和自 适应性学习和适应要求在时间过程中系统内部 结构和联系方式有改变 神经元网络是一种变结构系统 恰好能完成对环境 的适应和对外界事物的学习能力 神经元之间的连接有多种多样 各神经元 之间连接强度具有一定的可塑性 相当于突触传递信息能力的变化 这样 网络可以通过学习和训练进行自 组织以适应不同信息处理的要求 4 神经元网络是大量神经元的集体行为 并不是各单元行为的简单的相 加 而表现出一般复杂非线性动态系统的特性 如不可预测性 不可逆性 有各种类型的吸引子 信息正是 存储 在定点吸引子上 和出 现混沌现象等 5 神经元可以处理一些环境信息十分复杂 知识背景不清楚和推理规则 不明确的问题 例如语音识别和手写体识别 医学诊断以及市场估计等 都 是具有复杂非线性和不确定性对象的 控制 在那里 信源提供的模式丰富多 彩 有的互相间存在矛盾 而判定决策原则又无条理可循 通过神经元网络 学习 按照学习法则 从典型事例中学会处理具体事例 给出比较满意的解 答 1 2 人工神经元网络构成的基本原理和功能 人工神经网络是一个并行和分布式的信息处理网络结构 该网络结构一 般由许多个神经元组成 每个神经元有一个单一的输出 它可以连接到很多 其它的神经元 其输入有多个连接通路 每个连接通路对应一个连接权系数 严格说来 神经网络是一个具有如下性质的有向图 1 对 于 每 个结 点 有一 个 状态 变 量X l z 结 点i 到 结 点 J 有 一 个 连 接 权 系 数W j i 3 对 于 每 个 结 点 有 一 个 阐 值B i 4 对 于 每 个 结 点 定 义 一 个 变 换 函 数尤 I X W B U l 0 l 最 常 见 的 情 形 为 f 艺W J I 一 B j o 1 9 8 6 年R u m e l h a r t 从以 下8 个 方面 来 说 明 各 种 神 经 网 络的 构 成 原 理 和 特 征 1 一个处理单元集合任何一种并行激活模型 都是由一个处理单元集 合组建起来的 建神经网络模型应采取的第一个步骤是指定一组处理单元 指定单元表达什么东西 在一些模型中 单元可能表示知觉实体 在另一些 模型中 单元仅表示抽象的元素 用这些元素定义有意义的模式 分布式表 象是指在这个表象中 单元表示很小的类特征信息 在这种情况下 正是作 为整体的模式 才是有意义的分析层次 在任一个要建立的模型系统中 把 单元分成输入 输出和隐含单元三类 2 单元集合的激活状态激活 又称激活状态 是在指定的时间 t 处理单 元所具有的 状态 设单元i 在t 时刻的 激活值为a i t 的 系统的 状态由N 维 实向量a t 表示 不同的模型对其单元激活值的取值范围不尽相同 激活状 态可取连续 可分有界和无界 和离散值 可分二值和多 值 两种形式 系统的 处理过程可以看成是单元集上的激活模式随时间的演化过程 4 输出函数相邻单元之间的信号传送造成单元之间的相互作用 信号 强度反映它们对相邻单元影响的大小 即取决于单元激活值的大小 每个单 元 都有一 个输出 函 数厂a i t I 它 将 单 元的 当 前 激活 值 映 射成一 个 输出 信号 o f t f I a i t I 用o t 表 示 当 前 输 出 值 的 集 合 在 某 些 模 型 中 输 出 值 正 好等 于 激活 值 此时 f 是 恒同 函 数 即 f x 二 x o 常 见的 f 是 某 种阐 值函 数 例如s g n 函 数 有时 还 假定 f 是 一 个 随 机函 数 即 单 元的 输出 将以 概率的 方式依赖于激活值 4 单元之间的联接模式正是联接模式构成了系统的知识 决定了系统 对任一输入的响应方式 在一个神经网络模型中 指定处理系统就是指定在 系统内部被编码的知识 其实就是要确定处理单元之间的这一联接模式 在 多数情况下 可假定每个单元向它联接的单元提供一个可加性输入 因此 一个单元总输入等于和它相联的各单元输入乘以相应的权重之和 系统中各 个的联接权重一经确定 就能表示出整个联接模式 通常 用联接矩阵 用权 重 矩 阵w表 示 描 述 互 连 方 式 w中 的 元 素 表 示 从 单 元u i 到u 单 元 的 联 接 强 度 和 性 质 若u i 兴 奋u 则w 是 一 个 正 数 抑 制 则 是 一 个 负 数 w 的 绝 对值表示联接的强度 但是在一般情况下 需要采用更复杂的联接模式 最 一般的联接模式是若干个输入的乘积加权和 联接模式决定着每个单元表达 的是什么东西 而且许多问题 例如系统分层吗 若分层 那么要分几层 一 个多层系统是采用自 下而上还是自 上而下的处理 这些完全取决于联接矩阵 的性质 一个网络能存储多少信息 它必须执行多少串 行处理 这些问题也是 和联接模式有关 决定于一个单元的扇入和扇出 扇入是指能兴奋或抑制该单 元的单元数目 扇出则是指该单元能直接影响的单元数目 5 传递规则指的是通过联接网络传送激活方式的传递规则 把输出向 量 t 和联接矩阵结合起来 使各类输入进入单元以产生净输入的规则 称 做 传 递 规 则 单 元u i 的 第i 类 净 输 入 记 作n e t 或 用I 表 示 o 如 果 只 有 一 类 联 接 就 用n e ts 表 示 单 元u i 的 净 输 入 6 激活规则把一个特定单元的各类净输入互相结合起来 再和它的当 前状态结合起来 以产生新的激活状态的规则 称为激活规则 也叫做更新规 则 这个规则用函数F 表示 通常一个新的激活状态不仅取决于单元的当前 状态 而且还取决于单元的旧有的状态 对第 i 个处理单元 激活规则可表 示为 a t 1 F a t N e t t 1 3 7 学习规则修改单元问的相互联接模式可以改变处理过程或者知识结 一 8 构 各种形式的修正可归结为通过样本识别给出的经验来调整互连强度 描 述此过程的规则称为学习规则 8 系统的运行环境指系统输入信号分布特性的统计规律 在发展任何 一种神经网络模型时 对它所处的环境要有一个清晰的模型 在神经网络模 型中 一般是用输入模式空间上的一个时变随机函数来表述环境 就是i兑 在任何一个时刻 任何一个可能的输入模式都会以某个概率进入输入单儿 这个概率函数通常不但可能依赖于系统的输出 而且还可能依赖于系统的输 入历史 多数所涉及的环境要简单得多 典型的情况是 对可能的输入集合 使用一个和系统以往输入及响应无关的 稳定的概率分布来刻画环境的特 性 人工神经兀网络常用的基本领域有以下几种 1 联想记 忆 2 分类 3 优化计算 4 在控制领域的应用 5 专家系统 6 自组织语义映射 1 3 人工神经元网络的分类 工作过程和模型 目前神经网络模型己有4 0 多种 为了便于研究 从不同角度将其分类 按网络结构可分为前馈型和反馈型 按网络的性能分为连续性和离散性 确定性和随机性网络 按照学习方式可分为有导师 指导 和无导师 自 组织学习包括在内 学习 按照突触连接的性质分为一阶线性关联与高阶非线性关联网络 下面我们按网络结构给出几种网络模型 1 前馈型网络 基本的前馈型网络结构 见图1 3 a 皿 二 训 xc t 切一 含 一 叫 1 刃二 扭 b 多层的IJ 10 M网络 图1 3 基本的前馈型网络结构 它的结构见图1 3 c 隐含层 计算单元 图1 3 c 多 层的前蚀型网络 2 反馈型网络 见图 1 4 r t 输出 输入 C b 图1 4 反馈型网络 目 前已 经有多种神经网络模型 其中有代表性的有 自 适应共振理论 A R T 网络 包括A R T 1 和 A R T 2 可以对任意多和 任意复杂的二维模式进行自 组织 自 稳定和大规模并行处理 前者 用于二进制输入 后者用于连续信号输入 主要应用于模式识别 如 雷达 声纳的信号识别 缺点是对转换 失真及规模变化较敏感 雪崩网络 主要用于学习 识别和重演时空模式的网络 如连续语 音识别和教学机器人 缺点是调节较为困难 双向联想记忆 B A M 网络 由 相同神经元构成双向联想式单层网络 具有学习功能 缺点是存贮度低而且需要编码 B P网络 它是多层映射网络 采用最小均方差的学习方式 是使用 最广泛的网络 可用于语言综合 语言识别 自 适应控制等 缺点 是仅为有导师训练 B l o t z m a n 机 这是使用一噪声过程来取代价函数的全局极小值的网 络 主要用于模式识别 缺点是训练时间长 且有噪音 H o p f i e l d 神经网络 它是由 相同元件构成的 单层且不带学习功能的 自 联想网络 缺点是连接需要对称和没有学习功能 感知器 这是一组可训练的线形分类单层网络 目 前已 很少使用 自 组织映射 描述某种最优映射 缺点是需要高度训练 神经网络工作过程主要由工作期和学习期两个阶段组成 工作期指的是 各连接权值固定 计算单元的状态在改变 以求达到稳定状态 学习期 自 适 应期或设计期 指的是各计算单元状态不变 各连接权值可以 修改 通过学习 样本或其他方法 口工作期较快 称这种各单元的状态为短期记忆 S T M 学 习期相应地慢得多 称这种权及连接方式为长期记忆 L T M o 现以人工神经网络对手写 A B 两个字母的识别为例进行说明 规定当 A 输入网络时 应该输出 1 而当输入为 B 时 输出为 0 所以网络学习的准则应该是 如果网络作出错误的的判决 则通过网络的学 习 应使得网络减少下次犯同样错误的可能性 首先 给网络的各连接权值 赋予 0 1 区间内的随机值 将 A 所对应的图象模式输入给网络 网络将 输入模式加权求和 与门限比较 再进行非线性运算 得到网络的输出 在 此情况下 网络输出为 1 和 0 的概率各为 5 0 也就是说是完全随机 的 这时如果输出为 1 结果正确 则使连接权值增大 以便使网络再次 遇到 A 模式输入时 仍然能作出正确的判断 如果输出为 0 即结果错 误 则把网络连接权值朝着减小综合输入加权值的方向调整 其目的在于使 网络下次再遇到 A 模式输入时 减小犯同样错误的可能性 如此操作调整 当给网络轮番输入若千个手写字母 A B 后 经过网络按以上学习方 法进行若干次学习后 网络判断的正确率将大大提高 这说明网络对这两个 模式的学习已 经获得了成功 它已 将这两个模式分布地记忆在网络的各个连 接权值上 当网络再次遇到其中 任何一个模式时 能够作出迅速 准确的判 断和识别 一般说来 网络中所含的神经元个数越多 则它能记忆 识别的 模式也就越多 1 4 前向神经网络的定义和结构分类 神经网络按连接方式可分为两大类 反馈网络和无反馈前向网络 简单 讲 前向神经网络就是无反馈的神经网络 从拓扑结构上讲 无反馈的网络可以有无数种形态 随着神经网络的深 入研究和广泛应用 常常需要在前向网络中引入时间因素或部分反馈 以 解 决待殊问题 有时 还要把前向 神经网络同其它智能理论相结合 如A I G A 一2 F u z z y s v s 以形成能够应用的混合智能系统 这一切 都使得前向 神经网 络子 I勺 结构多样化 一 前向神经网络的概念 前I J 神经网络的输入 只沿着连线单向前进 经过中间处理单元时 要 对信号施加D L 变换 直到信号 传送 到输出单元 对这种网络 我们用 自山 的定义来描述 定义 1 1 在 一 个用有向联线连接的网络中 当任意两个结点 j i 之 u 1 的连接方向确定后 不能找到任何一个其它连接使得 i j 之间构成一个闭合 回路 这样的网络即为前向网络 所有符合这 定义的网络均可称为前向网络 因而 这种网络的纤钩会 是多种多样的 丁 二 前向神经网络结构的分 类 按联连方式 前向神经网络可分为不分层结构和分层结构两大类 1 不分层的前向网 络结构 不分层的前向网络包括任意联接型和全级联型 在任意联接型结构1 卜 单元之间的联接足任意的 可以是无规则的 只要满足定义 1 1 中的要求 都可称之为任意联接型前向网络 这种网络有以下缺点 无法给出明确的联接规则去描述 网络的均 匀性 对称性相对较趁 难以给出有效的算法 因而目前尚没有发现对这 种网络的使用 另一 种不分层的结构是全级联式的链式结构 每一个处理单 元都可以接收到它左边的所有处理元件的刺激 并要影响它右边的所有处理 单元 由于这种网络的均匀性 对称性较差 网络深度和连接复杂度较 佰 因而应用也很有限 2 分层前向网络结构 荃本多层前向神经网结 在分层前向网络结构中 最常见最基本的结构是全连接多层前向网络 如图 1 5 所示 图1 5 典型的多层前向网络结构 这种网络结构有以下特点 a 前一层的所有单元均输出给下一层的每一 个单元 b 只有相邻层之间有连接 c 同一层内的各处理单元之间没有连接 由于这种网络的均匀性 对称性好 联接规则明确 又有可实用的算法 因 而得到了广泛的应用 分层并联前向网络 将两个或多个基本多层前向网络并联起来就构成了分层并联前向网络 这种网络一般是针对具体应用而设计提出的 具有自己的特点 因而也有一 定的价值 不含隐层的前向网络在实现线性映射时非常快 含隐层的前向网 络能实现非线性映射因而它具有较快的收敛性和较好的映射关系 混合型网络结构 这种网 络是基本多层前向网络同 其它类型的网 络 如模糊神经网 络 相结 合的产物 也是面向应用的结构 短 发挥各自 优势 所以随着神经网络的广泛应用及所处理问题复杂程度的 提高 这种混合型结构将会越来越多地出现 1 5 神经网络的训练 下 面讨论训练神经网络的具体步骤和几个实际问题 一 产生数据样木集 为了成功地开发出神经网络 产生数据样本集是第一步 也是十分 T 要 和关键的一步 这里包括原始数据的收集 数据分析 变量选择以及数据的 预处理 只有经过这些步骤后 才能对神经网络进行有效的学习和训练 首先要在大最的原始测量数据中确定出最主要的输入模式 例如 若两 个输入具有很强的相关性 则只需取其中一个作为输夕 这就需要对原始数 据进行统计分析 检验它们之间的相关性 又如工业过程可能记录了成 讨几 千个压力 温度和流量数据 这时就需要对它们进行相关分析 找出其 I 一 二个最主要的量作为输入 在确定了址4i 要的输入量后 需进行尺度变换和预处理 在进行尺度变 换前必须先检查是否存在异常点 或称野点 这些点必须剔除 通过对数据 的预处理分析还可以检验其是否存在周期性 固定变化趋势或其它关系 对 数据的预处理就是要使得经变换后的数据对于神经网络更容易学习和训练 例如在过程控制中 采用温度的增量或导数比用温度值本身更能说明问越 也更容易找出变量之间的实质联系 对于一个复杂问题应该选择多少数据 这也是一个很关键的问题 系 统 的输入输出关系就包含在这些数据样本中 所以一般说 来 取的数据越多 学习和训练的结果便越能正确反映输入输出关系 但是选太多的数据将增加 收集 分析数据以及网络训练所付出的代价 当然 选太少的数据则可能得 不到正确的结果 事实上数据的多少取决于许多因素 如网络的大小 网络 测试的需要以及输入输出的分布等 其中网络大小最关键 通常较大的网络 需要较多的训练数据 在神经网络训练完成后 需要有另外的测试数据来对网络加以检验 测 试数据应是独立的数据集合 最简单的方法是 将收集到的可用数据随机地 分成两部分 譬如说其中 三分之二用于网络的训练 另外三分之一用1 几 将 来的测试 随机选取的目的是为了尽量减小这两部分数据的相关性 影响数据大小的另一个因数是输入模式和输出结果的分布 对数抓顶先 加以分类可以减少所需的数据量 相反 数据稀薄不匀甚至互相覆盖则协必 要增加数据最 几 确定网络的类型和结构 在训练神经网络之前 首先要确定所选用的网络类型 前面我们只介 绍 了两种类型的13 U 馈型网络 问题相对比较简单 若主要用于模式分类 L 其 足线性 f 分的情祝 则可采用较为简单的感知器网络 若主要用一于函数f ili 计 则可应用B P 网络 实际上 神经网络的类型很多 需根据问题的性质和f f 务 的要求来合适地选择网络类型 一般是从已 有的网络类型中选用一种比较简 单而又能满足要求的网络 若新设计一个网络类型来满足问题的要求钊 i i l 匕 较 科难口 在网络的类型确定后 剩下的问题是选择网络的结构和参数 以B I I 习 络 为例 需选择网络的层数 每层的结点数 初始权值 阐值 学习算法 数 值修改频度 结点变换A数及参数 学习率及动量项因 子等参数 这卑了 J 此 项的选择有一A t 指IT原则 但更多的是靠经验和试凑 对于只体问题若确定了输入和输出变量后 网络输入层和输出层的结点 个数也便随之确定了 对于隐层的层数可首先考虑只选择一个隐层 剩 卜 的 问题是如何选择隐层的结点数 其选择原则是 在能正确反映输入输出关系 的 础上 尽员选取较少的隐层结点数 而使网络尽量简单 三 三 训练和测试 最后步怂对网络进行训练和测试 在训练过程中对训练样本数据击要 反复地使用 对所有样本数据正向 运行一次并反传修改连接权一次称为 次 训练 或一次学习 这样的训练需要反复地进行下去直至获得合适的映1 结 果 通常训 练一个网络需要成百上千次 特别 应该 注意的 一 点 是 并 非 训 练的 次 数 越多 越能 得到正 确的 输入 输 出的映射关系 训练网络的目的在于找出蕴含在样本数据中的输入和输出之 出