（系统工程专业论文）人工神经元网络在非线性系统建模中的应用研究.pdf

华北电力大学硕士学位论文 摘要 随着工业的发展 能源问题越来越被重视 电厂中煤的利用率问题和环境污染问题 也随之成为人们研究的热点 本文就是基于电厂中锅炉燃烧系统优化问题 针对锅炉燃 烧系统网络建模方法进行分析与研究 本文对经典的r b f 网络给出了严格的算法分析 和应用实例 验证了径向基函数选择方法 本文对模糊神经网络进行分析 研究模糊聚 类算法 并对模糊神经网络进行了改进 实现遗传算法权值的调整设计 为网络权值计 算开拓了新的研究方法 文章中给出了算法说明和实验分析 此外本文还开拓了支持向 量机网络应用新领域 将支持向量机网络应用于复杂的锅炉燃烧系统建模分析 得到了 较好的建模效果 最后 对于支持向量机网络的应用还提出增量学习算法改进 优化了 支持向量机网络建模效果 关键词 径向基 模糊神经网络 聚类 遗传算法 支持向量机 增量学习 a bs t r a c t w i t ht h ed e v e l o p m e n to ft h ec o a l b u r n i n gs y s t e m c o m b u s t i o ne f f i c i e n c ya n d e n v i r o n m e n t a lp o l l u t i o no ft h ep o w e rp l a n th a sb e c o m er e s e n tr e s e a r c hh o t s p o t s b a s eo n o p t i m i z i n gt h ec o a l b o i l i n gs y s t e m t h i sp a p e rm a i n l yr e s e a r c h e st h em o d e lo fb o i l i n gs y s t e m u s i n gt h ea r t i f i c i a ln e u r a ln e t w o r k w i t ht h ef o u n d a t i o no fr b fn e t t h i sp a p e ra n a l y z e sr a d i a l b a s i sf u n c t i o na l g o r i t h ma n dg i v e st h er a d i a lb a s i sf u n c t i o nn e t w o r kc h o o s i n gm e t h o d a n d t h ep a p e ra l s op r e s e n t st h ea l g o r i t h mo ft h ef u z z yn e u r a ln e t w o r k m e a n w h i l ei ts h o w st h e r e s u l to ff u z z ym o d e l i nt h eo t h e rh a n d g e n e t i co p t i m i z a t i o na l g o r i t h mw a su s e di nt h i sp a p e r t oi m p r o v et h ea n na l g o r i t h m s s u p p o r tv e c t o rm a c h i n ew a sa l s op r o v e dt ob eo n eo ft h e n e wm e t h o d st os t u d yt h ec o m p l e xs y s t e m i nt h ee n d t h ep a p e rb r i n g sf o r w a r dt h e b e t t e r m e n to na r i t h m e t i co fi n c r e m e n ts t u d y i n gt ot h ea p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e a n dt h i so p t i m i z e st h ee f f i c i e n c yo fs u p p o r tv e c t o rm a c h i n en e t w o r k i n g m al i l i s y s t e m se n g i n e e r i n g d i r e c t e db ya s s o c i a t ep r o e h u a n gx i a n k e y w o r d s r b f f u z z y n e r v en e t w o r k c l u s t e r i n ga l g o r i t h m s g e n e t i ca l g o r i t h m s u p p o r tv e c t o rm a c h i n e i n c r e m e n t a ll e a r n i n ga l g o r i t h m s 华北电力大学硕士学位论文 摘要 随着工业的发展 能源问题越来越被重视 电厂中煤的利用率问题和环境污染问题 也随之成为人们研究的热点 本文就是基于电厂中锅炉燃烧系统优化问题 针对锅炉燃 烧系统网络建模方法进行分析与研究 本文对经典的r b f 网络给出了严格的算法分析 和应用实例 验证了径向基函数选择方法 本文对模糊神经网络进行分析 研究模糊聚 类算法 并对模糊神经网络进行了改进 实现遗传算法权值的调整设计 为网络权值计 算开拓了新的研究方法 文章中给出了算法说明和实验分析 此外本文还开拓了支持向 量机网络应用新领域 将支持向量机网络应用于复杂的锅炉燃烧系统建模分析 得到了 较好的建模效果 最后 对于支持向量机网络的应用还提出增量学习算法改进 优化了 支持向量机网络建模效果 关键词 径向基 模糊神经网络 聚类 遗传算法 支持向量机 增量学习 a bs t r a c t w i t ht h ed e v e l o p m e n to ft h ec o a l b u r n i n gs y s t e m c o m b u s t i o n e f f i c i e n c ya n d e n v i r o n m e n t a lp o l l u t i o no ft h ep o w e rp l a n th a sb e c o m er e s e n tr e s e a r c hh o t s p o t s b a s eo n o p t i m i z i n gt h ec o a l b o i l i n gs y s t e m t h i sp a p e rm a i n l yr e s e a r c h e st h em o d e lo fb o i l i n gs y s t e m u s i n gt h ea r t i f i c i a ln e u r a ln e t w o r k w i t ht h ef o u n d a t i o no fr b fn e t t h i sp a p e ra n a l y z e sr a d i a l b a s i sf u n c t i o na l g o r i t h ma n dg i v e st h er a d i a lb a s i sf u n c t i o nn e t w o r kc h o o s i n gm e t h o d a n d t h ep a p e ra l s op r e s e n t st h ea l g o r i t h mo ft h ef u z z yn e u r a ln e t w o r k m e a n w h i l ei ts h o w st h e r e s u l to f f u z z ym o d e l i nt h eo t h e rh a n d g e n e t i co p t i m i z a t i o na l g o r i t h mw a su s e di nt h i sp a p e r t oi m p r o v et h ea n n a l g o r i t h m s s u p p o r tv e c t o rm a c h i n ew a sa l s op r o v e dt ob eo n eo ft h e n e wm e t h o d st os t u d yt h ec o m p l e xs y s t e m i nt h ee n d t h ep a p e rb r i n g sf o r w a r dt h e b e t t e r m e n to na r i t h m e t i co fi n c r e m e n ts t u d y i n gt ot h ea p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e a n dt h i so p t i m i z e st h ee f f i c i e n c yo fs u p p o r tv e c t o rm a c h i n en e t w o r k i n g m al i l i s y s t e m se n g i n e e r i n g d i r e c t e db ya s s o c i a t ep r o f i h u a n gx i a n k e y w o r d s r b f f u z z y n e r v en e t w o r k c l u s t e r i n ga l g o r i t h m s g e n e t i ca l g o r i t h m s u p p o r tv e c t o rm a c h i n e i n c r e m e n t a ll e a r n i n ga l g o r i t h m s p 士 a明明 本人郑重声明 此处所提交的硕士学位论文 人工神经元网络在非线性系统建模中 的应用研究 是本人在华北电力大学攻读硕士学位期间 在导师指导下进行的研究工 作和取得的研究成果 据本人所知 除了文中特别加以标注和致谢之处外 论文中不包 含其他入已经发表或撰写过的研究成果 也不包含为获得华二 艺电力大学或其他教育枫构 的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意 学位论文作者签名 珥日 期 型呈 兰 罗 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保鍪 使用学位论文的规定 郎 学校有权保管 并向有关部门送交学位论文的原件与复印件 学校可以采用影印 缩印或其它复制手 段复制并保存学位论文 学校可允许学位论文被查阅或借阅 学校可以学术交流为 目的 复制赠送和交换学位论文 同意学校可以用不同方式在不同媒体上发表 传播学 位论文的全部或部分内容 涉密的学位论文在解密后遵守此规定 华北电力大学硕士学位论文 第一章引言 人工神经网络 a r t i f i c i a ln e u r a ln e t w o r k 简称a n n 是理论化的人脑神经网络 的数学模型 是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统 它 是由大量简单元件相互联结而成的复杂网络 具有高度的非线性 能够进行复杂的 逻辑操作和非线性关系实现的系统 8 0 年代中期以来 在美国 日本等 些西方 工业发达国家里 掀起了一股竞相研究 开发神经网络的热潮 它已经发展成为一 个新兴的交叉学科 对它的研究涉及生物 电子 计算机 数学和物理等学科 近 十年来人工神经网络的发展表明 这是一项有着广泛的应用前景的新型学科 它的 发展对目前和未来的科学技术水平的提高将有重要的影响 1 1 人工神经网络建模特点 人工神经元网络系统的基本处理单元是神经元 l 2 3 主要结构单元是信号的输 入 综合处理和输出 其输出信号的强度大小反映了该神经单元对相邻单元影响的 强弱 人工神经元之间的相互联结形成网络 成为人工神经网络 神经元之间相互 联结的方式称为连接模式 相互之间的联结度由联结权值体现 在人工神经元网络 中 改变信息处理过程及其能力 就是修改网络权值的过程 人7 i 申经网络吸取了 生物神经网络的许多优点 具有以下基本功能和特点 1 自适应功能 它主要是根据所提供的数据 通过学习和训练 找到输入和输 出之间的内在联系 从而求得问题的解答 而不是依靠对问题的先验知识和规则 通过训练和学习来获得网络的权值和结构 呈现出很强的自学习能力和对环境的自 适应能力 2 泛化能力 它能够处理那些未经训练的数据 而获得相应于这些数据的合理 的解答 同样 它能够处理那些噪声或不完全的数据 从而显示很好的容错能力 对于许多实际问题来说 泛化能力是非常有用的 因为现实世界所获得的数据通常 收到噪声的污染或残缺不全 3 非线性映射能力 现实问题往往是非常复杂的 各个因素之间相互影响 呈 现出复杂的非线性关系 神经网络为处理这些问题提供了有用的工具 人工神经网 络每个神经元接受大量其他神经元的输入 并通过并行网络产生输出 影响其他神 经元 网络之间的这种相互制约和相互影响 实现了从输入状态到输出状态空间的 非线性映射 从全局的观点来看 网络整体性能不是网络局部性能的简单迭加 而 表现出某种集体性的行为 4 高度并行性 人工神经网络是由许多相同的简单处理单元并联组合而成 虽 1 华北电力大学硕士学位论文 然每个单元的功能简单 但大量简单处理单元的并行活动 使其对信息的处理能力 与效果惊人 5 良好的容错性和联想记忆功能 人工神经网络通过自身的网络结构能够实现 对信息的记忆 所记忆的信息以分布式存储方式存储在神经元之间的权值中 使得 网络具有良好的容错性 并能进行聚类分析 特征提取 模式复原等模式信息处理 工作 又宜于做模式分类 模式联想等模式识别工作 6 便于用v i s i 或现有计算机技术虚拟实现 非线性系统的复杂性 使得系统 建模难于机理建模或是常规的函数建模 从理论上讲 与传统人工智能相比 神经 网络计算智能的最大特点 也是它的潜力所在是 它不需要建立问题本身的精确模 型 也不依赖于知识表示 而是直接对经过变换的输入信息进行处理并得出结果 以神经网络为例 只要把信号或数据输入到一个已经训练好的神经网络输入端 就 可以从输出端直接得到预期的结果 网络本身是一个 黑箱 问题转化成如何训练 神经网络 但是这类训练算法并非求解问题本身的算法 而是使神经网络 学会 怎 样解决问题的间接算法 通过这样的训练使神经网络 学 到的解决问题的必要的知 识 实际上是蕴含在神经网络内部结构及其状态分布之中 类似地 进化计算无论 是模仿生命通过遗传变异 还是 物竞天择 的自然进化机制来达到优化目的 都是 模仿生物进化方式的算法 而不是根据问题本身的数学模型来制定的算法 1 2 国内外研究动态 人工神经网络的发展最早用数学模型对神经系统中的神经元进行理论建模的 是美国心理学家w m e c u l l o e h 和数学家w p i t t s 4 1 1 1 9 4 3 年 他们利用电路构成了 简单的神经网络模型 即m p 模型 m p 神经元模型首次用简单的数学模型模仿出 生物神经元的活动功能 并揭示了通过神经元的相互连接和简单的数学计算 可以 实现相当复杂的逻辑运算 该模型除了连接权不调整外 其他与现在的阈值单元模 型基本相同 1 9 4 9 年 心理学家d o h e b b 5 1 提出了神经元之间突触强度调整的假设 他认 为 学习过程是在突触上发生的 连接权调整正比于两相连神经元激活值的乘积 这就是有名的h e b b 学习规则 5 0 年代末 f r o s e n b l a t t 提出了著名的感知器 p e r c e p t r o n 模型 这是第一个完 整的人工神经网络 这个模型由阈值单元构成 初步具备了诸如并行处理 分布存 储和学习等神经网络的一些基本特征 从而确立了从系统的角度研究人工神经网络 的基础 1 9 6 0 年 b w i n d r o w 和m e h o f f 提出了自适应线性单元 a d a l i n e 网络 它可用 于自适应滤波 预测和模型识别 从5 0 年代木到6 0 年代初 神经网络的研究受到 2 华北电力大学硕士学位论文 人们的重视 研究工作进入了一个高潮 1 9 6 9 年 美国麻省理工学院著名人工智能学者m m i n s k y 和s p a p e r t 编写了影 响很大的 p e r c e p t r o n 一书 该书指出 单层的感知器只能用于线性问题的求解 而对于像异或这样简单的非线性问题却无法求解 由于m i n s k y 的悲观结论 加上 当时以逻辑推理为基础的人工智能和数字计算机取得了辉煌成就 从而大大降低了 许多人们对人工神经网络研究的热情 在这之后近1 0 年中 神经网络的研究进入 了一个缓慢发展的低潮期 美国加州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院 院刊发表的两篇文章 有力的推动了神经网络的研究 引起了神经网络研究的又一 次热潮 1 9 8 2 年他提出了一个新的神经网络模型 h o p f i e l d 网络模型 他在这 种网络模型的研究中 首次引入了网络能量函数的概念 并给出了网络稳定性的判 据 1 9 8 4 年h o p f i e l d 提出了网络模型实现的电子电路 为神经网络的工程实现指明 了方向 h o p f i e l d 的研究成果开拓了神经网络用于联想记忆和优化计算的新途径 并为神经计算机的研究奠定了基础 h i n t o n 和s e j n o w s k i 借用了统计物理学的概念和方法 提出了b o l t z m a n 机模型 首次采用了多层网络的学习算法 在学习过程中运用模拟退火技术 保证整个系统 趋于全局稳定点 1 9 8 6 年 d e r u m e l h a r t 和j l m c c l e l l a n d 及其研究小组提出了 解决多层神经网络权值修正的算法一一误差反向传播 b p 算法 成为迄今为止影响 很大的一种网络学习算法 8 0 年代中期以来 神经网络的应用研究取得了很大的成绩 涉及的面非常广 泛 计算机视觉 语言的识别 理解与合成 优化计算 智能控制及复杂系统分析 模式识别 神经计算机的研制 知识处理 专家系统与人工智能等 神经网络的发 展已经到了一个新时期 它涉及的范围在不断扩大 其应用渗透到各个领域 在连 接主义模式下 进行与学习结合的思想正在迅速发展 神经计算 进化计算正成为 其发展的一个重要方向 1 9 9 4 年廖晓昕对细胞神经网络建立了新的数学理论与基础 得到了一系列结 果 如平衡态的全局稳定性 区域稳定性 周期解的存在性和吸引性等 使该领域 取得了新的进展 p w e r b o s 通过混沌 孤立子系统的数学技术来理解人的认知过程 建立新的身将信息处理模型和框架 日本学者a m a r i s 9 将微分流行和信息几何应用 于人工神经网络的研究 探索系统化的新的神经信息处理理论基础 为人工神经网 络的理论研究开辟了一条新的途径 神经网络理论有极强的数学性质和生物学特 性 尤其是在神经科学 心理科学和认识科学等方面提出了一些重大问题 是向神 经网络理论研究的新挑战 也是发展的机会 2 1 世纪神经网络理论日益外向 不断 产生具有重要意义的概念和方法 推进神经网络向更高阶段发展 l 华北电力大学硕士学位论文 1 3 人工神经网络与非线性系统建模 2 0 世纪9 0 年代以来 神经网络研究进一步发展 也带来了神经网络控制研究 的迅速发展 在控制领域将神经网络算法与传统的控制技术相结合取得了令人鼓舞 的结果 研究方法不断涌现 理论探索和工程应用并驾齐驱 神经网络所具有的特点说明神经网络在解决问题非线性和严重不确定性系统 的控制方面具有巨大的潜力 可以说 采用传统控制理论解决的各种实际问题 几 乎都可以用网络方法解决 而许多传统方法不能解决的问题也可以用神经网络方法 来解决 系统建模和辨识是控制理论的基本问题 过去几十年中 人们对线性系统的建 模和辨识进行了深入的研究 总结出了一整套成熟的辨识算法 可以建立具有较高 可靠性的模型 然而在现实世界中 非线性是普遍存在的 而线性模型只是对非线 性对象的一种简化和近似 因此当系统非线性严重且我们期望得到高品质的控制效 果时 建立性能良好的非线性模型就显得至关重要 然而 利用传统的辨识方法要 做到这一点 无论是理论研究还是工程实践中都存在极大的困难 相比之下 神经 网络在这方面显示了明显的优越性 近年来人们将神经网络模型引入非线性系统建 模和辨识中 利用神经网络所具有的对任意非线性映射的逼近能力 来模拟实际系 统的输入输出关系 而利用神经网络的自学习 自适应能力 可以方便的给出工程 上易于实现的学习算法 经过训练得到非线性系统的正向或逆向模型 神经网络系 统建模实质上是选择一个适当的神经网络模型来逼近实际系统 由于神经网络对非 线性函数具有任意逼近和自学习能力 所以神经网络系统辨识为非线性系统的辨识 提供了一种简单而有效的一般性的方法 神经网络对系统进行建模是通过直接学习 系统的输入 输出数据 学习的目的是使得所要求的误差函数达到最小 从而归纳出 隐含在系统输入 输出数据中的关系 这个关系对外是不可知的 并且人们关系的 并不是神经网络以什么样的形式去逼近实际系统 而只要神经网络的输出能过逼近 同样输入信号激励下的输出 则认为神经网络已充分体现了实际系统特性 完成了 对原系统的建模 与传统的基于算法的建模方法相比较 基于神经网络的建模具有以下几个特 点 1 不要求建立实际系统的模型格式 即可省去系统结构建模这一步 因为神经 网络本质已作为一种建模模型 其可调参数反映在网络内部的权值上 2 可以对本质非线性系统进行建模 建模是非算法式的 由神经网络本身体现 建模的结果为网络外部特性拟合系统的输入 输出特性 网络的内部特性归纳隐含 在系统输入 输出数据中的系统特性 3 模型的收敛速度不依赖于系统对象的维数 只与神经网络本身及其所采用的 4 华北电力大学硕士学位论文 学习算法相关 而传统的辨识算法随模型参数维数的增大变得很复杂 4 神经网络具有大量连接 其连接权的权值在辨识中对应于模型参数 通过调 节这些参数可使网络输出逼近系统输出 5 神经网络作为实际系统的模型 实际上也是系统的一个物理实现 可以用于 在线控制 神经网络的以上特性为非线性系统的控制提供了广阔的前景 并成为控 制工作者解决非线性系统复杂控制的有利工具 大量的理论研究和仿真表明 对于 非线性系统 神经网络控制具有优于传统方法的控制效果 同时 基于神经网络的 系统建模已有许多成功的实际应用 但是也应该看到 神经网络的理论仍有许多缺 陷 尚待进一步发展与完善 因此 要使神经网络走出实验室 真正用于工程实践 中 在诸多领域还有许多工作要作 1 4 课题研究内容 本文主要研究神经网络在非线性系统建模中的应用 网络本身对于系统应用来 说可以被看作是一个 黑箱 但是对于网络的设计者来说这个 黑箱 就应该有着明 确的工作模式和构架形成 就不再是 黑箱 了 为了能够实现系统建模 就要对黑 箱工作机理进行研究 并对其性能进行检验评定 人工神经元模型模拟抽象了生物神经元 图1 给出了人工神经元的模型 图1 人工神经元模型 人工神经元相当与一个多输入单输出的非线性阈值器件 这里的x l x 2 x 表示 它的n 个输入 w 圯表示与它相连的n 个突触的连接强度 其值成为权值 y 彬五成为激活值 表示这个人工神经元的输入总和 对应于生物神经细胞的膜电 位 d 表示这个人工神经元的输出 秒表示这个人工神经元的阈值 如果输入信号 的加权值和超过0 则人工神经元被激活 人工神经元的输出可以描述为 o e 形墨秒 式中f o 是表示神经元输入 输出关系的函数 成为激活函数或输出函数 将上面介绍的人工神经元通过一定的结构组织起来 就可以构成人工神经元网 络 我们在实际应用中可以略去很多生物神经元网络的细节 保留神经元网络系统 的基本结构 部分的反应神经系统工作机理 大量的神经元所构成的神经元网络具 有前面介绍的诸多优秀特性 通过学习完善网络模型就可以模拟工程实际系统运行 机理 本文的工作大致可以解释为以下内容 5 华北电力人学硕士学位论文 1 研究网络建模的特点及其存在的问题 并给出相应的分析和解决方法 本论 文首先设计基本的神经网络建模程序 对非线性函数进行神经网络建模分析 通过 不同种网络建模方法针对某给定的非线性系统模型进行建模分析 分析各种网络的 特性 并结合各神经元网络方法探讨最优型网络的确定问题 2 样本的优劣对于神经元网络建模有着一定的影响作用 样本与神经网络建模 之间的内在关系也一直是我们研究的重点 同样的样本数据不同的输入顺序也会影 响网络建模 类似的问题又如何解决 也都需要研究人员给出较为合理的方案 3 网络建模的特点很多 但是也存在相应的问题 网络训练的速度对系统的影 响 网络的泛化能力是否达到了系统模型的要求也是神经元网络建模的重点研究问 题 4 网络建模各模型间的区别和联系 模型间各自特点的应用是否可以寻求一个 结合点 将网络的优点进行综合实现网络建模的最优化和理想化 1 5 本文主要内容 本文主要研究神经网络非线性系统建模 首先第一章从宏观上介绍了神经网络 算法的研究背景 研究现状已经应用领域 第二章从神经网络算法角度给出详细分 析 其算法主要是针对本文应用角度侧重的讲述了网络结构和网络权值基本算法 第三章作为本文研究的重点 主要研究了r b f 神经网络建模算法 主要讨论了 径向基函数选取问题 应用实验验证的方法 证明了几类径向基函数对于r b f 神经 网络设计作用 并给出无噪声函数和含噪声函数的神经网络建模设计结果 第四章是本文的又一研究重点 主要研究了模糊神经网络建模算法 主要讨论 模糊算法和模糊神经网络权值计算方法 并将优化算法应用到网络设计中 优化模 糊神经网络 最后通过函数实例给出算法建模结果 第五章是本文的第三部分研究重点 主要研究统计学中的支持向量机算法 并 设计了最小二乘支持向量机网络 从算法上提出了增量式最小二乘支持向量机算 法 对最小二乘支持向量机进行了改进 并通过函数实例得到验证 第六章是本文主要研究重点 锅炉燃烧系统是一个复杂的多输入多输出系统 随着国际能源问题的逐步提升 燃烧控制的优化设计也逐渐成为人们研究重点 本 文就是从这个角度 进行了电厂中锅炉燃烧系统的建模分析 总结前面章节的建模 方法 应用到锅炉燃烧系统中 针对建模结果给出分析 第七章对本文的内容进行总结 并对论文的进一步研究提出展望 6 华北电力大学硕士学位论文 第二章人工神经网络算法分析 本论文研究的是人工神经网络 它是生物神经网络的高度简化的版本 因此只 能在较低的层次上模拟人的大脑功能 由于人类目前对于生物神经我拿过来的了解 甚少 因此还需要更多科研人员的共同努力 不断提高人工神经元网络的智能模拟 能力 l l 1 2 1 4 1 人工神经网络虽然没有生物神经网络 如人脑 那么复杂 但它们之间有两个关 键相似之处 第一 人工神经元网络和生物神经网络的结构都可以看作是神经元的 高度互连而成的网络 第二 神经元之间的联接决定了网络的功能 2 1 神经元的数学模型 人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程 反映人脑 某些特征的一种计算结构 它不是人脑神经系统的真实描写 而只是它的某种抽 象 简化和模拟 目前提出的神经元模型已有很多 其中最早提出且影响最大的 是1 9 4 3 年心里学家m c c u l l o c h 和数学家w p i t t s 在分析总结神经元基本特征的基础 上首先提出的m p 模型 见图2 1 l 图2 1 人工神经元的m p 模型示意图 该模型经过不断的改进后 形成目前广泛应用的形式神经元模型 关于神经元 的信息处理机制 该模型在简化的基础上提出以下6 点假定进行描述 1 每个神经元都是一个多输入单输出的信息处理单元 2 神经元输入分兴奋性输入和抑制性输入两种类型 3 神经元具有空间整合特性和阈值特性 4 神经元输入与输出间有固定的时滞 主要取决与突触延搁 5 忽略时间整合作用和不应期 6 神经元本身是非时变的 即其突触时延和突触强度均为常数 令五 f 表示t 时刻神经元 的接收的来自神经元f 的输入信息 o t 表示t 时刻 华北电力人学硕士学位论文 神经元j 的输出信息 则神经元j 的状态可以表达为 o 厂 喜峋 o f 妒 一乃 c 2 一t 式中 输入输出间的突触时延 l 神经元歹的阈值 神经元i 到 j 的突触连接系数或称权重值5 f o 神经元变换函数 为简单起见 将上式中的突触时延取为单位时间 则式 1 可写为 厂 o j f 1 刈 w u x i t f t s 2 2 上式描述的神经元数学模型全面表达了神经元模型的6 点假定 其中输入x i 的 下标i 1 2 刀 输出巳的下标 体现了神经元模型假定2 l 中的 多输入单输出 权重值 的正负体现了假定2 2 中 突触的兴奋与抑制 乃代表假定2 1 中神经元 的 阈值 输入总和 常称为神经元在t 时刻的净输入 用 n e t w 可t f 2 3 i 1 表示 n e t t 体现了神经元歹的空间整合特性而未考虑时间整合 当n e t 一t 0 时 神经元才能被激活 0 t 1 与t f 之间的单位时差代表所有神经元具有相同的 恒 定的工作节律 对应于假定2 2 中的 突触延搁 m 与时间无关体现了假定2 3 中 神经元的 非时变 为简便起见 在后面用到式2 3 时 常将其中的 f 省略 式2 3 还可以表示为 权重向量矽 和输入向量x 的点积 n e t 嘭x 2 4 其中 和x 均为歹0 向量 定义为 髟 1 x 石l 石2 x 7 如果令x o 一1 w o 乃 则有一t j x o w o 因此净输入与阈值之差可表达为 n e t 厂乃 n e t 屹毛 哆x 2 5 采用式2 5 的约定后 净输入改为n e t 与原来的区别是包含了阈值 神经元模型可以简化为 0 j f n e t s f 娜j x 8 综合以上各式 2 6 华北电力大学硕士学位论文 2 2 人工神经网络结构 一般说来 在实际应用中描述一个复杂的系统模型 人工神经网络的经典结构 模式应该是一个多输入多输出结构 图2 2 给出了几种人工神经网络多输入多输出 结构图 乃z l y 2 z 2 y i 刁 乃气 儿 之 y t z i a 多输入多输出人工神经兀结构统一描述b 三层多输入多输出人工神经网络结构 图2 2 多输入多输出人工神经元网络结构图 图2 2 中的小圆点表示预处理单元 输入层与输出层都有预处理单元 针对本 文内容所做的预处理及预处理方法在后面的章节中都有详细说明 图2 2 中五为人 工神经网络的输入变量 y 为人工神经网络的输出变量 z 为人工神经网络的目标 输出变量 即期望输出 图中标有m 的圆圈表示人工神经元 根据不同网络的选择 确定神经元的特性 节点间的联系表示输入对神经元或神经元对输出的激励响应强 度 定义为权值w 神经网络训练的目的就是通过权值的调整 使得y 和z 之间的 误差最小 有时为了描述方便 将神经网络进一步的简化 如图2 2 中的两种多输入多输 出图形可以简化为图2 3 中的网络描述方法 其中x 为神经元网络输入矩阵 l 表 示神经元网络输出矩阵 矿表示节点间网络联接权值矩阵 表述的是输入层隐 含层的权值矩阵 表述的是隐含层到输出层的权值矩阵 输输 x 一形一 入出 层层 输隐 嵫r 输 入里岭 含 上冷 出 层层层 a 多输入多输出人工神经元结构简化描述b 三层多输入多输出人工神经网络结构简化描述 图2 3 多输入多输出神经元网络简化结构图 针对不同的实际问题 也存在多层神经元网络结构 其简化图如图2 4 表示 其中彬表示的是神经元网络各层节点间的联接权值矩阵 9 华北电力大学硕士学位论文 输隐 入区含 层层 隐 输 含 出 层层 图2 4 多层隐含层神经元网络结构简化图 神经元网络的算法通常可以采用矩阵运算来描述 本文也多采用这种方式进行 一 一 衣不 神经元网络的结构不仅如此 其网络结构针对具体问题硬座具体分析和设计 本节所述给出了神经元网络的一般典型结构描述 为后面理解网络模型设计奠定基 础 2 3 人工神经网络权值算法 人工神经网络的功能特性由其连接的拓扑结构和突触连接强度 即联接权值决 定 神经网络全体连接权值的可用一个矩阵形表示 它的整体反映了神经网络对于 所解决问题的知识存储 神经网络能够通过对样本的学习训练 不断改变网络的连 接权值以及拓扑结构 以使网络的输出不断地接近期望的输出 这一过程称为神经 网络的学习或训练 其本质就是可变权值的动态调整 对神经网络的训练与学习始于4 0 年代末 当时的研究侧重于系统的自适应和 自组织方面 其基本思想是从仿生学的角度对神经元进行各种模拟 企图模仿大脑 与神经系统的学习机理 具体的训练方法有多种 但大体上可分为监控式 s u p e r v i s e d 和非监控式 u n s e p e r v i s e d 两种 相应地也称为有导师和无导师学习 监督学习 在这种学习方式中 训练数据集是成对的输入输出 l q 其含 意是当输入为厶时网络的输出应是q 而且 q 能代表应用问题的输入输出关 系 训练的过程为 对每个粒子 t q 将 输入到网络上 于是产生输出q 然后根据p 与0 之间的正误关系来调整权矩阵 调整是按照 奖惩 式规则进行的 示教者提供正确的答案 当网络回答正确时 就调整网络权值朝着 强化 正确答案 的方向变化 即奖励 当回答有误时 就调整权值朝着 弱化 错误答案的方向变化 即惩罚 非监督学习 在这种学习方式中 训练数据不是成对出现 不提供标准的输出 即不明确指出输入一个例子时应产生什么样的输出 对非监督学习的基本要求是 训练后的网络应能对给定的输入应产生确定的输出 这就意味着训练过的网络应具 有时序稳定性 有导师学习和无导师学习网络的运行一般分为训练阶段和工作两个阶段 训练 学习的目的是为了从训练数据中提取隐含的知识和规律 并存储于网络中供工作阶 段使用 1 0 华北电力大学硕士学位论文 可以认为 一个神经元是一个自适应单元 其权值可以根据它所接收的输入信 号 它的输出信号以及对应的监督信号进行调整 图2 5 给出了神经网络权值调整 的通用学习规则 图中的神经元 是神经网络中的某个节点 其输入用向量x 表示 该输入可以来自网络外部 也可以来自其他神经元的输出 第i 个输入与神经元 的 联接权值用w 表示 对应的输入分量 恒为 1 图中r 彤 x d 代表学习信号 该信 号通常是形和x 的函数 而在有导师学习时 它是教师信号d 的函数 通过学习规 则可表达为 权向量彬的在t 时刻的调整量 r r 外与t 时刻的输入向量x t 和学习 信号 的乘积成正比 用数学式表示为 图2 5 人工神经元网络学习方法描述图 r l r w j f x f d x f 2 7 式中 r 为正数 称为学习常数 其值决定了学习速率 基于离散时间调整时 下一时刻的权向量应为 杉o 1 f r r 髟 f x f d 石 f 2 8 不同的学习规则对 形 x d 有不同的定义 从而形成各种各样的神经网络 下面给出了本文主要应用的误差反传算法分析 误差反传算法一b p b a c kp r o p a g a t i o n 算法 是一种多层前馈网络使用的监控式 学习算法 其基本思想是l m s 学习算法 使用梯度搜索技术 以期最小化网络的 实际输出与期望输出的均方差 网络的学习过程是一个误差边向后传播边修正权的 过程 设在某一层中第 个神经元在第p 个样本时的总输入为n e t 如果我们固定在 某一样本 来研究 则为了以下推到公式的方便 n e t s 中的 可以略去 所以 l p 哆 e t j f q 嘞 2 9 此 z p 0 经过一个s q u a s h i n g 函数 就变成了神经元 的输出o j 此函数z 取如下形式 为简单起见 阈值取为零 z 口 专 在b p 算法中 2 1 0 o 五 华北电力大学硕士学位论文 其微分函数 z 口 z 口 1 z 口 2 1 1 此q 将通过权矩阵向前传播 并又作为下一层神经元的输入之一 如果神经元j 是 在输出层 则d 就是网络实际计算的输出 它与所期望的输出t j 相比较而求得其差 值 此误差信号将从输出端反向传播回去 并且在传播的过程中对权矩阵不断作修 正 调整权矩阵的规则 定义在固定输入样本时的误差函数为 p 寺 o o j 2 2 1 2 权的修正使误差e 减少 即网络的权应沿p 函数梯度下降的方向修改之 毗一刁考 幄夭于零的增益 2 1 3 为了求当 先从数学上做些简单的变换 矿眦 8 e8 e o n e t 一 一 哪锄p 0 饥 其中呈堕可由2 9 式得 w 协 i o n e t 熹 d f 峋 q 2 1 4 一 一 n wl l 午 7 令 铲毒一考告 亿 因为 z p 0 经过z 函数元就变成了神经元 的输出o j 所以 z 刀哆 乏吾 乃 于是 盖 去 嘉 硝哟m 似 堋刀e t a 吲l o j 2 1 6 当d 为输出节点时 一兰可由式2 1 2 求得为 0 0 一考 一石0 j 1 手 训2 训 2 1 7 华北电力大学硕 学位论文 将2 1 6 和2 1 7 代入2 1 5 则 f n e t j t j o j o j o o j t j o j 2 18 当0 为隐节点时 t f n e t y z 暖吆 2 1 9 所以b p 学习算法权的调整公式可综合为 眺 i 嬲乏篡一 七七 2 2 0 其中 o 是输出节点的输出 h 是隐节点的输出 q 是节点i 的输出或节点i 的输入 有时为了收敛的快些 可增加冲量项 m o m e n t u mt e r m 使仅值变化更平滑些 w u t 1 w o t 刁s j o c t w u t 一w o t 1 2 2 1 其中 0 口 0 存在万 万 占 使得当d x 1 x 2 万时 d f x 1 f x 2 s 成立 其中d x i x 2 表示两个变量在其所属空间中的距离 如果上述3 个条件中有一个条件不满足 则称此问题为不适定的 区分不适定问题的标准不是看问题的正还是反 而是看有没有足够的强力约束 条件获得稳定 唯一的答案 正问题也可能是不适定的 但是一般情况下正问题通 常会有足够的强有力的约束条件 而反问题往往缺乏足够的强有力的约束条件 不 适定问题往往人肇出现在反问题中 虽然并非所有的反问题都是不适定的 然而按 17 华北电力大学硕士学位论文 照正反问题的标准提法所规定的正问题大多是适定的 而这种提法所规定的反问题 很多是不适定的 t i k h o n o v 及其他众多学者的研究表明 不适定问题不但是大量存在的 而且使 用人们对解的先验知识作为约束 可以得到很多不适定问题的解答 下面小节将讨 论如何通过正则化方法将一个不适定问题转变为一个适定问题 3 3 正则化理论 正则化理论是t i k h o n o v 于1 9 6 3 年提出的一种用以解决不适定问题的方法 正 则化的基本思想是通过加入一个含有解的先验知识的约束来控制映射函数的光滑 性 若输入 输出映射函数是光滑的 则重建问题的解是连续的 意味着相似的输入 对应着相似的输出 逼近函数用f x 表示 为简单起见 不失一般性 假设函数的输出为一维的 用y 表示 欲用函数逼近的一组数据为 输入数据 x p l 2 p 期望输出 d p p 1 2 p 传统的寻找逼近函数的方法是通过最小化目标函数 标准误差项 实现的 即 e f 丢圭 d p y p z 丢杰 d 一f x p z 3 1 3 i p l 该函数体现了期望输出与实际输出之间的距离 由训练集样本数据决定 而所谓的 正则化方法 是指在标准误差项基础上增加了一个控制逼近函数光滑程度的项 称 为正则化项 该正则化项体现了逼近函数的 几何 特性 即 e 妒 刮卯1 1 2 3 1 4 式中 d 是线性微分算子 它代表了对f x 的先验知识 从而使d 的选取与所解 问题相关 正则化理论要求最小化的量为 e e f x e c f 丢艺 d p f x p 2 丢8 d f i l 2 3 15 p l 式中 第一项决定于所给样本数据 第二项决定于先验信息 五是正的实数 称为 正则化参数 它的值控制着正则化项的相对重要性 从而也控制着函数f x 的光滑 程度 下面直接给出上述正则化问题的解为 f x w p g x x p 3 1 6 1 8 华北电力大学硕士学位论文 式中 a x x 为g r e e n 函数 x 为函数的自变量 x p 为函数的参数 对应于训 练样本数据 w 为权系数 相应的权向量为 形 g h1 1d 3 17 式中 为p xp 的单位矩阵 矩阵g 称为g r e e n 矩阵 g r e e n 函数a x x p 的形式与算子d 的形式有关 即与对问题的先验知识有关 如是d 具有平移不变性和旋转不变性 则g r e e n 函数取决于x 与x p 之间的距离 6 x z p g l l x x p 0 3 18 显然 g r e e n 函数是一个中心对称的径向基函数 此时 式3 1 6 可以表示为 f x g 0 x 一彳p8 3 1 9 p l 这类函数的一个重要例子是多元g a u s s 函数 定义为 g x x p e x p 一瓦l 0 x x p i l 2 3 2 0 j 口 用r b f 网络解决插值问题是 基于上述正则化理论的r b f 网络称为正则化网 络 其特点是 隐节点数等于输入样本数 隐节点的激活函数为g r e e n 函数 常具 有式3 8 所示的g a u s s 形式 并将所有输入样本设为径向基函数的中心 各径向基 函数取统一的扩展常数 图3 2 正则化r b f 网络 图3 2 所示为 一p 一 结构的r b f 网络 即网络具有 个输入节点 尸个隐节 点 个输出节点 其中p 为训练样本集的样本数量 即隐层节点数等于训练样本 数 输入层的任一节点用i 表示 隐层的任一节点用 表示 输出层的任一节点用k 表示 对各层的数学描述如