（控制理论与控制工程专业论文）基于神经网络的软测量技术研究与应用.pdf

at h e s i sf o rt h ed e g r e eo fm a s t e ri nc o n t r o lt h e o r ya n dc o n t r o l e n g i n e e r i n g r e s e a r c ha n d a p p l i c a t i o no f s o f ts e n o rb a s e do nn e u r a l n e t w or k s b yl ic h u n b a i s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rw a n gx i a o g a n g 。 n o r t h e a s t e r nu n i v e r s i t y j a n u a r y2 0 0 8 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他入已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：李桑卅翰 签字日期：砂莎f 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 学位论文作者签名：否豸柏导师签名：扩厣训 签字 e l 期：枷矿f 签字e l 期：w - d 7 t 东北大学硕士学位论文 摘要 基于神经网络的软测量技术研究与应用 摘要 i s a 法铜电解生产过程具有工艺反应机理复杂、非线性、强耦合、时变和大滞后等 特点。电解生产过程中，电解槽中电解液化学成份的变化直接影响产品的质量。然而， 目前并没有可靠的电解液成分浓度在线实时检测方法，仅能依靠实验室化验分析。由于 电解液成分的实验室化验结果与实际值存在很长时间的滞后，使得及时、迅速的控制与 优化难以实现。 在工业生产和制造过程中，为解决这种过程量难以实时检测的问题，软测量技术应 运而生，并已发展为当前过程控制领域研究的热点之一。本文对当前软测量技术的发展、 现状和特点等作了简单概述，介绍了软测量技术的概念、基本模型以及一些常用的软测 量建模方法。针对铜电解生产过程中电解液成分难以实时检测的问题，分析了采用机理 与数据混合建模的软测量方法建立电解液成分预测模型的可行性。 近年来，随着智能算法研究的兴起，人们开始关注用智能算法来设计、优化神经网 络。本文在深入研究粒子群算法的基础上，将己在遗传算法中成熟运用的变异方法引入 n - 进制粒子群算法中，通过解决背包问题仿真试验表明，改进后的算法增加了种群多 样性，较好的解决了算法早熟的问题。 为解决传统的前向神经网络结构设计缺乏理论指导、泛化能力差及训练算法易于陷 入局部最优等问题，本文提出了用改进后粒子群算法优化网络结构和训练神经网络的方 法。在引进表示各层节点之间连接状态的矩阵基础上，将神经网络的结构作为优化目标， 采用二进制粒子群算法解决网络结构优化问题。同时，用标准粒子群算法取代传统的神 经网络训练算法进行网络训练。这种方法不仅可以使神经网络结构更加简介，而且避免 了传统学习算法的缺陷，兼顾了网络的非线性拟合能力和泛化能力，使神经网络获得更 好的性能。通过预测太阳黑子数的仿真实验，并与标准b p 算法、遗传算法优化的神经 网络给进行比较的对比分析，验证了该方法的有效性和实用性。 将改进后的神经网络建模方法应用于建立电解液成分铜离子和硫酸浓度的软 测量模型。仿真与现场运行结果都表明，该软测量模型能够以较高精度完成电解液成分 预测功能，具有良好的实用性。 关键词：电解铜；软测量；粒子群算法；神经网络；结构优化 一i i 东北大学硕士学位论文 a b s t r a c t r e s e a r c ha n da p p l i c a t i o no fs o f ts e n o rb a s e do nn e u r a ln e t w o r k s a b s t r a c t t h em e c h a n i s mo fi s ae l e c t r o l y t i cc o p p e rp r o c e s si sv e r yc o m p l e x ，i na d d i t i o n , t h i s p r o c e s s o fp r o d u c t i o ni s n o n l i n e a r , c o u p l e d ，t i m e - v a r y i n g a n d t i m e - d e l a y i n g d u r i n g e l e c t r o l y z a t i o n ，t h eq u a l i t yo fp r o d u c t si sd i r e c t l ya f f e c t e db yt h ec h e m i c a lc o m p o s i t i o no ft h e e l e c t r o l y t e h o w e v e r , t h e r ei s n o ta n yr e a l - t i m ed e t e c t i o nm e t h o di nc o n c e n t r a t i o no f e l e c t r o l y t ec o m p o n e n t s n ea n a l y s i sm a d ei nl a b o r a t o r yi st h eo n l ya p p r o a c h t h e r ei sal o n g t i m el a gi nt h ea n a l y s i sr e s u l t sm a d ei nl a b o r a t o r y t h e r e f o r e ，t i m e l ya n dp r o m p tc o n t r o la n d o p t i m i z a t i o ni sd i f f i c u l tt oa c h i e v e i nt h ei n d u s t r i a lp r o d u c t i o na n dm a n u f a c t u r i n gp r o c e s s ，i no r d e rt os o l v et h i sp r o b l e m ， w h i c hi sd i f f i c u l tr e a l - t i m ed e t e c t i o no fp r o c e s sv a r i a b l e s ，s o f ts e n s o re m e r g e d ，a n dh a s b e c a m eo n eo ft h ec u r r e n t l yf o c u si s s u ei nt h ef i e l do fp r o c e s sc o n t r 0 1 i nt h i sp a p e r , t h e d e v e l o p m e n t ，s t a t u sa n dc h a r a c t e r i s t i c so fs o f t s e n s o ri ss i m p l yo u t l i n e d i na d d i t i o n ，t h e c o n c e p to fs o f ts e n s o ra n ds o m em o d e l i n gm e t h o dw h i c hi sc o m m o n l yu s e di si n t r o d u c e d a f t e rr e s e a r c h i n gt h et e c h n o l o g yo fi s ae l e c t r o l y t i cc o p p e rp r o d u c t i o np r o c e s s ，t h ef e a s i b i l i t y o fe s t a b l i s h i n gae l e c t r o l y t ec o m p o s i t i o np r e d i c t i o nm o d e li sa n a l y z e d t h i sm o d e li su s e dt o s o l v et h ed i f f i c u l tr e a l - t i m ed e t e c t i o no fe l e c t r o l y t ec o m p o n e n t s i nr e c e n ty e a r s ，w i t ht h ee m e r g e n c eo fi n t e l l i g e n ta l g o r i t h m ，m o r ea n dm o r ea t t e n t i o ni s p a i dt od e s i g na n do p t i m i z et h en e u r a l n e t w o r kb yi n t e l l i g e n ta l g o r i t h m a f t e ri n - d e p t h s t u d y i n go nt h ep a r t i c l es w a r mo p t i m i z a t i o n , t h ev a r i a t i o n , w h i c hi sam a t u r ea p p r o a c hu s e di n g e n e t i ca l g o r i t h m ，i sq u o t e di n t ob i n a r yp a r t i c l es w a r mo p t i m i z a t i o ni no r d e rt os o l v et h e p r e c o c i t yo fp a r t i c l es w a r mo p t i m i z a t i o n t h es i m u l a t i o no fk n a p s a c kp r o b l e ms h o wt h a tt h e p r o b l e mi ss a t i s f a c t o r i l ys o l v e db yt h i sa p p r o a c ha n dt h ep e r f o r m a n c eo fp a r t i c l es w a n l l o p t i m i z a t i o n i sl a r g e l yi m p r o v e d t or e s o l v et h ed i s a d v a n t a g e so ft h et r a d i t i o n a lf e e d f o r w a r dn e u r a ln e t w o r k ，s u c ha s d e s i g no fs t r u c t u r el a c k i n gt h e o r e t i c a li n s t r u c t i o n ，t h eu n s a t i s f a c t o r yg e n e r a l i z a t i o na b i l i t ya n d t h et r a i n i n ga l g o r i t h mi sp r o n et og o ti n t ol o c a lo p t i m u m ，t h i sp a p e rp r e s e n t sah y b r i dm e t h o d c o m b i n i n gp a r t i c l es w a r mo p t i m i z a t i o na l g o f i t h r aa n dl e a r n i n gn e u r a ln e t w o r k , s o l v en e t w o r k s t r u c t u r eo p t i m i z a t i o np r o b l e mb yb i n a r yp a r t i c l es w a r n la l g o r i t h ma n dt r a i nt h en e t w o r kb y s t a n d a r dp a r t i c l es w a r ma l g o r i t h mi n s t e a do ft r a d i t i o n a ln e u r a ln e t w o r kt r a i n i n ga l g o r i t h m t 1 l i sm e t h o dc a nn o to n l yp r o v i d eat h e o r e t i c a ld i r e c t i o no fd e s i g n i n gt h en e u r a ln e t w o r k s t r u c t u r e ，b u tc a na l s om a k et h en e u r a ln e t w o r kg e tb e t t e rp e r f o r m a n c e t h es i m u l a t i o n e x p e r i m e n t so ff o r e c a s t i n gs u n s p o tn u m b e ra n dv e r i f yt h ev a l i d i t ya n dp r a c t i c a b i l i t yo ft h i s - - i i i - 一 ，r 东北大学硕士学位论文a b s t r a c t m e t h o d ，t h r o u g hc o m p a r i n gw h i ts t a n d a r db pa l g o r i t h ma n dn e u r a ln e t w o r ko p t i m i z e db y s t a n d a r dg e n e t i ca l g o r i t h m l a s t ，t h i si m p r o v e dn e u r a ln e t w o r km o d e l i n gm e t h o di su s e dt oe s t a b l i s ht h es o f ts e n s o r m o d e lo fe l e c t r o l y t ec o m p o n e n t s c o n c e n t r a t i o nw h i c hi sm a i n l yc u p r u mi o na n dv i t r i 0 1 t h e r e s u l t so fs i m u l a t i o np r o v et h a tt h i sm e t l l o di sp r a c t i c a l k e y w o r d s ：e l e c t r o l y t i cc o p p e r ；s o f ts e n o r ；p a r t i c l es w a r mo p t i m i z a t i o n ；n e u r a ln e t w o r k s ； s t r u c t u r eo p t i m i z a t i o n 一一 v 东北大学硕士学位论文 目录 目录 独创性声明。i 摘要i i a b s t r a c t i i i 第一章绪论1 1 1 论文背景1 1 2 软测量技术2 1 2 1 软测量技术的发展及现状2 1 2 2 软测量技术的主要内容。2 1 2 3 软测量建模方法。3 1 3 神经网络5 1 3 1 神经网络的发展及研究现状5 l - 3 2 神经网络构成。6 1 3 3 影响网络性能的因素8 1 3 4 神经网络分类9 1 3 5 神经网络特点1 1 1 3 6 神经网络应用1 1 1 3 7 基于神经网络的软测量技术1 2 1 4 本文的主要内容1 2 第二章i s a 电解过程工艺分析1 5 2 1 电解铜生产概况。1 5 2 1 1 生产原理1 6 2 1 2 电解生产工艺。1 6 2 2i s a 电解生产过程铜酸成分预测1 8 2 2 1 目的和意义1 8 2 2 2 影响铜酸浓度的因素分析1 8 2 2 3 铜酸浓度预测可行性分析1 9 2 3 铜酸浓度预测的方法及意义2 0 2 4 ，j 、结：! o 第三章粒子群算法及改进。2 l v 一 东北大学硕士学位论文目录 3 1 粒子群算法简介2 1 3 2 标准粒子群算法2 1 3 2 1 算法原理2 l 3 2 2 算法流程。2 2 3 2 3 参数设置2 3 3 2 4 惯性权重2 4 3 3 二进制粒子群算法及改进2 4 3 3 1 算法原理。2 5 3 3 2 二进制粒子群算法的缺陷2 5 3 3 3 改进的二进制粒子群算法2 6 3 4 仿真验证2 7 3 4 1 背包问题- 2 7 3 4 2 粒子群算法相关参数设置2 8 3 4 3 仿真结果比较2 8 3 5 小结。3 0 第四章神经网络建模方法及改进。：3 1 4 1 多层前向网络学习算法研究现状3 1 4 2b p 神经网络3 2 4 2 1b p 神经网络结构3 3 4 2 2b p 算法3 3 4 2 3b p 神经网络的缺陷3 6 4 3 粒子群算法优化前向神经网络3 6 4 3 1 神经网络结构数学模型3 6 4 3 2 网络训练及结构优化：3 8 4 3 3 算法步骤3 9 4 4 模型检验4 0 4 5 仿真分析4 1 4 5 1 太阳黑子数据。4 1 4 5 2 模型输入输出及算法参数设置4 l 4 5 3 仿真结果4 2 4 6 、结。z 珥 第五章电解液成分软测量模型建立。4 5 5 1 模型整体规划4 5 5 2 软测量模型机理部分4 5 5 2 1 铜离子浓度。4 5 一v i 东北大学硕士学位论文目录 5 2 2 硫酸浓度4 6 5 3 软测量模型数据建模部分4 6 5 3 1 辅助变量的选取4 6 5 3 2 样本数据滤波4 7 5 3 3 数据标准化处理。4 7 5 4 软测量模型建立4 8 5 5 仿真结果4 8 5 6 模型校正5 1 5 6 1 模型校正数据样本5 1 5 6 2 模型校正机制5l 5 7 小结5 2 第六章电解优化系统实现5 3 6 1 优化系统主要功能5 3 6 2 优化系统架构5 3 6 3 优化系统实现：5 4 6 3 1 数据采集系统5 4 6 3 2 数据库5 4 6 3 3 运算系统5 5 6 3 4 监控系统_ 5 5 6 4 ，j 、结5 8 第七章结论与展望5 9 7 1 结论5 9 7 2 工作展望5 9 参考文献6 l 致谢6 7 一v i i 东北大学硕士学位论文 第一章绪论 第一章绪论弟一早珀v 匕 1 1 论文背景 在许多的复杂工业过程控制现场，存在着一些关键的过程检测量，它们与产品质量 密切相关，需要加以严格控制，但是由于经济或技术的原因( 如在线测量仪表价格昂贵， 或者仪表在恶劣的工作环境下无法正常工作) ，难以进行在线测量。只能通过离线实验 室分析得到分析值。但是，离线实验室分析往往存在长时间滞后的问题，无法满足在线 实时控制和优化操作的要求。传统的解决方法是对能较好反映这些关键过程量的辅助变 量加以控制。但是，辅助变量往往与被控变量之间不存在一一对应关系，难以保证控制 质量。为解决这类变量的估计和控制问题，软测量技术得到了应用【l 】。 然而，大多数实际工业过程中存在着非线性、时变及很多不确定或不可知因素，使 用传统的软测量方法很难获得良好的效果【2 】。近年来，人工智能技术发展迅速，模糊技 术，神经网络，专家系统等为软测量技术的研究提供了新的方法。其中，作为人工智能 领域重要分支的神经网络在基础理论和实际应用方面都取得了丰硕成果。神经网络以其 本质非线性特征，可以实现大规模分布式处理，具有很强的容错性、鲁棒性和自学习、 自适应、自组织能力等长处，在针对复杂的非线性工业过程的软测量技术中占有重要地 位j 。它可以代替传统数学模型完成由输入空间到输出空间的映射，根据对象的输入、 输出数据进行建模，需要的对象先验知识较少，避免了复杂的模型结构辨识问题【4 5 1 ，并 且其较强的学习能力对模型校正十分有利。基于神经网络的软测量模型可以很好地描述 实际对象的特性，具有广阔的发展前景。 在i s a 法铜电解生产过程中，电解液成分对产品铜的质量的影响至关重要，但是由 于其难以实时检测；而且受很多相关因素影响，与电解过程中其它过程检测量间又存在 着较强的非线性和耦合关系【6 】。仅依靠数学分析方法来建立精确物理对象机理模型在某 种程度上很难实现甚至是无法实现的，而采用早期的软测量方法建立的模型在实际应用 中表现很差。因此，本文在认真分析i s a 法铜电解过程的反应机理及现场实际情况的前 提下，深入研究了采用神经网络的软测量方法，并针对神经网络的一些缺陷，采用粒子 群算法对神经网络进行改进。通过仿真和现场的实际运行情况来看，采用改进后的神经 网络建立的铜电解液成分预测模型具有更简单的网络结构，更好的非线性拟合效果和更 强的泛化能力。 东北大学硕士学位论文第一章绪论 1 2 软测量技术 1 2 1 软测量技术的发展及现状 软测量技术最早来源于b r o s i l o w 等人提出的推断控制思想f 7 , 8 , 9 1 ，推断控制包括推断 估计器的构造和控制器的设计两部分内容，推断估计器的构造指的是采集某些容易测量 的变量( 也称二次变量或辅助变量) ，并构造一个以这些易测变量为输入的数学模型来 估计难测的主要变量( 也称主导变量) 。然后将主要变量的估计值作为反馈量，设计控 制器对主要变量进行实时控制。推断控制中的两部分内容可以独立进行，但是推断估计 器是推断控制系统设计的关键，如果主导变量的估计值足够精确，那么就为控制器的设 计打下了良好的基础。软测量技术正是围绕如何构造一个高精度的估计器这一核心内容 展开的。 人工智能技术的发展，使软测量技术获得了很大的发展，其研究涉及到石油、化工 和环保等领域【1 0 , n , 1 2 。软测量模型也由线性模型、机理模型发展到基于黑箱的神经 网络模型。与软测量有关的技术如数据误差检测、辅助变量选择以及模型校正等问题也 正在引起人们的关注【4 5 1 。然而从总体上看，软测量技术的研究成果仍然是理论多于应用， 还有很多实际问题有待解决。 1 2 2 软测量技术的主要内容 要建立一个性能良好的软测量模型，需要研究的内容很多，主要包括几个方面：辅 助变量的选择【1 3 1 、测量数据的预处理【1 4 l 、软测量模型的建立以及模型的在线校正【1 5 1 。 1 2 2 1 辅助变量的选择 辅助变量的选择是建立软测量模型的第一步。辅助变量选择得是否合理，将直接影 响软仪表的性能。选择辅助变量必须从机理分析入手，找出在生产过程中，哪些因素影 响待测变量以及是如何影响的。辅助变量的选择包括变量的类型、数目及测点位置三个 方面，这三个方面是相互关联、相互影响的，由过程特性决定，此外还受设备价格和可 靠性、安装和维护的难易程度等外部因素的制约。 ( 1 ) 辅助变量的选择应符合关联性、特异性、过程适应性、精确性及鲁棒性等原 则。目前，软仪表中使用最广泛的是与主导变量动态性能相近、关系紧密的 可测参数。 ( 2 ) 辅助变量的数量也是非常重要的，太少则难以建立主导变量精确的软测量模 型，其下限为被估计的主导变量数；太多则会出现过参数化问题。辅助变量 最佳数量的选择与过程的自由度、测量噪声以及模型的不确定性等有关。 ( 3 ) 在软仪表的设计过程中，辅助变量的数目和位置常常是同时确定的，用于选 一2 一 东北大学硕士学位论文 第一章绪论 择变量数目的准则往往也适用于测点位置的选择。 1 2 2 2 测量数据的预处理 从理论上讲，测量数据包含了工业对象的大量相关信息。为了从测量数据中获得尽 可能多的信息，以保证软测量模型的精度，在数据采集过程中应该尽可能全面的考虑对 主导变量有影响的过程变量，换句话说就是要尽可能全面地选择辅助变量，以免在建模 过程中由于丢失一些重要的因素而影响模型精度。然而，在实际应用中，各辅助变量并 不是相互独立的，它们具有不同程度的相关性。实际经验说明太多的相关信息会使得模 型过于复杂，泛化能力差。因此，在建立系统软测量模型之前，一应该从众多的影响因 素中找出若干个公共的支配因子，最大限度地保留有用信息，滤去冗余信息，降低输入 数据集的维数，这样就能大大简化模型结构，提高模型的泛化能力。 1 2 2 3 软测量建模及模型的在线校正 软测量模型注重的是通过辅助变量来获得对主导变量的最佳估计，本质上是要完成 辅助变量构成的可测信息集到主导变量估计的映射。软测量模型的好坏，将直接影响到 软测量的精度。因此软测量建模是软测量技术的核心，也是目前人们研究得最多的一方 面。软测量建模的方法很多，如机理建模、回归分析、模式识别以及诸如神经网络、模 糊理论、专家知识等智能建模方法。不同的建模方法都有其各自的优点和不足之处，实 际应用中，必须根据现场的实际情况，选用合适的建模方法。随着人们对建模方法的深 入研究，目前有将多种方法相互融合的趋势。 1 2 3 软测量建模方法 软测量模型是软测量技术的核心。软测量建模技术主要有两大类，一类是基于过程 反应机理的机理建模技术，该类方法通过分析过程的反应机理，运用物理、化学等基本 定律来表述过程的内部规律，建立过程模型。另一类是基于数据的统计建模技术，该类 方法在建模时，将对象看作一个黑箱，通过输入输出数据建立与过程外特性等价的模型。 这种方法的优点在于，不需要研究对象的内部规律，只需要获得足够多的数据，即可建 立对象的软测量模型。 1 2 3 1 机理建模 在全面深刻了解过程的反应机理后，就可列写有关平衡方程式，确定不可测主导变 量和可测辅助变量的数学关系，建立估计主导变量的机理模型。机理建模要求对具体对 象有深入的了解，全面把握实际过程所牵涉到的基本规律，包括热力学中的状态方程， 物理化学中的相平衡、反应动力学、物料平衡、能量平衡，以及高分子化学、聚合反应 工程等诸多方面的知识。 机理模型建好后，可以用来模拟实际系统的运行情况，加深对实际过程的理解，提 一3 一 东北大学硕士学位论文 第一章绪论 高操作水平；同时通过模型仿真，可以帮助掌握对象的动态特性，为过程优化和控制奠 定基础。然而建立一个机理模型通常需要耗费很大的精力，且不适用于机理尚不完全清 楚的工业过程。 1 2 3 2 统计建模 根据系统的输入输出数据，建立与系统外特性等价的数学模型的方法，称为统计建 模。统计建模将系统看作黑箱，在不了解系统内部结构和机理的情况下，选取一组与主 导变量有密切联系且容易测量的辅助变量，根据某种最优准则，利用统计方法构造辅助 变量与主导变量间的数学模型。传统的统计建模方法有两种： ( 1 ) 状态估计 假设已知对象的状态空间模型为： i = 彳x + b u + e v y = q + w( 1 1 ) 0 = d 式中x 表示过程的状态变量，y 和0 分别表示过程的主导变量和辅助变量，1 ，和w 代 表白噪声。如果系统的状态x 关于辅助变量0 完全可观，则该软测量就转化为典型的状 态观测和状态估计问题，估计值就可以表示成k a l m m 滤波器的形式。 ( 2 ) 线性回归 线性回归假设自变量x 和因变量l ，具有如下线性关系： y = 船+ e ( 1 2 ) 式中，e 为模型误差，b 为回归系数。在工业过程中，x 通常为容易测量的过程变 量，】，为质量变量的实际测量值。对于上述方程，可以采用普通最小二乘( o l s ) 方法 求解，从而得到回归系数b 1 2 3 3 混合建模 纯机理模型和基于数据的模型都各有优缺点：前者能够从本质上反映过程的规律， 可靠性高，外推性好，具有可解释性，但是建模过程比较繁琐，对于一些复杂过程而言， 能得到的机理模型一般也是经过若干简化后的模型；后者直接根据过程的输入输出数据 建模，几乎无需过程对象的相关先验知识，但是缺点也是很明显，以神经网络为例，作 为一种黑箱的建模方法，学习速度相对较慢，泛化性能相对较差，并且模型不具有可解 释性，难以确定合适的网络结构和学习终止指标，容易造成过拟合现象，甚至可能将噪 声也拟合进来。 纯机理建模和基于数据驱动建模这两种方法的局限性引发了混合建模思想的产生， 对于存在简化机理模型的过程，可以将简化机理模型和基于数据的模型结合起来，互为 补充。简化机理模型提供的先验知识，可以为基于数据驱动的模型节省训练样本；同时 一4 一 东北大学硕士学位论文 第一章绪论 基于数据驱动的模型又能补偿简化机理模型的未建模特性。 混合建模方法在软测量中同样得到了大量的应用。实验证明，这种混合软测量方法 与纯机理模型或基于数据统计回归的软测量方法相比，居于更高精度和更好的实用性。 近些年来，随着人工智能技术的发展，又出现了一些新的建模方法，如模糊建模、 神经网络建模、支持向量机回归、混合建模等。 1 3 神经网络 人工神经元网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 技术是一种模拟人脑的行 为过程对信息进行处理的技术。神经元网络由大量的神经元细胞( n e u r o n ) 通过相互联 结组成，是对人脑的模拟、抽象和简化，反映了人脑的基本特性。人工神经元网络是建 立在计算机科学、控制论、信息科学、微电子学、心理学、认知科学、物理学、数学与 力学等多门学科的基础之上。它以数学网络拓扑为理论基础，具备了大规模并行性、高 度的容错能力以及自适应、自学习、自组织等功能，集信息加工与存储为一体，具有广 泛的应用前景。 1 3 1 神经网络的发展及研究现状 在对生物神经元性质进行深入研究的基础上，心理学家m c c u l l o c h 和数理逻辑学家 p i t t s 于1 9 4 3 年提出了第一个简化神经元模型，简称m p 模型【1 6 1 。m p 模型是神经元的一 种数理逻辑模型，可以用来实现常规的逻辑运算。5 0 年代末6 0 年代初，r o s e n b l a u 提出 神经网络的感知器模型【1 7 , 1 8 , 1 9 1 ；w i d r o w 提出自适应线性元件模型【2 0 2 1 ，2 2 , 2 4 1 ，使人们从 而获得了简单的线性分类器。但对于更复杂的高阶谓词问题，感知器并不能有效地予以 解决【1 6 j ，主要问题在于缺少有效的训练方法，即学习算法。m i n s k y 和p a p e r t 于1 9 6 9 年 发表了很有影响力的 p e r c e t r o n ) ) 一书，使神经网络研究走出低谷【2 5 2 6 】，w i d r o w 的自适 应线性元件，是为研究人脑的自适应学习系统而提出来的，这实际也是神经网络学习系 统的基本法则。但由于当时神经网络研究正处于低潮，w i d r o w 主要将这一模型理论用 于信号处理研究【2 1 ，2 2 ，2 3 1 。7 0 年代，a d e r s o n 提出的b s b 模型【2 7 2 8 2 9 1 ，k o h o n e n 提出的自 组织特征映射神经网络模型【3 0 3 1 , 3 2 , 3 3 1 ，g r o s s b e r g 等提出的自适应共振n i c t 3 4 3 5 3 6 3 7 ，3 引， 进一步揭示了神经网络系统的内在规律，丰富并完善了神经网络研究的理论墓础，同时 也引出了许多颇有挑战性的新课题。 1 9 8 2 年，美国物理学家h o p f i e l d 提出一种反馈神经网络模型【3 9 , 4 0 , 4 ，可用于联想记 忆和优化计算。h o p f i e l d 在分析该神经网络的性质时，引入了能量函数的概念，并使得 神经网络走向具体的电路实现，从而大大推动了神经网络研究的发展，再一次唤起了人 们对神经网络研究的兴趣。1 9 8 6 年，r u m e l h a r t 和m c c l e l l a n d 等提出多层前馈网络的“误 一5 一 东北大学硕士学位论文第一章绪论 差反向传播算法”，即b p 算法 4 2 , 4 3 】，使多层前向网络模式分类器走向实用化紧接着在 多层感知器网络的基础上，又派生出若干其他形式的前向网络，如：径向基函数网络、 函数链网络等【2 9 1 。进入九十年代以来，随着神经网络研究的深入，现已出现了硬件及软 件形式的神经网络计算工具。神经网络技术已在模式识别、信号处理、机器人等领域得 到广泛应用。神经网络系统理论得到广泛研究，大量神经网络计算的规律被揭示出来。 1 3 2 神经网络构成 神经网络可以看作一个黑箱式的信息处理系统，如图1 1 ，每当网络接受到外部信 息时，便输出一个经过加工处理后的结果。人可以通过修改网络连接方式和连接权值， 以使网络具有某种特殊的信息处理能力，但却不能控制网络的每一个计算步骤。 输入信息输出信息 神经网络 图1 1 神经网络结构 f i g 1 1 s t r u c t u r eo fn e u r a ln e t w o r k 在这个过程中，一个典型的神经网络模型，一般由三部分组成，即： ( 1 ) 神经元：神经网络的基本构成单位、负责信息的处理。 ( 2 ) 连接权：不同神经元通过连接权相互连接，构成神经网络，连接权负责信息的 传送。 ( 3 ) 输入与输出模型：即神经网络运算过程中的信息。 1 3 2 1 神经元 图1 2 神经兀结构 f i g 1 2s t r u c t u r eo fn e u r a lc e l l 在神经网络中，最基本的信息处理单元是神经元。到目前为止，人们己经建立了数 百种人工神经元模型m ，最常用的神经元模型仍然是最早提出的m p 模型。神经元是一 个多输入单输出的信息处理单元，神经网络就是由多个神经元加权连接而成的网络。虽 然单个神经元只能进行十分简单的信息处理，但多个神经元连接而成的网络却具有强大 的计算能力。神经网络计算表现为神经元之间的互相作用。改变神经元之间的连接方式 一6 一 东北大学硕士学位论文第一章绪论 和连接强度就可以改变神经网络的计算效果，其中，两个神经元之间的连接强度大小由 一个实数表示，该实数称为连接权值。神经元之间的连接形式和连接权值通常由神经网 络学习过程决定。因神经元类型、神经元连接方式和学习方式不同，设计形成了各种不 同的神经网络模型。 神经元是构成神经网络系统的基本单位，具备最简单的信息处理能力，其生物原型 是人脑神经细胞。图1 2 给出一个神经元模型。一个神经元有疗个输入端和一个输出端。 输入信息而，x 2 1 le * 9 毛经过神经元作用后按照作用函数f 由输出端输出信息。神经元的作 用是是将输入信息进行加权求和，与经元的阈值做差，然后将结果输入作用函数，作用 函数的计算结果即为神经元的输出。用公式表示如下： r ：s ( z w , x , - o ) ( 1 3 ) i = l 五表示神经元第f 个输入，w l 为第f 个输入对应的权值，0 为神经元的阈值，厂( ) 为 神经元的作用函数。 作用函数反映了神经元的特征，根据作用函数不同可将神经元分为多种类型。典型 的神经元作用函数有： ( 1 ) 线性函数： ( 2 ) 半线性函数： ( 3 ) 分段线性函数： ( 4 ) 硬限函数： ( 5 ) s i g m o i d 函数： 厂( 功= x 厂c x ，= 0 三主三 厂c z ，= 一r 量三；：r 。