（计算机软件与理论专业论文）基于ga进化bp神经网络的货币识别研究.pdf

摘要随着世界经济的高速发展，商业活动中越来越注重追求高效率和自动化。特别是在一些零售行业、银行业，对货币自动识别的要求已经成为新的研究热点。如何快速、有效而又低成本地对数以百万计的分布在世界各地的货币识别系统进行识别效率的提高与改善便成为业界必须面临的任务。本文在充分分析货币识别的国内外研究现状之后，针对人工神经网络和遗传算法进行了一些初步的探讨，并提出利用遗传算法( g a )来进化神经网络应用于货币识别。首先，本文分析了货币识别的应用背景和研究现状，介绍了神经网络和g a 的概念以及应用。其次，叙述了人工神经网络和g a 的基本理论，分析了神经网络和g a 结合的可行性并就两者的结合进行了较为详细的阐述。其三，利用b p 神经网络建立了货币识别的应用模型。为了使神经网络的性能达到最优，提出利用g a 算法来同时优化b p 神经网络的结构和连接权值的具体方案，并建立了基于g a 进化b p 神经网络的货币识别模型。最后，针对建立的两种模型，进行了m a t l a b 仿真，并对仿真结果进行了比较和分析。实验结果表明：g a - b p 模型使得神经网络缩短了训练时间，获得了更高的识别速度和更好的识别效果，从而，说明了基于g a 进化的b p 神经网络在货币识别中具有一定的优势。关键词b p 神经网络，g a ，货币识别a b s t r a c tw i t ht h er a p i dd e v e l o p m e n to fw o r l de c o n o m y , p e o p l ei n c r e a s i n g l yp u r s u eb e t t e re f f i c i e n c ya n da u t o m a t i o ni nc o m m e r c i a la c t i v i t i e s t h ec u r r e n c ya u t o m a t i o ni d e n t i f i c a t i o nh a sb e c o m ean e wr e s e a r c hh o t s p o t ，e s p e c i a l l yi nr e t a i la n db a n k i n gs e c t o r s t h e r e f o r e ，i ti sam a j o rt a s kt or a p i d l yi m p r o v et h ee f f i c i e n c yo fm i l l i o n so fs y s t e m sw o r l d w i d ea tl o wc o s t s a f t e ra n a l y z i n gt h ec u r r e n ts i t u a t i o nf r o mh o m ea n da b r o a d ，t h ep a p e rm a k e sp r e l i m i n a r yi n v e s t i g a t i o n sa n dd i s c u s s i o n so nt h ea r t i f i c i a ln e u r a ln e t w o r k sa n dg e n e t i ca l g o r i t h m ，a n da p p l i e sa r t i f i c i a ln e u r a ln e t w o r k sb a s e do nt h eg e n e t i ca l g o r i t h mt oc u r r e n c yi d e n t i f i c a t i o n 。f i r s t l y , t h ep a p e ra n a l y s e st h eb a c k g r o u n do ft h ec u r r e n c yi d e n t i f i c a t i o na p p l i c a t i o na n dt h es i t u a t i o no ft h ec u r r e n ts t u d y , i n t r o d u c e st h ec o n c e p ta n da p p l i c a t i o no fn e u r a ln e t w o r k sa n dg e n e t i ca l g o r i t h m s e c o n d l y , i tg i v e sa nr e c o u n to ft h eb a s i ct h e o r yo ft h ea r t i f i c i a ln e u r a ln e t w o r k sa n dg e n e t i ca l g o d t h m ，a n da n a l y z e st h ed e t a i l e df e a s i b i l i t ys t u d yo nc o m b i n i n gn e u r a ln e t w o r k sa n dg e n e t i ca l g o r i t h m t h i r d l y , t h em o d e lo ft h ec u r r e n c yi d e n t i f i c a t i o nm a k i n gu s eo fb pn e u r a ln e t w o r k si sp r o p o s e d a tt h es a m et i m e ，t h ea u t h o ru s e sac o n c r e t es c h e m eb yu s i n gg e n e t i ca l g o r i t h mt oi m p r o v eb pn e u r a ln e t w o r k ss t r u c t u r ea n dl i n k i n gv a l u e st ob u i l dt h ec u r r e n c yi d e n t i f i c a t i o nm o d e l f i n a l l y , m a t l a bs i m u l a t i o ni sm a d et oc o m p a r ea n da n a l y z er e s u l t so ft h et w ok i n d so fm o d e l s t h ee x p e r i m e n ti n d i c a t e s ：g a - b pm o d e ln e u r a ln e t w o r k sh a ss h o r t e n e dt r a i n i n gt i m ea n dg a i n e d h i g h e rs p e e da n db e t t e ro u t c o m e s ；t h e r e b y , i ts h o w st h a tb pn e u r a ln e t w o r k sb a s e do ng e n e t i ca l g o r i t h mh a v ea d v a n t a g ei nc u l t e n c yi d e n t i f i c a t i o n k e yw o r d sb pn e u r a ln e t w o r k s ，g a ，c u r r e n c yi d e n t i f i c a t i o ni i原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。作者签名：日期：苎之年月蛎关于学位论文使用授权说明本人了解中南大学有关保留、使用学位论文的规定，即；学校有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。储繇拗新虢篮吼c 盟年! 月。硕十学位论文第一章绪论1 1 引言第一章绪论神经网络是人们模仿人脑处理问题的过程中发展起来的一种新型智能信息处理理论，它通过大量的称为神经元的简单处理单元构成非线性动力学系统，对人脑的形象思维、联想记忆等进行模拟和抽象，实现与人脑相似的学习、识别、记忆等信息处理能力。神经网络在经历了4 0 多年的曲折发展之后，在信息科学领域等许多应用方面已显示出巨大潜力和广阔的应用前景。神经网络模式识别方法是近几年兴起的模式识别领域的一个新的研究方向。由于神经网络的高速并行处理、分布存贮信息等特性符合人类视觉系统的基本工作原则，具有很强的自学习性、自组织性、容错性、高度非线性、高的鲁棒性、联想记忆功能和推理意识功能等，能够实现目前基于计算理论层次上的模式识别理论所无法完成的模式信息处理工作，所以，采用神经网络进行模式识别，突破了传统模式识别技术的束缚，开辟了模式识别发展的新途径。同时，神经网络模式识别也成为神经网络最成功和最有前途的应用领域之一，如在印刷体和手写体字符识别、语音识别、车牌识别、指纹识别、人脸识别、货币识别等方面取得了巨大的成功。近年来，一种在思路和方法上别开生面的新的优化算法一遗传算法( g e n e t i ca l g o r i t h m s ，g a ) 正在迅速发展。g a 以其很强的解决问题的能力和广泛的适应性渗透到研究与工程的各个领域，取得了良好的效果。在国外，几种会议已设有g a 的专题，而且已有专门的g a 国际会议，每两年召开一次，发表了数千篇论文，对其基本的理论、方法和技巧做了充分的研究。遗传算法是在模拟达尔文的进化论和孟德尔的遗传学理论基础上，产生和发展起来的一种优化问题求解的随机优化方法。这种算法的产生归功于美国的m i c h i g a n 大学的h o l l a n d 教授在2 0 世纪6 0 年代末7 0 年代初的开创性工作，h o l l a n d 不仅设计了遗传算法的模拟与操作原理，运用统计决策理论对遗传算法的搜索机理进行了分析，还建立了著名的模式定理和隐性并行性原理，为遗传算法的发展奠定了基础。在过去的三十多年里，人们对遗传算法进行了大量的研究，从大的方面分，这些研究可分为两大类：遗传算法的应用研究和遗传算法的理论研究。由于遗传算法本身具备良好的全局搜索能力，信息处理的隐含并行性，鲁棒性，可规模化等优良特点，因此被应用于各种领域，例如：自动控制、约束优化、数据挖掘等，并渗透到其它许多学科如计算数学、交通、计算机科学、电子1 硕j ：学位论文第一章绪论学等。由上可知，遗传算法和人工神经网络都是将生物学原理应用于科学研究的仿生学理论成果。由于它们极强的解决问题的能力，近年来引起了众多的科研人员和工程人员的兴趣与参与。目前已成为学术界跨学科的热门专题之一“。尽管二者的产生都受到了自然界中信息处理方法的启发，但来源并不相同，g a 是从自然界生物进化机制获得启示的，而a n n 则是人脑或动物神经网络若干基本特性的抽象和模拟。因此，它们在信息处理时间上存在较大差异。通常，神经系统的变化只需极其短暂的时间，而生物的进化却需以世代的尺度来衡量。，近年来，已有越来越多的研究人员尝试着g a 与a n n 相结合的研究，希望通过结合充分利用两者的长处，寻找出一种有效的解决问题的方法，同时，也借助这种结合使得人们更好地理解学习与进化的相互作用关系，有关这一主题已成为人工生命领域中十分活跃的课题“1 。本文试图在货币识别这一特定的的领域，对人工神经网络和遗传算法进行了一些初步的探讨，并利用遗传算法来进化神经网络应用于货币识别，以提高识别效率，达到较好的识别结果。1 2 货币识别的应用背景随着世界经济的高速发展，商业活动中越来越注重追求高效率和自动化。特别是在一些零售行业、银行业，对货币自动识别的要求已经成为新的研究热点。在各大银行系统中，纸币清分技术是一项重要的业务，它实现了纸币的检伪和分检功能。目前，纸币清分机的市场需求量正在逐年上升，针对其核心技术一纸币识别算法也有不少的研究和应用，以提高纸币识别的快速性和准确性，同时，因为纸币的种类和情况多样，要求其识别算法不断的更新。自上个世纪7 0 年代以来，国际上一个新兴产业一自助服务行业得到迅速发展。自助服务行业主要是通过自助服务设备向消费者提供服务。随着经济的发展，自助服务的设备越来越多，主要有自动售票机、自动售货机、自动收费系统、自动存款机、货硬币兑换机、外币兑换机、自动充值机、自动售卡机等。自助服务系统可广泛应用于交通、金融、邮电、娱乐、商业以及社会服务等各个领域，向客户提供各种自助服务，通过这些自助服务设备，消费者不需要别人的帮助，只要按照一定的步骤，以现金、磁卡、i c 卡等方式付款自主获取所需服务，如购买商品、缴电话费、提款和存款等。据统计，日本仅自动售货机就有5 5 0 多万台，美国则多达7 0 0 多万台，在韩国，服役的自动售货机也达8 0 万台，欧洲有5 0 0多万台，国内最近几年自动售货机的年增长量均在1 0 0 以上。这些自助服务设备都用到了货币识别接收器这一核心部件。货币识别接收器的应用领域和分布的2 硕士学位论文第一章绪论地域将会越来越广泛。同时，因为各个国家的货币本身处于不断的更新换代之中，货币造假技术也处于不断升级与完善之中。鉴于识别现金这一特殊背景，货币识别器中的识别系统注定处于不断的升级换代之中。迄今为止，全球没有哪一家货币识别器制造商能够承诺其产品不会接受任何假币，制造商唯一能够做到的就是对其识别系统进行升级，以保证不接收当前市场上流通的己知假币，并最大限度地拒绝可能出现的新假币。因此，如何快速、有效而又低成本地对数以百万计的分布在世界各地的货币识别系统进行识别效率的提高与改善便成为业界必须面临的任务。1 3 货币识别的研究现状传统的货币识别技术是通过货币的各种规格的差别来开发研制识别方法的，这种方法是基于试错法，即通过人工寻找货币的特征，找出不同货币的差异，完成特征提取，该方法由于涉及主观查找的因素，缺乏系统性，实验周期长，而且，对于新面额的引入( 如新版5 0 元) ，需要人工寻找特征，带来很多的重复劳动。另外，货币的票面情况复杂( 长期流通过程中会不可避免受到磨损、污染和缺损等) 。因此，识别结果并不理想。由于神经网络具有自组织、并行处理和推广能力等特性，所以适用于图象识别过程中。尤其在图象特征提取的周期和识别能力方面都远优于传统的识别方法。在国外，以日本为首的国家着手研究货币识别的时间比较早，而且已经成功应用于日元、美元、欧元和泰币的识别，由此，各种识别算法和技术不断产生。如：差别不等式技术”1 和神经网络技术。删。其中，差别不等式技术需要包含每一张纸币的特征差别点和阈值，这些都需要专家根据经验人为的选择。神经网络模式识别方法是近几年兴起的模式识别领域的一个新的研究方向。由于神经网络的并行处理能力、自组织性和广义性，所以被广泛应用在系统研究的各个方面。文献 8 ， 1 4 对纸币的傅立叶能量谱直接作为神经网络的输入规模十分庞大，训练、识别花费的时间较长，不能满足设备实时性的要求，而且具体算法的实现过程也比较困难。为了解决此问题，f t a k e d a 和s m a t u 又提出了采用随机掩膜来提取纸币特征“”，然后送入神经网络进行识别的方法，大大减少了网络的规模，取得了较好的识别效果。同时，f t a k e d a 和s o m a t u 又利用遗传算法来优化掩膜，并应用到了美元的识别“”。y m i t s u k u r a 和m f u k u m i 等提出采用遗传算法和模拟退火方法来设计神经网络用于硬币识别“”，此方法主要从减少问题的复杂性、降低成本、简化硬件出发，采用遗传和模拟退火构建小型神经网络实现识别。国内而言，着手研究货币识别的时间较晚，处于初始阶段，其相应开发出来的产品也较少。不过，这几年以来，有关这方面的研究论文也不断增多，不少的3 硕士学位论文第一章绪论公司和企业在做这方面的开发和应用，成果日益增多。刘家锋、刘松波等人提出了一种实时人民币识别方法“”，该方法提取纸币图象的方向块特征，将人民币的长度和宽度作为识别特征，采用了改进的k o h o n e n 网络设计了识别分类器。实验结果表明，提出的方法取得了较高的识别率，并且满足了实时性的要求。谢凯、郝建新等人提出了一种基于货币特征的神经网络模式识别算法“”，该方法利用传感器获取能表示货币时域模型特性的1 1 个参数作为特征值来建立货币的模板，并且提出了一种基于模糊熵和误差平方和准则的多准则学习方法，以更好地模拟人脑的自适应学习功能，实验结果表明该算法具有较强的自组织和自学习能力。殷泽兴、钱浙滨等人提出了一种基于数学形态学和神经元网络的货币识别方法”，该方法基于g r a n u l o m e t r i e s 定义的基础，运用“开”运算得到纹理的模式谱，并以此作为纹理的特征向量，通过双隐层的人工神经网络分类器进彳亍分类，达到识别的目的。实验结果表明，识别的正确率达到了9 3 以上，对于那些不是人民币的图象判断也取得了令人满意的效果。杨相珀、满庆丰等人提出一种钞币面值和真伪的快速识别算法。”，该算法采用了对传感器采集来的信号进行模板匹配的方法，应用到了嵌入式系统当总，结果表明具有快速、准确、有效等优点。张颖、陈雪波等人选取预处理后的纸币图象的尺寸特征，用模糊逻辑推理方法识别图象的面值，提取矩作为特征，采用三层b p 神经网络来识别纸币的正反面和正反向，并通过实验证明了此人民币纸币识别系统的有效性和可行性o “。1 4 本文工作与论文组织本文以人工神经网络和遗传算法的基本理论为基础，研究了用遗传算法优化神经网络用于货币识别的应用问题。b p 神经网络算法是神经网络众多算法中应用最为广泛的一种。由于它可以实现输入和输出的任意非线性映射，这使得它在非线性建摸、函数逼近、模式识别、数据压缩等领域有广泛的应用。它在语音识别、科学预报和预测等方面都取得了良好的识别效果。由此，本文采用了它来建立货币识别的模型。文中对于用b p神经网络进行货币识别，分别从训练样本的获取、网络结构的设计、初始权值的选取、训练参数的设定等方面进行了探讨。其中，训练样本获取的一个至关重要的环节特征提取过程，采用了主成分分析方法( p c a ) ，提取出原始货币数据中的主要特征( 主元) ，减少数据冗余，使得数据在一个低维的特征空间被处理，同时保持原始数据的绝大部分信息，同时也使b p 的网络结构简化，提高识别效率。但是，在实际的应用中，b p 神经网络也暴露出一些自身的弱点，如收敛速度慢，对于较大的对于较大的搜索空间、多峰值和不可微函数，网络极易陷入局部4 硕士学位论文第一章绪论极值点；另外神经网络的初始权值，阀值以及网络结构的选择缺乏依据，具有很大的随机性，很难选取出具有全局性的初始点，因而求得全局最优的可能性较小，这些都影响了b p 神经网络的泛化能力，限制了货币识别中的进一步广泛应用。而对于遗传算法来说，它是模拟达尔文的遗传选择和自然淘汰的生物进化过程的全局性概率搜索算法，具有自适应性，全局优化性和隐含并行性，体现出很强的解决问题的能力。因此，针对b p 神经网络在货币识别应用中的这些弱点，本文提出利用遗传算法( g a ) 优化三层b p 神经网络的初始连接权值、阀值和网络结构，建立了基于遗传算法的b p 神经网络模型，使得g a 在进化过程中能以较大概率搜索到全局最优解存在的区域，从而，使得b p 神经网络缩短了训练时间，获得了更高的识别速度和更好的识别效果，表明了基于遗传算法的神经网络在货币识别中的优势。第一章是绪论。首先，简要地介绍了神经网络和遗传算法的概念以及应用，并就两者的结合进行了说明，提出试图利用遗传算法来进化神经网络应用于货币识别，以提高识别效率，达到较好的识别结果。然后，概述了货币识别的应用背景和研究现状。最后，指出了本文的主要工作和论文组织结构。第二章叙述了人工神经网络和遗传算法理论。首先，给出了b p 三层网络的结构，并从训练样本的获取、网络结构的设计、初始权值的选取、训练参数的设定等方面进行了探讨。然后，对遗传算法的理论基础进行了分析，重点说明了遗传算法的设计，从编码、初始种群、适应度函数、遗传算予、控制参数五个方面进行较详细的介绍。最后，就两者的结合进行了较为详细的阐述，为了克服b p算法的缺陷，提出了采用g a 优化神经网络的结构和权值的思想。第三章介绍了遗传进化神经网络的货币识别建模。首先，建立了基于b p 神经网络的货币识别模型。然后，为了使神经网络的性能达到最优，提出利用g a算法来同时优化神经网络的结构和连接权值的具体方案，并建立了基于遗传一神经网络的货币识别模型。第四章介绍了基于遗传算法的神经网络货币识别仿真。采用了p c a 方法提取货币特征数据，利用m a t l a b 进行b p 网络的货币识别仿真以及用g a 优化b p网络结构和权值进行货币识别的仿真，并对仿真结果进行了比较和分析。第五章是结论与展望。总结了本文的工作，并提出了加以改进的方向和进一步的研究工作。5 硕i 二学位论文第二章人_ 丁神经网络和遗传算法理论第二章人工神经网络和遗传算法理论2 1 人工神经网络概述神经网络的研究大约始于本世纪4 0 年代，而从8 0 年代中后期开始，掀起一股热潮。特别是在美国、日本等发达国家中，研究取得了很大的进展，成立了国际神经网络学会( i n t e r n a t i o n a ln e u r a ln e t w o r ks o c i e t y ，简称i n n s ) ，创办了神经网络刊物，定期发表最新的研究成果。神经网络这个名词，开始属于神经生物学、神经解剖学的范畴，指的是生物神经网络( b i o l o g i c a ln e u r a ln e t w o r k ) 。在信息计算机科学领域内，指的是模仿生物神经网络而构成的人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 。本文提到的神经网络主要指的是后者。神经网络的研究，源于人们对传统的冯诺依曼体系所存在的缺点和不足的认识。冯诺依曼体系是一种顺序处理结构，存在一些自身固有的缺点：首先，运行必须按事先设计好的一套精确的串行算法来进行，但对很多实际问题来说，很难找到( 或不存在) 这样的串行算法：其次，串行结构在本质上限制了运算速度，不能实时处理，而且容错性较差，很小的局部损失或考虑不全便会影响整个系统的工作性能。1 。基于这些不足，迫切需要研制和设计出具有新的计算原理的方法，以人脑为模型的神经网络学的研究就是解决这一问题的新的方法。神经网络具有的一个重要性质，即在有教师或无教师的情况下能够从输入数据中进行学习的能力这使得它在不同的领域中得到广泛的应用，如智能控制、模式识别、计算机视觉、优化计算、知识处理、生物医学工程等。迄今为止的神经网络的研究，大体上可分为三个方向：( 1 ) 探求人脑神经系统的生物结构和机制，运用实际上是神经网络的初衷；( 2 ) 用微电子或光学器件形成特殊功能网络，这主要是新一代计算机制造领域所关注的问题；( 3 ) 将神经网络理论作为一种解决某些在利用传统方法时无法解决，或者在具体处理技术上尚存在困难的手段或方法。2 2 神经网络的基本原理2 2 1 神经元模型神经网络中最基本的处理单元是神经元，大量神经元的并行工作造就了生物6 硕士学位论文第二章人工神经网络和遗传算法理论神经系统惊人的识别能力。对生物神经系统的模拟首先就是对神经元的模拟。通过对神经元细胞的研究，人们得出一系列的数学特性并提出一些基本的假设：神经元是一个多输入，多输出的系统。输入端有兴奋和抑制两种状态。神经元有阈值特性，输出服从“全或无”定律，即当所有输入的总和超过闽值时，才发入输出。输入、输出之间有时滞。神经元具有时间总和、空间总和与不应期等特性。神经元是非时变的。有了以上的这些特性和假设，人们利用数学语言，可以近似地描述出神经元的结构特征，从而为神经元的人工模拟打下基础。下图2 1 所给出的是个具有代表性的神经元基本模型，它有五个基本要素嘲1 ：斟x lw 苴l迨x 2w x t 2堕岖 x 3w k ”jx p蜘= 一激活函数输出图2 - 1 基本神经元模型图a 输入信号：是神经元的p 维输入，可以用一个n 维的列向量来表示：x = i x 。，x 2 ，一，x 。 7公式( 2 - 1 )b 网络权值和阈值：w ： w x 。，w k 。，w 。 是神经元的权值，即输入与神经元之间的连接强度，权值为正表示激活，为负表示抑制；0 是神经元的阈值，当输入信号加权和超过0 时，则神经元被激活。c 求和单元：用与求取个输入信号的加权和( 线性组合) ，即：n e t 一喜x ；砜+ 一公式( 2 - 2 )d 非线性激活函数：它是神经元输入和输出之间的变换函数，起到一个非线性映射的作用，并将神经元输出幅度限制在一定范围内( 一般限制在( 0 ，1 ) 或( - 1 ，+ 1 ) 之问) 。在神经元获得网络输入信号，经过激活函数就可以得到网络输出信号。常见的激活函数畎) 有以下几种：( 1 ) 阈值型函数( 阶梯函数) ，输入和输出之间的关系为：7 硕十学位论文第二章人工神经网络和遗传算法理论m 州套x ；wk , + 6 ) = ：n 删e tz 。0 。公式浯s )( 2 ) 线性型函数，它是对神经元的输入信号进行适当的放大，输入和输出之间的关系为：币( n e t ) = k * n e t + c公式( 2 - 4 )它类似于一个放大系数为l 的非线性放大器，当工作于线性区域时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。( 3 ) s 型( s i g m o i d ) 函数，它的应用是比较广泛。由于它具有非线性和处处连续可导性，并且更重要的是它具有对信号较好的增益控制，这为防止网络饱和提供了良好的支持。函数输入和输出之间的关系为：i ：p ( 1 l e t ) 。南或畎n c t ) 。曩嚣羞高公式( 2 - 5 )e 输出信号：输入信号经神经元加权求和及传递( 激活) 函数作用后，最后得到终端的输出。表示为：y = 叩( n e t )公式( 2 - 6 )2 2 2 神经网络结构及工作方式通常所说的神经网络结构，主要指它的连接方式。从拓扑结构上考虑，神经网络属于以神经元为节点，以节点间的有向连接为边的一种图。其结构大体上可分为层状和网状两大类：层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，下相邻层中的神经元为单向连接，同层内的神经元不能连接；在网状结构的神经网络中，任何两个神经元之间都可能双向连接。一般常见的神经网络有如下几种网络结构：( 1 ) 前向网络( 前馈网络) 。前向网络通常包括许多层，其特点是只有前后相邻两层之间的神经元存在相互连接，各神经元之间没有反馈。每个神经元可以从前一层接收多个输入，并只有一个输入送给下一层的各神经元。三层前向网络( 如图2 2 所示) 分为输入层、隐含层和输出层。在i 向网络中有计算功能的节点称为计算单元，而输入节点无计算功能。( 2 ) 反馈网络。反馈网络从输入层到输出层有反馈，即每个节点同时接收外来输入和来自其它节点的反馈输入，其中也包括神经元输出信号引回到本身输入构成的自环反馈。这种反馈网络的每个节点都是一个计算单元，可以画成一个无向图，如下图2 3 所示，其中每个连接弧都是双向的。8 硕上学位论文第二章人工神绎网络和遗传算法理论输入结点引( 计算单元)输入层隐含层输出层图2 2 前馈网络卜卜输入层隐含层输出层图2 - 3 反馈网络( 3 ) 相互结合型网络。这种网络在任意两个神经元之间都可能有连接，属于网状结构，构成网络的每个神经元都可能相互双向联接，所有的神经元既作输入，同时也用于输出。h o p f i e l d 网络和b o l t z m a n 机均属于这种类型。在无反馈的前向网络中，信号一旦通过某个神经元，该神经元的处理过程就结束了。而在相互结合网络中，信号要在神经元之间反复传递，网络处于一种不断改变状态的动态之中。从某初试状态开始，经过若干次的变化，才会达到某种平衡状态。根据网络的结构和神经元的特性，网络的运行还有可能进入周期振荡或其它如混沌等平衡状态啪1 。其模型如下图2 - 4 所示：图2 - 4 相互结合型网络( 4 ) 混合型网络。前向网络和相互结合型网络分别是典型的层次结构网络和网状结构网络，介于二者之间的一种联接方式，如下图2 5 所示。在前向网络的同一层间有神经元互联的结构，称为混合型网络。这种在同一层内的互联，目9 硕l 学位论文第二章人工神经网络和遗传算法理论的是为了限制同一层内，同时兴奋或抑制的神经元数目，以完成特定的功能。输入结点卜输入层隐含层输出层图2 - 5 混合型网络神经网络的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二个阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存贮器；第二类只利用全局极小点，它主要用于求解最优化问题。2 ，2 3 神经网络的学习对于神经网络具有首要意义的性质是网络能从环境中学习的能力，并通过学习改善其行为【”，改进自身性能，从而，获取知识。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数( 如权值)随时问逐步达到的。而如何调整连接权值就构成了不同的学习规则。学习规则就是修改神经网络的权值和偏置值的方法和过程( t k 称这种过程是训练算法) ，其目的是为了训练网络来完成某些工作。现在有很多类型的神经网络学习规则，如h e b b 学习规则、d e l t a 学习规则、w d i r o w 一 o f f 学习规则等。那么，按环境所提供信息的多少，大致可以将其分为以下三大类。( 1 ) 监督学习( 有教师学习) ：需要外界存在一个“教师”，它可对一组给定输入提供应有的输出结果( 正确答案) 。这组已知的输入输出数据称为训练样本集。学习系统( n n ) 可根据已知输出与实际输出之间的差值( 误差信号) 来调节系统参数( 如下图2 - 6 所示) 。( 2 ) 非监督学习( 无教师学习) ：不存在外部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某种固有特征，其模型如下图2 7 所示。( 3 ) 再励学习( 或强化学习) ：介于上述两种情况之间，外部环境对系统输】0 硕士学位论文第一二章人工神经网络和遗传算法理论出结果只给出评价( 奖或惩) 而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能，模型如下图2 - 8 所示。误差信号图2 - 6 监督学习( 有教师学习)图2 - 7 非监督学习( 无教师学习)2 3b p 神经网络图2 - 8 再励学习( 或强化学习)有应b p 神经网络( b a c k p r o p a g a t i o nn e u t r a ln e t w o r k ) 通常是指基于误差反向传播算法( b p 算法) 的多层前向神经网络，采用有教师学习的训练方式。它是由d e r u m e l h a r t 和j l m c c e l l a n d 及其研究小组在1 9 8 6 年研究并设计出来的。b p算法已成为目前应用最为广泛的神经网络学习算法，绝大部分的神经网络模型是采用b p 算法或它的变化形式，它也是前向神经网络的核心部分，体现了神经网络最精华的部分。由于它可以实现输入和输出的任意非线性映射，这使得它在诸如函数逼近、模式识别、数据压缩等领域有广泛的应用。b p 算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出( 教师信号) 不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是1 1 硕 学位论文第二章人工种绛网络和遗传算法理论周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。2 3 1b p 神经网络的结构和算法推导( 1 ) 网络结构b p 网络是一种层状结构的前馈神经网络，网络分为输入层( i n p u tl a y e r ) 、隐蔽层( h i d d e nl a y e r ) 、输出层( o u t p u tl a y e r ) ，其中隐蔽层可由一层或多层的隐层节点组成，网络除输入层节点外，有一层或多层的隐层节点，同层节点中没有任何关系。输入信号从输入节点，依次传过各隐层节点，然后传到输出节点，每一层节点的输出只影响下一层节点的输出。隐层和输出层上的每个神经元都对应于一个激发函数和一个阀值，每一层上的神经元都通过权重与其相邻层上的神经元互相连接。对于输入层上的神经元其阀值为零，其输出等于输入。在多层前馈网的应用中，以下图2 - 9 所示的单隐层网络的应用最为普遍。输入层隐含层输出层图2 - 9 单隐层b p 网络( 2 ) 算法推导设b p 网络的输入层有m 个神经元，输出层有n 个神经元，中闯层有p 个神经元，网络的训练样本有n 对，则网络的设置如下：输入样本向量：a 。= ( x ，x 。，x )期望输出向量：y 。= ( y ，y ：，y 。)aa网络的实际输出向量：ys = ( y ，yz ，y 。)网络中间各层的加权输入：s 。= ( s ，s ：，s 。)网络中间各层的输出：氏= ( b 。，b 。，b 。)输出层各层的加权输入：l 。= ( 1 ，1 。，1 。)输入层至中间层的连接权：w 。中间层至输出层的连接权：v 。1 2 硕士学位论文第二章人丁神经网络和遗传算法理论中间层各单元的阀值：口，输出层各单元的阀值：r 。其中：i = l ，2 ，m ：2 ，nk = l ，激活函数采用s i 衄g 。d 型函数：，。) 一i 1，其导数为：f ( x ) = f ( x ) 1 一f ( x ) 公式( 2 - 7 )输入输出变量之间的关系：c s - ，s 。，s - ，= c x - ，x 。，x - ，爿c ( ：兰吲咖棚叼凇蚍删即为s j 2 ( 唧x ；) + 日jbj _ f ( sj )j 2 1 ，2 ，p ：c ，- ，。，n ，= c e - ，n z ，b ，+ ：! ：! ；： + c r ”r ：，r n ，圣，型cc z 一9 ，即为l 。=。；。= f ( 1 ，)t = 1 ，2 ，n ：f ：晟一丢骞 斯网络全局误差：e 。v e t矧输出单元的效正误差：一鲁景等妒新纠忍，n 进一步由式( 2 7 ) ，可得：公式( 2 - 1 0 )公式( 2 - 1 1 )d ，iyr ( 1 一y ，) ( y ，一yr )中间各层单元的效正误差：一一等- 一等b 等s 叫凳。等酱b ，等矧z 啦，。as iaiaij 色1a l lai as i1 3 旦望兰型塑婪l 一一箜三兰三塑丝堕垫塑望生竺鲨型堡由式( 2 7 ) 和式( 2 9 ) ，进一步可得：印i ( 薹d r 即) 功( 1 一幻) 一6 ，( 1 一所) 。薹；，( 1 一；，) ( ) ，r 一；，) 坳j 2 1 ，2 ，p ：由于网络全局误差e 是定义在整个训练样本集上，要实现全局误差函数e 在曲面上按梯度下降，需要求e 对输出层和隐层的连接权和阀值的负梯度：一羔一荟n ( - a ek)iw一一；一ai j钽1 、d wi i一而o e 一鬟，( 一而a ek 0 )a 口，钽1 、a，7一岳一薹，卜o t rl，)vap钽1 、dv f一石oe 薹，工告，公式( 2 - 1 3 )公式( 2 一1 4 )公式( 2 - 1 5 )公式( 2 - 1 6 )按梯度下降原则即连接权翼阀值的变化正皆与负梯度) ，故而有：蛳嚣一卵考杀一a 考。等巷奶公舶，蛳。叩筹。叩等詈老一邓c 骞警，面o f , 等老卜触公式c z 砌，? 口豢一口拳。等等害o l ，豢o r ，公舭川，a rra ；a r ，一d ；，一r 7的一a 鲁0 一a ，等o b 等o s 等0 咄，矧z 喇，a ，a ，”。“、。6 ”7其中o a 10 芦 1i = l ，2 ，m ；t = l ，2 ，n ：j = l ，2 ，p ：故而可得经过调整后的网络连接权值和阀值如下：w u ( 上+ 1 ) 一w 口( 工) + a w q公式( 2 2 1 )p ( + 1 ) - v p ( l ) + v “公式( 2 - 2 2 )0 ，( 工+ 1 ) 一口j ( l ) + a0 玎公式( 2 2 3 )，( 三+ 1 ) = ，( 三) + a ，公式( 2 2 4 )一1 4 硕士学位论文第二章人工神经网络和遗传算法理论其中，l 表示训练次数。根据上面的算法分析，可以得到b p 神经网络的整个训练过程如下：1 初始化，给连接权岫，坳和阀值日，i t 随机赋值。2 输入训练样本( a 1 ，y 。) 。3 利用输入氐、连接权聊和阀值疗，计算中间层各神经元的输出：6 j - ，( s ，) ，其中s 1 一罗w 傅j + 0 ，j = l ，2 ，p ：公式( 2 2 5 )一4 利用历，连接权坳和阀值，f 计算输出层各神经元的输出：；，- ，( f ，) 其中z 一- 凳，v ，r 6 ，+ ，t 2 1 ，2 ，n ：公式( 2 2 6 )5 利用1 4 ，网络实际输出l ，t ，计算输出层各单元的校正误差：d ，- yr ( 1 一y ，) ( y ，一y ，) t = l ，2 ，r l ；公式( 2 - 2 7 )6 利用v j r 、西、y ，计算隐层各单元的校正误差：。哳( 1 捌耖( 1 - 趴弘一镛坳j ：l ，2 ，p 公式( 2 - 2 8 )7 利用西、纫、坳和i t 计算隐层到输出层之间的新连接权：坳 + 1 ) 一v j r ) + a d , b i公式( 2 2 9 )i t ( 工+ 1 ) ；r f ( 三) + a d ,公式( 2 3 0 )8 利用e 、船、m 和口计算输入层到隐层之间的新连接权：w 口 + 1 ) ；w i j 仁) + f l e n i公式( 2 3 1 )口，( + 1 ) 一o j ( 上) + 白公式( 2 3 2 )9 选取第2 组训练样本，重复3 - 8 的计算过程，直到全部n 个样本训练完成。1 0 开始进行第2 次训练，从第1 个样本开始，重复3 8 过程，直到网络全局误差函数e 小于预先设定的值( 网络误差) 或训练次数达到预先设定的值，整个训练过程结束。下图2 1 0 为b p 神经网络的训练流程。在训练的过程中，b p 网络的连接权值和阀值被逐步调整，在训练之后，网络从输入样本中获得了信息并存贮在连接权】5 硕 ：学位论文第二章人t 神绎网络和遗传算法理论值和阀值中，根据这些参数和实际资料输入，就可以得到所需要的输出值。2 3 2b p 神经网络的主要缺点b p 算法作为指导多层感知器训练的最流行的算法而出现。基本上，它是一个梯度( 导数) 的技术而不是一个最优化技术。b p 具有两个明显的性质1 2 9 】：( 1 ) 局部计算简单。( 2 ) 它实现权值空自j 的随机梯度下降( 对于突触权值更新按一个模型接一个模型的方式) 。多层感知器背景下的反向传播学习的这两个属性导致它的如下缺点：( 1 ) b p 网络建模过程中，出现“过拟合”现象。在神经网络的应用过程中，由于被逼近样本的性质不能精确知道，因此即使在网络误差为零的条件下，也未必能保证达到要求。往往会出现非常小，而却无法满足要求。这就是所谓的“过拟合”现象，“过拟合”现象直接影响网络的泛化能力，使得网络最终失去实用价值。在这种情况下，可以适当地增加隐层数，从而，降低网络误差，提高精度，但也使网络复杂化，增加了网络的训练时间和出现“过拟合”的倾向。( 2 ) 网络的初始权值的选择缺乏依据，有很大的随机性。神经网络连接权值的整体分稚包含着神经网络系统的全部知识，传统的权值获取方法都是随机给定一组初始的权值，然后是采用某个确定的变化规则，在训练中逐步调整，最终得到一个较好权值分布。由于b p 算法是基于梯度下降方法，实际上就是一个梯度( 导数) 的技术而不是一个最优化技术。因此，不同的初始权值可能会导致完全不同的结果。一旦取值不当，就会引起网络振荡或不收敛，即使收敛也会导致训练时间增长，再加之实际问题往往是极其复杂的多维曲面，存在多个局部极值点，使得b p 算法极易陷入局部极值点。这些导致b p 神经网络训练时问过长而最终得不到适当的权值分布，从而影响网络的泛化能力。( 3 ) b p 神经网络算法收敛慢。即使一个相当简单的问题求解，其训练次数也要几百或几千次迭代。而且网络对各种参数( 包括初始权值、学习速率、动量参数) 极为敏感，稍小的变动就会引起拟合和泛化能力的振荡，在反复实验中确定各种参数，这样的过度训练会提高网络的拟合能力，同时也拟合了训练数据中的噪声和训练样本中没有代表行的特征，最终导致过拟合现象，从而影响网络的泛化能力。1 6 硕士学位论文第二章人工神经网络和遗传算法理论图2 一1 0 凹神经网络的训练流程- 1 7 碗士学位论文第二章人工神经同络和遗传算法理论2 4 遗传算法遗传算法是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，它借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的方法，它能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最优解。遗传算法操作使用适者生存的原则，在潜在的解决方案种群中逐次产生一个近似最优的方案。在遗传算法的每一代中，根据个体在问题域中的适应度值和从自然遗传学中借鉴来的再造方法进行个体选择，产生个新的近似解。这个过程导致种群中个体的进化，得到的新个体比原个体更能适应环境，就象自然界中的改造一样【卿。2 4 1 遗传算法的理论基础遗传算法有效性的理论依据为模式定理和积木块假设。模式定理保证了较优的模式(