硕士论文-基于改进遗传神经网络的图书采购系统研究.pdf

江苏大学 硕士学位论文 基于改进遗传神经网络的图书采购系统研究 姓名：尹纪军 申请学位级别：硕士 专业：计算机应用技术 指导教师：施化吉 20070601 江苏大学硕士学位论文 摘要 随着科学技术的快速发展和人类知识的不断更新，人类对科技文化生活的需 求急剧增加。各图书馆为了满足人类日益增长的科技文化需要，继承、传播民族 优秀文化和交流借鉴世界先进文化，就要不断地进行图书采购，为图书馆的藏书 建设补充新的血液。 然而，传统人工采购方法存在诸多缺陷，不能满足当前图书采购工作的需要， 因而迫切需要使用一种高效、科学的工具进行该项工作。自然，作为现代工具的 计算机系统被引入到图书采购工作中，籍以提高图书采购工作的质量和效率。 本文结合遗传算法和神经网络人工智能技术，提出了一个智能图书采购方案， 并以此为依据建立了相应的原型系统。 本文的主要研究工作如下： 1 对现有的图书采购方法进行了介绍与研究，针对传统图书采购方法存在 的缺陷与不足，探讨了图书采购智能处理的可行性，为本文的进一步研究提供了 思路。 【2 针对传统神经网络训练算法具有收敛速度慢、易陷入局部最小点等不足， 在分析了已有的神经网络训练常见改进方法的基础上，对一种较好的全局寻优算 法遗传算法进行了研究，并对其做了改进，提出了带有影响因子的遗传算法。 该算法可用于优化神经网络，在优化的过程中动态地调整神经网络的权阈值及结 构，使网络快速收敛到最优点，最终得到一个具有较好泛化能力知识的神经网络。 3 分析并研究了将神经网络用于智能图书采购的方法，并以此为基础，针 对图书采购行为的特征，设计了一个基于改进遗传神经网络的智能图书采购系统 模型。该系统模型的基本思想是：通过改进遗传算法优化神经网络权阙值和结构 并加以训练以获取网络推理所需的知识，然后利用训练好的神经网络进行图书采 购的分类判断工作。 4 在上述分析和研究的基础上，开发了一种智能图书采购工具，即基于改 进遗传神经网络的图书采购原型系统。 关键词：图书采购，神经网络，遗传算法，影响因子，优化 江苏大学硕士学位论文 W i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y t h en d so fh u m a nb e i n gt o s c i e n c ea n dt e c h n o l o g yc u l t u r a ll i f ei n c r e a s er a p i d l y T h en e e d so fh u m a nb e i n gf o rt h e l i f eo fs c i e n c ea n dt e c h n o l o g yc u l t u r el i f ei n c r e a s er a p i d l y E v e r yf i b r a r yi se x p e c t e dt O p u r c h a s eb o o k sc o n s t a n t l yi no r d e rt Os a t i s f yh u m a nn e e d s s p r e a dn a t i o n a le x c e l l e n t c u l t u r ea n du s ew o r l da d v a n c e dc u l t u r ef o rr e f e r e n c e H o w e v e r ，t h e r ea r em a n yd i s a d v a n t a g e si nt h et r a d i t i o n a lb o o kp u r c h a s e sm e t h o d s ， s oi ti se s s e n t i a la n du r g e n tt Od e v e l o pa l li n t e l l i g e n tb o o kp u r c h a s e sm e t h o dt Oi m p r o v e t h eq u a l i t ya n de f f i c i e n c yo ft h eb o o kp u r c h a s e s A sam o d e mt o o l ，t h ec o m p u t e ri s u n d o u b t e d l ye m p l o y e di nt h i sp r o c e s s I nt h i sd i s s e r t a t i o n , a ni n t e l l i g e n tb o o kp u r c h a s e ss c h e m ew h i c hc o m b i n e st h e g e n e t i ca l g o r i t h mw i t hn e u r a ln e t w o r ki sp u tf o r w a r da n dt h ec o r r e s p o n d i n gp r o t o t y p e s y s t e mi sa l s ob u n t T h ew o r kd o n ei nt h i sd i s s e r t a t i o ni n c l u d e s ： I I 】T h ee x i s t i n gb o o kp u r c h a s e sm e t h o d sa i n t r o d u c e da n ds t u d i e d A i m i n gt h e d i s a d v a n t a g e si nt h ep r o c e s so ft r a d i t i o n a lb o o kp u r c h a s e s ，w eh a v ed i s c u s s e dt h e f e a s i b i l i t ya b o u tb o o kp u r c h a s e si n t e f i i g e n c e ，w h i c he n l i g h t e n st h ef u r t h e rr e s e a r c h e so f t h ep a p e r 【2 】2A i m i n g t h ed i s a d v a n t a g eo ft r a d i t i o n a ln e u r a ln e t w o r k t m i n i n ga l g o r i t h m s ，s l o w c o n v e r g e n c es p e e da n de a s yt Of a l li n t ol o c a ll e a s ts p o t , w eh a v ea n a l y z e dt h ec o m m o n i m p r o v e dm e t h o d so f n e u r a ln e t w o r kt r a i n i n g O nt h eb a s e so fs t u d y i n ga n di m p r o v i n g t 0g e n e t i ca l g o r i t h m w ep u tf o r w a r dg e n e t i ca l g o r i t h mw i t he f f e c tf a c t o r ( E F G A ) w h i c h c a nb eu s e dt oo p t i m i z en e u r a ln e t w o r k I nt h ep r o c e s s i n go fo p t i m i z i n gn e u r a ln e t w o r k w i t hE F G A , t h ew e i g h s 。t h r e s h o l d sa n ds t r u c t u r eo fn e u r a ln e t w o r k 伽b ea d j u s t e d d y n a m i c a l l yS Ot h en e u r a ln e t w o r kc a nc o n v e r g e 幻o p t i m a ls p o tr a p i d l y A tl a s t , a n e u r a ln e t w o r kw i t hb e t t e rg e n e r a l i z a t i o na b i l i t yc 缸b eo b t a i n e d 【3 】A i m i n ga tt h ed i s a d v a n t a g e so ft r a d i t i o n a lb o o kp u r c h a s e sm e t h o d , t h ep a p e r d e m o n s t r a t e st h ef e a s i b i l i t yo fa p p l y i n gt h en e u r a ln e t w o r kt ot h eb o o kp u r c h a s e s S u b s e q u e n t i y , ab o o kp u r c h a s e ss y s t e mm o d e lb a s e do ni m p r o v e dg e n e t i ca l g o r i t h ma n d n e u r a ln e t w o r ki sd e s i g n e da c c o r d i n gt Ot h ec h a r a c t e r i s t i co fb o o kp u r c h a s e s T h eb a s i c i d e ao ft h i ss y s t e mm o d e li st r a i n i n go fn e u r a ln e t w o r kw i t ht h ei m p r o v e dg e n e t i c a l g o r i t h mt Oo b t a i nt h ek n o w l e d g en e e d e db yt h es y s t e ma n du s i n gt h et r a i n e dn e u r a l n e t w o r kt Of i n i s ht h eb o o k p u r c h a s e sr e a s o n i n gw o r ko ft h es y s t e m 【4 】A tl a s t , a ni n t e l l i g e n tb o o kp u r c h a s e st o o l - - - t h eb o o kp u r c h a s e sp r o t o t y p e s y s t e mb a s e do nt h ei m p r o v e dg e n e t i ca l g o r i t h ma n dn e u r a ln e t w o r ki sd e v e l o p e d K e yw o r d s ：b o o kp u r c h a s e s , n e u r a ln e t w o r k , g e n e t i ca l g o r i t h m , e f f e c tf a c t o r , o p t i m i z a t i o n 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子舨， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密瓯 学位论文作者签名尹啤 卵7 年月驴L i 指导教师签名： 1 。 年5 玛q 1 1 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：尹兰弹 日期：沙。7 年月驴日 江苏大学硕士学位论文 第一章绪论 1 1 课题研究背景及意义 先进文化是人类文明进步的结晶，是推动生产力发展和社会全面进步的思想 保证、精神动力和智力支持。图书馆既是传统文化的集散地，又是科学文化发展 前沿的窗口。图书馆应根据先进生产力发展的要求，成为继承和传播民族优秀文 化的重要场所和交流借鉴世界先进文化的重要窗口，成为新文化、新知识、新思 想、新理论、新道德、新精神、新理想传播的重要摇簇。 时代在前进，社会在发展，科技在进步，特别是当前正值知识爆炸的信息时 代，图书馆更好的生存与发展和先进技术的运用是密不可分的。信息技术极大地 推动了图书馆的现在化进程，同时也带来了信息的爆炸式增长。在当今知识经济 信息时代的新形势下，不断加强和改进藏书建设是强化图书馆功能的重要前提， 是否能从海量信息中选取出有用、实用、新颖的知识信息，是关系到图书馆未来 生存与发展的重大问题。与此同时，在高校中广大师生对图书馆的要求越来越高， 图书馆面临的任务越来越重要。如何加强高校图书馆的建设，如何发挥图书馆情 报信息中心的作用，如何为学校的教学科研提供坚实的文献信息保障，这是对图 书馆工作提出的新要求。 而图书采购是图书馆业务的第一个关键环节，为图书馆服务工作提供物质基 础，图书采购的好坏，对图书馆藏书体系的建立和藏书的质量起着决定性的作用， 直接影响读者工作的效果和图书馆任务的完成，是整个图书馆系统高效运转的基 础，从而在很大程度上决定着图书馆整体服务水平。如果采购图书不是以读者为 本，以读者的需要为采购依据，而是凭借采购人员的主观意愿，既不做读者调查， 也不做库存调查，或者因为书商的蝇头小利而忘记读者的需求，采购一些滞销或 复本量大的书，使有限的购书经费得不到合理使用，出现新书陈列数月无人问津， 而读者需要的书往往又找不到的现象，最终造成读者对图书馆的信任度、满意度 下降，久而久之将会使图书馆失去读者，从而图书馆也起不到它应有的作用。由 此可见，图书采购工作对于提高藏书的质量、满足读者借阅需要、合理调整馆藏、 优化文献资源结构乃至更好地发挥图书馆的效益和价值都具有十分重要的意义。 江苏大学硕士学位论文 只有不断地进行图书采购才能及时有效地补充人们需求、喜爱和有价值的新书刊， 以保持馆藏的合理结构，增强馆藏的活力；才能及时有效地向读者奉送最新、最 有价值的精神食粮，提高馆藏的使用价值；才能更有效地为读者服务，使图书馆 更好地发挥其在人类进步、社会发展中的特殊作用。 然而，目前图书馆在采购图书时还缺少一套科学的采购方法。如何根据各学 科的文献需求量、文献出版量和读者兴趣值等因素，合理、有效、按比例地分配 有限的购书经费，制定一套科学的采购策略，将图书采购原则与计算机数据库有 机地结合，使图书馆各学科各层次的图书收藏既能最大限度地满足教学和科研需 要，又能按比例、公平合理地发展，己成为图书馆界当前共同关心和研究的大课 题。 1 2 图书采购技术概况及存在的主要问题 正如前所述，图书采购工作对于图书馆馆藏建设和读者服务质量的重要性不 言而喻。“在最适当的时机、将最合适的图书、提供给最合适的读者”是所有图 书馆的目标，而如何实现这一目标则是所有采访馆员的职责。总结文献1 1 2 p 4 1 可以看出，目前国内外普遍采用的图书采购方式主要有如下几种： ( 1 ) 正式订购，又称一般订购、普通订购和一次订购，是最传统的图书订购 方式。其一般步骤是图书馆收到供应商或出版社提供的图书订单后，图书采访部 组织采访人员、聘请相关专业的人员共同在书目信息列表上选择出他( 她) 们认 为有价值的图书，能反映学科前沿问题、突出学科重点的图书，属于本校重点学 科并有实用价值的图书，由于需求量大而再版的图书等，选好后由采访部门重新 进行审核，然后编制、发送订单。订单发送对象随图书馆确定的采购途径而异， 可以是出版社、代理商或零售商。正式订购是目前国内外图书馆采用最多、最普 遍的图书采购方法。 ( 2 ) 纲目购书，又称图书批准采购计划、阅选订购或自动配书，指图书馆或 代理商的客户代表针对图书馆的藏书建设、读者服务要求，根据代理商的主题词 表与非主题参数，如出版社、出版年代、读者对象、语言类别、出版地区以及价 格限定等等，制定购书纲目，然后与代理商签订合约，要求代理商提供符合该纲 目的新书，代理商将图书配送至图书馆后，图书采访部组织采访人员、聘请相关 2 江苏大学硕士学位论文 专业的人员进行实地翻阅后加以选择，如不符合图书馆需要，则可以将书退还代 理商。 ( 3 ) 总括订购，又称指令统购、照单全收订购或提类订购。其一般步骤是图 书馆与特定的出版社签订协议，由图书馆规定需要购买的图书类别和最高限价， 出版社或代理商则将规定范围内的新书出版后即寄送至图书馆，图书馆不论多少 照单全收。它与上述纲目购书的区别在于，图书馆享受更高的折扣但没有退书的 权利。采用这种订购方式有两个先决条件：一是图书馆有大量采购的必要，如经 费充足、收藏范围较广的大型公共图书馆，或需要建立和保护特色馆藏的专业图 书馆；二是出版社声誉良好、社会评价较高，其所出版的某类别图书有口皆碑， 值得信赖，无需逐本挑选即可悉数购买，如某些学会、协会的出版社。 ( 4 ) 根据某类图书的流通统计记录进行简单的图书采购，该方法主要是通过 计算机分析某类图书流通统计记录数据，了解某类图书流通使用情况，在了解的 各项统计数据的基础上，有目的地进行一定的图书采购工作。这是一种简单的计 算机辅助采购方法。随着计算机的普及，该方法被一些管理先进的图书馆逐渐采 用。 归纳总结可知，上述图书采购的过程中均存在一定的不足与缺陷，具体表现 在以下几方面： ( 1 ) 采购过程中具有一定的盲目性和主观色彩：无论是正式订购还是纲目购 书，图书采购过程都是由专职采编人员负责，其它部门协助完成。在图书采购过 程中，尽管采购人员的工作责任心强，专业学识水平较高、业务能力较强，但难 免或多或少带有一定的个人主观色彩。表现为对自己比较熟悉、比较感兴趣的图 书就会采选些；而对一些自己不太熟悉、不太感兴趣，但是有大量读者群，流 通量很高的图书，则有可能不采选或采选的数量有限。 ( 2 ) 专业图书的采购缺乏针对性和前瞻性：由于图书馆的采购人员毕竟不是 专业教师，更何况图书馆采购人员也不可能同时具有全校各个专业的专业知识和 能力，对专业图书的采购就不一定能很好地把握学科和专业发展的动向，特别是 在一些新的专业、交叉学科和边缘学科的图书采购过程中，以至于在专业图书采 购中出现“宁滥勿缺”的状况，缺乏针对性和前瞻性，使图书馆有限的购书经费 不能很好地发挥作用。 3 江苏大学硕士学位论文 ( 3 ) 单纯依靠某类图书借阅率的计算机辅助图书采购方法不够合理。该方法 可以减少采购工作的烦杂程度，提高采购的效率，但是该方法判断的标准单一、 片面，缺乏系统性和权威性，并且时常会发生误差，浪费图书馆有限的购书经费。 ( 4 ) 效率低，速度慢，准确性差，费时又费力，效果不是很理想。 鉴于目前图书采购过程中存在的缺陷，论文就图书馆在采购图书的管理中如 何应用计算机技术作了一些探索，着重分析了基于改进遗传神经网络的图书采购 模型，并就如何实现模型提出了自己的设计思想，并在此基础上设计了一种相对 科学的、处理效率比较高的、智能的计算机辅助图书采购原型系统。 1 3 本文研究的主要内容 2 0 世纪5 0 年代以来，人工智能中遗传算法和神经网络技术的兴起，为优化嘲、 预测I q 、分类川、模式识别嗍等问题的发展提供了新的契机，也为图书馆建设的关 键环节图书采购提供了科学的解决方案。本文在广泛阅读了国内外现有的关 于图书采购的文献后，比较和借鉴现有成功的图书采购所采用的方法，对相应的 图书采购的关键技术进行改进和完善，提出了一种基于改进遗传神经网络的图书 采购模型，在此基础上设计了一个简单的图书采购原型系统。这些工作主要包括 以下几个方面： 1 将神经网络技术用于图书采购 对图书采购问题和神经网络技术作了分析和探讨，综合考虑图书采购过程中 所要解决的关键问题及神经网络的特性，提出了用神经网络方法来解决图书采购 问题的方案。 2 设计了一种优化神经网络的带有影响因子的遗传算法 针对传统神经网络训练算法具有收敛速度慢、易陷入局部最小点等不足，在 分析了已有的神经网络训练常见改进方法及其优缺点的基础上，提出了一种带有 影响因子的遗传算法，并将该算法用于优化神经网络权阈值的训练，使网络收敛 到最优点，收敛速度也得到加快。 3 基于改进遗传神经网络图书采购模型的设计 在确定了如何利用带有影响因子遗传算法优化神经网络的基础上，提出了基 于改进遗传神经网络图书采购模型的整体架构。介绍了建模的思路、样本数据的 4 江苏大学硕士学位论文 预处理、神经网络模块的建立、带有影响因子遗传算法优化神经网络模块的具体 步骤以及该模型的计算流程。 4 图书采购原型系统的实现 通过分析系统的设计要求及目标，详细地设计了系统的各个功能模块，开发 了基于改进遗传神经网络的图书采购原型系统。 1 4 本文的结构安排 论文共分六章，其主要内容概括如下： 第一章主要介绍了本课题的研究背景，简单地回顾了图书采购技术现状，分 析了目前国内外图书采购过程中存在的不足与缺陷，并阐述了本文的主要研究工 作与论文结构。 第二章对遗传神经网络技术进行了系统地概述，并阐述了两者结合的可行性 及其结合的主要方式。 第三章首先分析了已有的神经网络训练常见改进方法，并指出了它们各自的 优缺点以及使用范围。在此基础上，提出了带有影响因子的遗传算法，详细地介 绍了用该算法代替传统的B P 算法来优化神经网络的具体步骤和方法。 第四章提出了基于改进遗传神经网络的图书采购模型，设计了模型的整体计 算流程，接着详细地阐述模型中数据处理模块、神经网络建立模块、带有影响因 子的遗传算法优化神经网络模块的设计，然后，把带有影响因子的遗传算法与B P 算法在图书采购模型中的具体应用做了仿真实验对比。 第五章设计了系统的各个模块，开发了一个基于改进遗传神经网络的图书采 购原型系统。 第六章对全文进行总结，并提出需要进一步开展的工作。 5 江苏大学硕士学位论文 第二章遗传神经网络 遗传神经网络是本文所设计的图书采购系统模型的基石，为此本章首先介绍 了神经网络和遗传算法的基本原理，然后分析了它们各自的性能特征及两者结合 的可行性，在此基础上，简要地概括了基于改进遗传神经网络的图书采购系统模 型的基本原理。 2 1 神经网络 人工神经网络( 枷丘c i a lN c u r a lN e t w o r k ，简称A N N ) 【9 】是在对人脑组织结构和 运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世 纪4 0 年代初期，心理学家M c C u l l o c h 、数学家P i t t s 就提出了人工神经网络的第一 个数学模型，从此开创了神经科学理论的研究时代。其后，F R o s e n b l a t t 、W i d m w 和H o p f 、J J H o p f i e l d 等学者又先后提出了感知模型，使得人工神经网络技术得以 蓬勃发展。 2 1 1 神经元模型 人工神经网络是对生物神经网络的一种抽象、简化和模拟。生物神经网络中 神经元被转化为人工神经网络中的“网络节点”，而突触则转化为“连接权重( 或 称连接权值) ”。通过规定网络节点的连接方式和连接权重的调整规则就可以实 现人工神经网络的基本功能。 人工神经元又称为节点，用数学来表达生物神经元的信息处理方式，是生物 神经元的形式化描述，如图2 1 所示： 五 X 2 x ， 图2 一1 人工神经元模型 6 江苏大学硕士学位论文 它由三个基本要素组成：一是连接权，连接强度由各连接上的权值彤表示，权值为 正表示激励，为负则表示抑制；二是求和单元，用于求取各输入信息的加权和，图2 1 中为第i 个单元；三是非线性激励函数，起非线性映射作用并限制神经元输出幅 度在一定的范围之内( 一般限制在【o ，1 】或【1 ，1 1 之间) 此外，还有一个阈值q 。 上述神经元模型可用公式表述如下： L 。善峋X I - - B 2 - D yIfQO(2-2) 其中：z ，一输入信号，Y J 一输出信号，w q 一位于第f ，节点之间的连接权，包一 阈值，厂( ) 一激励函数。 另外，若输入的维数增加一维，即可将阈值只包括进去，则有： 。篆峋一 2 吲 Yi一，(，；)(2-4) 此时，输入为一1 或+ 1 ，权值M o 为只，如图2 - - 2 所示： 五 X 2 X ， 图2 2 人工神经元模型 神经元模型中常见的激励函数类型如图2 3 所示： 凇 c 一 O X ( a ) 线性函数 f 伍J 。 l 0 一x f ( x J r 一 a 0口X - r 、1厂 OX ( b ) 阈值函数( c ) 斜坡函数( d ) S i g m o i d 函数 图2 3 四种常见的激励函数 7 江苏大学硕士学位论文 ( 1 ) 线性函数 ，O ) = | h + c ( 2 ) 阈值函数 胁傣二： ( 4 ) S i g m o i d 函数 该类函数具有平滑性和渐近性， ，= 工乏4 I x I a 工一a 并保持单调性， 1 1 + e x p ( - a x ) ( 2 5 ) ( 2 6 ) ( 2 7 ) 最常用的函数形式为： ( 2 8 ) 参数4 0 可控制其斜率。 2 1 2 神经网络的类型 人工神经网络发展至今已多达上百种，可按以下不同的方式进行分类【埘。 ( 1 ) 根据神经元之间的连接方式可分为两种类型： 层次型结构：层次型结构的神经网络将神经元按功能分成若干层，如输入 层、隐层和输出层，各层顺序相连。 互连型结构：互连型结构的神经网络中任意两个节点之间都可能存在连接 途径。 ( 2 ) 根据网络内部信息传递方向可分为两种类型： 前馈型网络：网络信息处理方向是从输入层到隐藏层再到输出层逐层进 行，前一层的输出是下一层的输入，只有隐层节点具有信息处理能力。前馈型网 络在网络运算过程中不存在任何反馈；它的输入输出关系可看作是一种映射关系， 这种映射是高度非线性映射；它的信息处理能力也来自于简单非线性函数的多次 组合。前馈型网络是一种强有力的学习系统，并不是一种强有力的计算系统；其 大部分都是学习网络，但它们的分类能力和模式识别能力一般都强于反馈型网络。 8 玩吒 ，_-_，、_【 _ ， 数函坡斜 ) 3 江苏大学硕士学位论文 反馈型网络：所有节点都具有信息处理能力，且每个节点既可以从外界接 受输入，同时又可以向外界输出。反馈型网络是一种反馈动力学系统，具有较强 的计算功能，主要有H o p f i e l d 模型，G r o s s b e r g 自联想器、双联想记忆网络等。 ( 3 ) 根据学习方式又可分为以下三种类型： 有导师学习，也称有监督学习。这种学习模式采用的是纠错规则，在学习 训练过程中要不断给网络成对地提供一个输入模式和一个期望网络正确输出的模 式，称为“目标输出”或“教师信号”。将网络的实际输出与期望输出进行比较， 当网络输出与目标输出不符时，根据差错的方向和大小按一定的规则调整权值， 以使下一次网络的输出更接近期望的结果。 无导师学习，也称无监督学习。此学习过程中不存在“教师信号”，学习 系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构( 是一种自 组织过程) ，其结果对属于同一类的模式进行自动分类。在这种学习模式中，网 络的权值调整不取决于外来“教师信号”的影响，可以认为网络的学习评价标准 隐含于网络的内部。 再励学习，也称强化学习。这种学习模式介于上述两种模式之间，外部环 境对系统输出结果只给出评价( 奖或惩) 而不给出正确答案，学习系统通过强化 那些受奖励的动作来改善自身性能。再励学习中网络的权值一旦设计好了就不再 变动，因此其学习是一次性的，而不是一个训练过程。 2 1 3 神经网络的学习 1 学习方式 通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点。在一 般情况下，性能的改善是按某种预定的度量通过调节自身参数( 如权值) 随时间 逐步达到的。 根据学习时有无教师( 学习样本) 示教，学习方式分为有监督学习和无监督 学习两大类。有监督学习又可分为纠偏型和增强型两种。若根据输出偏差的大小 来修正权值，称为纠偏型学习；若只根据输入样本能否使网络产生期望的输出来 判定是否修改权值，称为增强型学习。在有监督学习过程中，将经过选择的学习 样本以样本对的形式依次加在初始权值随机设定的网络中，再按一定的算法调整 网络权值及结构，直到网络实际输出与期望输出完全相同或充分接近。由于按一 9 江苏大学硕士学位论文 个样本对学习好的权值不一定满足其它样本对的要求，因此需要反复地学习。算 法的好坏，样本的数量与质量，以及对误差大小的要求等都对学习的快慢产生影 响。 2 学习规则 神经网络卓越的信息处理能力来自于网络中各神经元之间的连接权值。要模 拟人脑的信息处理能力，必须使神经网络具有学习功能。学习的本质就是调整各 神经元之间的连接权值，而如何调整连接权值就构成了不同的学习算法。 针对不同的网络用途，人们已经提出了许多神经网络学习规则，基本的有以 下四种【l l l ： ( 1 ) H e b b i a n 学习规则 这种学习规则源自于H e b b 关于生物神经元学习过程的假设：当两个神经元同 时处于兴奋状态时，它们之间的连接权应当加强。令表示从神经元，到神经元f 的连接权，则按下式确定的变化量调整： A 峋一g Y O ) ，岛( f ) 】。h I Y ，峋】( 2 - 9 ) 上式为有教师的H e b b i a n 学习规则，其中自变I t 表示当前时间，( f ) 为教师信号， g ( ) 和J l l ( ) 为适当的非线性函数。 当没有教师信号时，可以设g ( ) 的函数值为Y l ( f ) ， ( ) 的函数值正比于咒， 因此，式( 2 9 ) 成为 A - ，7 y l O ) Y ，( f ) ( 2 - - 1 0 ) 其中r 0 为表示学习速率的系数。上式为无教师的H e b b i a n 学习规则，它反映了 “当两个神经元同时处于兴奋状态时，它们之间的连接应当加强”的性质。 此算法存在一定缺陷：本质上不可能对隐含层单元权重进行调节，因为隐含 层单元的期望输出未知，因而不能应用于多层网络的学习；对于非线性可微问题， 算法不收敛。 ( 2 ) D e l t a 学习规则 在式( 2 - - 9 ) 中，如果g ( ) 的函数值正比于教师信号( f ) 与神经元f 的输出儿( f ) 之间的差值，即 g Y ，( D ，( f ) 1 一, t l t t ( D Y J ( 纠一仉盯( 2 - - 1 1 ) 1 0 江苏大学硕士学位论文 其中r 1 0 为系数； 其中，0 为系数， 并且_ l ( ) 的函数值与神经元_ ，的输出y J ( f ) 成正比，即 M y ，( f ) ，峋卜砚Y j ( 2 1 2 ) 则由H e b b i a n 学习规则可得： 一i 仃Y ( 2 1 3 ) 上式即为盯学习规则，其中玎 0 为表示学习速率的系数。 在盯学习规则中，教师信号可视为期望输出，因此式( 2 1 1 ) 中的盯反映了 神经网络期望输出与实际输出之间的差异。这种学习规则要求神经元激活函数可 微，易于推广到非线性激活单元，实质就是通过迭代计算逐步调整网络权值， 直到使误差盯达到最小，当误差函数存在多个局部极小点时，一般而言，梯度算 法得不到全局最小解。仃学习规则又称为“误差修正规则”，其中玎一般为与计算 步长有关的参数。在很多神经网络中都采用了这种学习方法。 ( 3 ) 概率式学习规则 概率式学习的典型代表是B o l t z m a n n 网络学习规则，它是基于模拟退火的统计 优化算法，因此又称为模拟退火算法。 B o l t z m a n n 网络模型是包括输入层、隐含层和输出层的多层网络，在隐含层问 存在互联结构且层次不明显。网络的学习训练过程是根据下述规则对神经元i 与神 经元，之间的连接权值进行调整： 6 岬q q b ；一p ；、( 2 - - 1 4 ) 上式中玎为学习率，露，所分别是神经元在系统收到学习样本的约束状态时和自 由状态时实现连接的概率。当p ；，巧时权值增加，否则峋减小。 ( 4 ) 竞争式学习规则 竞争式学习规则认为，神经网络是由许多“区域”组成的，各个区域包含一 定数量的神经元，当有外界刺激输入时，在同一个区域里的各个神经元发生竞争 性响应，其结果是只有一个神经元获胜从而达到兴奋状态，其余的神经元则被抑 制。在竞争式学习规则中，网络的权值仍然基于H e b b i a n 规则或类似的规则调整。 江苏大学硕士学位论文 2 1 4 神经网络的工作过程 神经网络的工作过程主要分为两个阶段，第一个阶段是学习期，此时各计算 单元状态己知，各连线上的权值通过学习算法来逐步调整。学习过程根据测试结 果来决定是否需要重新开始。当学习完成后，进入第二个阶段，即工作期。此时 连接权固定，计算单元状态变化，以得到相应的输出。 经过训练后的网络，对于不是样本集中的输入也能给出合适的输出。这种特 征被称为泛化功能，也称为推广能力。如果把学习过程看作一个曲线拟合过程， 推广相当于内插，包括B P 网络在内的各种神经网络模型都具有插值功能。 2 1 5 即算法 B P 算法是一种有效的神经网络学习算法【1 2 1 。当输入与输出之间是非线性关系 时，以及训练数据充足的情况下，该算法非常有用。典型的B P 学习算法有一个输 入层、一个输出层和至少一个隐藏层组成，同层节点之间无任何连接，对隐层的 层数没有限制，通常是一层或两层。 1 B P 算法的基本原理 B P 网络的学习，由四个过程组成： 输入模式由输入层经由中间层向输出层的“模式顺传播”过程； 网络的期望输出与网络的实际输出之差的误差信号，由输出层经由中间层 向输入层逐层修正连接权的“误差逆传播”过程； 由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练” 过程： 网络趋向收敛即网络的全局误差趋向极小值的“学习收敛”过程。 当目标值与实际输出的偏差达到要求或训练达到一定次数时，学习过程结束。 归纳起来为：“模式顺传播”一 “误差逆传播”一 “记忆训练”一 “学习收敛 过程”。 下面以单元输入输出模式k 为例介绍B P 网络算法，设输入模式向量 X 。一( 。，：，) 7 ，输出向量K - ( ) ，。，) ，。，Y 。) 7 ，对应输入邑的期望输出 为- ( y ：。，Y k ：，_ ) ，乙) 7 ，其中月、m 为输入、输出节点数。 设第k 个学习模式的网络期望输出与实际输出的偏差为： 江苏大学硕士学位论文 A ( y q Y 目) ，= 垅，m ( 2 - - 1 5 ) A 的均方差为： B 2 壶善( y _ 一) 2 ( 2 - - 1 6 ) 现在的问题是如何调整权值使玩最小。 根据梯度下降法知，函数任意点沿着负梯度方向下降得最快。则权系数的迭 代方程为： w ( k + 1 ) - + ，7 ( 一a E a k O V ) - I l 删( 2 - - 1 7 ) 其中，7 是控制权值修正速度的变数，在这里叩称为学习率，可取适合的值时可使 E 。下降最快，这就是B P 网络中梯度算法的依据。根据这一算法，推导公式如下： 对于网络中第g 层各神经元的输入输出关系可表示为： Y目-f(net封)(2-18) 其中： n e t 材= 粕一岛 ( 2 1 9 ) 则 由式( 2 1 9 ) 得： 令一毒用 又有 其中的第一项， 一a E k ：堕。塑堕 a O n e t 茸a 等= 嘉孵x 一o j ) 粕 a a 争4 1 矸0 ( 露+ 1 ) - 矸0 ( 七) + 峨 一鲁一嚣鲁 对于输出层 薏一”蹦 ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) 对于非输出层，那么 嚣= 7a E k 鲁= 7 O E k x 一萃x ( 2 - - 2 5 0 n e t 。o yO n e t 。 ) 酚q H 了 年1 江苏大学硕士学位论文 其中的第二项，由于B P 网络所采用的输出输入函数为S 型函数，而S 型函数具有 一个重要特点，即该函数的导数可用它自身表示，如下式所示： ，2 专( 2 - - 2 6 ) ，( 矽= f ( x ) g 一，( 砷】 ( 2 2 7 ) 因为 Y 目一f j ( n e t 目) 删 鲁- ，) - f A n e t , ，X 1 一 ( 鸭) ) ( 2 - - 2 8 ) 则式( 2 - - 2 2 ) 中的屯对输出层有： - ( y k y 封) f A n a 目X 1 一f A n e t 目) ) ( 2 - - 2 9 ) 对非输出层有： - f j ( t w t 掣X 1 - ( 峨) ) 毛 ( 2 3 0 ) 以上即是基于s 型函数的B P 神经网络的艿算法。 2 B P 算法的实现步骤 依据B P 网络的学习过程其学习算法实现的基本步骤为： S t e p l ：给定训练数据集，即提供输入向量工和期望输出y ，并确定网络的实 际输出与期望输出之间的允许误差： S t e p 2 ：初始化，即根据所要求解的问题及输入输出确定网络的层数及每层中 神经元的个数，并且对网络中的权值和阈值进行赋值； S t e p 3 ：计算给定训练数据集的实际输出y 和网络误差口； S t e p 4 ：调整权值，即按误差反向传播方向，从输出层开始返回到隐层直至输 入层，修j 下所有权值； S t e p 5 ：返回S t e p 3 重复，直至误差满足要求或者达到预先规定的迭代步数。 2 2 遗传算法 遗传算法( O e n e t i c A l g o r i t h m ，简称C A ) 是自然界中生物进化过程的计算模拟， 是一种基于自然选择原理和自然遗传机制的随机化搜索( 寻优) 算法，是由美国 的J H o l l a n d 教授和他的学生提出来的【1 3 1 1 4 1 ，其主要特点是群体搜索策略和群体中 个体之间的信息交换，搜索不依赖于梯度信息，而且能在搜索过程中自动获取和 1 4 江苏大学硕士学位论文 积累有关搜索空间的知识，并自适应地控制搜索过程以求得最优解，所以遗传算 法是一种完全不同于传统算法的全局优化搜索算法，因此具有重要的理论意义和 实用价值，可广泛应用于模糊控制1 1 5 1 、路径规划【“、控制【1 7 1 等领域。 2 2 1遗传算法的基本术语 以下给出的是遗传算法的一些基本术语【1 明： 个体：G A 所处理的基本对象、结构。 群体：个体的集合。 位串：个体的表示形式，对应于遗传学中的染色体。 基因：位串中的元素，表示不同的特征，对应于生物学中的遗传物质单位， 以D N A 序列形式把遗传信息译成编码。 基因位：某一基因在染色体中位置。 等位基因：表示基因的特征值，即相同基因位的基因取值。 位串结构空间：等位基因任意组合构成的位串集合，基因操作在位串结构空 间进行，对应于遗传学中的基因型的集合。 参数空间：是位串空间在物理系统中的映射，对应于遗传学中的表现型集合。 适应值：某一个体对于环境的适应程度，或者在环境压力下的生存能力，取 决于遗传特性。 逆转或倒位：反转位串上的一段基因的排列顺序，对应于染色体的一部分， 在脱离之后反转1 8 0 。再连接起来。 单倍体：细胞核中有疗个正常的不配对染色体。 二倍体、多倍体：细胞核中有知或更多个正常的配对染色体。 基因型：或称遗传型，指用基因组定义遗传特征和表现，对应于G A 中的位 串。 表现型：生物体的基因型在特定环境下的表现特性，对应于G A 中的位串解 码后的参数。 基因连结：两个或更多的等位基因出现在同一个染色体上，对应于G A 中模 式的概念。 江苏大学硕士学位论文 上位遗传或者基因关联：两个非等位基因之间的相互作用，使得其中之一( 上 位基因) 对另一个( 下位基因) 的表现型产生干扰或抑制，对应于优化函数的非 线性特征。 基因多效性：指单一基因对生物体多个物理性状的影响，对应于G A 求解多 目标优化问题中，某个变量对多个目标函数的影响。 多基因效性：指生物体某个物理性状由多个基因共同决定，对应于G A 求解 多目标优化问题中，某个目标函数的值由多个变量的状态所决定。 遗传源变或遗传漂移：指群体的遗传组成的随机变化，不含自然选择的影响。 遗传：父代个体通过有性方式向子代个体的特征传寄过程。 局部环境或者环境小生境：具有某种特征的子环境，其中生物体具有特定的 染色体结构，表现出特定的物理性状，对应于多模态函数中局部极小值点的领域。 2 2 2 遗传算法的编码机制及基本运算 1 编码机制 按照遗传算法的工作流程，当用遗传算法求解问题时，必须在目标问题实际 表示与遗传算法的染色体位串结构之间建立联系，即确定编码和解码运算。由问 题空间向G A 编码空间的映射称作编码，而由编码空间向问题空间的映射称作解 码。因此，编码问题实际是从问题空间到表达空间的映射问题。 问题编码一般应该满足下面三个原则： 完备性：问题空间中的所有点( 可行解) 都能成为G A 编码空间中的点( 染 色体位串) 的表现型。 健全性：G A 编码空间