（模式识别与智能系统专业论文）基于多表达式编程的神经网络自动优化方法及其应用研究.pdf

济南大学硕士学位论文 摘要 人工神经网络由于其强大的学习、并行处理、自组织和自适应能力和容错性，近 年来已经成功的应用于科学研究和工程领域，如函数逼近、模式识别、分类、预测和 控制等领域。但是，神经网络的性能是高度依赖于它的网络结构和参数的，对于同一 个问题的解决，可能存在多个结构不同且性能不同的神经网络。根据具体的问题，所 设计的神经网络可能是多个隐含层和输入输出层，每个神经元的激励函数可以是不同 的，但是有些时候则可能是输入层和输出层直接连接而没有中间层。设计一个神经网 络的最大问题就是给定一个具体问题如何寻找与之相适应的网络结构和相关参数。 近年来，进化算法作为一种基于自然选择原理的启发式搜索算法已经被人们用来 优化神经网络。不同于传统搜索算法的是，进化算法可以启发式的同时搜索问题空间 里的多个解而因此增大找到全局最优点的可能。本文研究的计算模型就是基于一种树 结构的进化算法一多表达式编程的神经网络的自动设计，它可以同时优化神经网络的 网络结构和参数。本文提出一种使用多表达式编程来线性的表示神经网络并可以采用 进化原理进化出最优结构和参数的神经网络的算法，我们将这种模型称为多表达式神 经网络。 多表达式神经网络可以看作是一种采用树形结构和一组运算符集合构成的非常 规神经网络，可用于解决许多分类与预测问题。多表达式编程自动设计的神经网络与 普通神经网络相比具有如下优点：层与层之间的连接不必是完全的并且允许跨层连接 的存在、隐含层和输出层的非线性神经元具有不同的或可变的激励函数、神经树通过 与环境的交互具有自动选择输入变量或降低输入空间维数的功能。 本文系统地介绍了人工神经网络、多表达式编程、进化神经网络和柔性神经树的 基本理论、构成和实现方法，在总结前人研究的基础上，提出了使用多表达式编程技 术自动设计神经网络的方法以及其应用研究。具体内容如下： ( 1 ) 对神经网络的基本理论进行了详细的综述。首先概述了神经网络的特点、 产生和发展历史，着重介绍了神经网络的基本思想、研究领域和应用发展情况，然后 从理论和应用研究上综述神经网络的研究现状，总结了神经网络设计中的难点问题。 ( 2 ) 介绍了多表达式编程算法。首先概述了进化算法的基本思想，重点介绍了 i i i 基于多表达式编程的神经网络自动优化方法及其应用研究 遗传编程的基本理论，然后阐述了多表达式编程和改进的多表达式编程模型的定义和 实现方法。 ( 3 ) 研究了进化神经网络和柔性神经树的特点和实现方法，在此基础上提出了 基于多表达式编程的神经网络的自动设计，改进了柔性神经树无法同时优化结构和参 数的缺点。 ( 4 ) 将多表达式编程自动设计的神经树模型应用于时间序列预测和分类预测等 领域。各种仿真实验，如股票指数预测，外汇汇率预测和基因微阵列分类预测等实验 的结果都表明多表达式编程自动设计的神经网络模型比标准神经网络模型的预测结 果更具有效性和可靠性。 关键字：多表达式编程；进化神经网络；柔性神经树；时间序列预测；分类预测 i v 济南大学硕士学位论文 a b s t r a c t a r t i f i c i a ln e u r a l n e t w o r k s ( a n n s ) h a v et h ec a p a b i l i t i e s o fl e a r n i n g ，p a r a l l e l p r o c e s s i n g ， a u t o - o r g a n i z a t i o n ，a u t o a d a p t a t i o n , a n df a u l tt o l e r a n c e t h e r e f o r e ，a n n sa r e w e l ls u i t e df o raw i d ev a r i e t yo fe n g i n e e r i n ga p p l i c a t i o n s ，s u c ha sf u n c t i o na p p r o x i m a t i o n ， p a t t e r nr e c o g n i t i o n ，c l a s s i f i c a t i o n ，p r e d i c t i o n , c o n t r o l ，m o d e l i n g ，e t c h o w e v e r , t h e p e r f o r m a n c eo fa n n sh i g h l yd e p e n d so nt h ea r c h i t e c t u r eo ft h en e t w o r k sa n dt h e i rw e i g h t p a r a m e t e r s t h e r em a yb ed i f f e r e n ta n ns t r u c t u r ew i t l ld i f f e r e n tp e r f o r m a n c ef o rag i v e n p r o b l e m ，a n dt h e r e f o r ei ti sp o s s i b l et oi n t r o d u c ed i f f e r e n tw a y st od e f i n et h es t r u c t u r e c o r r e s p o n d i n gt ot h ep r o b l e m d e p e n d i n go nt h ep r o b l e m ，i tm a yb ea p p r o p r i a t et oh a v e m o r et h a no n eh i d d e n l a y e r , f e e d - f o r w a r do rf e e d b a c kc o n n e c t i o n s ，d i f f e r e n ta c t i v a t i o n f u n c t i o n sf o rd i f f e r e n tu n i t s ，o ri ns o m ec a s e s ，d i r e c tc o n n e c t i o n sb e t w e e ni n p u ta n do u t p u t l a y e r t h em a j o rp r o b l e m si nd e s i g n i n go fa n n f o rag i v e np r o b l e ma r eh o wt od e s i g na s a t i s f a c t o r ya n na r c h i t e c t u r ea n de f f e c t i v e l yp a r a m e t e r s i nr e c e n ty e a r s ，e v o l u t i o n a r ya l g o r i t h m s ( e a s ) h a v eb e e na p p l i e dt ot h ea n n s o p t i m i z a t i o n e a sa r ep o w e r f u ls e a r c ha l g o r i t h m sb a s e do nt h em e c h a n i s mo fn a t u r a l s e l e c t i o n u n l i k ec o n v e n t i o n a ls e a r c ha l g o r i t h m s ，t h e ys i m u l t a n e o u s l yc o n s i d e rm a n y p o i n t si nt h es e a r c hs p a c es oa st oi n c r e a s et h ec h a n c eo fg l o b a lc o n v e r g e n c e an o v e l c o m p u t a t i o n a lm o d e lu s i n gm u l t ie x p r e s s i o np r o g r a m m i n g ( m e p ) i sr e s e a r c h e di nt h i s p a p e r , w h i c hi se n c o d e db yt r e e a r c h i t e c t u r ee a ，a n dc a no p t i m i z et h ea r c h i t e c t u r e sa n d p a r a m e t e r sa u t o m a t i c a l l y t h em e p - n nm o d e li sp r o p o s e di nt h i sp a p e r , i tc a nr e p r e s e n t s a n de v o l v e sa n n sa r c h i t e c t u r e sa n dc o n n e c t i o nw e i g h t su s i n gal i n e a rr e p r e s e n t a t i o no f i nt h ev i e w p o i n to fc a l c u l a t i o ns t r u c t u r e ，t h em e p - n nm o d e lc a nb ev i e w e da sa t r e e a r c h i t e c t u r ef e e d f o r w a r dn e u r a ln e t w o r kv v i t l las p e c i f i ci n s t r u c t i o ns e t ，w h i c hc a n a p p l i e st oc l a s s i f i c a t i o na n dp r e d i c t i o n u n l i k ec o n v e n t i o n a la r t i f i c i a ln e u r a ln e t w o r k ，t h i s f r a m e w o r ka l l o w si n p u tv a r i a b l e ss e l e c t i o n ，o v e r - l a y e rc o n n e c t i o n sa n dd i f f e r e n ta c t i v a t i o n f u n c t i o n sf o rt h ev a r i o u sn o d e si n v o l v e d b e s i d e st h a t ，i tc a ni d e n t i f ya n ds e l e c ti m p o r t a n t v 基于多表达式编程的神经网络自动优化方法及其应用研究 i n p u tf e a t u r e sa u t o m a t i c a l l yt or e d u c et h ed i m e n s i o n s t h i sp a p e rg i v e sas y s t e m a t i c a l l yi n t r o d u c eo ft h ea r t i f i c i a ln e u r a ln e t w o r k ，m u l t i e x p r e s s i o np r o g r a m m i n g ，e v o l v i n ga r t i f i c i a ln e u r a ln e t w o r k sa n dt h ef l e x i b l en e u r a l t r e e ( f n t ) f r o mt h ea s p e c t so fb a s i ct h e o r y , c o m p o s i t i o na n di m p l e m e n t a t i o n s o m e r e a l i z a t i o nm e t h o d sa n dt h e i ra p p l i c a t i o n ，w h i c ha p p l i e dm u l t ie x p r e s s i o np r o g r a m m i n gt o e v o l v et h ef l e x i b l en e u r a lt r e e ，a r ep r o p o s e di nt h ep a p e rb a s e dt h ef o r m e rr e s e a r c h t h e m a i nc o n t e n ti sa sf o l l o w ： ( 1 ) t h ep a p e rs u r v e y e da r t i f i c i a ln e u r a ln e t w o r ka n di t sb a s i ct h e o r i e s f i r s tw e s u m m a r i z e dt h ec h a r a c t e r , g e n e r a t i o na n dd e v e l o p m e n to fn e u r a ln e t w o r ki nd e t a i l s ，a n d e m p h a s i z e dt h eb a s i ci d e a , r e s e a r c hf i e l da n da p p l i c a t i o n s a tl a s tw es u m m a r i z e dt h e t h e o r e t i c a la n da p p l i e dr e s e a r c h ，a n ds h i l lu pt h eq u e s t i o ni nd e s i g n i n go fn e u r a ln e t w o r k ( 2 ) t h i sp a p e ri n t r o d u c e dt h em u l t ie x p r e s s i o np r o g r a m m i n g f i r s tw es u m m a r i z e dt h e b a s i ci d e ao fe v o l u t i o n a r ya l g o r i t h m s ，e m p h a s i z e dt h eb a s i ct h e o r yo fg e n e t i cp r o g r a m m i n g ， a n dt h e ni n t r o d u c e dt h ed e f i n i t i o na n dr e a l i z a t i o no fam u l t ie x p r e s s i o np r o g r a m m i n g m o d e la n di t sm o d i f i e dm o d e l ( 3 ) t h ec h a r a c t e ra n dr e a l i z a t i o no fe v o l v i n ga r t i f i c i a ln e u r a ln e t w o r k sa n df l e x i b l e n e u r a lt r e ew e r es t u d i e di nt h i sp a p e ra l s o am u l t ie x p r e s s i o np r o g r a m m i n gb a s e do n t r e e - s t r u c t u r eg r a m m a rm o d e li sp r o p o s e dt oi m p r o v et h et r a d i t i o n a lf n t sd i s a d v a n t a g eo f o p t i m i z et h ea r c h i t e c t u r e sa n dp a r a m e t e r sr e s p e c t i v e l y ( 4 ) t h ef l e x i b l en e u r a lt r e eb a s e do nm u l t ie x p r e s s i o np r o g r a m m i n gw a sa p p l i e dt o t i m e - s e r i e sp r e d i c t i o na n dc l a s s i f i c a t i o np r e d i c t i o n t h er e s u l t so fs i m u l a t i o ne x p e r i m e n t s ， s u c ha st h em a r k e ts t o c ki n d e xp r e d i c t i o n ，f o r e i g ne x c h a n g er a t ep r e d i c t i o na n dg e n e e x p r e s s i o nd a t ac l a s s i f i c a t i o np r e d i c t i o n ，s h o w nt h a tf o r e c a s t i n gr e s u l t sa c h i e v e db ym u l t i e x p r e s s i o np r o g r a m m i n gb a s e df l e x i b l en e u r a lt r e em o d e lh a sb e t t e rv a l i d i t ya n dr e l i a b i l i t y t h a nt h ec a n o n i c a la r t i f i c i a ln e u r a ln e t w o r km o d e l k e y w o r d s ：m u l t ie x p r e s s i o np r o g r a m m i n g ；e v o l v i n g a r t i f i c i a ln e u r a ln e t w o r k s ；f l e x i b l e n e u r a lt r e e ；t i m e - s e r i e sf o r e c a s t i n g ；c l a s s i f i c a t i o nf o r e c a s t i n g v l 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律责任由本人承担。 论文作者签名：遮些垒 日期： 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借鉴；本人授权济南大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) ：蝉聊虢邋吼龇扩 济南大学硕士学位论文 1 1 引言 第一章绪论 对于人工神经网络的研究是在许多学科的基础上发展起来的，它的研究的深入也 必然会带动其它相关学科的发展。神经网络具有大规模并行、分布式存储和处理、自 组织、自适应和自学习能力，特别适合于处理需要同时考虑许多因素和条件的、不精 确和模糊的信息处理问题【l j 。主要应用领域有：语音识别、图像识别与理解、计算机 视觉、智能机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物 资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等 等。关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟机器再 现，可能开拓发展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传 统的学科界限，成为神经科学、脑科学、心理学、认知科学、计算机科学乃至数理科 学共同关心的“焦点科学。现在关于神经网络的研究、提出并行集团处理信息的原 理、计算概念的推广以及层次网络系统的几种学习算法，无疑在本质上是不同于传统 的数学机的运算方式，也是朝着智能的本质前进了一大步。这种基础领域内的研究结 果，已经开拓出神经计算机产业。因此，我们必须对于这一领域的进展加以密切注意、 同时积极组织力量加强研究和开拓应用。 一个神经网络的设计包括神经网络模型的选择及其参数的确定( 如连接神经元的 权值和神经元的阈值) 【2 j 。在设计神经网络的时候，传统的设计方法是根据经验来设 计网络结构和确定网络的参数。这里的参数可以包括一些常数值( 如梯度下降率等) 和约束值( 如权值初始取值范围等) 。然后再利用梯度下降法来学习网络的权系数。 对于同一个问题，可以设计出许多个不同的神经网络，而这些神经网络的性能主要取 决于该神经网络的结构和网络相关的参数。如何针对一个给定的具体的应用来设计神 经网络，至今仍没有系统的规律可循。目前各种神经网络应用系统的设计主要是根据 设计者的经验和反复试验来进行。这样不仅使得设计工作效率很低，而且还不能保证 设计出的网络结构和权值等参数的组合是最优的，从而造成资源的大量浪费和网络性 能的低下，这种状况极大地限制了神经网络的应用和发展。 基于多表达式编程的神经网络自动优化方法及其应用研究 1 2 研究背景 近年来，神经网络的自动设计成为了一个研究热点，研究者们一直寻求合适的设 计方法以实现神经网络的自动设计。这些方法按照处理方式的不同可分为连接主义设 计方法和进化主义设计法。连接主义设计法主要包括增补算法和削剪算法【3 ，4 1 。增补 算法首先从一个简单的网络开始，然后在训练中根据需要不断添加隐结点和连接。削 剪算法则【5 1 是从一个较大的网络开始，然后在训练中剪除那些不必要的结点和连接。 在这两种方法中，一旦某个网络结构被确定为不合适的时候，则网络将被更新，从而 以前的网络结构将不可能被采用。这种结构上的爬山策略很容易陷入局部最优，并且 这些方法搜索的仅仅是网络空间结构中的一部分，所以很难保证设计出的网络是最优 的。 造成这种结果的主要原因是神经网络的设计是一个高度复杂的问题，体现在以下 几个方面 6 1 ： ( 1 ) 神经网络系统是与应用问题相关的，解决一类问题的神经网络系统很难不加 改变地应用到其它问题的领域。 ( 2 ) 神经网络的可能的节点个数和连接个数都是无界的，所以存在的网络数量是 无限的，即搜索空间是无限大的。 ( 3 ) 神经网络的参数的微小变化可能导致网络性能的完全不同，所以参数对网络 性能的影响是不连续的，而且节点和连接数的变化都是离散的，因此，参数空间是非 凸的。 ( 4 ) 不同的神经网络参数组合也可能表现出类似的网络特性，即搜索空间是多峰 的。 由于上述原因，用传统的搜索方法进行神经网络系统设计都具有很大的局限性， 进化计算的方法辅助神经网络的设计已被认为是最有前途的一种。本文中提到的灵活 神经树就是一种利用进化计算的方法来辅助其结构和参数的类神经网络计算系统。神 经树是以稀疏树编码的高阶神经元网络，之所以选择基于树结构的编码方式是因为可 以利用现有的或者改进的基于树结构的进化算法( 如g p 算法、p i p e 算法、a p 算法 等) 来进行结构的自动设计。多表达式程序设计( m u l t ie x p r e s s i o np r o g r a m m i n g ，m e p ) 2 济南大学硕士学位论文 【刀是遗传程序设计( g e n e t i cp r o g r a m m i n g ，g p ) 的改进算法，相对传统的g p 算法它 有很多的优点。本文重点就是研究m e p 算法在灵活神经树( f l e x i b l en e u r a lt r e e ，f n t ) 系统中的结构优化，同时也对神经树的相关参数的优化也作相应的研究，从而做到使 用多表达式编程对神经网络的结构和参数同时优化。 1 3 论文内容安排 第一章绪论，主要简介神经网络的设计理论，引出了本论文的研究背景。 第二章神经网络及其理论基础，主要介绍了神经网络的基本理论、发展历史及现 状，为下一步神经树的研究打下理论基础。 第三章多表达式编程算法及其理论基础，系统地介绍了遗传编程和多表达式传编 程及其改进算法的基本理论基础以及他们的实现方法。 第四章基于多表达式编程的神经网络自动设计，即基于多表达式编程的神经树的 理论研究，主要阐述了进化神经网络、柔性神经树的基本理论、结构，并提出了用多 表达式编程实现神经树结构自动优化的方法。 第五章基于免疫编程的多表达式编程神经网络，将人工免疫系统的基本思想引入 到了神经网络的进化过程中，主要是为了增强进化过程中种群的多样性，并给出了部 分仿真实验，对实验结果给出了比较分析。 第六章基于集成学习的多表达式编程神经网络，即集成技术需要单个分类器满足 最大差异性的原则，多表达式编程优化的神经网络正好非常具有差异性，所以正适合 用来进行集成，并且通过分类实验证实的集成的可行性和有效性。 第六章总结和展望，对多表达式编程技术在神经网络自动设计上的研究与应用做 出了总结，同时指出存在的问题，并对未来的研究和发展做出了展望。 济南大学硕士学位论文 2 1 概述 第二童神经网络及其理论基础 人工神经网络【8 1 7 1 ( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n s ) ，也称为神经网络( n n s ) ， 是人脑或自然神经网络对信息感知与处理等智能行为的抽象和模拟，是一种全新的计 算网络模型。人工神经网络是由2 0 世纪4 0 年代初心理学家m c c u l l e h 和数理逻辑学 家p i t t s 提出的【1 8 】，它是由大量处理单元广泛互联而成的网络，是对人脑的抽象、简 化和模拟，反映人脑的基本特性。人工神经网络的研究是从人脑的生理结构出发来研 究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、 物理学、计算机科学等学科的一种技术。人工神经网络可以看成是由简单的处理单元 所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知识的自然特性， 它与人脑的相似之处概括为两个方面：一是通过学习过程利用神经网络从外部环境中 获取知识；二是内部神经元( 突触权值) 用来存储获取的知识信息。 早在2 0 世纪初，人们就已经发现人脑的工作方式与现在的计算机是不同的。人 脑是由极大量的基本单元( 称之为神经元) 经过复杂的相互连接而成的一种高度复杂 的、非线性的、并行处理的信息处理系统。人脑在许多方面的性能上要高于现代计算 机，因此人们自然会想到如果能从模仿人脑智能的角度出发，来探寻新的信息表示、 存储和处理方式，设计全新的计算机处理结构模型，构造出一种更接近人类智能的信 息处理系统，来解决实际工程和科学研究领域中用传统的冯诺依曼计算机难以解决 的问题，那么必大大促进科学进步，并在人类生活的各个领域引起巨大变革。 人工神经网络，又称连接主义模式，是借鉴人脑的结构和特点，通过大量简单处 理单元( 神经元或节点) 互连组成的大规模并行分布式信息处理和非线性动力学系统。 它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。因此， 它能解决常规信息处理方法难以解决或无法解决的问题，尤其是那些属于思维( 形象 思维) 、推理及意识方面的问题。人工神经网络可以说是从常规的信息处理到实现电 子人脑的一种中间过渡。一方面，人工神经网络的基本机理是模拟人脑的部分认知原 理；另一方面，又加入了对人脑的许多假设并采用数学的、物理的方法达到信息处理 的目的。 s 基于多表达式编程的神经网络自动优化方法及其应用研究 人工神经网络具有以下一些功能： ( 1 ) 学习能力，通过实践进行学习： ( 2 ) 自适应能力，系统能适应外界的变化并保持良好的性能： ( 3 ) 自组织能力，依据外部环境的变化进行自组织，白适应是通过自组织实现的； ( 4 ) 输入输出能力； ( 5 ) 知识表示能力； ( 6 ) 模式存储、检索能力。 人工神经网络处理单元大体可以分为3 类：输入单元、输出单元和隐单元。输入 单元接受外部环境的信号和其他系统模型处理的数据，输出单元将系统处理后的信息 进行输出，隐单元是位于输人和输出单元间外部系统不可见单元。神经元间相互连接， 并存在一定连接强度，信息的表示和处理体现在网络处理单元的连接机制中。人工神 经网络的功能由处理单元的活动函数、模式和网络的相互连接机制确定。 2 2 神经网络的特点 神经网络模型是对自然生物神经系统的一种模拟，它由大量的简单计算单元( 神 经元) 组成，每个神经元仅仅处理简单的输入信号加权和，但它们相互之间构成一个 互联系统，能够完成处理复杂的实际问题，它与传统的计算机处理方式上存在着很大 的区别，神经网络具有如下的一些特点。 ( 1 ) 大规模并行处理与容错能力 在大规模的神经网络系统中，信息的处理是在大量的计算单元上并行而有层次的 展开的，系统不是执行一连串的指令，而是所有计算单元一起协调运行、共同解决某 一问题，因而，神经网络的这种并行分布式处理方法，使得快速进行大量运算成为可 能。另一方面，由于系统的信息处理是基于整个计算群体的，各计算单元都承担着相 似的任务，并相互协调与合作，局部的计算单元损坏不会影响到整个系统的性能，因 而系统具有很强的冗余和容错能力。 ( 2 ) 信息的分布式存储与处理 与传统的计算机信息处理方式不同，在神经网络中，知识与信息的存储表现为神 经元之间分布式的物理联系，它分散地表示和存储于整个网络内的各神经元及其连线 6 济南大学硕士学位论文 上。每个神经元及其连接只表示一部分信息，而不是一个完整的具体概念，只有通过 各神经元的分布式综合效果才能表达出特定的概念和知识。神经网络的信息处理也是 分布式进行的，不是将任务进行划分之后再分配到各个子计算单元，而是由大量的计 算单元共同来完成的。神经网络对信息的存储与处理反映到整个神经网络之中，即信 息的存储体现在神经元之间的连接上，而信息的处理分布与所有计算单元，信息的存 储与处理是合而为一的，二者不是截然分开的。 ( 3 ) 学习和自适应能力 神经网络可以通过调节内部结构来学习新的数据模式，表现出神经网络对环境的 一种自适应能力，这种自适应特性体现在神经网络中各个神经元之间的连接关系上， 比如，神经元的连接加强，则反映它们之间的信息处理通路增强；反之，则表明神经 元之间的信息处理通路阻断，实际上就是网络结构上发生了改变。可见，神经网络在 学习过程中不断修改和调整神经元之间的连接，进行大量的定量和定性的相关操作， 以实现对外部数据信息模式的自适应。一个经过适当训练的神经网络具有较强的归纳 全部数据的能力，可解决输入信息间的互补和冗余问题，实现信息集成与融合，能处 理那些由数学模型或描述规则难以处理的许多复杂的问题。 ( 4 ) 具有联想与记忆能力 神经网络经过学习与训练后，神经元之间的连接记录了训练样本的信息模式，即 所谓的长期记忆，而在对新的模式样本的计算过程中，神经元的状态则反映了一种短 期的记忆能力。由于神经网络中神经元个数众多以及整个网络存储信息容量的巨大， 使得它具有很强的记忆存储与信息处理的能力，即使输入的信息不完全、不准确或模 糊不清，神经网络仍然能够将记忆中相同或相近的模式联想出来，形成外部数据的完 整表述。如图形图像的存储与记忆等，就可以用神经网络来实现这种信息模式的记忆 与联想。 正是因为人工神经网络的结构特征和信息分布式存储与处理具有独特的特点，因 此它优于许多其他的判断识别系统，如专家系统等。对于一个多层的神经网络，它能 够逼近任意复杂的非线性关系，从而在解决许多复杂的实际问题中，能够发挥很好的 信息处理与解算的能力。目前，神经网络在广泛的领域里得到迅速的开发和应用，如 模式识别、信号处理、图像处理、系统辨识、优化组合、机器人、智能控制等领域， 7 基于多表达式编程的神经网络自动优化方法及其应用研究 均取得了令人鼓舞的显著成效，并随着神经网络理论本身以及相关理论、相关技术的 不断发展，神经网络的应用定将更加深入。神经网络的研究内容相当广泛，反映了多 学科交叉技术领域的特点。迄今为止，在人工神经网络领域中，有代表性的网络模型 已达数十种，而学习算法的类型更难以统计其数量，为神经网络的理论与技术研究提 供了坚实的基础，也为人们探索和研究智能的本质创造了条件。 2 3 神经网络的基本理论 2 3 1 神经元模型 神经网络的基本处理单元是人工神经元，是对生物神经元的一种模拟与简化。它 是一个多输入单输出的非线性信息处理单元。根据神经元的特性和功能，可以把神经 元抽象为一个简单的数学模型。它主要包括如下基本要素。 ( 1 ) 一组权系数 w 盯 表示神经元之间的连接强度，权系数值为正表示激活，为负 表示抑制。 ( 2 ) 求和单元用于求取输入信息的加权和。 ( 3 ) 非线性激励函数，起非线性映射作用，并将神经元的输出幅度限制在一定的 范围之内。 图2 1 显示的就是一种简化的人工神经元结构，是一个多输入、单输出的元件。 图2 1 人工神经元结构模型 设u f 为构成神经网络的某个神经元的内部状态，矽，为阈值，而为输入信号，w 扩 表示从u t 到吩连接权值，毋表示外部输入信号。则根据假设可描述为： a ，= t + 毛一只，巩= 厂( a ，) ，y 。= g ( “，) = 办( a 。) ，j l = g f 一( 2 1 ) 其中，被称为响应函数( 或者成为神经元转移函数) ，它的基本作用：控制输入 8 济南大学硕士学位论文 对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的 有限范围内的输出。常见的神经元转移函数有：阶跃函数、准线形函数、s i g m o i d 函 数和双正切函数等。各函数表达式分别如下所示： ( 1 ) 阶跃函数，又称硬极限函数，常用于分类。 y 川炉器：磐亿2 j i ( 2 ) 线性函数，常用于函数逼近的神经网络的输出层神经元。 y = f ( u ) = ”：( 2 3 ) ( 3 ) 饱和线性函数： j ，= 厂( 甜) = 0 甜+ l i 一陋一1 i ) 。( 2 4 ) ( 4 ) s i g m o i d 函数，也叫s 函数，是一类非常重要的函数，而且它是连续可微的， 使得神经元的权值可用误差反向传播学 - j ( b p 算法) 调节。 y 2 m ) 2 寿( 2 5 ) 2 3 2 神经网络的结构 神经网络的拓扑结构也是以生物学解剖中神经网络互联的方式为依据的，它是一 个高度非线性动力学系统，大量的形式相同的神经元连接在一起就组成了神经网络。 虽然每个神经元的结构和功能都不复杂，但由于各神经元之间的并行、互联功能，神 经网络的动态行为却十分复杂。目前，已经建立了数十种神经网络模型，从网络的结 构上看，主要有前向网络和反馈网络两种。其中多层前馈神经网络以其优良的非线性 逼迫性能，成为研究和应用最为广泛的一种神经网络。基于此，本文主要研究多层前 馈神经网络的自动优化问题。 多层前馈神经网络，它分为输入层、隐含层和输出层，层与层之间连接方式第i 层 的输入只与第f - 1 层输出相连，各神经元接受前一层的输入，并输出给下一层，没有 反馈。多层前馈神经网络示意描述如图2 2 所示。输入对应每个训练样本的各属性取 值；输入赋给第一层( 输入层) 单元，这些单元的输出结合相应的权重，同时反馈给 第二层( 隐含层) 单元；隐含层的带权输出又作为输入再反馈给另一隐含层等，最后 的隐含层结点带权输出反馈给输出层单元，该层单元最终给出相应样本的预测输出。 q 基于多表达式编程的神经网络自动优化方法及其应用研究 只要中间隐含层足够多，多层前向网络中的线性阈值函数，就可以充分逼近任何函数。 x l x 2 x 3 - - - x n y 输入层 隐含层 输出层 图2 2b p 神经网络结构 2 3 3 神经网络的学习算法 神经网络的一个重要特征是其自适应学习能力，神经网络通过对外部环境提供的 模式样本进行学习和训练，并能够将这些信息模式存储在网络之中，这类网络通常称 为感知器。另外，神经网络对外部环境有适应能力，能够自动提取外部环境的变化特 征，并存储与网络内部，这类网络则称为认知器。神经网络通过学习与训练，可以存 储和记忆外部信息的内在特征，或者说这些信息之间的复杂非线性关系，这一特点使 神经网络在解决一类预测、分类、评估匹配、识别等问题方面具有独特的优势。 神经网络主要通过两种学习算法进行练习，即指导式学习算法( 也称有监督的) 和非指导式( 也称为无监督) 的学习算法。此外还有一种是属于有监督学习算法特例 的增强学习算法。 ( 1 ) 有监督学习 有监督学习算法能够根据期望的和实际的网络输出( 对应于给定输入) 间的差值 来调整神经元间的连接权值。因此，有监督学习需要由教师来提供期望或目标输出信 号。有监督学习算法包括6 规则、广义6 规则或反向传播算法以及算法l v q 等。 ( 2 ) 无监督学习 无监督学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入 模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无 1 0 济南大学硕士学位论文 监督学习算法包括k o h o n e n 算法和自适应谐振理论( a r t ) 等。 ( 3 ) 增强学习 增强学习是有监督学习的特例，不需要教师给出目标输出。增强学习算法采用 个评论员来评价与给定输入相对应的神经网络输出的优度( 质量因数) 。增强学习算 法主要有遗传算法、q 学习算法等。 2 4 神经网络的设计 当遇到复杂的实际问题时，我们首先要设计出一个复合我们要求的神经网络，然 后再使用我们设计好的神经网络去解决实际问题。那么，如何设计一个满足我们要求 的神经网络成为了解决问题的关键所在。神经网络的设计需要考虑到神经网络的结 构、参数( 网络的权值和阈值) 等问题【2 0 1 。 设计一个神经网络的关键在于： 1 、系统输入的设计。 对于设计神经网络系统，如果网络的学习知识不合适就会造成计算资源的浪费。 比如对于一个给定的具体问题，当学习样本输入变量的数目庞大时，如果不对输入变 量进行适当地选择，设计该问题的神经网络就会很困难。对于设计神经网络系统，如 果把任意得到的知识送到网络去学习，可能会使设计网络系统因为知识量大而浪费掉 大量的计算资源，也可能因为知识的覆盖范围大小而造成系统无法正常工作。比如， 在用神经网络系统来对白血病细胞进行分类的时候，由于白血病细胞的特征元素很多 ( 大约有七千多个) ，但是这些特征元素并不都是影响细胞分类的重要特征，所以在 设计神经网络的结构时没有必要把这些特征全部都输入到网络中去。因此在设计神经 网络系统的时候要求针对具体的问题，选取有效的知识集样本，以尽量反映训练集的 全貌。 2 、网络结构的设计。 对于具体的问题，如何设计神经网络的结构是很复杂的事情。因为神经网络系统 是与应用问题相关的，解决一类问题的神经网络系统很难不加改变地应用到其它问题 的领域；神经网络的可能的节点个数和连接个数都是无界的，所以存在的网络数量是 无限的，如何在这个无限大的搜索空间里面找到最合适的网络结构就是一个难点。 1 1 基于多表达式编程的神经网络自动优化方法及其应用研究 3 、网络参数的设计。 当网络结构确定之后，网络参数( 结点的阈值、结点间的连接权值和激励函数的 参数) 的设定也影响着网络的性能，参数的微小变化就会影响到网络的性能，由于参 数的搜索空间是不连续的，所以如何选择最优的参数也是一个比较复杂的优化问题。 综上可知，神经网络的设计是一个及其复杂的问题，一直以来都没有一套行之有 效的方法对遇到的实际问题自动的设计神经网络，而往往是凭着经验，或是反复的实 验来设计神经网络。而进化计算凭借其启发式搜索和寻找全局最优的高效性，应用到 神经网络的自动化设计上，有着切实的可行性和不错的前景。 1 2 济南大学硕士学位论文 第三章多表达式编程算法及其理论基础 3 1 遗传编程技术 3 1 1 进化算法 进化算法【2 1 2 2 2 3 1 是上个世纪6 0 年代兴起的一种模拟自然进化的基于种群的全局 随机搜索算法。传统的参数优化算法，如梯度下降法、牛顿法等通常要利用被优化函 数的导数或可微信息，而且算法容易陷入局部极值点。进化算法与传统优化算法的另 外一个不同点在于，进化算法是一种基于种群的多点同时搜索，而传统优化算法通常 在搜索空间中按照一定的信息进行单点搜索。 进化算法是基于达尔文的进化论，在计算机上模拟生命进化机制而发展起来的一 门新学科。近年来，由于进化计算在机器学习、过程控制、经济预测和工程优化等领 域取得了巨大的成功，引起了数学、物理学、化学、生物学、计算机科学、社会科学、 经济学及工程应用领域的科学家们的极大兴趣。自2 0 世纪8 0 年代中期以来，世界上 许多国家就掀起了进化计算的研究热潮。进化计算采用简单的编码技术来表示各种复 杂的结构，并通过对一组编码进行简单的遗传操作和优胜劣汰的自然选择来指导学习 和确定搜索的方向。由于它采用种群的方式组织搜索，可以同时搜索解空间的多个区 域。而且用种群组织搜索的方式使得进化算法特别适合大规模并行计算。在赋予进化 计算自组织、自适应和自学习等特征的同时，优胜劣汰的自然选择和简单的遗传操作 使得进化计算具有不受其搜索空间限制性条件的约束及不需要其他辅助