（计算机应用技术专业论文）pisigma神经网络的学习算法研究.pdf

p i - s i g m a 神经网络的学习算法研究 中文摘要 p i s i g m a 神经网络的学习算法研究 中文摘要 p i s i g m a 神经网络是一种具有快速学习能力和强非线性处理能力的高阶神经网 络，已应用于模式识别、信号处理、图像处理等智能化信息处理领域。和其它神经网 络一样，p i s i g m a 神经网络的性能主要依靠收敛速度更快，学习效果更优的网络学习 算法和网络结构优化方法。 鉴于此，本文对p i - s i g m a 神经网络学习算法做了深入的研究，主要内容及结果 如下： 第一，分析p i s i g m a 神经网络已有的常用学习算法，并总结各种学习算法的优 缺点。 第二，提出一种混合遗传学习算法( h y b r i dg e n e t i c a l g o r i t h m ，h g a ) ，将具有全局 搜索能力的遗传算法和具有局部搜索能力的单纯形法( s i m p l e xm e t h o d ) 结合起来。并 对混合遗传学习算法的收敛性进行了分析。 第三，基于田1 3 方法( t a g u c h im e t h o d ) ，提出了一种p i - s i g m a 神经网络的结构 优化方法，该方法使用混合遗传学习算法对p i - s i g m a 神经网络结构进行优化的同时， 利用田1 3 方法增强遗传算子的性能，减少实验次数，从而减少算法优化时间。该结构 优化方法在不明显增加训练误差的情况下，可以有效地删除p i s i g m a 神经网络冗余 的连接权值，降低网络的复杂度和减少训练时间。 最后，本文对所做的研究工作进行了总结，并对今后p i s i g m a 神经网络的学习 算法及结构优化方法的研究进行了展望。 关键词：p i s i g m a 神经网络；剪枝；混合遗传学习算法；结构优化；田口方法 作者：聂永 指导老师：邓伟 a b s t r a c t r e s e a r c ho l lp i - s i g m an e u r a ln e t w o r kl e a r n i n ga l g o r i t h m s r e s e a r c ho np i - - s i g m an e u r a ln e t w o r k l e a r n i n ga l g o r i t h m s a bs t r a c t p i - s i g m an e u r a ln e t w o r k ，ak i n do fh i g h e r - o r d e rn e u r a ln e t w o r kw i t ha b i l i t i e so f f a s tl e a r n i n ga n dd e a l i n gw i t hn o n l i n e a rp r o b l e m s ，h a sb e e na p p l i e dt ov a r i o u si n t e l l i g e n t i n f o r m a t i o np r o c e s s i n gf i e l d s ，s u c ha sp a t t e r nr e c o g n i t i o n ，s i g n a lp r o c e s s i n ga n di m a g e p r o c e s s i n g a so t h e rn e u r a ln e t w o r k s ，t h ep e r f o r m a n c eo fp i s i g m an e u r a ln e t w o r k m a i n l yd e p e n d so nn e t w o r kl e a r n i n ga l g o r i t h m sa n dn e t w o r ka r c h i t e c t u r eo p t i m i z a t i o n m e t h o d sw h i c hc o n v e r g ef a s t e ra n dl e a mb e t t e r i nt h i st h e s i s ，t h ef u r t h e rr e s e a r c ho nt h eh y b r i dg e n e t i cl e a r n i n ga l g o r i t h mf o r l e a r n i n ga n do p t i m i z i n go fp i - s i g m an e u r a ln e t w o r ki sd o n e t h er e s u l t so b t a i n e da r ea s f o l l o w s ： ( 1 ) t h eu s u a la l g o r i t h m so fl e a r n i n gp i s i g m an e u r a ln e t w o r ka r er e v i e w e d t h e n t h e a d v a n t a g e sa n dd i s a d v a n t a g e so fl e a r n i n ga l g o r i t h m sa r es u m m a r i z e d ( 2 ) ah y b r i dg e n e t i cl e a r n i n ga l g o r i t h mi sp r o p o s e di nt h i st h e s i s t h ea l g o r i t h m m a i n l yi n c o r p o r a t e sg e n e t i ca l g o r i t h mw i t ht h ea b i l i t yo fp o w e r f u lg l o b a le x p l o r a t i o na n d s i m p l e xm e t h o d 、i t l lt h ea b i l i t yo fp o w e r f u ll o c a le x p l o r a t i o n t h e nt h ec o n v e r g e n c eo f t h ep r o p o s e da l g o r i t h mi sa n a l y z e d ( 3 ) a na r c h i t e c t u r eo p t i m i z a t i o nm e t h o do fp i - s i g m an e u r a ln e t w o r kb a s e do n t a g u c h im e t h o di sp r e s e n t e d i to p t i m i z e sp i - s i g m an e u r a ln e t w o r k a r c h i t e c t u r et h r o u g h t h ep r e s e n t e dh y b r i dg e n e t i ca n de n h a n c e st h ep e r f o r m a n c eo fg e n e t i co p e r a t o r , r e d u c e s t h en u m b e ro fe x p e r i m e n t s ，t h e r e b y , r e d u c e st h et i m eo fa l g o r i t h mo p t i m i z a t i o n t h e p r o p o s e dm e t h o dc a ne f f i c i e n t l yp r u n e t h er e d u n d a n tw e i g h t s ，r e d u c ec o m p l e x i t yt r a i n i n g t i m ef o rp i - s i g m an e u r a ln e t w o r kw h i l ei td o e sn o ti n c r e a s et h et r a i n i n ge r r o r f i n a l l y , t h er e s e a r c hw o r ki n v o l v e di nt h et h e s i si ss u m m a r i z e da n dt h ef u t u r e d e v e l o p m e n t si no p t i m i z a t i o no fn e u r a ln e t w o r ka r c h i t e c t u r ea n dl e a r n i n ga l g o r i t h ma r e f o r e c a s t t 1 r e s e a r c ho i lp i - s i g m an e u r a ln e t w o r kl e a r n i n ga l g o r i t h m s a b s t r a c t k e yw o r d s ：p i - s i g m an e u r a ln e t w o r k ；p r u n e ；h y b r i dg e n e t i cl e a r n i n ga l g o r i t h m ； a r c h i t e c t u r eo p t i m i z a t i o n ；t a g u c h im e t h o d i i i w r i t t e nb y ：n i ey o n g s u p e r v i s e db y ：d e n gw e i 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律 责任。- 研究生签名：三悼日期：上业膨 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、：清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：雄日期：一迹：) 宝 导师虢煎卑日期：础幻叼 p i s i g m a 神经网络的学习算法研究 第一章绪论 第一章绪论帚一早瑁y 匕 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k 删) 是人工智能研究的重要组成部分。 自八十年代复苏以来，这一交叉学科已成为人工智能、神经科学、认知科学、心理学、 行为学、等学科共同关注的焦点，吸引了大批研究人员的注意力【1 捌。经过多年的研 究，在许多领域取得的令人瞩目的成就，充分证明了模拟生物神经计算功能的人工神 经网络具有通常的数字计算机所难以比拟的许多优势，如自学习能力、自组织、自适 应性和联想能力等。 1 1 神经网络概述 现代计算机有很强的计算和信息处理能力，但它对于模式识别、感知和在复杂环 境中作决策等问题的处理能力远不如人，特别是它只能按照人事先编好的程序机械的 执行，缺乏向环境学习、适应环境的能力【2 1 。人们已经知道人脑的工作方式与现在的 数字计算机是不同的，人脑是由大量的具有处理能力的神经元互相连接组成的高度复 杂的、非线性的、并行处理信息系统。人脑单个神经元的处理速度比数字计算机的基 本单元低5 - 6 个数量级，但是由于人脑神经元数目巨大，相互之间高度互连，处理速 度反而比数字计算机快很多。 自从认识到人脑与数字计算机的工作方式不同以后，人们就从模仿人工智能角度 出发，探询新的信息表示、存储和处理方式，设计全新的计算机处理结构，于是关于 人工神经网络( 一般简称神经网络) 的研究就开始了。人工神经网络是指用大量的简 单计算单元( 即神经元) 构成的非线性系统，它在一定程度和层次上模仿了人脑神经 系统的信息处理、存储及检索功能，因而具有学习、记忆和计算等智能处理能力。正 因为神经网络这种具有独特的结构及特征，所以人们期望它能解决一些用传统方法难 以解决的问题。 由于人工神经网络的特殊结构特征和神经元的学习能力，使得神经网络具有下列 特点【2 3 4 】： ( 1 ) 非线性映射逼近能力 一个由非线性神经元互连而成的神经网络本身是非线性的，并且非线性是一种分 第一章绪论 p i - s i g m a 神经网络的学习算法研究 布于整个网络中的特殊性质。有理论证明，任意的连续非线性函数映射关系都可以由 某一多层神经网络以任意精度加以逼近。 ( 2 ) 对信息的并行分布式综合优化处理能力 神经网络的大规模互连网络结构，使其能很快地并行实现全局的实时信息处理， 并很好地协调多种输入信息之间的关系，兼容定性和定量信息。 ( 3 ) 高强的容错能力 神经网络的并行处理机制及冗余结构特性使其具有较强的容错特性，提高了信息 处理的可靠性和鲁棒性。 ( 4 ) 对学习结果的泛化和自适应能力 经过适当训练的神经网络具有潜在的自适应模式匹配功能，能对所学信息加以分 布式存储和泛化，这是其智能特性的重要体现。 ( 5 ) 便于集成电路实现和计算模拟 神经网络在结构上是相同神经元的大规模组合，所以特别适合用于大规模集成电 路实现，也适合于用现有计算技术进行模拟实现。 正因为神经网络具有这些优点，神经网络有着极其广泛的应用领域，不仅可以应 用在工程、科学、数学领域，也可广泛应用于医学、商业、金融、文学等领域，甚至 还可以应用于解决计算量很大的复杂工业问题【1 埘。 1 1 1 神经网络的发展历史 从第一个人工神经网络模型【4 】诞生至今，神经网络已经有了6 0 年的发展历史。 在这半个多世纪的历程中，人工神经网络经历了一段曲折的研究和发展道路。 神经网络的发展历史大致可分为四个历史时期1 5 l ： 1 9 7 0 年之前：早期； 1 9 7 0 年一1 9 8 0 年：休眠期； 1 9 8 0 年一1 9 9 0 年：复苏期； ，1 9 9 0 年一至今：高潮期。 1 9 4 3 年，神经生物学家m c c u l l o c h 和青年数学家p i t t s 融会了生物物理学和数学， 基于神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神 经元模型以及这些人工神经元互联形成的人工神经网络，提出了第一个神经计算模型 2 p i s i g m a 神经网络的学习算法研究 第一章绪论 【6 】( m p 模型) ，从此开始了将数理科学和认知科学结合，探索人脑奥秘的过程。 m c c u l l o c h p i t t s 模型是神经网络发展历程中的第一座里程碑，它标志着神经网络作为 一门新学科的诞生。 、 1 9 4 9 年，h e b b 提出了关于神经系统学习机理的“突触修饰”假说【7 1 ，即著名的 h e b b 突触概念。“突触修饰”假说猜测：突触联系效率或联结强度是可变的，前突触 和后突触放电会导致突触修正。h e b b 将突触联系效率与前突触一后突触活性关联， 并将其形式化作h e b b 学习规则( h e b b i a nl e a r n i n gl a w ) ，成为人工神经系统自组织 行为的基础，其基本思想为：若两个神经元同时处于兴奋状态，则其联系效率或联结 强度应予以增强。h e b b 学习规则作为调整神经网络连接权的普适性的学习规则而被 广泛应用于各种神经网络模型。h e b b 学习规则是神经网络发展里程中的第二座里程 碑，它的提出为构造有学习功能的神经网络模型奠定了基础，揭示了生物神经系统所 具有的自组织的本质特征，包括自适应和自学习特性，并将这种自组织行为形式化作 具有普遍意义的神经计算法则。 1 9 5 7 年，r o s e n b l a t t 等人在原有的m p 模型基础上增加了学习机制，构造了一种 著名的神经网络模型一一“感知器( p e r c e p t r o n s ) ”模型【8 】，第一次从理论研究转入工 程实现阶段，掀起了研究人工神经网络的高潮。感知器是一种层状人工神经网络，视 网膜层接收来自外界的信号，并将信号依次投射至各神经元层，直至反应层输出反应 信号。基于h e b b 学习规则，感知器神经元的联系效率或联结强度是可调的，感知器 因而具有了记忆和学习的功能和行为。r o s e n b l a t t 证明，若模式是线性可分的，则基 于h e b b 学习规则的单层感知器训练算法是收敛的。r o s e n b l a t t 在计算机上对感知器 进行了仿真实验，获得了与理论一致的实验结果。感知器是神经网络发展历程中的第 三座里程碑，它使神经网络上升到一个前所未有的理论研究的高度，并吸引了世界上 众多的实验室仿效感知器，设计出各种模拟感知器的电子装置。 1 9 6 9 年，人工智能创始人m i n s k y 和p a p e r t 潜心多年，对以感知器为代表的网络 系统的功能及其局限性从数学上作了深入分析和研究，于1 9 6 9 年出版了轰动一时的 名为( p e r c e p t r o n s ) ) 的著作【引。在肯定感知器的研究价值以及引人瞩目的特征之后， 指出简单的线性感知器的功能是有限的。具体地说，感知器只能求解线性可分的模式 分类问题和一阶谓词逻辑问题，而不能求解线性不可分的模式分类问题和高阶谓词逻 辑问题。m i n s k y 和p a p e r t 以异或问题( e x c l u s i v eo rp r o b l e m ，x o r ) 为例，证明即使 3 第一章绪论 p i s i g m a 神经网络的学习算法研究 是异或问题这样简单的问题，感知器也无力解决。感知器从理论上给感知器以沉 重的打击。因此它使得整个7 0 年代神经网络的研究处于低潮。 感知器是神经网络发展历程中的第四座里程碑。它无法解决线性不可分的两 类样本的分类问题，如简单的线性感知器不能实现“异或 的逻辑关系等。要解决这 个问题，必须加入隐层节点。但是对于多层网络，如何找到有效的学习算法尚是难以 解决的问题。 神经网络第二次高潮到来的标志和揭开神经网络计算机研制序幕的是美国加州 工学院物理学家j o h nh o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院院刊上发表的两篇 文章：提出仿人脑的神经网络模型即著名的h o p f i e l d 模型【9 】，开拓了神经网络用于联 想记忆和优化计算的新途径。h o p f i e l d 网络在旅行推销员问题上的成功应用表现了神 经网络模型对于n p 类问题的潜在计算能力。h o p f i e l d 网络是神经网络发展历程中的 第五座里程碑，它标志着人类在神经细胞水平上模拟脑功能的研究方面取得了历史性 的重大突破。 1 9 8 6 年m c c l e l l a n d 和r u m e l h a r t 提出了多层网络的误差反向传播算法【l o 】( b a c k p r o p a g a t i o n ，简称b p 算法) 。这种算法的主要思想就是把学习过程分为两个阶段：第 一阶段( 正向传播过程) ，输入信息从输入层经过隐层逐层处理并计算出各单元的实 际输出值；第二阶段( 反向传播过程) ，若在输出层不能得到期望的输出，那么逐层 计算实际输出与期望输出之间的差值( 即误差) ，以便根据此差值调整权值，从后向 前修正各层次之间的联系权重，在不断学习和修正过程中，可以使网络的学习误差达 到最小。b p 网络是迄今为止应用最广泛和最流行的神经网络。b p 算法是神经网络发 展历程中的第六座里程碑。 在h o p f i e l d 网络和b p 算法强有力的引潮力作用下，神经网络自2 0 世纪8 0 年末 和9 0 年代初，开始进入一个前所未有的高潮期。1 9 8 7 年6 月2 1 日，在美国加州召 开了第一次国际神经网络学术会议，宣告了国际神经网络学会正式成立，不久该学会 创办了刊物j o u r n a ln e u r a ln e t w o r k s 。同时，国际神经网络协会( i n t e r n a t i o n a ln e u r a l n e t w o r ks o c i e t y , i n n s ) 宣告成立。19 8 8 年，i n n s 的会刊n e u r a ln e t w o r k s 创刊，紧 接着，19 8 9 年，n e u r a lc o m p u t a t i o n 创刊，19 9 0 年，i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s 创刊。i e e e 计算机学会、控制与系统学会、信息与信号处理学会、生物学工程学会、 光学学会等相继推出了神经网络的特刊，各种有关人工神经网络的学术刊物雨后春笋 4 p i - s i g m a 神经网络的学习算法研究 第一章绪论 般地相继出版发行。至此，神经网络理论研究在国际学术领域获得了其应有的地位。 1 1 2 神经网络的发展趋势 以神经网络为代表链式主意模式，从大规模并行分布式信息处理和非线性系统的 认知上来反应人脑信息处理和思维的本质。其发展的推动力来源于它特有的非线性适 应性信息处理能力。目前，神经网络正处于由简单的并行处理模型机制的研究到对其 变换能力、变化机制进行深入的和严格意义数学理论分析的研究，许多学者正在对神 经网络结构的整体能力和限制进行深入的理论分析。下面从几个方面来说明神经网络 的发展趋势。 1 增强对智能和机器关系的认识 神经网络是由大量处理单元组成的非线性、自适应、自组织系统，它是现代神经 科学研究成果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种 新的机器，使之具有人脑风格的信息处理能力。智能理论所面对的课题来自“环境一 问题一目的 ，有极大的诱惑力与压力。它的发展方向就将是，把基于联结主义的神 经网络理论、基于符号主义的人工智能专家系统理论和基于进化论的人工生命这三大 研究领域，在共同追求的总目标下，自发而有机的结合起来。可以预测，在2 1 世纪 初，智能的机器实现问题的研究将有新的进展和突破。 2 探索更有效的学习新算法 虽然当前神经网络已经取得不错的发展，大规模并行处理也带来了计算上的改 进，但是依然存在诸多需要解决的问题。例如，学习新样本模式会对旧的己有知识造 成破坏；大多数学习算法还都是局部算法等等。因此，探索更有效的学习新算法是神 经网络当前研究的一个热点，而且也取得了很多成果，首先是神经网络自身的改进， 主要是产生新型网络或者引进新的计算方法。如a m a r i 运用微分流形理论创建的信息 几何，首次将非欧氏空间的研究带入了神经网络模型的研究。同时，将神经网络和其 它的算法结合起来也取得了不错的成果。如神经网络与遗传算法、混沌理论等产生了 遗传神经网络、混沌神经网络等。或者将神经网络与各种控制方法有机结合，其建模 算法和控制系统的稳定性等研究也是当前的热点问题。 3 数学理论上的研究 用数理方法探索智能水平更高的神经网络模型，深入研究网络的算法和性能，如 第一章绪论 p i - s i g m a 神经网络的学习算法研究 神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的 网络数理理论。现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转 交给了学习算法来完成，具休说，增加处理机数目一般不能明显增加近似求解的规模。 可以说，有些神经网络模型的计算( 学习) 时间与神经元有多少关系不太大，却与学习 的样本有明显的依赖关系。值得注意的是，尽管采用大规模并行处理机是神经网络计 算的重要特征，但我们还应寻找其它有效方法，建立具有计算复杂性、网络容错性和 坚韧性的计算理论，由于神经网络的非线性，因此非线性问题的研究是神经网络理论 发展的一个最大动力。特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启 发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生 理本质角度出发是研究神经网络的根本手段。 4 神经网络软件模拟，硬件实现的研究以及神经网络在科学技术领域应用的研 究 神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的 物理前提。它体现了算法和结构的统一，是硬件和软件的混合体，这种硬软混合结构 模型可以为意识的作用和基本机制提供解释，未来的研究主要是针对信息处理功能 体，将系统、结构、电路、器件和材料等方面的知识有机结合起来，建构有关的新概 念和新技术，如结晶功能体、高分子功能体等。在硬件实现上，研究材料的结构和组 织，使它具有自然地进行信息处理的能力，如神经元系统、自组织系统等。目前有些 学者正在研究从硬件技术到应用之间的映射理论，将会出现一些新的方法。由于神经 网络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用 光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子 神经网络计算机潜力巨大。如何使神经网络计算机与传统的计算机和人工智能技术相 结合也是前沿课题，如何使神经网络计算机的功能向智能化发展，研制与人脑功能相 似的智能计算机，如光学神经计算机，分子神经计算机，将具有十分诱人的前景。 1 2p i s i g m a 神经网络 p i s i g m a 神经网络是从高阶神经网络演化而来的，因此在了解p i s i g m a 神经网 络之前，先简单探讨一下高阶神经网络的发展。 6 p i s i g m a 神经网络的学习算法研究 第一章绪论 1 2 1 高阶神经网络 1 9 8 7 年，g i l e s 和m a x w e l l 提出了高阶神经网络【1 1 ，1 2 1 ( h i g h e ro r d e rn e u r a l n e t w o r k ，h o n n ) 。高阶神经网络可以加强多层前馈型神经网络的非线性分类能力， 同时，可以将训练时间大大减少。 一个全连接的h o n n 见图1 - 1 ： 输入层隐层 输出层 图1 1 全连接的h o n n 神经网络 则输出值可以写为： y = 盯( _ _ + _ 黾+ w j u x j x k x , + ) ( 1 1 ) jj k j ks 其中盯为活化函数，x 是输入值，w 是权值。由式( 1 1 ) 可以看出，公式中包含输 入样本的高阶项，因此被称为高阶神经网络。 与多层感知器比较，早期的神经网络研究主要集中在用于数据分类的感知器上， 单层的一阶神经网络只能用于解决线性分类问题，而要实现非线性分类至少需要一个 多层感知器( m u l t i l a y e rp e r c e p t r o n ，m l p ) 或一个高阶神经网络( h o n n ) 。 在一个传统的一阶神经网络( 各层之中只有加法神经元，输入与权值之间做线性 内积运算) 中，如果隐层与输出层的活化函数是线性函数，则这个网络归于平凡，没 有任何非线性性。只有加入了非线性的活化函数，网络才有非线性分类能力。但是， 就其本质来说，这种网络的先天结构中不具备非线性，因此在处理一些强非线性问题 时，会遇到增加隐节点和隐层等一系列问题，从而提高了运算量和网络成本。 然而，高阶神经网络就不同了，由于其中加入了高阶神经元，对原来的样本空间 进行了非线性展开，从而该网络的本质上就具有了非线性性。因此，其较之前者在处 7 第一章绪论p i - s i g m a 神经网络的学习算法研究 理非线性问题时，有更好的效果。 总之，与多层感知器相比，高阶神经网络具有如下特点： ( 1 ) 由于网络的输出与输入的高阶相关函数相对应，因此容易实现平移不变性、 旋转不变性、比例不变性模式识别； ( 2 ) 这种网络的输出对应着v o l t e r r a 泛函数的展开式，因此，具有较系统的数 学理论基础。从信号处理的角度上讲，它与v o l t e r r a 非线性滤波、高阶谱与累积量直 接相联系； ( 3 ) 由于网络不存在隐层，可以获得较快的训练速度，且不容易出现局部极小 问题，也避免了难以解决的隐单元个数选择问题。 但是，高阶神经网络也有缺点，明显不足之处是：随着阶数的增加，权矩阵的维 数将以几何幂速度增长。因此，在高阶情况下，这种网络的学习和硬件的实现变的很 困难。 由于高阶神经网络中存在的最大问题是权值数目随着维数的增加呈组合型增长 趋势，所以目前对其研究也主要集中在网络结构的确定上。对高阶神经网络的研究就 为了得到的网络结构可以减弱权值的组合型增长问题并具有较好的推广能力，针对这 一问题，许多研究者提出了一些解决方案，这些方案具体可以分为两类： 一是消剪法，即首先构建一个很大的网络，然后在训练中逐步的删减权值。例如i s p i r k o v s k a ，l 等人介绍了四种非全连接机制【1 3 】。 二是构建法，即首先生成一个很小的网络，然后逐渐增加隐单元和权值直到精确 度满意为止。 经过二十多年的发展，高阶神经网络家族已经增加了很多成员，以下是几种常见 的高阶神经网络模型。 ( 1 ) s i g m a - p i 神经网络 s i g m a - p i 神经网络( s i g m a - p in e u r a ln e t w o r k ，s p n n ) 也存在权值的增长问题。 目前对这种网络的研究主要集中在权值的删减和网络的应用上f 1 4 】。 一个全连接的s i g m a p i 神经网络如图1 2 ： p i - s i g m a 神经网络的学习算法研究 第一章绪论 翰人层1 s t 输入层2 s t 输入层3 s t 输入层输出层 图1 - 2s i g m a - p i 神经网络 ( 2 ) p i s i g m a 神经网络 1 9 9 1 年，s h i n 和g h o s h 在文中旧提出了一种新型网络一一p i s i g m a 神经网络。 这种网络保持了多层h o n n 强大的学习能力，同时避免了权值数目随输入维数增加 的组合性增长，文中通过数值实验得出，此网络具有稳定结构且可以有效解决分类和 函数逼近问题。但这种网络只是单输出网络，下面将这种网络扩展到多输出的网络， 其网络结构图将在后文给出。 ( 3 ) r i d g ep o l y n o m i a l 神经网络 p o l y n o m i a l 神经网络( r p n ) 可以看作是p i s i g m a 神经网络的一种推广。它 有很好的映射能力，可以逼近定义在某一紧集上的任意连续函数。跟高阶神经网络相 比，它采用易于控制的单变量多项式从而避免自由参数数目过大。另外，也具有更规 范的网络结构并保持了高阶神经网络强大的学习能力。 图1 3r i d g ep o l y n o m i a l 神经网络 图1 - 3 中每一个p s n n j 都代表一个i d 的p i s i g m a 网络。也就是说r i d g e p o l y n o m i a l 网络是以p i - s i g m a 神经网络作为模块构建的。 9 第一章绪论 p i - s i g m a 神经网络的学习算法研究 ( 4 ) s i g m a - p i s i g m a 神经网络 2 0 0 2 年，l i 提出了s i g m a - p i s i g m a 神经网络【1 7 ，1 引，其网络结构示意图如下图所 示。它的每个隐单元也都是有一个小的p i - s i g m a 神经网络作为模块，与r i d g e p o l y n o m i a l 神经网络不同的是，它的隐层到输出层之间也有权值连接，这种网络收敛 速度快而且需要更少的记忆空间。 1 2 2 p i s i g m a 神经网络 图1 - 4s i g m a p i s i g m a 神经网络 p i s i g m a 神经网络结构非常简单，属于高阶前馈型神经网络，而且是对高阶神 经网络的一种改进，它的结构是单层感知器，因此它既保持了单层感知器收敛快的特 点，又有高阶神经网络特有的强非线性映射能力，以其为模块构造的各种神经网络广 泛应用于求解各种分类和函数逼近问题。s h i n 提出的p i s i g m a 神经网络是一个三层 网络结构，见图1 5 ： 输入层加法层乘法层 图卜5p i s i g m a 神经网络 按照s h i n 的定义，该网络的隐层神经元的输出为： 1 0 p i - s i g m a 神经网络的学习算法研究 第一章绪论 h j = 杉x = 五+ ，= 1 ，2 ，k ( 1 2 ) 输出层的神经元输出为： y = 仃( 兀h j ) ( 1 3 ) 户1 s h i n 提出的这种p i s i g m a 神经网络隐层到输出层的权值固定为1 ，在训练过程中 不需要动态调整，所以收敛速度快。但这种p i - s i g m a 神经网络结构是一个单输出的 结构，这里将它扩展为多输出的结构，扩展后的隐层到输出层的权值不再固定，而是 可以调整的。另外还有其它几种扩展方法【1 9 1 。扩展后的神经网络依然保持p i s i g m a 神经网络快速学习的性能。扩展后的p i - s i g m a 神经网络如图卜6 ： 输入层 酶层云凳法神输嫦霹法经元 仰红o 图l - 6 多输出p i s i g m a 神经网络 则该神经网络第k 个神经元的输出可以表示为： 以= 厂( 兀( 厂( w , j x j - w o ) ) ) ( 1 4 ) i f f i l j f l 式( 1 4 ) 中嘞是隐层到输出层的连接权值，是隐层到输出层的权值，厂( ) 为活 化函数。 1 3 主要研究内容及章节安排 1 3 1 主要研究内容及成果 学习算法和结构优化方法的研究一直是神经网络研究的主要内容，一个好的学习 算法可以极大的提高神经网络的性能；一个好的结构优化方法可以降低神经网络的复 杂度，减少网络的训练时间。 第一章绪论 p i s i g m a 神经网络的学习算法研究 鉴于此，本文的主要研究内容有，研究p i s i g m a 神经网络学习算法及其结构优 化算法。本文将具有很强全局搜索能力的遗传算法和具有很强局部搜索能力的单纯形 法结合起来，提出一种p i s i g m a 神经网络的混合遗传学习算法，而且对该混合遗传 学习算法的收敛性进行了分析。同时将用于产品质量设计的田口方法用在了p i s i g m a 神经网络的结构优化中，该方法结合了混合遗传学习算法构成一种新的p i s i g m a 神 经网络结构优化方法，该结构优化算法主要是对p i s i g m a 神经网络的权值进行剪枝， 对隐层神经元个数的确定没有涉及。 本文的主要研究成果如下： 1 分析并比较p i s i g m a 神经网络的已有学习算法，并提出一种p i s i g m a 神经网 络的学习算法一一混合遗传学习算法； 2 对这种混合遗传学习算法进行收敛性分析，从理论上证明该混合遗传学习算法 以概率1 收敛至l j 全局最优解； 3 结合田口方法，提出一种p i - s i g m a 神经网络的混合遗传剪枝方法，对p i s i g m a 神经网络的权值进行剪枝，并取得满意的结果。这种剪枝方法主要特点之一是鲁棒性 比较强，而且由这种方法产生的网络结构具有很好的稳定性。 通过本文的研究，不但对p i s i g m a 神经网络的学习算法进行了研究，而且对 p i s i g m a 神经网络的结构优化方法进行了探讨，提出了基于田口方法的混合遗传剪枝 方法，该方法有效解决了遗传剪枝方法计算量大的缺点。为p i s i g m a 神经网络发展、 应用提供了有效的框架，无论是在理论方法还是实际应用都有一定的意义。 1 3 2 主要章节安排 本文主要章节安排如下： 第一章，简要说明了人工神经网络的发展历史和学习的相关概念，以及高阶神经 网络和p i s i g m a 神经网络的基本概念： 第二章，主要介绍了p i s i g m a 的常用学习算法一一梯度法、遗传算法和单纯形 法等，并对这几种常用的算法进行了分析比较： 第三章，分析了遗传算法的不足，提出了p i s i g m a 神经网络的混合遗传学习算 法，并从理论上对混合遗传学习算法进行了收敛性分析； 第四章，简单介绍了常见的神经网络结构优化方法，针对遗传剪枝算法计算量过 1 2 p i s i g m a 神经网络的学习算法研究 第一章绪论 大的缺点，结合田1 ：3 方法，提出一种p i s i g m a 神经网络混合遗传剪枝方法，并对比 已有的神经网络剪枝方法； 第五章，总结本文所做的研究工作，并对今后研究的工作进行了展望。 第二章p i s i g m a 神经网络学习p i - s i g m a 神经网络的学习算法研究 第二章p i s i g m a 神经网络学习算法 神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网 络的突触连接q b 2 , 4 1 。神经网络的_ 学习是一个过程，在其所处的环境的激励下，它的 自由参数按照一定的方式得到调节，从而以新的方式响应环境。p i s i g m a 神经网络跟 其它神经网络一样，都需要学习算法进行训练。 2 1p i s i g m a 神经网络学习方式 和其它神经网络一样，p i s i g m a 神经网络按照环境提供信息的多少，学习方式可 分为三种1 4 j ： ( 1 ) 监督学习：需要外界存在一个教师，对一组给定输入提供应有的期望输出， 神经网络可根据输入向量和目标输出与实际输出之间的误差值来调节系统参数。这种 调整可以逐步反复进行的，最终目的就是让神经网络模拟教师。 ( 2 ) 强化学习：环境对系统输出结果只给出评价而不给出正确答案，神经网络 通过强化那些受奖励的动作来改善自身性能。这种评价机制，实现了延迟强化，系统 观察从环境接收的一个时序刺激，最终产生启发式的强化信号。 ( 3 ) 非监督学习：不存在外部教师，神经网络完全按照环境所提供数据的某些 统计规律来调节自身参数和结构，以表示外部输入的某种固有特征。 用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触 权值以获得想要的设计目标。神经网络的设计有多种不同的学习算法，每一种都有它 的优势，如误差修正学习，基于记忆的学习，h e b b 学习，竞争学习，b o l t z m a n n 学习。 误差修正学习根植于最优滤波，基于记忆的学习通过明确地记住训练数据来进行， h e b b 学习和竞争学习都是受了神经生物学的启发，b o l t z m a n n 学习是借鉴了统计学的 思想。 当神经网络所处环境的统计特征不随时间变化时，从理论上说通过监督学习可以 学到环境的统计特征，并把这些统计特征作为神经网络的经验记住。如果环境的统计 特征随时间变化，通常的监督学习没有能力跟踪这种变化，为此解决此问题需要网络 有一定的自适应能力，此时将每个不同的输入都作为一个新的例子对待。 1 4 p i - s i g m a 神经网络的学习算法研究第二章p i - s i g m a 神经网络学习算法 2 2p i s i g m a 神经网络学习算法 p i s i g m a 神经网络的学习算法主要是从b p 神经网络或其它类型的神经网络移植 过来的，一般有梯度法，遗传算法等等。这里总结了p i - s i g m a 神经网络常用的学习 算法并做了比较分析。 2 2 1 梯度法 梯度法是最常用的一种神经网络学习算法，由于其算法简单，容易实现，也被应 用到p i s i g m a 神经网络的训练f 3 1 。 下面简单说明p i s i g m a 神经网络的梯度学习算法。这里的梯度学习算法加入了 惩罚项。考虑结构为p 一刀一l 的p i - s i g m a 神经网络模型，给定训练样本集 x ，0 7 ) 么lcr ，r ，设g ：r r 和r r 分别为隐单元和输出单元上的活化函数。 令输入层到隐层的权矩阵为矿= ( 1 ) ：! ，) 唧，记v i = ( ，_ 2 ，) r ，l f 刀，隐层到输出 层的权向量为w = o ) ，延伸系数7 ( 1 ) ，收缩系数 ( 0 ，1 ) ，通常取口= 1 ，厂= 2 ，= 1 2