（计算机应用技术专业论文）广义同余神经网络研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 在过去的二十年，神经网络理论研究取得了很大的进展，在各领域的应 用也取得了丰硕的成果。作为神经网络的经典模型，b p 网络也得到了快速的 发展，同时，也存在着收敛速度缓慢、难阻用数字硬件实现等问题。随着研 究的深入，人们对神经网络实时性、规模性的要求越来越高，解决这些问题 也就显得更加迫切。 有关广义同余神经网络( g c r c n ) 的初步研究表明，相对于普通b p 网络， g c n n 具有很快的收敛速度。但是，g c n n 也存在着一些不足，主要包括： 学习能力略差，激励函数模值不易设定，难以开发出合适的学习算法，缺乏 严格的理论基础。 本文针对g c n n 的上述问题进行了研究，包括提出新的网络结构、学习 算法、进行相关理论分析以及实际应用分析。本文的研究成果主要有： 1 1 提出了一种改进的广义同余激励函数。同时，对g c n n 网络结构做 7 些改进，解决了模值难以设定的问题。并证明了，单隐层的 g c n n 具有一致逼近能力。 2 ) 提出了两种新的学习算法：改进的g c n nb p 学习算法及l a r g e m a r g i n 学习算法。分析了改进g c n nb p 算法的时间复杂度，并证 明了其收敛性。实验结果表明，本文所提出的网络结构及学习算法 是有效的，g c n n 比普通b p 网络及其部分变体具有更快的学习速度 和较好的逼近、分类精度。 3 ) 分析了g c n n 快速收敛的原因。理论分析及实验结果表明，g c n n 实质上是通过在误差函数空间中增加误差函数的极值点数目而实现 快速收敛的。 q 将g c n n 成功应用到垃圾邮件过滤中。实验结果表明，g c n n 的过 滤性能好于其它几种机器学习技术，也优于普通b p 网络，且所需学 习时间也少于b p 网络。 关键词：神经网络；广义同余；激励函数；学习算法：收敛分析；邮件过滤 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t o v e rt h ep a s td e c a d e s ，m a n ya c h i e v e m e n t sh a v ee m e r g e di nn e u r a ln e t w o r k t h e o r e t i c a lr e s e a r c ha n dp r a c t i c a la p p l i c a t i o n a sac l a s s i cn e u r a ln e t w o r km o d e l ， b pn e t w o r kh a se x p e r i e n c e da ne x t r e m e l yr a p i dg r o w t h m e a n w h i l e ，i ta l s os h o w s s o m ed e f i c i e n c i e s ，s u c ha ss l o wc o n v e r g e n c er a t ea n dd i f f i c u l f yf o rd i 百t a l i m p l e m e n t a t i o n w i t ht h ep r o g r e s so ft h e o r e t i c a lr e s e a r c ha n da p p l i c a t i o n ，n e u r a l n e t w o r kw i t hm u c hf a s t e rc o n v e r g e n c ea n dl a r g e rs c a l ei sr e q u i r e d ，a n dt h e n e c e s s i t yf o rs o l v i n gt h e s ep r o b l e m sb e c o m e si m p e r a t i v e r e c e n ts t u d i e so ng e n e r a l i z e dc o n g r u e n c en e u r a ln e t w o r k ( g c n n ) s h o wt h a t t h ec o n v e r g e n c er a t eo fg c n ni sf a s t e rt h a nt h a to fb pn e t w o r k 。h o w e v e r ，t h e r e a r es t i l ls o m ed r a w b a c k si ng c n n ，s u c ha sw e a k e rl e a r n i n ga b i l i t y ，d i f f i c u l t yt o s e tt h em o d u l u so ft h eg e n e r a l i z e dc o n g r u e n c ef u n c t i o n ，d i f f i c u l t yt od e v e l o p e f f e c t i v el e a r n i n ga l g o r i t h m ，a n dl a c ko fr i g o r o u st h e o r e t i c a lf o u n d a t i o n i nt h i st h e s i s ，t h ea b o v e p r o b l e m so fg c n na r ei n v e s t i g a t e d ，a n d t h e i r c o r r e s p o n d i n gs o l u t i o n sa r eg i v e n an o v e lg c n n n e t w o r ka r c h i t e c t u r ew i t hi t s l e a r n i n ga l g o r i t h mi sp r o p o s e d s o m et h e o r e t i c a la n a l y s i sf o ri t i sd o n e a n dt h i s g c n ni sa l s ou s e di ne - m a i lf i l t e r i n g t h em a j o rc o n t r i b u t i o n so ft h i st h e s i sa r e s u m m a r i z e da sf o l l o w s ： f i r s t l y ，an o v e lg c n nn e t w o r ka r c h i t e c t u r ei sp r o p o s e db a s e do n a l li m p r o v e d g e n e r a l i z e dc o n g r u e n c ea c t i v a t i o nf u n c t i o n i ti se a s yt os e tt h em o d u l u sf o rt h i s a r c h i t e c t u r e ，i ti sa l s op r o v e dt h a ts u c hg c n nw i t has i n g l eh i d d e nl a y e rc a n a p p r o x i m a t ea n yc o n t i n u o u sf u n c t i o nw i t ha r b i t r a r ya c c u r a c y 7 s e c o n d l y ，t w og r a d i e n td e s c e n tl e a r n i n ga l g o r i t h m s ，t h a ti s ，t h em o d i f i e dg c n n b pa l g o r i t h ma n dt h el a r g em a r g i na l g o r i t h m ，a r ep r o p o s e d 。t h et i m ec o m p l e x i t y a n dt h ec o n v e r g e n c ep r o p e r t yo ft h em o d i f i e dg c n nb pa l g o r i t h ma r ea n a l y z e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dg c n np e r f o r m sb e t t e rt h a nt h e s t a n d a r db pn e t w o r ka n ds o m ei m p r o v e dv e r s i o n so fi ti nt e r m so fc o n v e r g e n c e r a t ea n da p p r o x i m a t i o n e l a s s i f i c a t i o na c c u r a c y t h i r d l y ，t h er e a s o no ff a s tc o n v e r g e n c eo fg c n n i sd i s c u s s e d t h et h e o r e t i c a l a n a l y s i sa n de x p e r i m e n t a lr e s u l t ss h o wt h a tt 1 1 ef a s tc o n v e r g e n c ei sd u et ot h e 西南交通大学硕士研究生学位论文 第1 i i 页 m t l l t i p l em i n i m ao ft h e e l t o rf u n c t i o n ，w h i c hi sg e n e r a t e db yt h eg e n e r a l i z e d c o n g r u e n c ef u n c t i o n f o u r t h l y ，t h ep r o p o s e d g c n ni s s u c c e s s f u l l ya p p l i e d , i n e - m a i lf i l t e r i n g e x p e r i m e n t a i r e s u l t ss h o wt h a tt h eg c n nc a na c h i e v eb e t t e rc l a s s i f i c a t i o n a c c u r a c yt h a ns o m eo t h e rm a c h i n el e a r n i n gt e c h n i q u e sa n dt h eb p n e t w o r k ，a n d r e q u i r e sl e s sl e a r n i n gt i m ec o m p a r e dw i t l it h eb p n e t w o r k k e yw or d s ：n e u r a ln e t w o r k ；g e n e r a l i z e dc o n g r u e n c e ；a c t i v a t i o nf u n c t i o n ；l e a r n i n g a l g o r i t h m ；c o n v e r g e n c ea n a l y s i s ；e m a i lf i l t e r i n g 西南交通大学硕士研究生学位论文第页 符号说明 r “：n 维欧式空间 z + ：正整数集 k ：b a n a c h 空间中一紧集 c 畔) ：所有定义在k 上的连续函数的b a n a c h 空间，范数 锨，；s u p 。l f ( x ) ( r w ) ：所有t a u b e r w i e n e r 函数 s p a n 噼) ：k 在实数上的生成子空间 l z l ：m a x ( z ，o ) ，即取z 与0 之间的大者 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1神经网络的产生与发展 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) ，亦称神经网络( n e u r a l n e t w o r k s ) ，是人工智能( a r t i f i c i a li n t e l l i g e n c e ) 的一个重要组成部分，其研究 起源于人类对自身思维过程的探索。最早的相关研究可以追溯到古希腊时期， 一些哲学家如柏拉图( 4 2 7 3 4 7b c ) 、亚里士多德( 3 8 4 3 2 2b c ) 等人就给出 了脑和思维过程的形而上学的解释。此后，笛卡j l ( 1 5 9 6 1 6 5 0 ) 和1 8 世纪的 经验主义哲学家们对心智过程开始有了比较物质客观的看法。到了2 0 世纪， 随着心理学和神经生理学的发展，分析神经建模逐渐引起了研究者的注意。 1 9 4 3 年，芝加哥大学的精神病学家和神经解剖学家w s m c c u l l o c h 与数学 家w a p i t t s 【1 l 使用阈值逻辑单元模拟生物神经元，提出著名的m p 神经元 模型，并从原理上证明了神经网络可以计算任何算术和逻辑函数，从而正式 创立了神经网络这一新的学科。 作为一个新兴的交叉学科，神经网络受到了哲学、生理学、心理学、计 算机科学、物理学、数学、化学、经济学等多个学科的关注，涉及到从抽象 的认识到具体的生物电信号这样广泛的研究领域。这也使得神经网络的研究 存在着不同的流派。随着计算机的产生和发展，神经网络不仅获得了强有力 的研究工具，也与计算机科学形成了密切的关系。本文将从计算机科学的角 度对神经网络进行研究。 在d o h e b b 2 】提出了h e b b 学习规则、f r o s e n b l a t t 3 】研制出感知机 ( p e r c e p t r o n ) 以后，神经网络受到极大的重视，吸引了大批研究人员参与该学 科的研究工作，并取得了一定的进展。但是，1 9 6 9 年，m m i n s k y 和s p a p e r t l 4 j 指出感知机的缺陷并表示出对该方面研究的悲观态度。当时，人工智能的另 一分支一以知识信息处理为基础的知识工程( k n o w l e d g ee n g i n e e r i n g ) 去o 展示 出灿烂的前景，给人工智能从实验室走向实用带来了希望。同时，传统v o n n e u m a n n 型数字计算机的快速发展，使整个学术界陶醉于数字计算机的成功 之中，从而使神经网络的研究进入了萧条时期。这里仍值得指出的是，1 9 7 4 年，r b s t e i n 等人【5 1 提出了一种连续的神经元模型，他们采用泛函微分方程 来描述各种普通类型的神经元的基本特征。1 9 7 6 年，s g r o s s b e r g l 6 l 提了自 西南交通大学硕士研究生学位论文第2 页 适应共振理论( a r t ) ，这是感知器比较完善的模型。随后，他与c a r p e n t e r 一 起研究a r t 网络，它有两种结构a r t l 和a r t 2 ，能够识别或分类任意多 个复杂的二元输入图像，它的学习过程有自组织和自稳定的特征，一般认为 它是一种先进的学习模型。 在此期间，知识工程成了人工智能研究的主流。但是，随着知识工程的 发展，e a f e i g e n b a u m 等【7j 知识工程倡导者意识到了所谓的知识瓶颈问题， 即将人类专家知识转化为机器可执行的规则存在着巨大的困难。同时，随着 个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引入新的概 念，人们对神经网络的研究热情再次高涨。1 9 8 2 年和1 9 8 4 年，j j h o p f i e l d 【8 t 9 利用全互连型神经网络和计算能量函数成功求解了计算复杂度为n p 完 全型的t s p ( t r a v e l i n gs a l e s m a np r o b l e m ) 问题。1 9 8 4 年，j j h o p f i e l d 【9 】将 其神经网络模型用电子线路实现，这为神经计算机的研究和神经网络工程实 现奠定了基础。1 9 8 3 年，g e h i n t o n 等人 ”1 提出了“隐单元”概念，推出 大规模并行处理的b o l t z m a l m 机，使用多层神经网络并行分布改变各单元连 接权，克服了单层网络的局限性，为神经网络进入非线性处理领域奠定了基 础。1 9 8 6 年，d e r u m e l h a r t 和j l m c c l e l l a n d t l l 】发展了反向传播算法 ( b a c k p r o p a g a t i o n ，b p ) ，使得神经网络可以完成许多学习任务，解决很多实 际问题。上述研究成果掀起了8 0 年代中期以来的神经网络研究热潮，同时 极大地推动了神经网络的应用。从此以后，b p 算法成为应用最广、研究最 多和发展最快的算法。此后一段时期，神经网络的研究才进入了真正的高潮， 各种新型神经网络和算法相继出现，如引进动量因子、变尺度法、变步长法、 变结构法、遗传算法、扩展k a l m a n 滤波法、随机逼近法和死区法等，这些 方法的目的均在于加快神经网络的收敛速度和避免局部极小【1 2 “2 2 。 9 0 年代螽，神经网络理论及其应用得到了更加蓬勃的发展。这里对神经 网络的发展产生了很大的影响是9 0 年代初诺贝尔奖获得者g me d e l m a n 提出了d a r w i n i s m 模型，建立了神经网络系统理论【2 3 】。1 9 9 3 年，m a j h a r a 等 人【2 4 1 在前人推导和实验的基础上给出了一个混沌神经元模型用于联想记忆， 它已成为一种经典的混沌神经网络模型。1 9 9 4 年，p j a n g e l i n e 等人【2 5 j 在 前人进化理论的基础上，提出一种进化算法来建立反馈神经网络，并成功地 应用到模式识别和自动控制等方面。同期，相继出现了不同激励函数的神经 网络，诸如径向基函数( r u 3 f ) 网络、b 样条函数网络、小波网络等新型神经网 络、小脑模型神经网络、函数链接网络、概率神经网络( p n n ) 、广义回归 西南交通大学硕士研究生学位论文第3 页 神经网络( g r n n ) 、时间延时神经网络、有限刺激响应( f i r ) 网络、管道 式递归神经网络( d p r n ) 、非线性自回归神经网络( d p r n ) 、实时递归网 络( r t r n ) 、对传网络等。以及大量的网络学习优化方法，如网络剪裁、 权值衰减、权值消除、停止学习、前向扰动算法等4 7 1 。1 9 9 5 年，s m i t r a 与 s k p a l 4 8 懈神经网络与模糊逻辑理论相结合提出了模糊神经网络，使得神 经网络的研究取得了突破性进展；同年，b k j e n k i n s 和a r t a n g u a y 4 圳研 究光学神经网络，建立了光学二维并行互连与电子学混合的光学神经网络， 它能避免网络陷入局部最小值，并最后可达到或接近最理想的解。9 0 年代初 中期，e g e l e n b e 等人【5 2 1 提出并发展了一种前向型二值随机神经网络模 型，它的网络结构、学习算法、状态更新规则与应用等方面都具有自身的特 点，作为仿生神经元数学模型，随机神经网络在联想记忆、图像处理、组合 优化问题上都显示出较强的优势。同期，z p a w l a k ”j 出版了专著( r o u 【g hs e t t h e o r e t i c a la s p e n so fr e a s o n i n ga b o u td a t a ) ) ，系统全面地介绍了粗糙集理论， 奠定了严密的数学基础。由此导致了大量的有关粗糙集理论方法和神经网络 相结合的研究，它对于表达不准确、不完整的知识显示了无穷的魅力垆4 。”。 近年来，有跟样本情况下的机器学习理论研究逐渐成熟起来，形成了统计学 习理论这个比较完整的体系，它为解决神经网络结构问题、过学习和欠学习 问题以及局部最小点等问题提供了很好的理论指导，也为神经网络的发展注 入了新鲜的血液【5 9 “7 1 。 经过多年的发展，神经网络现已成为人工智能两大主流( 符号主义和连 接主义) 之一。 1 2神经网络的概念 出于神经网络是一个新兴交叉学科，其研究存在着不同的角度和学派， 因此，对于神经网络的具体概念目前仍众说纷纭，没有一个统一、精确的定 义。 本文采用国际神经网络权威t k o h o n e n 6 8 1 在1 9 8 8 年国际神经网络协会 会刊n e u r a l n e t w o r k s 创刊号上给出的经典定义： “神经网络是由简单( 通常是自适应的) 单元及其层次化组织所构成的 大规模并行互连的网络，它类似于生物神经系统的方式与真实世界中的对象 进行交互。” 西南交通大学硕士研究生学位论文第4 页 用简单的话说，神经网络是由大量处理单元( 神经元n e u r o m 广泛互连 而成的复杂网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征。神 经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息 处理的功能。它与人脑相似之处概括为两个方面：一是通过学习过程从外部 环境获取知识；二是内部神经元( 突触权值) 用来存储获取的知识信息。 1 3 神经网络研究的重要性 神经网络也常被称为神经计算( n e u r o c o m p u t e r ) ，与现代v o nn e u m a n n 体 系计算机的工作方式相比，它具有以下特征： 1 巨量并行性。在v o nn e u m a n n 型计算机中，信息处理是集中的、串 行的，即所有的程序指令都必须调入到c p u 中后再串行的执行。而在神经网 络中，大量的神经元可以做同样的处理，进行大规模的并行处理。 2 信息处理和存储单元结合在一起。在v o nn e u m a n n 型计算机中，存 储内容与存储地址是分开的，必须先找出存储器的地址，然后才能查出所存 储的内容，因而在存储与计算之间存在着瓶颈。而神经网络既有信息处理能 力又有存储能力，可以避免上述问题。 3 鲁棒性与容错性。在v o nn e u m a n n 型计算机中，一旦存储器发生故 障，存储器中存储的所有信息将都被毁坏，在信息处理时，一个部件出问题 将会导致结果完全错误。而神经网络，则善于联想、概括、类比和推广，任 何局部的损伤不影响整体结果，可以由部分信息恢复出所有信息。 4 自组织自学习能力。这也是实现人工智能最重要的条件。v o n n e u m a n n 型计算机没有主动学习能力和自适应能力，它只能机械地按照人为 编制好的程序步骤进行相应的数值运算或逻辑运算而神经网络可以能够通 过内部自组织、自学习的能力，不断地适应外部环境，从而可以有效地处理 各种模拟的、模糊的或随机的问题。 显然，神经网络具有很多现代计算机不具备的优势。因此，神经网络可 以在模式识别、组合优化和决策判断等很多方面取得传统计算机所难以达到 的效果，给科学和工程领域都带来巨大作用与效益。 现在，神经网络及其应用已渗透到各个学科，并在信号处理、智能控制、 模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等 领域取得了令人鼓舞的进展。鉴于此，各国都制订了相关的研究计划。 西南交通大学硕士研究生学位论文第5 页 在美国，神经网络的研究得到了军方强有力的支持。美国国防部投资4 亿美元，由国防部高级研究计划局( d a p r a ) 从1 9 8 8 年1 1 月开始开展一个8 年研究计划，并成立了相应的组织的指导委员会。同时，海军研究办公室 ( o n r ) 、空军科研办公室( a f o s r ) 等也纷纷投入巨资进行神经网络的研究。 d a p r a 认为神经网络“看来是解决机器智能的唯一希望”，并认为“这是 一项比原子弹工程更重要的技术”。美国国家科学基金会( n s f l 、国家航空 航天局( n a s a ) 等政府机构以及i b m 等大公司也都非常重视神经网络的发 展，它们以不同的方式支持了众多研究课题。日本制订了一个“人类前沿科 学计划”。这项计划为期1 5 2 0 年，仅初期投资就超过了1 万亿日元。在此 项计划中，神经网络和脑能力的研究占有重要地位，因为所谓“人类前沿科 学”首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的科 学领域。欧盟也制订了相应的研究计划。在其e s p r i t 计划中，就有一个项 目是“神经网络在欧洲工业中的应用”，除了英、德两国的原子能机构外， 还有多个犬公司卷入这个研究项目，如英国航天航空公司、德国西门子公司 等。此外，欧洲一些国家也有自己的研究计划，如法国的“龙里卡”计划、 德国的“欧洲防御”和前苏联的“高技术发展”等等。 我国自上世纪9 0 年代初开始，神经网络的研究就受到了极大的重视，国 家自然科学基金委员会、国防基金委员会、国家8 6 3 计划、攀登计划以及各 省市的科研基金部门等对神经网络的研究都给予了必要的资助。 神经网络不仅是科学家和工程师的兴趣所在，还受到了各国政府和军队 等权力部门的密切关注，其研究进展不仅将促进科学和技术的进步，还将对 各国的国力产生一定的影响。 1 4b p 网络的一些问题 自从1 9 8 6 年d e r u m e l h a r t 和j l m c c l e l l a n d 在( ( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g 一书中完整提出b p 算法以后，它就受到了广泛的接受，这也是 神经网络研究步入兴盛期的重要标志之一。通常人们把采用b p 算法的前馈型 神经网络( f e e d f o r w a r dn e u r a ln e t w o r k s ) 称为b p 网络。b p 网络是神经网络中 最为常用的经典模型。在实际应用中，有8 0 9 0 的神经网络模型是采用 b p 网络或它的变化形式【6 9 】。这显示了b p 网络在整体神经网络研究领域中的 重要地位。 西南交通大学硕士研究生学位论文第6 页 但是，随着研究及应用的深入，b p 网络的问题也逐渐暴露出来，其中的 一些已经成为神经网络进一步发展的障碍。当然，从另一个角度来说，这也 揭示了该学科应该重点研究的一些内容。目前，b p 网络几个亟待解决的问题 包括： 1 加快神经网络的学习速度。普通的b p 网络需要大量的迭代训练，计 算开销很大训练速度太慢，难以满足实时性要求较高的在线学习任务的需 要。此外，太慢的速度还使得神经网络技术难以应用于数据挖掘等领域，因 为等网络训练完成时，数据库的内容可能已经笈生了更新变化，神经网络学 习的知识无法正确反映出当前事务的特点。 2 b p 网络容易陷入局部极小值。这个问题在b p 网络的实际应吊中目益 显著。得到的结果若非全局最优解，将可能导致结果完全错误。此外，这个 问题也反过来影响网络的学习速度，可能会使得网络花了长时间来训练却难 以得到合理的结果。 3 难以用数字硬件实珊。目前神经网络的研究与应用，大多仍只是用计 算机软件仿真来实现，而且网络规模很小，所能处理的问题有限。神经网络 要想真正在工业界产生更大的作用，取得更大的效益，就必须采用大规模的 网络结构，并且用硬件实现，以发挥其巨量并行的优势。而目前的b p 网络结 构却难以用数字v l s i 实现。 1 5本文的工作 导致以上问题的个重要原因就是常用b p 网络所采用的s i g m o i d 激励函 数：s i g m o i d 函数的“饱和区”使得网络收敛速度太慢，且容易陷入局部极小： 而s i g m e i d 函数的完全非线性则使b p 网络难以用数字硬件实现。 为此，靳着教授口”日提出了广义同余神经网络( g e n e r a l i z e dc o n g r u e n c e n e u r a ln e t w o r k s ，g c n n ) ，该网络采用广义同余函数为激励函数。他们的初 步研究显示，相对于b p 网络，g c n n 具有很快的学习速度。同嗣，也存在 着一些不足，主要包括：学习能力略差，激励函数模值不易设定，难以开发 出合适韵学习算法，缺乏严格的理论基础。 出合适韵学习算法，缺乏严格的理论基础。 西南交通大学硕士研究生学位论文第7 页 针对g c n n 以上的4 点不足，本文主要做了4 方面的工作。如图1 - 1 所 示。本文的工作也可以在一定程序上解决b p 网络的第1 及第3 个问题。 已有g c n n 的一些问题本文的工作 新的网络结构 改进的广义同余激励函数 输出结点激励函数的改变 统一的模值设置方法 图1 - 1 本文的主要工作 在第2 章，本文对g c n n 的网络结构进行了研究。首先综述了前馈神经 网络激励函数的研究现状，提出了一种改进的广义同余函数，然后对已有的 g c n n 网络结构做了一些调整，并证明了，单隐层g c n n 具有一致逼近能力。 在第3 章，本文提出了两种基于梯度下降的学习算法：改进的g c n nb p 算法及l a r g em a r g i n 算法。分析了改进g c n nb p 算法的时间复杂度，并证 明了其收敛性。最后，通过对单个广义同余神经元误差函数的分析，试论了 g c n n 快速收敛的原因。 在第4 章，对本文所提出的网络模型及学习算法进行实验测试。实验结 果表明，本文所提出的网络模型及学习算法是有效的，g c n n 比普通b p 网 络及其部分变体具有更快的学习速度和更好的逼近、分类精度。 在第5 章，本文研究了g c n n 在邮件过滤中的应用。首先介绍了邮件过 滤方法及其分类，并对邮件过滤的研究现状进行了综述。然后将本文所提出 西南交通大学硕士研究生学位论文第8 页 的改进的g c n n 应用到邮件过滤中。实验结果表明，g c n n 比其它一些常用 的机器学习技术具有更好过滤性能，比普通b p 网络具有更快的学习速度。 第6 章“结束语”对本文所做工作进行了总结，提出了g c n n 其它一些 值得研究的问题，并展望了g c n n 进一步发展的前景。 最后，本文在附录部分对本人在攻读硕士学位期间参加科研项目情况和 发表( 投稿) 论文情况进行了总结。 西南交通大学硕士研究生学位论文第9 页 第2 章改进的广义同余神经网络( g c n n ) 2 1 激励函数国际研究现状 当前神经网络研究主要集中在学习算法和体系结构，而忽视了激励函数 的重要性。事实上，激励函数的选择对神经网络的复杂度及性能具有重要影 响。在神经网络的训练过程中，适当的激励函数与好的网络结构和学习算法 有同等重要的作用【7 3 】。自神经网络产生以来，特别是在近二十年，许多研究 者进行了激励函数方面的研究，提出了一些新的函数。这方面的主要工作包 括： 1 9 4 3 年，w s m c c u l l o c h 与w a p i t t s 1 】在第一个神经网络模型m p 模型中使用了阁值函数( t h r e s h o l df u n c t i o n ) ，该函数也常被称为阶跃函数 ( s t e pf u n c t i o n ) 。其输出为0 或者1 ，反映了神经元的兴奋或者抑制。 自从1 9 8 6 年d e r u m e l h a r t 和j lm c c l e l l a n d u l 成功发展了b p 算法( 早 在1 9 7 4 年p j w e b o s 就在其论文 7 4 】中提出了b p 学习理论) 以后，s i g m o i d 函数成为了最常用的激励函数。但是，尽管如此，并没有理由能说明，基于 这种激励函数的网络总是可以产生更好的效果【7 3 7 5 1 。此外，从上一章我们可 以看到，s i g m o i d 函数也会导致学习速度慢、难以数字硬件实现等问题。针对 这些问题，许多研究者也尝试着其它激励函数。 1 9 8 8 年，d s b r o o m h e a d 和d l o w e l 2 6 】将径向基函数限a d i a lb a s i s f u n c t i o n ，r b 聊引入神经网络设计中，并将他们的网络与数值分析、线性适应 滤波挂钩，取得了很好的结果。该类型的神经网络也被称为径向基神经函数 神经网络( r b f n n ) 。此后，j m o o d y 和c j d a r k e n t 2 7 1 ，t p o g g i o 和f g i r o s i 2 8 】 等进一步丰富和发展了r b f n n 的理论。在径向基函数中，比较常用的两类 是g a u s s l a n 和b l i n e 函数。 1 9 8 9 年，y p a o t 3 0 】在其f u n c t i o n a l l i n k 神经网络中使用了各种激励函数的 组合，该组合可以包含多项式函数、周期性函数、s i g m o i d 函数或者g a u s s i a n 函数。 1 9 9 1 年，r b a t r u n i i ”】将线性分段( p i e c e w i s e 1 i n e a r ) 函数作为多层网络的 激励函数，并提出相应的学习算法。同年，a m i c h e l 等人旧也将该函数引入 西南交通大学硕士研究生学位论文第1 0 页 其h o p f i e l d 网络。由于很容易用数字v l s i 实现，近年来，线性分段函数受 到研究人员越来越多的重视。 还是在这一年，e h a r t m a n 和j d k e e l c r 7 8 】提出一种新的激励函数，他 们称之为g a u s s i a nb a r 。 1 9 9 3 年，h l e u n g 和s h a y k i n i ”】在神经网络设计中采用了r a t i o n a l 激 励函数，他们称此类型的神经网络为r a t i o n a l 网络。实验结果【7 9 1 表明，r a t i o n a l 网络能得到很好的结果。 1 9 9 4 年，g d o r f f n e r 8 0 1 提出了一种圆锥曲线激励函数，该函数形状从 s i g m o i d 慢慢变化为类g a u s s i a n 。 1 9 9 5 年，b g g i r a u d 等人【8 1 】采用了l o r e n t z i a n 函数。这种函数也可以 视为一种简化的g a u s s i a n 函数。实验【8 1 】表明，采用此函数的神经网络可以得 到类似于其它常用网络的结果。 1 9 9 6 年，w d u c h 和n j a n k o w s k i 8 2 】通过将两个s i g m o i d 函数相乘，得 到一种新的激励函数，b i r a d i a l 函数。此外，还可以在b i r a d i a l 的基础上扩 展出其它函数。这类函数具有更大的灵活性。实验表明【“l ，采用该函数的神 经网络可以得到比r b f 网络更好的结果。 1 9 9 8 年，f j i n 7 0 ，7 1 】对广义同余函数进行了研究，并提出广义同余神经网 络( g c n n ) 。相对于普通的b p 网络，g c n n 具有比较快的学习速度。2 0 0 1 年， 胡飞和靳蕃 8 3 对g c n n 做了一些改进，尽管如此，g c n n 的一些问题仍然存 在。 1 9 9 9 年，k s h i b a t a 和k 1 t o 8 4 】为了增强普通r b f 网络在机器人控制中的 泛化能力，提出 t o a u s s s i g m o i d 神经网络。该网络包含两个隐层，前一个隐 层采用g a u s s i a n 函数，后一个隐层则使用s i g m o i d 函数。g a u s s s i g m o i d 网络综 合了普通r b f 网络的局部性及s i g i n o i d 网络的全局性的优点，得到更好的泛化 能力，可以处理回归、分类、时间序列分析以及非连续逼近问题。 同年，w d u c h 【7 3 】对此前激励函数研究做了一个全面的总结。以隐层、 输出层中所采用的函数，以及所采用的距离度量为标准，对激励函数进行了 简单的分类，并比较了各类函数的优缺点。 2 2 改进的广义同余神经网络 本节首先简单介绍g c n n 的基础及已有的广义同余函数。针对它们存在 西南交通大学硕士研究生学位论文第1 1 页 的一些问题，提出了一种改进的广义同余函数及新的网络结构。 2 2 1 广义同余神经元 定义2 1设a ，b ，g n r ，且a b 能被m 整除，则称a 广义同余等于b ，记为 a s 6 ( g m o d m ) ( 2 - 1 ) 其中，m 为模。式( 2 - 1 ) 意味着存在ke z ，使 a - b = k m ( 2 2 ) 成立，可记为m l ( a b ) 。 显然当a ，b ，m e z + 时，广义同余退化成普通的同余运算。 定义2 2 令 x = x l ，x 2 ，x 。 r “( 2 - 3 ) 和 w = w l ，w 2 ，w 。 e r 。( 2 4 ) 为神经元的h 维输入向量和连接权。如果其输出采用模为m ( r ) 的广义同余 来计算，即 y zw i x i ( g m o d m )( 2 5 ) 或者记为 y ；w x l ( g m o dm )( 2 6 ) 那么称之为广义同余神经元( g c n ) 7 0 , 7 1 】。g c n 的结构如图2 1 所示。 图2 1 广义同余神经元 显然，这类计算不同于过去感知机的输入和加阈值的激活方式，也有别 于普通的同余计算。 从上面的分析可知，广义同余函数的表达式为： 西南交通大学硕士研究生学位论文第1 2 页 y r x ( g m o d m ) ( 2 7 ) 图2 - 2 所示为模值为0 5 的广义同余函数0 【q2 5 】) 。这种函数被文献 【7 0 ，7 1 采用为激励函数。 图2 - 2 普通广义同余函数 2 2 2 改进的广义同余函数 注意到，图2 2 所示的普通广义同余函数是不连续的。这使得它作为激励 函数存在着一些不足：首先，不能确定采用此函数的神经网络是否具有一致 逼近能力；其次，给神经网络学习算法的开发带来困难。 文献 8 3 】为了解决这个问题，在普通广义同余函数的基础上，提出一种 新的广义同余函数，他们的函数定义如下： f 并( g m o d m ) 如果 x m 为偶数； ，。、 炉1 m 一工( g m 。d m ) 其它； u 喝 但是这个函数也存在着一个问题，即只能处理输入为正的问题。这使得 神经网络当使用随机初始权值时非常容易出错，严重限制了其实用效果。针 对这个问题，本文也提出一种改进的广义同余函数。在保证其连续性的同时， 也给出了输入为负的函数定义。其定义如下： g8 x ( gm o d m ) m x ( g m o d m ) 一m - x r g m o d m ) 如果缸m | 】为偶数； 如果【k m i 】为奇数且x = o ； ( 2 9 ) 如果【k m l 】为奇数且工co ； 其中，工为自变量( 输入) ，吕为因变量( 输出) ，m 为模，通常m o ； i 为绝对 西南交通大学硕士研究生学位论文第1 3 页 值符号；h 为取整函数。一个模值为0 5 n 广r n 余函数如图2 - 3 所示。 v v 八 八八，八a x 图2 3 改进的广义同余函数 从图2 3 可知，改进的广义同余函数在所有的极值点处不可导。为了应用 梯度下降算法，对其导函数做个小的修改：令这些点处的导数为0 。则其导函 数为： g 皇 1 如果x m o 且肚m 1 】为偶数； 一1 如果x m o 且啦圳伪奇数； ( 2 1 0 ) 0如果x m = 0 ； 其中，为普通的同余运算。其函数图如图2 _ 4 所示。 图2 4 改进广义同余函数的导函数 尽管s i g m o i d i 函数是最为常用的激励函数，但在采用b p 算法时存在着“饱 和”问题。这个问题的根源在于s i g i n o i d 函数的饱和区。一些研究者通过扩大 饱和区的误差对此做了一些改进【8 5 4 。注意到，改进的广义同余函数可以避 免这个“饱和”问题。图2 5 为s i g m o i d ( 1 0 9 i s t i c ) 函数、分段线性函数与改进 的广义同余函数的比较。也可以看到，改进的广义同余函数是局部线性的， 西南交通大学硕士研究生学位论文第1 4 页 这使得它很容易用数字硬件实现。此外，当把模值设为1 0 时，该函数还可以 解决异或及奇偶校验问题。 众入 v 髟 i i ! l p l c 9 e ”w p l s e 6 - t 9 i n 8 e “a 。r “l “。“g “。“。 b o i s t i c 2 2 3 网络结构 图2 5 三种函数的比较