（计算机应用技术专业论文）有理样条权函数神经网络研究及其在文本分类中的应用.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机应用技术 研究方向：智能计算技术与应用 作者：曹锋 指导教师：张代远 题 目：有理样条权函数神经网络研究及其在文本分类中的应用 英文题目：t h er e s e a r c ho nn e u r a ln e t w o r kw i t hr a t i o n a l s p l i n e f u n c t i o nw e i g h ta n di t sa p p l i c a t i o ni nt e x tc l a s s i f i c a t i o n 主题词：神经网络权函数有理样条文本分类训练算法 k e y w o r d s ：n e u r a ln e t w o r kw e i g h tf u n c t i o nr a t i o n a l s p l i n et e x tc 1 a s s i f i c a t i o n t r a i n i n ga l g o r i t h m 南京邮电大学硕士研究生学位论文 摘要 摘要 神经网络理论的研究经过半个多世纪的发展，已经取得了丰硕的成果，然而，其中大 部分的研究成果都是对已有的传统神经网络的改进，没能从根本上解决制约神经网络应用 与发展的收敛速度慢、局部极小等的缺陷。因此从根本上改变神经网络训练的方式才是解 决问题的关键。南京邮电大学的张代远教授经过大量的理论研究，提出了一种全新的神经 网络训练方式样条权函数神经网络训练算澍1 】【2 】。该训练算法解决了传统神经网络( 如 b p 、r b f ) 局部极小、收敛速度慢、初值相关的缺陷。理论及实验已经证明样条权函数神 经网络具有良好的网络性能。 本文在张代远教授研究的基础上，对样条权函数神经网络理论进行了拓展，给出了一 种有理样条权函数神经网络训练算法。该算法采用带两个参数的分母为线性，分子为三次 的有理样条作为神经网络的权函数。由于三次多项式样条是有理样条的一种特殊形式，因 此本文所给出的有理样条权函数神经网络可以说是对张教授所提算法的扩展，与之相比具 有更为一般的形式。本文还给出了有理样条权函数神经网络的数据仿真实验，与传统的b p 算法和r b f 算法的比较实验证明，有理样条权函数神经网络具有更好的网络性能。 结合神经网络的实际应用领域，本文给出了有理样条权函数神经网络在文本分类中的 应用。给出了有理样条权函数神经网络作为文本分类器的设计过程，对网络结构的确定， 输入数据、输出数据的表示，训练过程，分类过程，进行了详细的阐述。通过实验，证明 了有理样条权函数神经网络文本分类器，与传统分类器相比具有更高的分类精度。 关键词：神经网络，权函数，有理样条，文本分类，训练算法 a b s t r a c t a f t e rm o r et h a n5 0y e a r sd e v e l o p m e n t ，t h ea c h i e v e m e n t so fn e u r a ln e 觚o r kr e s e l r c h a r e p l e n t i f u la n ds u b s t a n t i a l ；h o w e v e r ,b e c a u s em o s to ft h o s ea c h i e v 瞰l e n t s a r ea b o u tt l l e i m p r o v e m e n to ft r a d i t i o n a ln e u r a ln e t w o r k ，p r o b l e m sw h i c hc o n f i n e st h e a p p l i c a t i o na n d d e v e l o p m e n to fn e u r a ln e t w o r k , s u c ha sp a r t i a lm i n i m u mf r e q u e n t l y , l o wc o n v e r g e n c es p e e d ， s e n s i t i v et oi n i t i a lv a l u ea r en o tu l t i m a t e l ys o l v e d s oc h a n g et h et r a i n i n gm e m o do fn a u a i 咖破f u n d a m e n t a l i t yi st h ek e yp o i n tt os o l v et h o s ep r o b l e m s d a i y u a nz h a n go fn 觚j 吨 u n i v e r s i t yo fp o s t sa n dt e l e c o m m u n i c a t i o n sp r o p o s e dan e w a l g o r i t h m s p l i n ef u n c t i o nw e i g b t 删n e t w o r k t r a i n i n ga l g o r i t h m t h i st r a i n i n ga l g o r i t h mo v e r c a m et h ed e f e c t ss u c h 嬲p a r t i a l m i n i m u mf r e q u e n t l y , l o wc o n v e r g e n c es p e e d ，s e n s i t i v et oi n i t i a lv a l u e w h j c hc x i s t si n 伽i t i o n a l n a 砌n e “岫r k i ti sp r o v e di nb o t ht h e o r ya n d e x p e r i m e n t a t i o nt h a tt h es p l i n ef u n c t i o nw e i g h t n e u r a ln e t w o r kh a sb e t t e rp e r f o r m a n c e b a s e do nt h er e s e a r c ho fp r o f e s s o rd a i y u a nz h a n g , t h i sp a p e rc o n s t r u c t san e w k i n do f a r t i f i c i a ln e u r a ln e t w o r k r a t i o n a l s p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r kw h i c he x p a i l d sm e s p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r kt h e o r y t h i sa l g o r i t h ma d o p t st h er a t i o n a lc u b i cs p l i n e w i t hl i n e a rd e n o m i n a t o r , w h i c hh a st o w s h a p ep a r a m e t e r s ，a st h ef u n c t i o nw e i g h t b e c a u s et h e c u b i cp o l y n o m i a lp l i n ei st h es i m p l ef o r mo ft h er a t i o n a lc u b i cs p l i n e ，i tc a nb es a yt h a tm e r a t i o n a lc u b i cs p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r ki s t h ee x p a n s i o no ft h e s p l i n ef i 】n c t i o n w e i g h tn e u r a ln e t w o r kt h a tp r o f e s s o rz h a n g p r o p o s e d t h ec o n t r a s te x p e r i m e n t sw i t h 缸a d i t i o n a l n e u r a ln e t w o r k - b pa n dr b ft e s t i f i e dt h a tr a t i o n a ls p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r kh a s b e t t e rn e t w o r kp e r f o r m a n c e c o m b i n ew i t ht h ea p p l i c a t i o no fn e u r a ln e t w o r k ，i nt h i sp a p e r , t h er a t i o n a l s p l i n ef u n c t i o n w e i g h tn e u r a ln e t w o r k sa p p l i c a t i o ni nt e x tc l a s s i f i c a t i o ni sg i v e n t h ec o n s t n l c t i o no fr a t i o n a l s p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r kt e x tc l a s s i f i e ri s g i v e n t h i sp a p e ra l s oe x p a t i a t et h e a c q u l r e m e n to fi n p u td a t aa n do u t p u td a t a ，t h ep r o c e s so ft h es e p a r a t o rt r a i n i n ga n d c l a s s i f y i n g t h ee x p e r i m e n t st e s t i f i e dt h a tt h er a t i o n a ls p l i n ef u n c t i o nw e i g h tn e u r a ln e t w o r kt e x tc l a s s i f i e r h a sb e r e rc l a s s i f i c a t i o np r e c i s i o nc o m p a r ew i t ht h et r a d i t i o n a lc l a s s i f i e l k e y w o r d s ：n e u r a ln e t w o r k ，w e i g h tf u n c t i o n , r a t i o n a ls p l i n e ，t e x t c l a s s i f i c a t i o i l ，t r a i n i n g 南京邮电大学硕士研究生学位论文目录 目录 第一章绪论l 1 1 研究背景l 1 2 国内外研究现状2 1 3 论文研究内容及组织结构3 1 3 1 论文研究内容3 1 3 2 论文组织结构4 第二章神经网络5 2 1 神经网络概述5 2 1 1 神经元模型及神经网络的定义5 2 1 2 神经网络发展史6 2 1 3 神经网络的基本特征1 0 2 1 4 神经网络的分类l l 2 2 样条权函数神经网络1 1 2 3 本章小结1 4 第三章有理样条权函数神经网络1 6 3 1 多输入单输出有理样条权函数神经网络模型1 6 3 2 有理样条权函数的建立求解及有理样条权函数的训练方法1 6 3 3 误差分析2 0 3 4 有理样条权函数神经网络训练算法的一般结构2 3 3 5 有理样条权函数神经网络训练算法的误差分析2 5 3 6 实验及实验结果分析2 5 3 6 1 实验l 网络训练2 6 3 6 2 实验2 网络测试2 7 3 6 3 实验3 泛化能力测试2 9 3 6 4 实验4 训练速度测试3 0 3 6 5 实验5 逼近能力实验3 1 3 7 本章小结3 3 第四章有理样条权函数神经网络文本分类器3 4 4 1 文本分类定义3 4 4 2 文本分类过程3 5 4 3 文本分类中信息预处理3 5 4 4 文本特征表示及选择3 6 4 4 1 文档频度3 7 4 4 2 信息增益3 7 4 4 3 互信息3 7 4 5 文本分类算法3 8 4 5 1 朴素贝叶斯算法3 8 4 5 2k 最邻近算法3 8 4 5 3 支持向量机算法3 9 4 5 4 神经网络算法3 9 4 6 神经网络分类器3 9 4 6 1b p 神经网络4 0 1 1 1 南京邮电大学硕士研究生学位论文 目录 4 6 2b p 神经网络分类器。4 3 4 7 有理样条权函数神经网络分类器设计4 5 4 7 1 神经元数目确定及输入数据、输出数据的表示4 5 4 7 2 网络分类器训练4 7 4 7 3 网络分类过程4 8 4 8 实验及实验结果分析4 8 4 8 1 实验语料4 8 4 8 2 实验环境4 9 4 8 3 实验目的及方法4 9 4 8 4 性能评测及结果分析4 9 4 9 本章小结5 3 第五章总结与展望5 4 5 。1 总结! ；l 5 2 展望5 4 致谢! ；! i 参考文献。5 6 攻读硕士学位期间发表学术论文情况5 9 i v 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 研究背景 第一章绪论 人的认知是如何产生的? 这个问题的探索由来已久，可以说自从人类产生以来人们就在 不断的探寻这个问题的答案，然而由于古代人们生活和社会条件的限制，人们对这个问题 的思考往往是在哲学的领域进行探讨。直到近代随着科学技术的发展，人们对于人脑的认 识才有了长足的进步，特别是2 0 世纪4 0 年代随着神经解剖学，神经生理学以及神经元的 生物反应过程的认识，人们对于人脑的结构及其机能过程才有了充分的认识。也正是在这 个时期，神经生理学家w m c c u l l o c h 和数学家w p i t t s 构造了第一个简单的人工神经元模 型m p 模型【3 】，人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k ) 的研究工作也就由此拉开 了序幕。也正是如比，人们通常认为神经网络理论产生于2 0 世纪4 0 年代。 m p 模型提出后，神经网络的研究工作逐步蓬勃发展起来，此后出现了许多研究成果。 像d o n a l ao h e b b 提出的h e b b 学习规则【4 】；f r a n kr o s e n b l a t t 提出的感知机神经网络【5 】； w i d r o w 和h o f f 提出的a d a l i n e ( a d a p t i v el i n e a rn e u r o n ) 网络和一个称为l m s ( l e a s t m e a ns q u a r e ，最小均方) 算法的学习规则【6 】；a n d e r s o n 和k o h o n e n 提出了线性联想器网络 f 7 】【8 1 ；h i n t o n 等提出了一种具有大规模并行学习能力的神经网络模型b o l t z m a n 机【9 1 。 特别值得一提的是多层前馈神经网络的反向误差传播训练算法( 简称为b p 算法) 的提 出，给神经网络研究界带来了不小的震动。b p 算法最早是由p a u lw e r b o s s 于1 9 7 4 年最早 提出的【1 0 1 ，然而它在被d a v i dr u m e l h a r t ，g e o f f r e yh i n t o n 和r o n a l dw i l l i a m s u ，d a v i d p a r k e r 1 2 】分别独立的重新发现后才得到广泛的研究应用的。该算法因被包含在( p a r a l l e l d i s t r i b u t e dp r o c e s s i n g ) ) 【1 3 】一书中而得到普及。b p 算法的提出也给众多的研究者带来了启 t 及o b p 算法受到重视的同时也受到了人们激烈的批评，b p 算法的主要缺点( 这些缺点是本 质的，也是致命的) 是常不收敛，或者收敛于局部极小，即使收敛其速度也很慢，这使得 b p 算法只能解决小规模的问题。由于b p 算法的这些缺点，人们对它进行了研究改进。这 些改进，大都是集中在改变学习率，加惯性项，寻求良好的初始条件等方面。虽然这些方 法有一定的成效，但由于没有摆脱b p 算法思想框架的束缚梯度下降思想，因此并不 能从根本上克服b p 算法的本质缺点。 正是由于上述种种原因，要想从根本上克服b p 算法的缺陷，必须从网络结构和权值 南京邮电大学硕士研究生学位论文第一章绪论 的调整入手，从根本上改变b p 算法训练的思想。基于这种思想南京邮电大学张代远教授 提出了一种新型的神经网络训练算法一样条权函数神经网络训练算法【l 】i 【2 】。与传统的三 层网络结构不同，张教授所提的样条权函数神经网络，只有输入层和输出层，其权值经过 训练后并非常数而是权函数输入样本的函数。由于这种权函数是由训练样本点经过样 条差值理论而构造的，因此网络能够对训练样本产生精确的记忆；其训练过程并非b p 算 法那样需要反复的搜索，而是只需求出权函数的参数，因此其收敛数度与b p 相比有了大 幅的提高，能够用于大规模数据的处理。目前样条权函数神经网络理论还不够完善，张教 授所提的样条权函数神经网络训练算法，其权函数还只是多项式样条的形式，因此对样条 权函数神经网络进行进一步的研究，这不仅是对样条权函数神经网络理论的丰富，而且也 具有重大的现实意义。 另一方面，样条权函数的求解要借助于数学中的插值理论，因此数学中差值理论的研 究工作也会给样条权函数神经网络的研究带来新方法。目前多项式样条插值理论的研究已 经取的了丰硕的成果，然而对于带有极点函数的逼近，多项式样条则显得力不从心。为此， 一些数学家，把样条理论扩展到有理函数领域，对有理样条进行了深入的研究并取得了一 些可喜的成果。像分母为二次、分子为三次多项式的有理样条【悼1 9 1 ；分母为三次、分子为 三次多项式的有理样条f 2 0 】【2 l 】；具有线性分母、分子为三次多项式的有理样条【2 2 之7 】。由于有 理样条的空间复杂性，其研究成果并不像多项式样条那样完美。其研究有待进一步进行。 本文的研究就是在这样一个神经网络和有理样条研究发展的背景下展开的。 1 2 国内外研究现状 国外神经网络的研究起步较早，特别是上世纪8 0 年代以后，神经网络的研究进入了 黄金发展期，大批的学者涌入神经网络研究领域，催生了丰硕的研究成果。如j o h nh o p f i e l d 提出的h o p f i e l d 网络模型【2 8 1 1 2 9 1 ，h i n t o n 等提的b o l t z m a n 机，b a r tk o s k o 提出的双向自联 想记忆网络，以及神经网络领域最著名的b p 算法。1 9 8 7 年6 月第一届n n 国际会议在美 国加州举行，并成立了国际n n 学会，以后的每年，都会召开两次国际联合n n 大会。并 且出现了一些较有影响力的学术刊物，如( i e e et r a n s a c t i o no i ln e u r a ln e t w o r k ) ) 和( n e u r a l n e t w o r k ) 。美国政府、一些高校和公司制定了“神经、信息、行为科学”计划，来对神经 网络进行研究；美国国防部认为“n n 是解决机器智能的唯一希望 ，“这是一项比原子弹 工程更重要的技术”，并投资4 亿美元进行神经网络相关计划的研究。 日本的富士通、日本电气、日立、三菱、东芝等公司也急起直追。1 9 8 8 年日本提出了 2 南京邮电大学硕士研究生学位论文第一章绪论 所谓的人类尖端科学计划( h u m a nf r o n t i e rs c i e n c zp r o g r a m ) ，即第六代计算机研究计划。法 国提出了“尤里卡计划，还有德国的“欧洲防御 。等等这些计划和研究都大大加快了 神经网络的发展。 我国神经网络的研究起步较晚。我国对神经网络研究较早的学者是涂序彦先生，他于 1 9 8 0 年发表了生物控制论【3 0 】一书，并把神经网络作为单独的一张进行介绍。我国虽然 起步较晚，但神经网络研究的发展是迅速的。我国从1 9 8 6 年开始，先后召开了多次非正 式的神经网络研讨会。1 9 9 0 年1 2 月，电中国计算机学会、电子学会、人工智能学会、自 动化学会、通信学会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了 “中国神经网络首届学术会议 ，从而开创了我国神经网络研究的新纪元。 目前神经网络的研究有两个大的趋势：一是在理论上向更复杂的神经网络系统方向发 展。表现在神经网络与模糊、进化算法的结合，神经网络与认知科学的结合，神经网络与 生物医学的结合，以及各种混合神经网络的出现。二是神经网络的应用范围不断扩展，神 经网络应用技术研究不断深入，它与多种学科相交叉，解决了很多传统科学解决不了的难 题，为人类认识世界、开拓未知领域、提高现代科学技术研究水平进而以科技带动生产 力对国民经济的增长起到了促进作用，是世界上公认的尖端前沿的技术研究领域之一。 当前，神经网络已经广泛应用于自动控制领域、处理组合优化问题、模式识别、图像 处理、传感器信号处理、机械人控制、信号处理、卫生保健、医疗、商业预测、化工领 域、焊接领域，以及数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面。 1 3 论文研究内容及组织结构 1 3 1 论文研究内容 本文主要的研究内容是给出了一种新型的神经网络结构模型有理样条权函数神 经网络，并把它作为分类器应用到文本分类当中。这种神经网络模型，网络拓扑结构简单， 只有两层其中输入层的权与神经元全互连，输出层没有权。这种结构比传统的三层神经网 络结构要简单的多，需要训练权的个数也明显减少。这种结构中，只要知道输入样本向量 和输出样本向量的维数，就可以确定神经网络的拓扑结构。因此在实际的应用中，与传统 方法相比，其网络结构的设计更简单，更方便。 由于多项式样条是有理样条的一种特殊形式( 当有理样条的分母多项式为常数时) 因此 可以说本文的有理样条权函数神经网络比张教授所提出的样条权函数神经网络具有更好 南京邮电大学硕士研究生学位论文第一章绪论 的拓展性，是对样条权函数神经网络理论的丰富。本文给出了三次有理样条权函数的建立 和求解过程和这种有理样条权函数神经网络的训练算法，并对其性能和误差分析及泛化能 力进行了深入的分析。 结合神经网络的应用领域，本文给出了有理样条权函数神经网络在文本分类中的应 用。给出了有理样条权函数神经网络作为文本分类器的设计过程，对网络结构的确定，输 入数据、输出数据的表示，训练过程，分类过程，进行了详细的阐述。通过实验，证明了 有理样条权函数神经网络文本分类器，与传统的州和s v m 文本分类器相比具有更高的 分类精度。 1 3 2 论文组织结构 第一章：本章是绪论，主要阐述了论文的研究背景和研究现状，并对本文结构做出安 排。 第二章：本章论述了神经网络的概念、和发展历史，对神经网络的基本特征和其模型 的分类进行了介绍，对神经网络的应用领域进行了分析，着重样条权函数神经网络进行了 论述。 第三章：本章是本文的核心。本章给出了一种有理样条权函数神经网络结构，首先给 出了简单的具有一维输出的有理样条权函数神经网络模型，并给出了三次有理样条权函数 的建立和求解方法，随后对有理样条权函数的训练方法进行了详细的阐述，给出了其误差 分析，这是神经网络是否具有良好的稳定性的关键。而后给出了更为一般的多维输入和多 维输出的有理样条权函数神经网络结构和其训练算法。 第四章：本章对文本分类的定义和应用进行了介绍，并对文本分类中涉及的技术和分 类算法进行了分析。随后对神经网络作为分类器进行了详细的介绍。给出了有理样条权函 数神经网络作为文本分类器的设计过程，给出了其输入数据和输出数据的表示形式，通过 实验，验证了有理样条权函数神经网络作为文本分类器与传统的k n n 和s v m 分类器算法 相比，具有更好的分类精度。 第五章：工作总结和展望。本章对论文的内容进行了总结，并展望了今后需要进一步 完善和开展的工作。 4 南京邮电大学硕士研究生学位论文第二章神经网络 第二章神经网络 本章主要是对神经网络的概述，介绍神经网络的定义、发展历史、神经网络基本特征 及其分类。介绍样条权函数神经网络及其模型。 2 1 神经网络概述 2 1 1 神经元模型及神经网络的定义 人工神经网络模型与生物解剖学有着密不可分的关系，它是人们在认识了人类认知的 生物学机理后通过数学建模而形成的。人工神经网络的基本组成单元是对生物神经元的建 模，是对生物神经元功能的一种模拟。 图2 1 1 简化的生物神经元图 图2 1 1 是一个简化的生物神经元图，现代生物神经研究认为它由三部分组成：树突、 细胞体和轴突。树突树状的神经纤维接受网络，它将电信号传送到细胞体，细胞体对这些 输入信号进行整合并进行阈值处理。轴突是单根长纤维，它把细胞体的输出信号导向其他 神经元。一个神经小的轴突和另一个神经细胞树突的结合点称为突触，通常一个神经元有 大量的突触。神经元的排列和突触的强度确立了神经网络的功能。生物的神经网络就是由 这样的大量生物神经元经过复杂的连接建立起来的。 生物的神经网络在整个生命周期内是不断变化的，这种变化体现了生物大脑各种功能 的变化。这种变化主要体现在神经元与神经元连接突触的加强和减弱上。有研究表明，新 记忆的形成是通过改变突触强度而实现的。 人工神经网络就是建立在以上的生物神经元结构的基础上的，它是对人脑功能的抽 5 图2 1 2 人工神经元模型 图中可以看出他有以下几个部分组成，输入信号o l 抛，而) ，权值( w l ，w 2 ，”，) ，累积 函数( 通常为累积器) ，激励函数( 7 以及输出信号，图中还画出了神经元的阈值或称为 偏差( ) 用来对神经元累积后的值进行调整。与生物神经元的结构对比可以发现，人工神 经元的输入相当于生物神经元中临近神经元传来的刺激，权值于相当于神经元间突触的强 度；累积函数及激励函数相当于对刺激的整合( 偏差也看作是刺激整合的一部分) ；y 相当于 本神经元对其他神经元的刺激输出。用数学公式表述为： 塑 y = 厂( w i x i + 0 ) i = 1 人工神经网络就是由以上的多个人工神经元相互连接而组成的网络。当然这并不是对 神经网络的定义，神经网络产生以来虽然已有近7 0 年的历史，然而目前确没有一个公认 的、统一的、确切的定义。研究人员根据自己所处专业的不同，由于侧重点的不同，所给 出的神经网络的定义表述也不尽相同，特别是随着计算机等一些新兴学科的产生，神经网 络与这些新兴学科交织在一起，形成一些交叉学科，要给一个公认的神经网络的定义更是 不容易。在此我们采用美国神经网络学家h e c h tn i e l s e n 的观点，“神经网络是由多个处理 单元彼此按某种方式相互连接而形成的计算系统，该系统靠其状态对外部输入信息的动态 响应来处理信息。可以将神经网络简单表述为：人工神经网络是一种旨在模仿人脑结构 及其功能的信息处理系统。 2 1 2 神经网络发展史 神经网络是涉及多个学科的一种交叉学科，它的研究涉及到计算机科学、人工智能、 控制理论等学科。一般认为它的研究最早开始于二十世纪四十年代，1 9 4 3 年心理学家 6 南京邮电大学硕士研究生学位论文第二章神经网络 w a r r e nm c c u l l o c h 和数学家w a l t e rp i t t s 发表了一篇关于神经网络的论文【3 1 ，论文中根据已 知的神经细胞生物过程原理，构造了一个简单的人工神经元模型，这个模型就是后来被人 们称为m p 的模型。此模型中，神经元的输入信号加权和与阅值比较后决定神经元是否输 出。这是人类历史上第一次对大脑工作原理描述的尝试，从原理上证明了人工神经网络可 以计算任何算术和逻辑函数。此后神经网络的发展便揭开了序幕，从总体上看，神经网络 的发展大体可以分为三个阶段，在此我们称这三个阶段为启蒙期、低潮期、复兴期。 第一阶段：神经网络启蒙期。这是神经网络的基础理论的形成时期。此阶段神经网络 研究的代表人物有，神经生物学家w a r r e nm c c u l l o c h ，青年数学家w a l t e rp i t t s ，神经生物 j 学家d o n a l ao h e b b ，f r a n kr o s e n b l a t t ，b e r n a r dw i d r o w 及m a r c i a nh o f f 等。正如上文我 们所提到的，m c c u l l o c h 和p i t t s 提出了第一个人工神经元模型，给出了出神经元的数学模 型。人工神经网络的研究也由此开始。 2 0 世纪4 0 年代末期，d o n a l ao h e b b 在文献【3 忡首先定义了一种权的调整方法，称 为h e b b 学习规贝j j ( h e b b i a nr u l e ) 。这种学习规则是以h e b b 假设为前提的，h e b b 假设认为： “当细胞a 的轴突到细胞b 的距离近到足够激励它，且反复地或持续地刺激b ，那么在这 两个细胞或一个细胞中将会发生某种增长过程或代谢反应，增加a 对细胞b 的刺激效果。” 可以说h e b b 所提出的学习规则是一种细胞级别上的学习机制。 2 0 世纪5 0 年代末，f r a n kr o s e n b l a t t 同他的几位研究人员提出了一种感知机的神经网 络【1 2 1 。这些网络中的神经元与m p 神经元模型十分相似，r o s e n b l a t t 的主要贡献在于他引 入了用于训练神经网络解决模式识别问题的学习规则，并首次把神经网络理论付诸工程实 现，这是人工神经网络的第一个实际应用，这次成功应用引起了许多学者对神经网络研究 的兴趣。但后来的研究表明基本的感知机神经网络只能解决有限的几类问题。 2 0 世纪6 0 年代w i d r o w 和h o l j f 引入了a d a l i n e ( a d a p t i v el i n e a rn e u r o n ) 网络和一个 称为l m s ( l e a s tm e a ns q u a r e ，最小均方) 算法的学习规则【6 】。这种网络能快速准确的进行学 习，它有若干输入，每个输入对应一个期望输出，系统根据实际的输出与期望的输出的误 差进行权值的调整，调整过程中采用梯度下降法，使得均方误差最小。特别值得一提的是 w i d r o w 和h o f f 所提出的l m s 算法在实际应用中比感知机学习规则要多，特别是其在数字 信号处理领域，如，长距离电话线路使用a d a l i n e 网络来消除回声。 第二阶段：神经网络低潮期。这一时期神经网络的发展很缓慢，可以说是举步维艰。 这一状况的出现与被称为人工智能的创始人之一的m a r v i nm i n s k y 和s e y m o u rp a p e r t 有很 大的关系。 1 9 6 9 年m i n s k y 和p a p e r t 出版了著名的( p e r c e p t i o n s ) ) 一书【3 1 1 。这是一本具有标志性 7 塑塞堕皇奎堂堡圭里壅竺堂堡笙壅 一 釜三兰塑丝堕垒 意义的著作，书中m i n s k y 和p a p e r t 第一次对感知机能够学习什么这一问题进行了深入而 严密的研究。对感知机网络本身所具有的局限性进行了全面而深入的分析，指出感知机网 络并不能实现某些基本的功能( 如异或等) 。书中还试图找出克服这些局限性的方向。但不 幸的是，书中作者悲观地认为感知机的局限性说明了神经网络领域是一条死胡同。尽管随 后的研究表明这并非事实，但它还是在此后的若干年内严重影响了神经网络的研究和投 资，使原本应该投入神经网络的资金纷纷流向其他领域，一些神经网络的研究人员也纷纷 转向其他课题的研究。这给当时已经蓬勃发展的人工神经元网络的研究带来了沉重打击。 加上当时人工智能领域逻辑与符合推理系统发展的逐渐兴起，并有些可喜的研究成果出 现，一些对神经网络前景不报希望的学者就近的转入人工智能的符号推理研究，此后的近 1 0 年的时间人工神经网络的研究一直处于低潮时期。虽然这一时期神经网络的发展陷入困 境，但仍有一些学者依旧坚持在神经网络领域进行研究，并取得了一些成果。这一时期的 代表人物有t u e v ok o h o n e n ，j a m e sa n d e r s o n ，k u n i h i k of u k u s h i m a ，s h u n - i c h ia m a r i 及 s t e p h e ng r o s s b e r g 。 2 0 世纪6 0 年代末和7 0 年代初，a n d e r s o n 和k o h o n e n 在各自研究的基础上独立的提 出了线性联想器网络f 7 】【8 1 。他们所提出的网络是类似的，这种网络在输入和输出之间学习 联想。k o h o n e n 提出的自组织神经网络s o f m ( s e l f - o r g a n i z i n gf e a t u r em a p ) 3 2 】是一种无教师 的竞争学习网络，也是一种自组织的神经网络。这种网络训练时并不事先知道有哪几种 分类的类型，而是靠网络训练来自动的找出所存在的类型。这种网络主要用于解决模式识 别、语音识别等问题。 2 0 世纪7 0 年代g r o s s b e r g 教授提出了自适应共振理论。g r o s s b e r g 可以说是神经网络 低潮最富有创造性的学者。g r o s s b e r g 研究了两种记忆机s t l ( 短期记忆和长期记忆) ，提出了 一种基于可视系统的自组织神经网络【3 3 】，这是一种连续时间竞争网络，是构成自适应谐振 理论( a r t ) 网络的基础。 k u n i h i k of u k u s h i m a 是低潮期的另一位著名的研究人员，他从1 9 6 5 年便进入的神经网 络领域并一直致力于该领域的研究，他在人脑高级功能的神经网络建模方面和视觉系统的 研究都有所建树。其中最重要的研究成果是他1 9 8 0 年发表的“n e o c o g n i t r o n ”以及“s e l e c t i v e a t t e n t i o nm o d e l 。“n e o e o g n i t r o n ”是与生物视觉理论相结合的视觉模式识别机制模型。他 建立了一种神经网络模型来模仿人类对事物的识别功能。“s e l e c t i o n a t t e n t i o nm o d e l ”可以 识别视觉领域有重叠部分的物体的识别。真是低潮期有这些科研工作者的坚持，才为以后 神经网络的再次复兴做了充分的理论过渡。 第三阶段：神经网络复兴阶段。这是神经网络理论研究的主要发展时期。这时期出现 8 雨京邮电大学硕士研究生学位论文第二章神经网络 了大量的神经网络研究成果，涌现了众多神经网络领域的著名研究人员。其中代表人物有， j o h nh o p f i e l d ，g e o f f i e yh i n t o n ，b a r tk o s k o ，d ：e r u m e l h a r t ，j l m c c l e l l n a d 等。 2 0 世纪8 0 年代初期，著名的物理学家h o p f i e l d 写了两篇非常有影响力的论文1 2 s 1 1 2 9 1 。 这两篇文章集中了前人的很多观点，如m c c u l l o c h 和p i t t s 的神经网络模型，g r o s s b e r g 的 改进模型，a n d e r s o n 和k o h o n e n 的线性联想模型，以及a n d e r s o n 、r i t z 和j o n e s 的盒中脑 状态模型。论文中提出了一种新的网络模型- h o p f i e l d 网络模型，这是种全连接的反 馈型网络；并提出了按内容寻址的神经网络，同时还给出了有关他的网络是如何工作的以 及该网络能够做什么的完整描述。这两篇文章为神经网络的构造和学习提供了理论指导， 重新激发了学者们对神经网络研究的兴趣和热情，此后众多的学者又投身到这一领域的研 究中，使神经网络的研究重现春天。正因为如此，h o p f i e l d 的这两篇文章成为神经网络研 究重新兴起的标志。 2 0 世纪8 0 年代中期h i n t o n 等提出了b o l t z m a n 机【9 】。这是一种具有大规模并行学习能 力的神经网络模型。b a r tk o s k o 发展了h o p f i e l d 及g r o s s b e r g 的一些概念，提出了双向自 联想记忆网络，这种网络使用了微分h e b b 及竞争学习规则。2 0 世纪8 0 年代末，c h u a 等 人提出了细胞神经网络。 特别值得一提的是这一时期，产生了目前应用最为广泛的反向误差传播算法( 简称b p 算法) 。更严格的说应该是重新发现。b p 算法最早是由p a u lw e r b o s s 于1 9 7 4 年最早提出的 0 1 ，只是由于种种原因，该论文并没有在神经网络研究领域得到传播。直到2 0 世纪8 0 年 代，反向传播算法才重新被发现并得到广泛的研究应用，它是被d a v i dr u m e l h a r t ，g e o f f r e y h i n t o n 和r o n a l dw i l l i a m s 1 1 1 ，d a v i dp a r k e r 1 2 】分别独立的重新发现的。该算法因被包含在 ( p a r