（计算机应用技术专业论文）神经网络作为分类器的算法研究及在信息检索中的应用.pdf

摘要本文以统计理论为基础，主要讨论在计算机上用软件模拟实现的神经网络分类器。在综述了神经网络作为分类器的研究现状及存在问题的基础上，着重对构造性学习方法中的覆盖算法进行深入的探讨和改进，以达到缩短学习时间、简化网络结构、提高分类精度的目的。主要的研究内容及创新如下：( 1 ) 提出了覆盖算法的概率模型，并利用有限混合模型的极大似然拟合，用期望最大化算法对覆盖算法进行优化处理。将用原覆盖算法所得到的覆盖结果看作是一个预处理，将覆盖某一类样本的覆盖数看作是有限混合模型中的分量数目，解决了有限混合模型中分量数目难以估计这一难题，而不是主观地去估计分量的数目。某一类样本有多少个覆盖，就认为有限混合模型中的分量数目是多少，将覆盖某一类样本的每个覆盖看成一个g a u s s 分布，利用混合模型的极大似然拟合，用期望最大化算法来对覆盖算法进行优化处理。扩大了覆盖算法的应用范围，模拟结果表明新算法提高了测试精度。( 2 ) 对覆盖算法中的参数与测试精度的关系进行了研究。得出的结论如下：当原空间的女维样本向特征空间的k + l 维投影时，超球半径的大小r 与测试精度、拒识样本数之间几乎没有关系；对覆盖半径中参数行的取值与测试精度关系进行了研究，当n = 1 2 ( 即覆盖半径取同类样本中的最大距离与异类样本中的最小距离的算术平均) 时测试精度达到了最高，这相当于s v m 中的最优超平面：对覆盖算法中样本的学习顺序与网络性能的关系进行了分析实验，实验结果表明将样本按类别排序后所得到的网络，其性能比未排序时所得到的网络有不同程度的提高。( 3 ) 研究了覆盖算法中覆盖半径的大小与识别精度之间的关系。本文提出通过扩大覆盖半径和加入异类点，来减少覆盖数目和隐层神经元个数，在网络规模尽可能小的情况下，虽然增加了有限的学习时间，但提高了学习的精度。实验证明p b c a 对神经网络的训练是有效的。在网络结构上，提出了由前馈网络和反馈网络组成的神经网络的混合结构。前馈网络完成样本的第一次分类，用反馈网络对边界样本或拒识样本进行第二次分类。对处于“边界”情况的测试样本，现有的分类方法一般用“就近原则”进行再分类，或是用“概率最大原则”进行再分类。当最大概率a 很低时，按“概率最大原则”进行再分类的错误率= 1 - o r 将是很大的。而p b c a 则体现了概率分布思想，克服了这种缺点，提高了分类的精度。( 4 ) 对覆盖算法c a 、p b c a 和f m m c a 的应用进行了研究。将它们应用于信息检索中的中文文本分类。分别用上述三个算法对由复旦大学计算机信息与技术系国际数据库中心自然语言处理小组提供的包含1 0 个类别内容的语料库进行测试。与目前应用于同一语料库的其它几种分类算法相比，c a 接近这几种算法的平均分类精度，p b c a 接近这几种算法中的最好的分类精度，而f m m c a 则超过了这几种算法中最好的分类精度，取得了较好的分类结果。关键词：神经网络：分类；覆盖算法；概率逻辑神经网络；有限混合模型最大似然估计；期望最大化算法：文本分类。va b s t r a c tb a s e do nt h et h e o r yo fs t a t i s t i c s ，t h i sd i s s e r t a t i o ni n v e s t i g a t e sn e u r a ln e t w o r kc l a s s i f i e r sr e a l i z e dw i ms o f t w a r es i m u l a t i o ni nt h ec o m p u t e r a f t e rab r i e fs u m m a r yo ft h ee x i s t i n gs t u d i e so f t h en e u r a ln e t w o r k sa sc l a s s i f i e r sa n dt h ep r o b l e m st h a ta r es t i l lw a i t i n gt ob es o l v e d ，t h ed i s s e r t a t i o nb e g i n st of o c u so nt h es t u d yo ft h ec o v e ra l g o r i t h m si nt h ec o n s t r u c t i v el e a r n i n gm e t h o d sw i t ht h ea i mt os h o r t e nt h el e a r n i n gt i m e ，s i m p l i f yt h en e t w o r ks t r u c t u r ea n di m p r o v et h ec l a s s i f i c a t i o np r e c i s i o n t h ed i s s e r t a t i o nm a i n l yd e a l sw i t ht h ef o l l o w i n gi t e m s f i r s t l y , t h ed i s s e r t a t i o np u t sf o r w a r dap r o b a b i l i t ym o d e lo fc o v e ra l g o r i t h m ，a n d ，w i t ht h eh e l po fm a x i m u ml i k e l i h o o de s t i m a t i o no ff i n i t em i x t u r e so fm o d e l s ，o p t i m i z e st h ec o v e ra l g o r i t h mw i t ht h ee x p e c t a t i o nm a x i m i z a t i o na l g o r i t h m t h ed i s s e r t a t i o nt a k e st h ec o v e r a g er e s u l tf r o mt h eo r i g i n a lc o v e ra l g o r i t h ma sap r e t r e a t m e n t , a n ds e e st h ec o v e r a g en u m b e ro fac e r t a i nc l a s so fs a m p l e sa sc o m p o n e n tn u m b e r si nt h ef i n i t em i x t u r e so fm o d e l s i nt h i sw a yt h ed i s s e r t a t i o ns o l v e st h ep r o b l e mo fc a l c u l a t i n gt h en u m b e ro fc o m p o n e n t si nt h ef i n i t em i x t u r e so fm o d e l s ，w h i l ei nt h ep a s tr e s e a r c h e r su s u a l l yd e p e n d e do nt h e i ro w ns u b j e c t i v ee s t i m a t i o n t h ed i s s e r t a t i o nh o l d st h a tt h en u m b e ro fc o v e r a g ei nac e r t a i nc l a s so fs a m p l e sd e t e r m i n e st h en u m b e ro fc o m p o n e n t si nt h ef i n i t em i x t u r e so fm o d e l s ，a n dt h a te v e r yc o v e r a g eo fac l a s so fs a m p l e sc o u l db es e e na sag a u s sd i s t r i b u t i o n t h e n ，w i t ht h eh e l po fm a x i m u ml i k e l i h o o de s t i m a t i o no ff i n i t em i x t u r e so fm o d e l s ，o n ec o u l do p t i m i z et h ec o v e ra l g o r i t h mw i t ht h ee x p e c t a t i o nm a x i m i z a t i o na l g o r i t h m s u c ham o d e le x t e n d st h ec o v e ra l g o r i t h m sr a n g eo fa p p l i c a t i o n ，a n ds i m u l a t i o nr e s u l ts h o w st h a tt h en e wa l g o r i t h mh a si m p r o v e dt h ee x a m i n a t i o np r e c i s i o n s e c o n d l y , t h ed i s s e r t a t i o ns t u d i e st h er e l a t i o n s h i pb e t w e e np a r a m e t e r so ft h ec o v e ra l g o r i t h m sa n dt h ee x a m i n a t i o np r e c i s i o na n dr e a c h e san e wc o n c l u s i o n t h a ti s ，w h e nt h ek - d i m e n s i o n a is a m p l e so ft h eo r i g i n a ls p a c ep r o j e c to n t ot h ek + ld i m e n s i o n so ft h ef e a t u r es p a c e ，t h er a d i u so ft h eh y p e rs p h e r e ，r ，h a sn o t h i n gt od o、i mt h ee x a m i n a t i o np r e c i s i o na n dt h en u m b e ro fr e f u s e ds a m p l e s m o r e o v e r , t h ep a p e rs t u d i e st h er e l a t i o n s h i pb e t w e e nt h ev a l u eo ft h ep a r a m e t e rni nt h ec o v e r a g er a d i u sa n de x a m i n a t i o np r e c i s i o n 丽t lt h ef i n d i n gt h a t ，w h e nn = 1 2 ( t h a ti s ，w h e nt h ec o v e r a g er a d i u si st h ea r i t h m e t i ca v e r a g eo ft h em a x i m u md i s t a n c ei nt h es a m ec l a s so fs a m p l e sa n dt h em i n i m u md i s t a n c ei nt h ed i f f e r e n tc l a s so fs a m p l e s ) ，t h ee x a m i n a t i o np r e c i s i o nr e a c h e si t sh i g h e s tp o i n t ，w h i c hi se q u i v a l e n tw i t ht h eo p t i m i z e dh y p e rp l a n eo fs v m b e s i d e s ，t h ed i s s e r t a t i o na l s oc o n d u c t ss o m ea n a l y t i c a le x p e r i m e n t sc o n c e r n i n gt h er e l a t i o n s h i pb e t w e e nt h el e a r n i n gs e q u e n c eo ft h es a m p l e si nt h ec o v e r a g ea l g o r i t h ma n dt h en e t w o r kc a p a b i l i t y t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h en e t w o r ka f t e rt h es o r t i n go ft h es a m p l e sa c c o r d i n gt ot h e i rc l a s s e si sb e t t e ri ni t sc a p a b i l i t yt h a nt h en e t w o r kb e f o r et h es o r t i n go u t t h i r d l y , t h ed i s s e r t a t i o ns t u d i e st h er e l a t i o n s h i pb e t w e e nt h ec o v e r a g er a d i u si nt h ec o v e r a g ea l g o r i t h ma n dr e c o g n i t i o np r e c i s i o n a c c o r d i n gt ot h ep a p e r , b ye n l a r g i n gt h ec o v e r a g er a d i u sa n da d d i n gs o m es a m p l e so fd i f f e r e n tc l a s s e st od e c r e a s et h en u m b e ro fc o v e r a g ea n dh i d e - l a y e rn e u r a lc e l l s ，i nt h em i n i m u mp o s s i b l en e t w o r k ，l e a r n i n gt i m ei si n c r e a s e d ，b u tt h el e a r n i n gq u a l i t yi si m p r o v e d e x p e r i m e n t ss h o wt h a tp b c ai se f f e c t i v ei nt h et r a i n i n go f n e u r a ln e t w o r k s a st ot h en e t w o r ks t r u c t u r e ，t h ep a p e ra l s op u t sf o r w a r dam i x e dn e u r a ln e t w o r ks t r u c t u r ec o m p o s e do ff e e d f o r w a r dn e t w o r ka n df e e d b a c kn e t w o r k t h ef e e d f o r w a r dn e t w o r ki su s e dt oa c c o m p l i s ht h ef i r s tc l a s s i f i c a t i o no ft h es a m p l e s ，w h i l et h ef e e d b a c kn e t w o r kc o n d u c t st h es e c o n dc l a s s i f i c a t i o no ft h eb o r d e ra n dr e f u s e ds a m p l e s a si sk n o w n ，t h ep r e s e n tc l a s s i f i c a t i o nm e t h o d su s u a l l ya d o p t a d j a c e n c yp r i n c i p l e ”，o r m a x i m u mp r o b a b i l i t yp r i n c i p l e f o rt h er e c l a s s i f i c a t i o no f t h eb o r d e r e de x a m i n a t i o ns a m p l e s w h e nt h em a x i m u mp r o b a b i l i t ydi s a tav e r yl o wl e v e l t h ee r r o rr a t eo f t h er e c l a s s i f i c a t i o nb yt h e “m a x i m u mp r o b a b i l i t yp r i n c i p l e ”= l - 强w h i c hm e a n sav e r yh i g hv a l u e h o w e v e r , p b c a ，w h i c ho p e r a t e sb yt h ei d e ao fp r o b a b i l i t yd i s t r i b u t i o n ，a v o i d st h es h o r t c o m i n ga n da c h i e v e sh i g hc l a s s i f i c a t i o np r e c i s i o n f i n a l l y , t h ed i s s e r t a t i o na l s oc o n d u c t ss o m es t u d yo ft h ea p p l i c a t i o no ft h ec o v e ra l g o r i t h m sc a ，p b c a ，a n df m m c a ，e s p e c i a l l yi nt h ec h i n e s et e x tc l a s s i f i c a t i o no fi n f o r m a t i o ns e a r c h i n g i nt h ep a p e rt h et h r e ea l g o r i t h m sa r ea p p l i e di nt h ee x a m i n a t i o no f t h e1 0c l a s s e so f c o r p u sp r o v i d e db yt h en a t u r a ll a n g u a g et r e a t m e n tv 1 ig r o u po ft h ei n t e m a t i o n a ld a t a b a n kc e n t e r ，d e p a r t m e n to fc o m p e e ri n f o r m a t i o na n dt e c h n o l o g y , f u d a nu n i v e r s i t y c o m p a r e dw i t ht h eo t h e ra l g o r i t h m sa p p l i e di nt h ec l a s s i f i c a t i o no ft h es a m em a t e r i a l ，c ai sn e a rt h e i ra v e r a g ec l a s s i f i c a t i o np r e c i s i o n ，p b c ai sn e a rt h eb e s tc l a s s i f i c a t i o np r e c i s i o no ft h o s ea l g o r i t h m s ，w h i l ef m m c ae x c e e d st h eb e s tc l a s s i f i c a t i o np r e c i s i o no ft h o s ea l g o r i t h m s ，r e a c h i n gt h e r e f o r eaq u i t es a t i s f a c t o r yc l a s s i f i c a t i o nr e s u l t k e y w o r d s ：n e u r a ln e t w o r k s ；c l a s s i f i c a t i o n ；c o v e ra l g o r i t h m ；p r o b a b i l i s t i cl o g i cn e u r a ln e t w o r k s ；f i n i t em i x t u r e so fm o d e l s ；m a x i m u ml i k e l i h o o de s t i m a t i o n ；e x p e c t a t i o nm a x i m i z a t i o na l g o r i t h m ；t e x tc l a s s i f i c a t i o n 表格3 1 实验数据库3 53 1d a t a b a s e s 3 53 2 算法c a 的学习结果3 63 2r e s u l to f c a 3 63 3 算法e n c a l 的学习结果3 63 3r e s u l to f e n c a l 3 63 4 算法e n c a 2 的学习结果3 73 4r e s u l to f e n c a 2 3 73 5 算法e n c a 3 的学习结果3 83 5r e s u l to f e n c a 3 3 84 1 算法p b c a 的测试结果( k = 1 ) 5 74 1r e s u l t o f p b c a ( k = 1 ) 5 74 2 算法p b c a 的测试结果( k = 2 ) 5 84 2r e s u l to fp b c a ( k = 2 ) 5 84 3 其它分类器的识别结果5 94 3r e s u l t so f o t h e rc l a s s i f i e r s 5 95 1 覆盖算法及改进的覆盖算法f m m c a 的识别结果7 55 1r e s u l t so f c aa n di m p r o v e da l g o r i t h mf m m c a 7 55 2 其它分类器的识别结果7 65 2r e s u l t so f o t h e rc l a s s i f i e r s 7 66 1 分类结果定义8 46 1d e f t n i t i o no f t h er e s u l to f c l a s s i f i c a t i o n 8 46 2 训练及测试语料库8 66 2t r a i n i n ga n dt e s t i n gd a t a b a s e s 8 66 3 文本的t f 表示8 76 3t ff o r mo ft e x t 8 76 4 文本的t f i d f 表示8 86 4t f i d ff o r mo ft e x t 8 86 5 不同分类器的分类正确率比较8 96 5c o m p a r i s o no f t h er e s u l t so f c l a s s f i c a t i o na c c u r a c yw i t l ld i f f e r e n tc l a s s i f i e r s 8 96 6 训练集优化前后分类正确率对比9 16 6c o m p a r i s o no f t h ec l a s s i f i c a t i o na c c u r a c yb e f o r ea n da f t e ro p t i m a lt h et r a i n i n gs e t 9 16 7 不同分类方法的正确率比较9 16 7c o m p a r i s o no fa c c u r a c yw i t hd i f f e r e n tc l a s s i f i c a t i o nw a y s 9 1插图2 1 最优超平面示意图2 12 1i l l u s t r a t i o no fo p t i m a lh y p e r - p l a n e 2 12 2 支持向量机示意图2 42 2i l l u s t r a t i o no fs u p p o r tv e c t o rm a c h i n e 2 43 1 超平面与超球面示意图2 63 1i l l u s t r a t i o no f h y p e r - p l a n ea n dh y p e rs p h e r e 2 63 2f p 算法的网络结构示意图2 83 2i l l u s t r a t i o no fn e t w o r ks t r u c t u r eo ff pa l g o r i t h m 2 83 3 领域覆盖示意图3 33 3i l l u s t r a t i o no fs p h e r ec o v e r 3 33 4 测试精度与聆的关系3 73 4r e l a t i o n s h i pb e t w e e nt e s ta c c u r a c ya n dn 3 73 5 测试精度、拒识样本数与超球半径r 的关系3 93 5r e l a t i o n s h i pb e t w e e nt e s ta c c u r a c ya n dt h er a d i u so f s p h e r er r e l a t i o n s h i pb e t w e e nn u m b e ro fr e f u s e dr e c o g n i z ep a t t e ma n dt h er a d i u so fs p h e r er 3 93 6 被拒识的样本示意图4 23 6i l l u s t r a t i o n o f r e f u s e dr e c o g n i z e p a r e m 4 24 1 概率逻辑神经元p l n 模型4 34 1m o d e lo f p r o b a b i l i s t i cl o g i cn e u r o n p l n 4 34 2p l n 网络4 54 2p l nn e t w o r k 4 54 3 具有反馈结构的p l n 网络4 74 3p l nn e t w o r kw i t hf e e d b a c ks t r u c t u r e 4 74 4 噪声对覆盖影响示意图5 04 4i l l u s t r a t i o no f n o i s e si n f l u e n c et h ec o v e r 5 04 5 神经网络输入输出映射关系示意图5 14 5i l l u s t r a t i o no f r e l a t i o nb e t w e e nt h en e t w o r ki n p u ta n dn e t w o r ko u t p u t 5 14 6 增加异类点后的覆盖示意图5 14 6i l l u s t r a t i o n o f c o v e r a f t e r a d d e d d i f f e r e n ts o r t o f p a t t e r n 5 14 7 基于概率的覆盖结构示意图5 34 7i l l u s t r a t i o no f c o v e rs t r u c t u r eb a s e do np r o b a b i l i t y 5 34 84 84 94 95 15 15 25 26 16 16 26 2p l n 网络结构示意图5 3i l l u s t r a t i o no f p l nn e t w o r ks t r u c t u r e 5 3p b c a ( k = - 2 ) 与c a 测试结果中的最高精度及平均精度比较图5 8c o m p a r i s o no f t o pa c c u r a c ya n da v e r a g ea c c u r a c y 晰t l lp b c a ( 扣2 )a n dc a 5 8三个数据库不同方法的实验结果比较图7 7c o m p a r i s o no f t h er e s u l t so f t h r e ed m a b 骶e sw i t hd i f f e r e n tw a y s 7 7测试精度与迭代次数k 之间的关系图7 7r e l a t i o n s h i pb e t w e e nt e s ta c c u r a c ya n di t e r a t i v et i m e sk 7 7自动文本分类模型8 0m o d e lo f t e x tc l a s s i f i c a t i o n 8 0三个分类器的正确率比较图9 0c o m p a r i s o no ft h ea c c u r a c yo ft h r e ec l a s s i f i e r s 9 0独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得袭趁叉爝或其他教育机构的学位或证书而使用过的材料与我- 二同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意学位论文作者签名：1 司该签字日期：上唧g 年毕月2 子日学位论文版权使用授权书本学位论文作者完全了解娄敞戈学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权；潞苎耆可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：j 司次导师签名：犯踞签字日期：2 帅6 年中月二g 日签字日期：伽年# 月l g 日学位论文作者毕业去向：工作单位：安徽大学髫姐芬f 冠电话：口弦卜z - 。7 争o g通讯地址：袭敞犬字管理芬院邮编：2 ；。37第一章绪论1 1 选题的意义模式识别( p a t t e mr e c o g n i t i o n ) 存在于我们生活的方方面面，是研究输入原始数据并根据其类别采取合理决策的- - i 7 学科口5 1 。在西方，有关模式识别基础的讨论最早可追溯到柏拉图【5 】，进而被亚里士多德【明所发展。亚里士多德将事物的性质分为“本质属性”( 指某一类或他称之为“自然类”的所有成员的共同性质)和“例外属性”( 指类中成员问的不同性质) 。模式识别的任务就是找出某“类”事物的“本质属性”。这也是哲学中认识论所研究的中心问题发现知识的本质。模式识别在上世纪6 0 年代初发展成- - 1 7 学科，p a v l i d i s 9 0 1 将1 9 6 5 1 9 7 5 划分为模式识别的早期，1 9 8 0 2 0 0 0 为现代模式识别。研究模式识别的方法主要有模板匹配、句法模式识别、结构模式识别、神经网络方法和统计模式识别五种。其中，神经网络方法可视为连接大量简单处理器的平行计算系统，它的主要特点是能学习复杂的非线性输入输出关系，可以进行在线( o n 1 i n e ) 训练。用该方法解决模式识别问题的优点是因为它可获得高效的学习算法及较少地依赖专业知识【1 7 】。其实，大多数经典的神经网络模型都内在地等价于或类似于统计模式识别方法1 6 “。本文主要研究神经网络方法的有关分类算法。在模式识别中，分类属于有监督的学习方式，是人工智能主要的研究方向之一，也是目前人工智能界所关心的一个研究热点。合理的分类是进行识别、检索、决策和控制的前提，是重要的数据分析任务之一，在商业、金融、电讯、d n a分析、科学研究等诸多领域具有广泛的应用。按p a w l a k t 9 l 的观点，分类能力是人类智能的重要表现，是现实世界中生物根据其生存观来对各种各样的情形进行区别的能力，这个观点充分说明了分类的重要性。分类是在已有的数据的基础上，通过学习，构造一个分类函数或分类模型，即分类器( c l a s s i f i e r ) 。学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展过程中，学习算法的研究有着十分重要的地位。人们所提出的神经网络模型都是和学习算法相应的，有的模型可以有多种算法，而有的算法则可能用于多种模型。神经网络作为分类器的算法研究及在信息检索中的应用目前神经网络的应用非常广泛，其算法更是数不胜数。本文以统计理论为基础，通过对将神经网络作为分类器的算法研究，来达到缩短学习时间、提高分类精度和泛化能力、简化网络结构的目的是非常有意义的一项研究工作。1 2 人工神经网络的发展综述1 2 1 人工神经网络的特点人工神经网络是由大量并行分布、有机相连的神经元组成的计算结构，是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。是在现在生物学研究人脑组织所取得的成果基础上提出的，反映了人脑功能的基本特征，但它并不是人脑功能的真实描述。关于人工神经网络的定义，虽然有些不同的说法，但基本上都采用t k o h o n e n 在n e u r a ln e t w o r k s 创刊号上给出的经典定义：“人工神经网络是由多个简单( 通常是自适应的) 单元及其层次化组织所构成的大规模并行互联的网络，它以类似于生物神经系统的方式与真实世界中的对象进行交互”。以现代神经科学研究成果为基础，模拟了人脑功能的基本特性，是人脑的某种抽象、简化或者模拟。神经网络的信息处理是由神经元之间的相互作用来实现的；知识与信息的存贮表示成为网络元件之间互联分布式的物理联系；网络的学习和识别决定于各神经元连接权系数的动态演化过程。根据人工神经网络的定义，我们可以看到它有以下特点：( 1 ) 高度的并行性神经网络一般由许多相同的简单处理单元并行组合连接而成，虽然每个处理单元的功能简单，但大量功能简单单元的并行活动，却具有非常强大的处理能力，这使得神经网络能够处理较为复杂的问题。( 2 ) 高度的非线性作用神经网络中的每个神经元都可以接受大量其它神经元的输入，而且每个神经元的输入与输出之间一般是非线性关系。神经元之间的这种互相制约和互相影响的关系，实现了整个网络从输入到输出状态空间的非线性映射。它能以任意精度逼近任意连续非线性函数。从全局的观点看，网络整体性能不是网络局部性能的简单叠加，而表现出某种集体性的行为。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果第一章绪论才能表达出特定的概念和知识。( 3 ) 良好的容错性能与联想记忆功能神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的信息是存储在神经元之间的连接权值中。从单个权值看不出所存储的信息内容，是分布式的存储方式，这使得神经网络具有良好的容错性，并能进行聚类分析、特征提取、记忆复原等模式信息处理工作；又适于做模式分类、模式联想等模式识别工作。而良好的容错性能还表现在当网络的硬件或软件出现某些神经元失效的情况时，整个网络仍然能继续工作。神经网络的联想记忆功能使得它具有很强的不确定信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。( 4 ) 自适应、自学习功能神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的自学习能力和对环境的适应能力。神经网络是模拟人脑思维运动的动力学系统，它按不同时刻的外界刺激对自己的功能进行修改，在学习过程中可以不断地完善自己，对于复杂和不确定问题具有自适应和自学习的功能。1 2 2 神经网络研究的历史和现状神经网络的研究与应用推动了计算机科学、人工智能、控制理论等学科的发展。它的研究最早开始于上世纪四十年代。当时，心理学家麦卡洛克( m c c u l l o c h ) 、数学家皮茨( p i t t s ) ( 嘲提出了神经网络的第一个数学模型m p 模型，从此开创了神经科学理论的研究时代。其后，f r o s e n b l a t t 、w i d r o w和h o p lj j h o p f i e l d 等学者又先后提出了感知器模型，使得人工神经网络技术得以蓬勃发展。从总体上看，神经网络的发展经历了一条曲折的道路，至今经历了兴起、坚持和复兴三个时期。( 1 ) 神经网络的萌芽时期1 9 4 3 年，自m c c u l l o c h 和p i t t s 提出神经元的数学模型m p 模型起，开始兴起了神经网络的研究，同时产生了人工智能。1 9 4 8 年，w i e n e r 出版了( ( c y b e r n e t i c s ) ) ，提出了控制、通信和统计信号处理的重要概念。1 9 4 9 年，生理学家d o h e b b 【5 4 1 出版了( ( t h eo r g a n i z a t i o no f b e h a v i o r ) ) 一书。在该书中，他神经网络作为分类器的算法研究及在信息检索中的应用阐述了对神经元的研究和条件反射的观察，从这些研究和观察出发，第一次提出了h e b b 学习规则，如果第i 个神经元接收来自第i 个神经元的输出，则当这两个神经元的状态相同( 即同时兴奋或抑制) 时，从第i 个神经元到第i 个神经元之间的连接强度( 权值) w i i 增强，否则减弱。该学习规则为神经网络的学习算法奠定了基础，对以后神经网络的结构和学习算法有很大影响，使神经网络的研究进入了一个重要的发展阶段，可以说，h e b b 学习规则是神经网络的学习算法的一个起点。1 9 5 4 年，m i n s k y 撰写了( ( c o m p u t a t i o n ：f i n i t ea n di n f i n i t em a c h i n e s 一书，该书清晰地扩展了m c c u l l o c h 和p i r s 在1 9 4 3 年的成果，并将其归入自动机和计算理论中。1 9 5 8 年r o s e n b l a t t 在m p 模型的基础上提出了感知器( p e r c e p t r o n )模型，他发现双层的感知器输入输出之间的权的调节正比于实际输出和期望输出的差，并称之主双层感知器的收敛定理，同时对具有有隐层的的三层感知器进行了研究，但并没提出其训练方法。以后的很多神经网络模型都是感知器模型的变形，感知器是一个真正的神经网络。1 9 6 0 年，w i d r o w 和h o f f 引入了最小均方差( l e a s tm e a n s q u a r e ，l m s )算法，并用该算法系统地阐明了自适应线性元件( a d a l i n e ) ，并提出了一种有效的学习方法6 学习规则，尽管a d a l i n e 仅仅是线性模型，能力非常有限，但a d a l i n e 模型可应用于许多领域。在六十年代，掀起了神经网络的第一次高潮，当时的神经网络应用于天气预报、电子线路板分析、人工视觉等方面。( 2 ) 神经网络的坚持时期但在7 0 年代，神经网络处于缓慢发展的萧条时期。主要是因为在1 9 6 9 年m i n s k y 和p a p e r t l 8 4 l 出版了 p e m e p 仃o n 一书，该书从数学上证明了关于单层感知器的计算具有很大的局限性。单层感知器只能进行线性分类，求解一阶谓词问题，无法处理非线性分类，甚至连x o r 这样的问题也不能解决，只有加入隐层，才能解决高阶谓词问题。而隐层的加入需要一个有效的学习算法，然而寻找一种有效的学习算法并不乐观，这是对算法的批评；而且感知器是基于“黑箱”原理，学习后的模型与实际世界没有直接的对应关系，这是对模型的批评，他本人也对神经网络的前景持悲观态度。由于m i n s k y 的严格证明，他的结论让人们感到对神经网络的进一步研究是没有前途的。而与此同时，人工智能( a r t i f i c i a li n t e l l i g e n c e ，a i ) 的逻辑与符号推理却取得了不少进展，这使得很多研究者放弃4第一章绪论了对神经网络的研究，转入其它研究领域。再加上资金上的投入减少，缺乏新的思想和用于实验的高性能计算机，种种因素影响了神经网络的发展。尽管这一时期的发展比较缓慢，但仍有一些研究成果。其中包括1 9 7 2 年k o h o n e n 提出了自组织映射( s o m ) 理论模型，并被称为联想存储器，他成功地将声音精确地组织为音素图，后来，他又将其成功地应用于语音识别、图像识别和模式识别领域。日本学者f u k u s h i m a 提出了几种神经网络结构和算法【4 3 ，“，4 5 1 ，其中最著名