（应用数学专业论文）基于hopfield网络的图像识别.pdf

中文摘要 中文摘要 图像识别是近2 0 年来发展起来的- - i 1 新兴技术科学，它以研究某些图像的分类 与描述为主要内容，应用范围非常广泛。但是传统的图像识别技术，多是基于统计图 像识别方法和句法图像识别方法等大规模计算的基础之上的，在运算量和正确识别率 之间存在着突出的矛盾。近年来人工神经网络技术的发展为解决这一问题提供了新的 途径。神经网络图像识别技术是随着当代计算机技术、图像处理、人工智能、模式识 别理论等发展起来的一种新兴图像识别技术，是在传统的图像识别方法的基础上融合 神经网络算法的一种图像识别方法。 本文主要采用h o p f i e l d 网络对图像进行识别。首先给予对于图像复原比较有突 破性，比较高效的p a i k 模型对图像进行复原并对复原后的图像进行识别。采用此种 模型的主要优点是将图片的重要信息的成分在图像信息的数据信息中的比重加大，以 提高图像的识别效率。 本文简要地介绍了神经网络的发展史及国内外发展与应用实现的现状以及图像 处理的现状，还论述了以下几个方面的问题： 1 简要介绍了神经网络中比较常用的模型及原理。 2 论文分析了目前在图像复原中常用的神经网络模型及其算法，着重分析了 p a i k 模型的理论原理。 3 讲述本文采用的学习规则，采用h o p f i e l d 网络对其进行学习和识别，通过大 量实验证明该模型的可行性和高效性。 关键词：h o p f i e l d 网络：图像识别：p a i k 模型：h y a p u n o v 函数 a b s t r a c r a b s t r a c t i m a g er e c o g n i t i o ni san e ws c i e n c ea n dt e c h n o l o g yw h i c hd e v e l o p e di n t h el a s t2 0 y e a r s ，i no r d e rt os t u d yt h ec l a s s i f i c a t i o no fc e r t a i ni m a g e sa n dd e s c r i b e da st h em a i n c o n t e n to faw i d er a n g eo fa p p l i c a t i o n s b u tt h et r a d i t i o n a li m a g er e c o g n i t i o nt e c h n o l o g y , a r eb a s e do ns t a t i s t i c a lp a t t e r nr e c o g n i t i o nm e t h o da n dt h ei m a g es y n t a c t i ci d e n t i f i c a t i o n m e t h o d s ，s u c ha sl a r g e s c a l ec o m p u t i n go nt h eb a s i so ft h a to p e r a t i o na n di nt h ec o r r e c t i d e n t i f i c a t i o nr a t eo fb e t w e e np r o m i n e n tc o n t r a d i c t i o n s i nr e c e n ty e a r s ，a r t i f i c i a ln e u r a l n e t w o r kt e c h n o l o g yt oa d d r e s st h i si s s u ep r o v i d e san e ww a y n e u r a ln e t w o r ki m a g e r e c o g n i t i o nt e c h n o l o g yd e v e l o p e d w i t hc o n t e m p o r a r yc o m p u t e rt e c h n o l o g y ,i m a g e p r o c e s s i n g ，a r t i f i c i a li n t e l l i g e n c e ，t h e o r yo fp a t t e r nr e c o g n i t i o na san e wi m a g er e c o g n i t i o n t e c h n o l o g y , i tb a s e d o nt h et r a d i t i o n a lm e t h o do fi m a g er e c o g n i t i o na n dt h ei n t e g r a t i o no fa n e u r a ln e t w o r ki m a g er e c o g n i t i o n i nt h i sp a p e r iu s eh o p f i e l dn e t w o r kt oi d e n t i f yi m a g e s f i r s to fa l l ，t og i v em o r et o r e c o v e rt h ei m a g ef o rab r e a k t h r o u g h ，m o r ee f f i c i e n tm o d e lp a i ki m a g e so fr e c o v e r ya n d r e c o g n i t i o na f t e rt h ei m a g eo ft h ed e p a r t m e n t t oa d o p t s u c ham o d e lo ft h em a i n a d v a n t a g e si st h a tt h ep i c t u r ew i l lb ea ni m p o r t a n te l e m e n to fi n f o r m a t i o ni nt h ei m a g eo f t h ei n f o r m a t i o ni nt h ed a t ai n c r e a s e dt h ep r o p o r t i o ni no r d e rt oi m p r o v et h ee f f i c i e n c yo f i m a g er e c o g n i t i o n t h i sp a p e rb r i e f l yd e s c r i b e st h eh i s t o r yo ft h ed e v e l o p m e n to fn e u r a ln e t w o r k sa n dt h e d e v e l o p m e n ta n da p p l i c a t i o na th o m ea n da b r o a dt o a c h i e v et h es t a t u sq u o ，a sw e l la s i m a g ep r o c e s s i n g , a l s od i s c u s s e dt h ef o l l o w i n g i s s u e s ： 1 ab r i e fi n t r o d u c t i o no ft h em o r ec o m m o n l yu s e dn e u r a ln e t w o r km o d e l sa n dp r i n c i p l e s 2 i nt h ep r e s e n tp a p e ra n a l y z e st h ei m a g e su s e di nt h er e c o v e r yo fn e u r a ln e t w o r k a l g o r i t h ma n di t sf o c u so nt h ea n a l y s i so ft h em o d e lp a i kt h e o r e t i c a lp r i n c i p l e s 3 i nt h i sp a p e rt ol e a r na b o u tt h er u l e so ft h eh o p f i e l dn e t w o r ku s i n gt h e i rl e a r n i n ga n d r e c o g n i t i o n ，al a r g en u m b e ro fe x p e r i m e n t st op r o v et h ef e a s i b i l i t yo ft h em o d e l a n dh i g h e f f i c i e n c y k e y w o r d s ：h o p f i e l d ，i m a g er e c o g n i t i o n ，p a i k ，l y a p u n o v 学位论文版权使用授权书 本人完全了解北京信息科技大学关于收集、保存、使用学位论文的 规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子 版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本 学位论文全文或者部分的阅览服务；学校有权按有关规定向中国科学技 术信息研究所等国家有关部门或者机构送交论文的复印件和电子版；在 不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用 于学术活动。 学位论文作者躲藿、童於 年月日 经指导教师同意，本学位论文属于保密，在年解密后适用本授 权书。( 注：论文属公开论文的，作者及导师本处不签字) 指导教师签名：学位论文作者签名： 年月日年月日 硕士学位论文原创性声明 本人郑重声明：所呈交的论文题目为基于h o p f i e l d 网络的图像识 别学位论文，是本人在导师指导下，进行研究工作所取得的成果。尽 我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论 文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方 式标明。本学位论文原创性声明的法律责任由本人承担。 作者粹藿惑玲 年月日 第1 章引言 第1 章引言 1 1 研究的目的和意义 图像是人类传递信息主要媒介。据统计，在人类接受的信息中，听觉信息占2 0 ， 视觉占6 0 ，其他的如味觉、触觉、嗅觉总的加起来不过占2 0 。所以传递信息的 重要媒体和手段图像信息是十分重要的。随着计算机技术、模式识别和信号处 理技术及声学技术的发展和数字图像技术的逐渐成熟，使得能满足各种需要的图像 识别的实现成为可能。 数字图像处理就是利用计算机对数字图像进行各种有目的的处理。按照服务对 象，数字图像处理技术可分为两类：第一类以人为对象，以改善人的视觉效果为目 的，属于人们早期图像研究的内容，输入的是低质量的图像，输出后是改善后的图 像，常用的图像处理方法有图像增强、复原、编码、压缩等等；第二类是以机器为 对象，对处理后的图像进行分析，其目的是使机器或计算机能自动识别目标，称为 图像分析。输入改善质量后的图像，一般称为预处理后的图像，输出对图像中目标 的识别或分类。本课题研究的内容属于第二类的范畴。 2 0 世纪6 0 年代后，由于电子技术、计算机技术等有了相当程度的发展，数 字图像处理技术进入了高速发展时期。这期间由于宇宙探索方面的要求，需要处理 大量在宇宙探测器上拍摄下来的不清晰的地球以及其它天体( 如月球、火星等) 的照 片。第一次有效应用是1 9 6 4 年美国喷气推进实验室( j p l ) 利用计算机对“旅行者7 号 卫星发回的月球图像信息进行处理，以校正航天器上电视摄像机中各种类型的 图像畸变，收到了明显效果；在以后的宇航空间技术中，如对火星、土星等星球的 探测研究中，数字图像处理技术都发挥了巨大的作用。在进行空间应用的同时，数 字图像处理技术在2 0 世纪6 0 年代末和2 0 世纪7 0 年代初开始应用于医学图 像、地球遥感监测和天文学等领域。1 9 7 2 年英国e m i 公司工程师h o u n s f i e l d 发 明了用于头颅诊断的x 射线计算机轴向断层术，简称c t ( c o m p u t e rt o m o g r a p h y ) 。 是图像处理在医学诊断领域最重要的应用之一。 随着通信、信息技术的迅猛发展，数字图像识别己广泛应用于国民经济的各个 领域。现在它已经迅速发展成为一门独立的有强大生命力的学科并在航空航天、数 学、物理、化学、生物医学、天文气象、地理以及工业、农业和军事等各个领域上 得到广泛的应用。可以预测在近五到十年内，图像识别的应用将更加广泛。各种各 样的图像识别产品将出现在市场上。图像技术将经历一个飞跃发展的阶段，为深入 人民生活创造新的文化环境，成为提高生产的自动化、智能化水平的基础科学之一。 1 第1 章引言 图像技术的基础性研究，特别是结合人工智能与视觉处理的新算法，从更高水平提 取图像信息的丰富内涵，成为人类运算量最大、直观性最强，与现实世界直接联系 的视觉和“形象思维 这一智能的模拟和复现，是一个很难而重要的任务。“图像 技术 这一上世纪后期诞生的高科技之花，其前途是不可限量的汇。正是在这样的 背景下，论文旨在根据人们现实生活的实际需要，对h o p f i e l d 对于图像识别进行全 面研究和了解的基础上，重点采用h o p f i e l d 网络与p a i k 图像复原技术对图像进行识 别。 1 2 国内外的现状 1 2 1 图像复原技术 在传统图像处理方法中，基于空间域的复原算法在研究和应用中的占重要地 位。均值滤波因其算法简单且对高斯噪声有较好的去噪作用被广泛应用，但其往往 会引起图像的模糊。除了均值滤波外，还有t u r k y 提出的中值滤波器、w e n d t 提 出的层叠滤波器、s e r r a 提出的形态滤波器。为了改善上述滤波器性能，蔡靖等提 出了模糊加权均值滤波器；张宏科等提出了广义中值滤波器；赵春辉，王伟提出了 全方位多结构元层叠滤波器和形态滤波器；e n g 等人结合模糊集的概念提出了自适 应的软开关中值滤波方法；g o u c h o lp o k 提出了基于同质度的脉冲噪声选择性去噪 法。经改善的非线性滤波器在某些条件下可以做到既去除噪声又保护图像边缘细节 的较满意的复原效果，是值得重视的新的图像复原方法。但这些非线性滤波器没有 一套完整的理论，缺乏统一的设计方法，一般是根据噪声和信号的先验知识选定某 种线性或非线性滤波方法。 为了提高速度和增强去模糊效果一般采用逆滤波法。逆滤波法大致有经典逆滤 波法、维纳滤波法、卡尔曼滤波法等。其中，在傅立叶变换域中，经典逆滤波变换 函数是引起图像失真的变换函数的逆，在没有噪声的情况下，它可产生精确的复原 图像，但有噪声时，将对复原图像产生严重的影响。维纳滤波法是通过选择变换函 数，同时使用图像和噪声的统计信息来极小化均方复原误差，这虽然在一定程度上 克服了逆滤波法的缺点，但维纳滤波需要较多的有关图像的先验知识。为此，o z k a n 等人提出了一种解决空间和时间相关性多帧维纳滤波法，是近年维纳滤波的新发 展。卡尔曼滤波是一种递归滤波法，其虽可用于非平稳图像的复原，但是因计算量 过大而受限制。w u 和k u n d u 对卡尔曼滤波进行了改进，不仅提高了速度，并考虑 了应用于非高斯的情况。除了上述的逆滤波方法外，还有参数估计滤波法，它实质 上是维纳滤器的变种。2 0 世纪9 0 年代，又提出了基于递归图像滤波的自适应方 2 第1 章引言 法及合成滤波方法，它代表了滤波方法新的发展方向。1 9 9 8 年k u n d u r 等人首先明 确提出了递归滤波算法，2 0 0 0 年c h o w 等人又进行了改进，从而很好地抑制了噪 声，并减少了振铃现象，较好实现了在低信噪比条件下的盲图像复原。a n d r e w s 和 h u n t 提出了一种基于线性代数的图像复原方法，这种方法为复原小滤波器的数字 计算提供了一个统一的设计思路。在传统的图像复原算法中或面临着高维方程的计 算问题，或要求恢复过程满足广义过程的假设，这就是使得具有广泛应用价值的图 像复原问题没有得到根本解决的原因。因为傅立叶变换是一种全局变换，要么完全 在频域，要么完全在时( 空间) 域，只能反映图像的整体特征，无法表述图像的时频 局部化特性。因此，当信号和噪声频域重叠时，传统的基于傅氏变换的复原方法失 效。小波变换是一种强有力的数学工具，能同时给出图像的空域和频域信息。小波 变换能够检测到图像边沿特性，可将图像的结构和纹理分别表现在不同分辨率层次 上。运用小波变换法去噪，先对图像信号进行小波分解，再对高频系数进行已知阈 值量化，最后进行小波重构得到复原图像。基于小波变换的图像复原法能较好在去 噪和细节保持之间保持均衡。侯波等提出一种基于小波变换的去除遥感图像噪声的 方法；彭玉华提出基于离散正交小波变换的图像去噪方法；s g r a c ec h a n g ，b i ny u 等提出在图像去噪中的空间自适应小波系数闭值选择法。这些方法充分利用小波变 换的优势，图像复原效果较传统方法有所改进。 遗传算法、模糊方法和神经网络都是仿效生物处理模式以获得智能信息处理功 能的方法，所以使得应用在图像恢复处理上成为可能，并具有潜在的发展前景。 1 2 2 图像识别的现状 目前世界上已有一些较为完善的图像识别系统。这些系统无论从识别分析的功 能还是从处理速度上来 兑都较初期有了很大的发展。如美国o i ，p a r s ( 联机图像分 析识别系统) 能识别数字，字母及分析识别航空照片。同本的o c r a s p e t 7 1 型识 别系统能识别多种字体，每秒钟可识别2 0 0 0 字。英国的i b m l 2 8 7 光学文字阅读机 能识别个1 0 阿拉伯数字，在邮局推广应用，误码率为0 4 ，拒识率为1 4 。日本 公司研制的邮区编码信函分拣机能识别印刷数字，字母，速度为3 0 0 0 0 件d , 时。 在医学中也有较多应用，如一种5 类白血球分类器可做到9 5 的正确分类，每分钟 1 0 0 个细胞。另外还有染色体自动分类，医学管理等方面也多有应用。 随着计算机技术的发展，图像识别已发展成为人与机器，自然科学和社会科学 基础理论与技术应用之间的接口领域。目前，不仅研究单一功能的识别系统，而且 在研制多功能的综合识别系统。如北方交通大学信息科学研究所会同清华大学，上 海交通大学研究的“超级智能视听信息处理系统”就是一种多信息融合的处理系统， 3 第1 章引言 它的目的是利用多信息的融合技术，在模式识别中互相补充，互相借鉴，从而克服 过去单一识别所面临的难以克服的困难，试图在模式识别领域有较大突破。近年来 国际上在这一领域给予了极大的重视，微软、i n t e r 、i b m 等大公司纷纷提出研究计 划，所谓的“”研究已形成了新的热点。与此同时，对有关图像识别的图像处理软 件及新算法也受到极大的重视，如人工神经元网络、遗传算法等在模式识别研究中 已取得了可喜的结果。现在，研制高性能、多用途的图像分析识别系统仍是有待我 们解决的课题，随着生产与科学技术的发展，各个领域将会给模式识别技术极大的 注意，这一技术必将在我国现代化建设中发挥作用。 4 第2 章h o p f i e l d 神经网络 第2 章h o p f ieid 神经网络 2 1 神经网络的背景 神经网络是人工智能的重要组成部分之一，它是随着人工智能的不断进步而发 展起来的，所以我们要追溯模式识别的发展历程，首先应该先介绍一下人工智能的 发展过程。 人工智能( a i ) 是一门极富挑战性的科学，人工智能是包括十分广泛的科学， 它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能的目的 就是让计算机这台机器拥有智慧，能够象人一样思考。 在定义智慧时，英国科学家图灵做出了贡献，如果一台机器能够通过称之为图灵实 验的实验，那它就是智慧的，图灵实验的本质就是让人在不看外型的情况下不能区 别是机器的行为还是人的行为时，这个机器就是智慧的。图灵在理论上奠定了计算 机产生的基础。科学家早在计算机出现之前就已经希望能够制造出可能模拟人类思 维的机器了，在这方面另外一个杰出的数学家、哲学家布尔，通过对人类思维进行 数学化精确地刻画，他和其它杰出的科学家一起奠定了智慧机器的思维结构与方 法，今天我们的计算机内使用的逻辑基础正是他所创立的。 当计算机出现后，人类开始真正有了一个可以模拟人类思维的工具了，在以后 的岁月中，无数科学家为这个目标努力着，现在计算机似乎已经变得十分聪明了。 人工智能始终是计算机科学的前沿学科，计算机编程语言和其它计算机软件都因为 有了人工智能的进展而得以存在。 在世界各地对人工智能的研究很早就开始了，但对人工智能的真正实现要从计 算机的诞生开始算起，这时人类才有可能以机器的实现人类的智能。这个英文单词 最早是在年的一次会议上提出的，在此以后，因此一些科学的努力它得以发展。人 工智能的进展并不像我们期待的那样迅速，因为人工智能的基本理论还不完整，我 们还不能从本质上解释我们的大脑为什么能够思考，这种思考来自于什么，这种思 考为什么得以产生等一系列问题。 在1 9 5 5 年，香农与人一起开发了t h el o g i ct h e o r i s t 程序，它是一种采用树形 结构的程序，在程序运行时，它在树中搜索，寻找与可能答案最接近的树的分枝进 行探索，以得到正确的答案。这个程序在人工智能的历史上可以说是有重要地位的， 它在学术上和社会上带来的巨大的影响，以至于我们现在所采用的方法思想方法有 许多还是来自于这个5 0 年代的程序。 1 9 5 6 年，作为人工智能领域另一位著名科学家的麦卡希，召集了一次会议来讨 5 第2 章h o p f i e l d 神经网络 论人工智能未来的发展方向。从那时起，人工智能的名字才正式确立，这次会议在 人工智能历史上不是巨大的成功，但是这次会议给人工智能奠基人相互交流的机 会，并为未来人工智能的发展起了铺垫的作用。在此以后，工人智能的重点开始变 为建立实用的能够自行解决问题的系统，并要求系统有自学习能力。在1 9 5 7 年， 香农和另一些人又开发了一个程序称为g e n e r a lp r o b l e ms l o v e r ( g p s ) ，它对w i e n e r 的反馈理论有一个扩展，并能够解决一些比较普遍的问题。别的科学家在努力开发 系统时，这位科学家做出了一项重大的贡献，他创建了表处理语言l i s p ，直到现在 许多人工智能程序还在使用这种语言，它几乎成了人工智能的代名词，到了今天， 仍然在发展。 在1 9 6 3 年，麻省理工学院受到了美国政府和国防部的支持进行人工智能的研 究，使人工智能得到了巨大的发展。其后发展出的许多程序十分引人注目，麻省理 工大学开发出了s h r d l u 。在这个大发展的6 0 年代，s t u d e n t 系统可以解决代 数问题，而系统则开始理解简单的英文句子了，的出现导致了新学科的出现自然语 言处理。在年代出现的专家系统成了一个巨大的进步，他头一次让人知道计算机可 以代替人类专家进行一些工作了，由于计算机硬件性能的提高，人工智能得以进行 一系列重要的活动，如统计分析数据，参与医疗诊断等等，它作为生活的重要方面 开始改变人类生活了。在理论方面，7 0 年代也是大发展的一个时期，计算机开始有 了简单的思维和视觉，而不能不提的是在7 0 年代，另一个人工智能语言p r o l o g 语 言诞生了，它和l i s p 一起几乎成了人工智能工作者不可缺少的工具。 人工智能的近期目标是研究如何使现有的计算机更“聪明 ，即如何使计算机 去做理解、规划、设计和学习等各种高级思维活功。人工智能的长远目标是研究人 类智能的根本机理，即研究如何用各种自动机或智能机去模拟人的某些思维过程和 智能行为，从而揭示人类思维的奥秘。学习是人类智能的主要标志和获得智慧的基 本手段。是人类具有的一种重要智能行为。一般认为，机器学习是一个有特定目的 的知识获取过程，其内部表现为从未知到已知这样一个知识增长过程其外部表现为 系统的某些性能和适应性的改善。使得系统能完成原来不能完成或更好地完成原来 可以完成的任务。它既注重知识本身的增加，也注重获取知识的技能的提高。 机器学习研究的是如何使机器通过识别和利用现有知识来获取新知识和新技 能。机器学习的核心是学习。机器学习就是要使计算机能模拟人的学习行为，自动 地通过学习获取知识和技能，不断改善性能，实现自我完善。机器学习研究的就是 如何使机器通过识别和利用现有知识来获取新知识和新技能。 随着计算机科学的发展，对人工智能和机器学习的研究不断提出新的课题。早 在计算机问世之前，科学家对人工智能的预测就曾包括两种趋势符号逻辑运算系统 和大脑神经网络模拟系统。前者被称为符号主义的人工智能方法，而后者连接主义 6 第2 章h o p f i e l d 神经网络 的人工智能方法。人工神经网络是由大量高度互连的简单处理单元构成的高度并行 的非线性信息处理系统。自从神经生物学家m c c u l l o c h 与青年数学家p i t t s 合作，提 出了第一个神经计算模型，数学家t u r i n g 建立了通用计算机的抽象模型，1 9 4 9 年 神经生物学家h e b b 的论著t h eo r g a n i z a t i o nb e h a v i o r ，对大脑神经细胞、学习与条 件反射作了大胆地假设，称为h e b b 学习规则。5 0 年代初，r o c h e s t e r ，h o l l a n d 与 i b m 公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟 h e b b 的学习规则，取得了成功，m c c a r t h y 和m i n s k y 于1 9 5 4 年对神经系统如何能 够学习进行了研究，并对建立的感知器的学习模型作了深入分析。1 9 5 4 年生理学家 e c c l e s 提出了真实突触的分流模型，并通过突触的电生理实验得到证实。1 9 5 6 年 u t t l e y 发明了一种由处理单元组成的推理机，用推理机模拟行为及条件反射现象。 他在年代中期把它应用于自适应模式识别，他认为这种模型是实际神经系统的工作 原理，1 9 5 8 年计算机科学家r o s e n b l a t t 基于m p 模型，增加了学习机制，推广了m p 模型。1 9 6 0 年w i d r o w 和h o f f 提出了自适应线性元件a d a c i n e 网络模型，1 9 6 2 年 r o s e n b l a t t 对他的感知器作了总结。还有些科学家采用其它数学模型，如，用代数、 矩阵等方法来研究神经网络。值得一提的是，我国中科院生物物理所在1 9 6 5 年提 出用矩阵法描述一些神经网络模型。他们重点研究视觉系统信息传递过程和加工的 机理以及建立有关数学模型。此外，f o g e l 、o w e n s 和w a l s h 在年出版了一本关于进 化规划的专著( ( a r t i f i c i a li n t e l l i g e n c et h r o u g hs i m u l a t e de v o l u t i o n ) ) 。由于该书所提倡 的思想方法根本不合当时人工智能的主流，受到学术界的怀疑，一直到9 0 年代初 才被人们重视。6 0 年代中、后期，g r o s s b e r g 从信息处理的角度，研究了思维和大 脑结合的理论问题，日本神经网络理论家a m e r t 注重生物神经网络的行为与严格的 数学描述相结合，尤其是对信任分配问题的研究，得到许多重要结果。w i l l s h a w 等 人提出了一种模型：存贮输入信号和只给出部分输入，恢复较完整的信号，即全息 音( h o l o p h o n e ) 模型。n i l l s s o n 对多层机，即具有隐层的广义认直到8 0 年代初，u l l m a n 指出了似运动机制的计算理论、m a r r 的视觉理论，他们为这一领域的发展奠定了坚 实的理论基础。还有w e r b o s 提出的b p 理论以及提出的反向传播原理；f u k u s h i m a 提 出了视觉图象识别的n e o c o g n i t i o n 模型，后来他重新定义了n e o c o g n i t i o n ；a m a r 对 神经网络的数学理论研究受到一些学者的关注。f e l d m a n n ，b a l l a r d ，r u m e l h a r t 和 m c c l e l a n d 等学者致力于连续机制，并行分布处理( p d p ) 的计算原则和算法研究，他 们提出了许多重要的概念和模型；r e c h e n b e r 提出了进化随机策略，并成功的应用 到物体风洞试验中出版了一本专著a s s o c i a t i v em e m o r y as y s t e r mt h e o r e t i c a p p r o a c h ) ) ( 1 9 7 7 年) ，他阐述了全息存储器与联想存储器的关系，详细讨论了矩阵 联想存储器。1 9 8 6 年r u m e l h a r t 和m c c l e l a n d 合著的p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ：e x p l o r a t i o ni nt h em i c r o s t r u c t u r e so fc o g n i t i o n ) ) 两卷书出版，对神经网络 7 第2 章h o p f i e l d 神经网络 的进展起了极大的推动作用。它展示了研究集团的最高水平，包括了物理学、数学、 分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研 究方向或领域取得的成果。 此外，我国系统科学家钱学森在8 0 年代初倡导研究“思维科学。1 9 8 6 年他主 编的论文集关于思维科学出版，书中有关神经网络方面的论文刘勤龙对“思维 神经基础”的探讨洪加威对“思维的一个确定型离散数学模型的研究陈霖的长篇 文章“拓扑性质检测 。这本书引起了国内学术界有关人士的极大反响。 我国学术界大约在8 0 年代中期关注神经网络领域，有一些科学家起到先导的作用， 如中科院生物物理所科学家汪云九，姚国正和齐翔林等；1 9 8 8 年c h u a 和y a n g 提 出了细胞神经网络( c n n ) 模型，它是一个大规模非线性计算机仿真系统，具有细胞 自动机的动力学特征。它的出现对神经网络理论的发展产生了很大的影响。另外， k o s k o 建立了双向联想存储模型( b a m ) ，它具有非监督学习能力，是一种实时学习 和回忆模式，并建立了它的全局稳定性的动力学系统。 m e a d 是v l s i 系统的创建者，他和c o n w a y 、m a h o w a l d 等人合作，研制一种动 物神经系统的电子电路模拟，即称硅神经系统。如，在一方阵中含几千个光敏单元 的v l s i 芯片，它是以人的视网膜中锥体细胞的方式来连接一块v l s i 芯片。对此， 他在1 9 8 9 年出版了专著a n a l o gv l s ia n dn e u r a ls y s t e mm a e d 。m u h l e n b e i n 提出了 一种进化系统理论的形式模型，是一种遗传神经网络模型。其基本思想是来源于 w a d d i n g t o n 在1 9 7 4 年发表的论文，对基因型与表型关系进行了描述。a l s k s a n d e r 提出了概率逻辑基于m a r k o vc h a i n 理论，对其收敛性、结构以及记忆容量等研究， 为概率逻辑神经元网络的发展提供了新的方法和途径。 上述例证说明，这次高潮吸引了许多科学家来研究神经网络理论，优秀论著， 重大成果如雨后春笋，新生长的应用领域受到工程技术人员的极大赞赏。 1 9 4 4 年廖晓听对细胞神经网络建立了新的数学理论与基础，得出了一系列结 果。如耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期 解的存在性和吸引性等。使这个领域取得了新的进展，他认为该理论有巨大的潜在 应用前景，它还有待以此为基础来发展系统。 神经网络的光学方法，能充分发挥光学强大的互连能力和并行处理能力，提高 神经网络实现的规模，从而加强网络的自适应功能和学习功能，因此近来引起不少 学者重视。w u n s c h 在9 0o s a 年会提出一种a n n u a lm e e t i n g ，用光电执行a r t ，它 的主要计算强度由光学硬件完成，光电a r t 单元的基本构件为双透镜组光学相关器， 并采用光空间调节器完成二值纯相位滤波和输入图像的二维f o u r i e r 变换，它的学 习过程有自适应滤波和推理功能，可以把光学有机组合在其中，具有快速和稳定的 学习的特点，网络所需神经元数目大量减少，而且人为调节参数也减少很多。1 9 9 5 第2 章h o p f i e l d 神经网络 年j e n k i n s 等人研究了光学神经网络( p n n ) ，建立了光学二维并行互连与电子学混 合的光学神经网络系统，实现了光学神经元，它是解决光学实现相减和取闽问题的 新动向。值得重视的是，9 0 年代初，m c a u l a y ，j e w e l 等许多学者致力于电子俘获 材料应用于光学神经网络的研究，在光存储等方面取得一定成果，受到人们的关注。 最近，阮昊等人采用他们研制的c a s ( e u ，s m ) 电子浮获材料实现趴印和等那些互联 权重不变的神经网络模型，他们认为，采用这种方式还可实现如感知器等那些通过 学习来改变互联权重的网络模型。这些，对光学神经网络的发展起到很大的推动作 用。 吴佑寿等人提出了一种激励函数可调的神经网络模型，其实验结果表明这种网 络方法的有效性和正确性，尤其对一些可用数学描述的问题。另外，对模式识别中 的手写汉字识别问题研究，有重要的理论和应用价值。郝红卫和戴汝为把统计识别 方法与多层感知器网络综合起来，他们提出了一种网络集成法，对4 个不同手写汉 字分类器进行集成。这个方法有一定的推广性，对其它类似问题提供了一个范例。 戴先中等人提出了连续非线性系统的神经网络a 阶逆系统控制方法，他们一方面用 静态神经网络逼近静态非线性函数另一方面用积分器或微分器来体现系统的动态 特性，并结合线性系统理论和方法，从而构成一种满足系统要求的复合控制器。可 以说，这种控制策略具有一定代表性和启发性。 对于不变性模式识别机制的理解，是对理论家的一大挑战，尤其是对于多目标 的旋转不变分类识别问题的研究，具有广泛的应用前景。最近，申金媛、母国光等 人提出一种新方法，即基于联想存储级联模型的旋转不变识别。张铃，张钱等提出 了一种新的方法一商空间下的机器学习方法口。9 0 年代后我国科学家做出了大量的 成绩。 王守觉院士根据高维空间几何方法的思路和基础，在人工神经网络和模式识别领域 建立了包括排序学习前向掩蔽模型训、优先度排序神经网络、方向基函数网络、多 权值矢量神经元网络等一系列的新模型、新算法。特别是在提出的仿生模式识别理 论，利用高维空间几何方法在刚体识别、人脸识别等多方面取得了令人满意的成果， 与传统方法的比较中显示出明显的优势。 从神经网络的基本模式看，主要有前馈型、反馈型、自组织型和随机型网络， 这4 种类型各自具有不同的网络模型。前馈型神经网络主要有a d a l i n e 、b p 神经 网络以及径向基函数( r b f ) 神经网络；反馈型神经网络主要有h o p f i e l d 网络；自组 织型神经网络主要有a r t 网；随机型神经网络主要有b o l t z m a n 机。其中，b p 网 络与h o p f i e l d 网络在图像处理中应用的应用尤为突出。 9 第2 章h o p f i e l d 神经网络 2 2 神经网络的学习 学习功能是神经网络最重要的功能之一，也是神经网络与一般的计算机信息处 理系统的主要区别所在。神经网络通过学习来解决问题，学习和训练对所有神经网 络来说都是最基本的和必需的，学习问题是神经网络最为核心的问题之一，一直得 到研究者的重视。 2 2 1 神经网络的学习方式 按照学习方式的不同，神经网络被分为了两种，一种称为有导师的学习，也称 为监督学习另一种是无导师的学习，也称为自主学习，自主学习的方式和人类的学 习方式也是类似的。 有导师学习：在这种学习方式下，学习过程需要监督，监督的作用由训练数据 本身来完成，o p 5 j t l 练数据不但要包括输入数据，还要包含在特定条下的期望输出， 学习的目的是使网络的实际输出接近于网络的期望输出。在学习过程中，网络将期 望输出和实际输出进行比较，如果其误差满足要求，就可以认为学习目的己经达到， 否则就需要不断调整最初随机设置的权重，以不断降低误差，学习的过程体现在权 重的调整过程中。经过学习以后，神经网络以权重的变化记录了学习过程，以权重 的定值记录了学习的结果，这样，一个具备初步智能的神经网络模型就基本建立起 来了。 无导师学习：在这种学习方式下，学习过程没有明确的外部监督机制，训练数 据只包含输入而不包含输出，网络必须根据一定的判断标准自行进行权重的调整。 一般是由网络检查输入数据的规律和倾向，根据网络本身的功能来进行权重的调 整，并不需要告诉网络这种调整是好还是坏。这种无导师学习方式强调一组处理单 元间的协作，如果输入信息使得处理组的任何单元激活，整个处理组单元的活性会 相应的增强，然后将信息传送到下一组处理单元，处理单元之间的这种活性增强和 信息传递构成了学习的基础。 在目前来说，对于后一种无导师型的自主学习机理的研究还远远不够，这也是 人类智能的神秘性为什么不能在神经网络中体现。在实际应用中，很多问题是无法 在事先就能预料到的，因此这种无导师的自主学习方式对解决一些问题也是十分必 要的。 以上是比较宏观的概念，无论是哪一种学习方式，在实际应用中都会遇到一些 更为细节化的问题。 1 0 第2 章h o p f i e l d 神经网络 2 2 2 神经网络的学习规则 d d h e b b 学习规则 这个最为著名的学习规则是由d o n a ldh e b b 在1 9 4 9 年提出的。是最早、最著 名的训练算法，至今仍在各种神经网络的学习模型中起着很重要的作用。其核心思 想可以归纳为：如果处理单元从另一个处理单元接受一个输入，并且如果两个处理 单元都处于高度活跃状态，则此时两单元之间的连接权重就应该加强。 在a n n 中，h e b b 算法最简单的描述为：如果一个处理单元从另一个处理单元 接收输入激励信号，而且两者都处于高激励电平，那么处理单元之间的连接权就应 当增强。即两节点的连接权将根据两节点的激励电平的乘积来改变。 感知器学习规则 美国学者e r o s e n b l a t t 于2 0 世纪6 0 年代初提出的感知器，是一个具有单层计 算单元的神经网络。该规则定义学习信号为期望信号与实际神经神经元响应信号之 间的差，从而使学习受到指导。 d e l t a 学习规则 这是最为常用的学习规则，其要点是通过改变单元之间的连接权重来减小系统 实际输出与期望输出的误差。这个规则也叫w i r d r o w h o l f 规则，首先在自适应谐振 模型中得到应用。 梯度下降规则 该规则是对减小实际输出误差和期望输出误差之间方法的数学说明。d e l t a 规 则是其具体的一个实例。其要点为，在学习过程中，保持误差曲线的梯度下降，如 图所示。误差曲线可能会出现局部最小值，从而影响网络学习的效果，在网络学习 过程中，应尽力避免出现局部最小值的情况而达到真正的误差最小值。 反向传播学习规则 这种方法分为两个阶段，第一步是正向传播，将输入数据输入网络，网络从前 向后计算每个单元的输出，将每个单元的输出与期望的输出进行比较，并计算误差 第一步是反向传播，从后向前重新计算误差修改权重，完成这两步后，才可以输入 新的数据。这种技术一般用在三层网络。对于输入层，已知每个单元的实际输出和 期望输出，因而比较容易计算误差，技巧和难点在于如何调节中间层单元的权重。 第2 章h o p f i e l d 神经网络 2 3b p 网络 2 3 1b p 网络的原理 b p 神经网络是一种具有三层或三层以上的多层神经元网络，它的左、右各层 之间的各个神经元实现全连接，即左层的每一个神经元与右层的每个神经元都有连 接，而上下层各神经元之间无连接。b p 神经网络按有教师学习方式进行训练，当 一对学习模式提供给网络后，其神经元的激活值将从输入层经各中间层向输出层传 播，在输出层的各神经元输出对应于输入模式的网络响应。然后，按减少希望输出 与实际输出误差的原则，从输出层经中间层、最后回到输入层逐层修正各连接权。 由于这种修正过程是从输出到输入逐层进行的，所以称它为“误差逆传播算法 。 随着这种误差逆传播训练的不断进行，网络对输入模式响应的正确率也在不断提 高。由于b p 神经网络有处于中间位置的隐含层，并有相应的学习规则可循，可训 练这种网络，使其具有非线性模式的识别能力。 2 3 2b p 神经网络的学习过程 b p 神经网络的学习过程主要由四部分组成： ( 1 ) 输入模式顺传播( 输入模式由输入层经中问层向输出层传播计算) ； ( 2 ) 输出误差逆传播( 输出的误差由输出层经中间层传向输入层) ； ( 3 ) 循环记忆训练( 模式顺传播与误差逆传播的计算过程反复交替循环进行) ； ( 4 ) 学习结果判别( 判定全局误差是否趋向极小值) 。 下面分别介绍和分析这四个过程：