（计算数学专业论文）基于bp神经网络图像识别的研究.pdf

大连理工大学硕士学位论文 摘要 图像识别是对图像所蕴含的信息进行计算、分析，对其进行分类或从中提取有用的 信息。它一般有五个步骤：图像数字化、图像预处理、图像分割、图像特征提取、图像 识别。基于神经网络的图像识别技术是随着当代计算机技术、图像处理、人工智能、模 式识别理论等发展起来的一种新型图像识别技术，是在传统的图像识别方法的基础上融 合神经网络算法的一种图像识别方法。 本文的研究工作涉及了图像分割、图像特征提取、图像识别三个环节，对这三个环 节的某些技术进行了改进和创新；同时也涉及了神经网络的改进和创新，包括对单个网 络、几个网络集成的改进和创新。具体如下： ( 1 ) 在研究和总结了b p 神经网络算法缺陷、梯度算法改进、智能算法改进的基 础上，融合遗传算法、模拟退火法、b p 梯度算法的优点，对b p 神经网络算法进行改进。 ( 2 ) 在图像边缘检测( 属图像分割) 环节中，针对实际图像边缘通常比较复杂， 难以用数学方法精确描述的的问题，将改进算法后的b p 神经网络用到图像边缘检测中， 克服经典边缘检测算子适应性差的缺点。 ( 3 ) 在图像特征提取的环节中，针对不同图像的矩特征容易接近的缺点，改变矩 特征的提取过程，使之由原来直接对灰度图像提取，改为对突出边缘的图像进行提取。 ( 4 ) 在图像识别的环节中，针对遥感图像中地物的识别，提出了融合光谱特征和 纹理特征的神经网络图像识别。 ( 5 ) 在神经网络分类器集成方面，研究分析了集成提高性能的原因，提出了“单 类别分类器集成”、“单特征组分类器集成”两种分类器集成方法。 ( 6 ) 在分类器集成体输出的组合算法方面，研究分析了分类器识别性能矩阵，提 出了基于分类器输出向量的加权法。 关键词：图像识别；神经网络；边缘检测；特征融合；分类器集成 基于b p 神经网络图像识别的研究 t h er e s e a r c h o fi m a g er e c o g n i t i o nb a s e do nb pn e u r a ln e t w o r k a b s t r a c t i m a g er e c o g r t i t i o n gc o m p u t e sa n da n a l y s e st h ei n f o r m a t i o no ft h ei m a g e ，a n dt h e n c l a s s i f i e so rm a k e su s e f u li n f o r m a t i o n gf r o mt h e m i ti n c l u d e sf i v es t e p sg e n e r a l l y ：i m a g e d i g i t i z a t i o n , i m a g ep r e t r e a t m e n t , i m a g ed i v i s i o n , i m a g ef e a t u r e e x t r a c t i o na n di m a g e r e c o g n i t i o n i ti san e wr e c o g n i t i o nt e c h n o l o g yo fi m a g ew h i c hi sb a s e do nn e u r a ln e t w o r k s i m a g er e c o g n i t i o nt e c h n o l o g y ，a l o n gw i t ht h et e c h n o l o g yo fp r e s e n t d a yc o m p u t e r ，t h ei m a g p r o c e s s i n g ，t h ea r t i f i c i a li n t e l l i g e n c e ，t h et h e o r yo fp a t t e r nr e c o g n i t i o na n ds oo n i ti sa m e t h o do fi m a g er e c o g n i t i o nw h i c hf u s e st h ea l g o r i t h mo fn e u r a ln e t w o r kb a s e do nt h e m e t h o do ft r a d i t i o n a li m a g er e c o g n i t i o n ， t h i st r e a t i s er e s e a r c h e st h ei m a g ef e a t u r ee x t r a c t i o na n dt h ei m a g er e c o g n i t i o nf r o mt h r e e k e yk n o t so ft h ei m a g ed i v i s i o n ：i m a g es e g m e n t a t i o n , i m a g ec h a r a c t e r i s t i c se x t r a c t i o n , i m a g e r e c o g n i t i o n a n di tm a k e st h ei m p r o v e m e n ta n dt h ei n n o v a t i o no fc e r t a i nt e c h n o l o g i e st ot h e m s i m u l t a n e o u s l y ，i ti sa l s oi n v o l v e di nt h ei m p r o v e m e n ta n dt h ei n n o v a t i o no fn e u r a ln e t w o r k , i n c l u d i n gt os i n g l en e t w o r ka n d s e v e r a ln e t w o r ki n t e g r a t i n g s p e c i f i c a l l ya sf o l l o w s ： i ti n t r o d u c e st om a k ei m p r o v e m e n to fb pn e u r a ln e t w o r ka l g o r i t h ma c c o r d i n gt o b l e n dt h eg e n e t i ca l g o r i t h m ，t h es i m u l a t e da n n e a l i n gm e t h o d ，b a s e do nt h e s u m m a r i z a t i o no ft h ef l a wi nb pn e u r a ln e t w o r ka l g o r i t h m ，t h ei m p r o v e m e n to fh i l i c l i m b i n ga l g o r i t h ma n dt h ei n t e l l i g e n ta l g o r i t h m i ti n t r o d u c e st oa i mt ot h ec o m p l e x i t yo fi m a g ee d g ew h i c hi sh a r dt od e s c r i b e m a t h e m a t i c a l l yi nt h ek e yk n o t so fi m a g ee d g ed e t e c t i o n ( i m a g es e g m e n t a t i o n ) t o r e m o v es h o r t c o m i n g so ft y p i c a la l g o r i t h m so fe d g ed e t e c t i o nd i r e c t e dw i t ht h e i m p r o v e da l g o r i t h m i ti n t r o d u c e st oa i mt ot h es h o r t c o m i n g so fi nt h ei m a g ef e a t u r ee x t r a c t i o n sl i i 此i n v i e w o ft h ed i f f e r e n ti m a g e sm o m e n tc h a r a c t e r i s t i ce a s ya c c e s st h es h o r t c o m i n g 。t o c h a n g e 也eb e n d i n gm o m e n tc h a r a c t e r i s t i ct h ef o l i a t i o n , c a u s e si tb yo r i g i n a l l y d i r e c t l yt ot h eg r a d a t i o ni m a g ee x t r a c t i o n 。c h a n g e sc a r r i e so n 曲ee x t r a c t i o nt o 曲e p r o m i n e n te d g ei m a g e i tp r o p o s e si m a g er e c o g n i t i o no ft h ef u s i o ns p e c t r a ls i g n a t u r e sa n dt h et e x t u r a l p r o p e r t yn e u r a ln e t w o r ki m a g er e c o g n i t i o n i ni m a g er e c o g n i t i o n sl i i 此i nv i e wo ft h e r e m o t es e n s i n gi m a g ei n t h et e r r a i nf e a t u r er e c o g n i t i o n i tp r o p o s e st w os o r t e ri n t e g r a t i o nm e t h o d so ft h es i n g l ec a t e g o r ys o r t e ri n t e g r a t i o n a n dt h es i n g l ec h a r a c t e r i s t i cg r o u ps o r t e ri n t e g r a t i o n ，b a s i n go nr e s e a r c h i n ga n d a n a l y z i n gt h er e a s o nf o ri n t e g r a t e du p r a t i n g i tp r o p o s e st h ew e i g h t i n gm e t h o do ft h es o r t e ro u t p u tv e c t o rb a s i n go nr e s e a r c h i n g a n da n a l y z i n gs o r t e rr e c o g n i t i o np e r f o r m a n c em a t r i xi n 也el i n ko fc o m b i n a t i o n a l i i 一 、，、，、j、，、，、， 0 q o 大连理工大学硕士学位论文 a l g o r i t h mo ne x p o r to fs o r t e ri n t e g r a t i o n k e yw o r d s ：i m a g er e c o g n i t i o n ：n e u r a ln e t w o r k ：e d g ed e t e c t i o n ；c h a r a c t e r i s t i cs y n c r e t i z e ； 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 基王垦里独经圆络图速迟星鲍盈究 作者签名： 立莲主日期：2 旦旦逻年生月二日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：基王旦里拉经圆络图馕迟别鲍砑究 作者签名： 生羞立日期：鱼旦笸年丝月上日 导师签名：玛衄一 大连理工大学硕士学位论文 1绪论 1 。1 课题的说明、研究意义和应用前景 ( 1 ) 课题的说明 基于神经网络的图像识别技术是随着当代计算机技术、图像处理、人工智能、模式 识别理论等发展起来的一种新型图像识别技术，是在传统的图像识别方法的基础上融合 神经网络算法的一种图像识别方法。 图像识别是根据图像所蕴含的信息进行计算、分析，对其进行分类或从中提取有用 的信息。比如在卫星遥感图片中辨别森林、湖泊、农作物和军民设施；在医学c t 图片 诊查病灶；在探测频谱图像中诊断故障。图像识别一般有图像数字化、图像预处理、图 像分割、图像特征提取、图像识别五个步骤：图像数字化是将模拟信号图像转化成 数字信号图像，使计算机能够进行处理；图像预处理是对图像进行适当变换，突出 某些有的信息，去除或削弱无用的信息，以利于人机分析；图像分割是把图像分成 若干个有意义的区域：特征提取是取得能反映图像分类本质的特征；图像识别就 是让机器自动识别事物，即是利用计算机分类识别物体。 神经网络本质上是一个信息的非线性变换系统，具有很强的、优于经典逼近方法的 函数逼近能力，能表示复杂的映射关系 2 1 。图像通过傅立叶变换、或小波变换、或生成 灰度共生矩阵、或矩特征提取等处理后，转化为数学形式表示，这些数学形式表示可作 为神经网络的输入。不同的识别目标在同一种数学形式表示中，有不同的“值”，神经 网络或近似反映了这种映射关系，或成为这些“值”的分类边界，这是用神经网络去识 别图像的一个重要依据。 本文的研究是，对神经网络识别图像过程中的若干个环节进行改进，使更有效率地、 更准确地识别图像目标。 ( 2 ) 神经网络图像识别的应用前景 目前，图像识别技术应用到很多领域，其中最典型的应用有： 遥感图像处理和空间探测 以多光谱图像的综合处理和像素区的模式分类为基础的遥感图像处理是对地球的 全体环境进行监控的强有力的手段。它同时可为国家计划部门提供精确、客观的各种农 作物生产情况、收获估计、林业资源、地质、水文、海洋等各种宏观的调查、监测资料。 医用图像处理 基于b p 神经网络图像识别的研究 以“图像重迭”技术为中心的医用图像处理技术将更趋完善。以医用超声成像、x 光断影成像、核磁共振断层成像技术为基础的医用图像处理可以实现对疾病的直观诊断 和无痛、安全方便的诊断和治疗。 图像跟踪和光学制导 2 0 世纪7 0 年代以来，图像制导技术在战略武器的末制导中发挥了极大的作用。其 特点是高精度与高智能化。 机器人视觉及图像测量 以“三维机器视觉 分析成果为中心，配有环境理解能力的机器视觉将在工业装配、 自动化生产线控制、救火、排障、引爆等方面应用，乃至家庭的辅助劳动、炊事烹饪、 清洁、老年人及残疾病人的监护方面发挥巨大的作用。与机器视觉相并行，以三维分析 为基础的图像测量将成为通用的智能化测量技术而得到长足的发展。 通信工程方面的应用 多媒体通信中图像编码压缩技术，如分行编码、自适应网络编码、小波变换图像压 缩编码等。 军事公安方面的应用 在军事方面图像处理和识别主要用于导弹的精确末制导，各种侦察照片的判读，具 有图像传输、存储和显示的军事自动化指挥系统，飞机、坦克和军舰模拟训练系统等： 公安业务图片的判读分析，指纹识别，人脸鉴别，不完整图片的复原，以及交通监控、 事故分析等。 文化艺术方面的应用 目前这类应用有电视画面的数字编辑，动画的制作，电子图像游戏，纺织工艺品设 计，服装设计与制作，发型设计，文物资料照片的复制和修复，运动员动作分析和评分 等等，现在己逐渐形成- i q 新的艺术一计算机美术。 图像处理和识别数据规模巨大、计算复杂、技术综合性强，神经网络因其存储容量 大、并行计算、自适应性强、结构健壮等特点，日益成为图像处理和识别领域的重要工 具，并发挥越来越重要的作用。 1 2 神经网络图像识别的发展和现状 图像处理技术研究始于2 0 世纪5 0 年代。19 6 4 年美国喷射推进实验室( y v l ) 使用计 算机对太空船送回的大批月球照片处理后得到了清晰逼真的图像，这是图像处理技术发 展的里程碑。此后，图像处理技术在空间研究方面得到广泛应用。2 0 世纪7 0 年代初， 大连理工大学硕士学位论文 数字图像处理已具有自己的技术特色，形成了较完善的学科体系，从而成为一门独立的 新学科。 自1 9 8 5 年r u m e l h a r t 和他的同事发展了学习算法以来，世界范围内掀起了探索和 研究神经网络的热潮，人工神经网络的发展己渗透到各种研究领域，尤其在模式识别的 图像分类技术应用方面也日益增多。 图像处理过程中，要经过一系列预处理操作，由于各种不利因素的影响，预处理后 的图像仍然会包含一定的噪声。为了提高识别率，许多国内外学者研究并提出了一些新 的特征提取算法以及多种神经网络模型。 随着人工智能技术的发展，特别是8 0 年代人工神经网络研究的再次兴起，为图像 识别技术的研究提供了新的途径。一些著名的企业如i n t e l 、m o t o r o l a 、松下、日立等均 已推出自己的神经网络芯片，极大地推动了神经网络图像识别技术和应用的发展。 国内对神经网络图像识别技术研究起步比较晚。1 9 9 0 年中国科技大学的吴健康等 人开始研究神经网络在图像识别中的应用，他们利用单h o p f i e l d 网络完成对简单图像的 匹配识别。该方法在收敛性方面不够理想，而且对有尺度变化的图像不能进行正确匹配。 黎倩等人提出基于双h o p f i e l d 神经网络假设检验的图像匹配方法对其改进，实现了对工 件图的位移、旋转、尺度变化的不变识别。 由于神经网络图像识别存在样本训练时输入和输出要一一对应、识别速度不如模糊 系统快等缺点，神经网络技术与模糊理论、证据理论、贝叶斯决策理论等技术相结合进 行图像识别己成为神经网络图像识别技术的发展趋势。 1 3 本文的研究工作 本文做了以下一些研究工作： ( 1 ) 在研究和总结了b p 神经网络算法缺陷、梯度算法改进、智能算法改进的基 础上，融合遗传算法、模拟退火法、b p 梯度算法的优点，对b p 神经网络算法进行改进。 ( 2 ) 在图像边缘检测环节中，针对实际图像边缘通常比较复杂，难以用数学方法 精确描述的的问题，将改进算法后的b p 神经网络用到图像边缘检测中，克服经典边缘 检测算子适应性差的缺点。 ( 3 ) 在图像特征提取的环节中，针对不同图像的矩特征容易接近的缺点，改变矩 特征的提取过程，使之由原来直接对灰度图像提取，改为对突出边缘的图像进行提取。 ( 4 ) 在图像识别的环节中，针对遥感图像中地物的识别，提出了融合光谱特征和 纹理特征的神经网络图像识别。 基于b p 神经网络图像识别的研究 ( 5 ) 在神经网络分类器集成方面，研究分析了集成提高性能的原因，提出了“单 类别分类器集成、“单特征组分类器集成 两种分类器集成方法。 ( 6 ) 在分类器集成体输出的组合算法方面，研究分析了分类器识别性能矩阵，提 出了基于分类器输出向量的加权法。 本文的章节安排如下： 第一章为绪论。说明课题、研究的理论和应用意义；介绍神经网络识别图像的发展 经历和研究现状；介绍本文的研究工作和章节安排。 第二章为神经网络基础。介绍神经网络原理、特点、理论和常见的几种神经网络类 型。 第三章为图像识别原理简介。介绍图像识别的一般过程及各步骤的常见技术。 第四章为基于b p 神经网络的图像边缘检测。本章介绍了几种经典边缘检测算子、 b p 神经网络算法及其改进，提出了融合遗传算法、模拟退火法的b p 神经网络训练，还 将改进后b p 神经网络应用到边缘检测。 第五章为基于多特征融合的神经网络的图像识别。本章介绍了图像边缘矩特征的提 取、图像纹理的联合概率矩阵的生成、遥感影像光谱特征的提取，提出将光谱特征、边 缘矩特征、纹理的联合概率矩阵根据需要融合成向量，输入b p 神经网络。 第六章为神经网络分类器集成。在神经网络分类器集成方面，研究分析了集成提高 性能的原因，提出了“单类别分类器集成”、“单特征组分类器集成 两种分类器集成 方法。在分类器集成集组合输出方面，研究分析了分类器识别性能矩阵，提出了基于分 类器输出向量的加权法。 第七章为结论与展望。 本文的重点在第四、五、六章。 大连理工大学硕士学位论文 2 人工神经网络基础 2 1人工神经网络的基本元素和特点 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是在人脑组织结构和运行机制的 认识基础之上，进行抽象、简化和模拟而成的一种信息处理系统。 2 1 1 人工神经网络的基本元素 二十世纪4 0 年代，心理学家m c c u l l o c h 、数学家p i t t s 就提出了人工神经网络的第 一个数学模型，从此开创了神经科学理论的研究时代。其后，e r o s e n b l a t t 、w i d r o w 和 h o p f , j j h o p f i e l d 等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。 神经系统的基本构造是神经元，它是处理人体内各部分之间相互信息传递的基本单元。 据神经生物学家研究的结果表明，人的大脑一般有1 0 1 0 至1 0 11 个神经元。如图2 1 所 示，每个神经元都由一个细胞体、一个向连接其他神经元的轴突和一些向外伸出的其它 较短分支一树突组成。轴突的功能是将本神经元信号传递给别的神经元，其末端的神经 末梢可将信号同时传送给多个神经元。树突的功能是接受来自其它神经元的信号。神经 元的树突与另外的神经的神经末梢相连的部分称为突触。 图2 1 神经元结构 f i g 2 1t h es t r u c t i o no f n e u r o n a n n 通过对大量的简单处理单元进行互连，构成了一个复杂的网络系统。其中处 理单元及连接模式均借鉴了人脑神经元互连结构及网络连接机制，各个神经元间的连接 也不只是单纯的传送信号的通道，它们都具有加权系数，可以对生物神经系统中神经元 的突触强度进行模仿【3 j 。构成神经网络的三个基本要素是： 基于b p 神经网络图像识别的研究 1 神经元：它是神经网络的最基本组成部分，也是网络核心的处理单元。它的作 用是把输入加权求和，并做非线性处理。 x l x 2 pm ) ，_ 厂f x f w i 一盯 ，= l y 图2 2 人工神经元模型 f i g 2 2t h em o d e lo fa r t i f i c i a ln e u r o n 2 网络拓扑：即神经网络中神经元的互连模式。神经系统稳定的拓扑结构规定且 制约着神经网络的性质和信息处理能力的大小。根据互连方式的不同，神经网络可以分 为前馈型网络和回馈型网络。前馈型网络在神经元间不存在反馈回路，而回馈型网络由 于存在反馈回路，因此具有短时记忆功能。从作用效果来看，前馈网络主要是函数映射， 可用于模式识别和函数逼近；回馈网络能对能量函数的极小点的利用来分类：第一类是 能量函数的所有极小点都起作用，这类主要用作各种联想存储器；第二类只利用全局极 小点，主要用于求解最优化问题。 3 学习方式：神经网络的一个重要特点是可以通过向环境学习来获取知识并改进 自身的性能。网络性能的改善，通常是按某种预定的度量，通过对网络中各神经元初始 参数值的设定及调节逐步达到的。学习过程的最终衡量标准是使实际输出与应有输出的 误差达到最小。h e b b 提出了用无监督学习算法逐步调整权值的思想( h e b b 学习规则) ， 可以归纳为：神经单元接收来自另一单元的输出时，如果两个单元都高度兴奋，则从此 神经元到彼神元的权值就得到加强。 目前大部分的学习算法都可以看成是h e b b 学习规则的推广和变形。由于学习过程 中，输出结果的计算往往都直接和网络拓扑密切相关，而输出结果的形式不同，则可采 纳的学习算法也就不刚4 l 。 2 1 2 人工神经网络的特点 人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人 工神经网络具有高速信息处理的能力。人脑的每个神经元大约有1 0 3 - 1 0 4 个树突及相应 的突触，一个人的大脑总计约形成1 0 4 - - 1 0 5 个突触。用神经网络的术语来说，即是人脑 一6 一 大连理工大学硕士学位论文 具有1 0 4 1 0 5 个互相连接的存储潜力。虽然每个神经元的运算功能十分简单，且信号传 输速率也较低( 大约1 0 0 次秒) ，但由于各神经元之间的极度并行互连功能，最终使得一 个普通人的大脑在约1 秒内就能完成现行计算机至少需要数1 0 亿次处理步骤才能完成 的任务。 人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经 元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。 每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元 的分布式综合效果才能表达出特定的概念和知识。 由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具 有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络 仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练样本， 系统就能给出正确的推理结论。 正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它 的判断识别系统，如：专家系统等，具有另一个显著的优点：健壮性。生物神经网络不会 因为个别神经元的损失而失去对原有模式的记忆，人工神经网络也有类似的情况。因某 些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍 然能继续工作。 人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所 有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种 具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础的 数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大 飞跃。 2 2 几种典型的人工神经网络 2 2 1 误差逆传播神经网络( b p 神经网络) 1 9 8 6 年以r u m e l h a r t 和m c c e l l a n d 为首的科学家出版的 p a r a l l e ld i s t r i b u t e d p r o c e s s i n g 一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网 络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的 阶层网络，即：输入层、隐含层( 也称中间层) 、输出层。相邻层之间的各神经元实现全 连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经 元之间无连接i s j 。 基于b p 神经网络图像识别的研究 x 1 工2 工m x m yl j 72 j 7 p p 图2 3b p 神经网络 f i g 2 3 b pn e u r a ln e t w o r k 学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入 模式设定一个期望输出值。然后对网络输入，并由输入层经中间层向输出层传播( 称为 “模式顺传播”) 。实际输出与期望输出的差即是误差。按照误差平方最小这一规则， 由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。所以误差逆传播神 经网络也简称b p 网。随着“模式顺传播和“误差逆传播”过程的交替反复进行。网 络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不 断上升。通过此学习过程，确定下来各层间的连接权值之后就可以工作了。 由于b p 网络及误差逆传播算法具有中间隐含层并有相应的学习规则可寻，使得它 具有对非线性模式的识别能力。特别是其数学意义明确、步骤分明的学习算法，更使其 具有广泛的应用前景。目前，在手写字体的识别、语音识别、文本一语言转换、图像识 别以及生物医学信号处理方面已有实际的应用。但b p 网并不是十分的完善，它存在以 下一些主要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练 好的网提供新的学习记忆模式时，将使己有的连接权值被打乱，导致已记忆的学习模式 的信息的消失。 2 。2 。2 径向基函数神经网络( r b f 神经网络) 径向基函数( r b f ) 网络是以函数逼近理论为基础的一类前向网络，这类网络的学 习等价于在多维空间中寻找训练数据的最佳拟合平面。径向基函数网络的每个隐层神经 元传递函数都构成了拟合平面的一个基函数，网络也由此得名。径向基函数网络是一种 局部逼近网络，即对于输入空间的某一个局部区域只存在少数的神经元用于决定网络的 输出。而b p 网络则是典型的全局逼近网络，即对每一个输入输出数据对，网络的所有 参数均要调整。由于二者的构造本质不同，r b f 网络与b p 网络相比规模通常较大，但学 一8 一 大连理工大学硕士学位论文 习速度快，且网络的函数逼近能力强，网络结构能够自适应确定，网络输出与初始权值 无关| 6 】o r b f 网络通常是一种3 层前馈网络，输出节点对隐节点给出的基函数进行线性组合。 隐层中的基函数对输入激励产生一个局部化的响应，即仅当输入落在输入空间的一个很 小的指定区域时，隐单元才做出有意义的非零响应。在r b f 网络中，隐层节点通过基函 数执行一种固定不变的非线性变化，将输入空间影射到一个新的空间，输出层节点则在 该新的空间实行线性加权组合。 r b f 网络中，最常用的基函数是高斯函数，具备如下优点： ( 1 ) 表示形式简单，即使对于多变量输入也不增加太多的复杂性； ( 2 ) 径向对称； ( 3 ) 光滑性好，任意阶导数均存在； ( 4 ) 由于该基函数表示简单且解析性好。因而便于进行理论分析。 从理论上而言，r b f 网络和b p 网络一样可近似任何的连续非线性函数，且可互相 代替。两者的主要差别在于各使用不同的作用函数，b p 网络中的隐层节点使用的是函数， 其函数值在输入空间中无限大的范围内为非零值，而r b f 网络的作用函数则是局部的。 2 2 3 h o p f i e i d 神经网络 1 9 8 6 年美国物理学家j j h o p f i e l d 陆续发表几篇论文，提出了h o p f i e l d 神经网 络。他利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性， 并利用此方法建立求解优化计算问题的系统方程式。基本的h o p f i e l d 神经网络是一个 由非线性元件构成的全连接型单层反馈系统【7 】。 图2 4h o p f i e l d 神经网络 f i g e 4h o p f i e ln e u r a ln e t w o r k 基于b p 神经网络图像识别的研究 网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又 都接收所有其它神经元传递过来的信息。即：网络中的神经元t 时刻的输出状态实际上 间接地与自己的t 一1 时刻的输出状态有关。所以h o p f i e l d 是一个反馈型的网络。其状 态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网 络达到稳定状态的时候，也就是它的能量函数达到最小的时候。这里的能量函数不是物 理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态 的变化趋势，并可以依据h o p f i e l d 工作运行规则不断进行状态变化，最终能够达到的 某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题 的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么h o p f i e l d 神经网络就能够用于解决优化组合问题。 对于同样结构的网络，当网络参数( 指连接权值和阐值) 有所变化时，网络能量函数 的极小点( 称为网络的稳定平衡点) 的个数和极小值的大小也将变化。因此，可以把所需 记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络有m 个平衡点，则可以 记忆m 个模式。 当网络从与记忆模式较靠近的某个初始状态( 相当于发生了某些变形或含有某些噪 声的记忆模式，也即：只提供了某个模式的部分信息) 出发后，网络按h o p f i e l d 工作运 行规则进行状态更新，最后网络的状态将稳定在能量函数的极小点。这样就完成了由部 分信息的联想过程。 h o p f i e l d 神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问 题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点，到达全局 最小点，因而无法求得网络最优解。这可以通过模拟退火算法或遗传算法得以解决。 2 2 4 竞争型( k o h o n e n ) 神经网络 神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形( 输 入模式) 比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞 的兴奋程度被抑制。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出 神经元。许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据 的“特征图形”。 竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动 对输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则 相比，有其自己的鲜明特点。在网络结构上，它既不象阶层型神经网络那样各层神经元 之间只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一 大连理工大学硕士学位论文 般是由输入层( 模拟视网膜神经元) 和竞争层( 模拟大脑皮层神经元，也叫输出层) 构成的 两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层。有时竞争层 各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争 对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元 有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时， 对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有 最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实 际上也就是网络回忆联想的过程。 除了竞争的方法外，还有通过抑制手段获取胜利的方法，即网络竞争层各神经元抑 制所有其它神经元对输入模式的响应机会，从而使自己“脱颖而出 ，成为获胜神经元。 除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而对 远离自己的神经元不抑制。这种方法常常用于图象边缘处理，解决图像边缘的缺陷问题。 竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模 式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全 部丢失【8 1 。 2 2 5 支持向量机神经网络 支持向量机方法是建立在统计学习理论的v c 维理论和结构风险最小原理基础上 的，根据有限的样本信息在模型的复杂性( 即对特定训练样本的学习精度) 和学习能力 ( 即无错误地识别任意样本的能力) 之间寻求最佳折衷，以期获得最好的推广能力1 9 】。如 图2 5 所示。 基于b p 神经网络图像识别的研究 风险 函数集子集：墨，cs 2cs ，v c ( t , ， j 5 铲 图2 5 结构风险最小化示意图 f i g 2 5 t h es k e t c ho ft h em i n i m u ms t r u c t u r er i s k 统计学习理论的一个核心概念就是v c 维( v c d i m e n s i o n ) 概念，它是描述函数集或 学习机器的复杂性或者说是学习能力的一个重要指标，在此概念基础上发展出了一系列 关于统计学习的一致性、收敛速度、推广性能等的重要结论。统计学习理论是建立在一 套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将 很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题( 比如神经网络结构选 择问题、局部极小点问题等) ：同时，这一理论基础上发展了一种新的通用学习方法一支 持向量机( s u p p o r t v e c tm a c h i n e ，s v m ) ，己初步表现出很多优于已有方法的性能。一些 学者认为，统计学习理论和支持向量机正在成为继神经网络研究之后新的研究热点，并 将推动机器学习理论和技术有重大的发展。 支持向量机方法的几个主要优点有： ( 1 ) 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅 是样本数趋于无穷大时的最优解。 ( 2 ) 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最 优点，解决了在神经网络方法中无法避免的局部极值问题。 大连理工大学硕士学位论文 ( 3 ) 算法将实际问题通过非线性变换转换到高维的特征空间( f e a t u r e s p a c e ) ，在 高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器 有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本的维数无关。 ( 4 ) 支持向量机具有十分清晰的几何意义，可以根据其几何性质来选择其模型结 构和构造学习方法，它的学习结果是训练样本集中的支持向量。 在s v m 方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、 径向基函数( r a d i a l b a s i f u n c t i o n ，r b f ) 方法、多层感知器网络等许多现有学习算法。 支持向量机算法在模式识别、回归估计、概率密度函数估计等方面都有应用，并且在精 度上已经超过传统的学习算法或与之不相上下。 2 3b p 神经网络 b p ( b a c k p r o p a g a t i o n ) 神经网络又称为误差反向传播神经网络，是典型的前馈多层 感知器，也是当前最流行、最具代表性的神经网络。典型的多层感知器是三层前馈网络， 即输入层、隐含层( 即中间层) 和输出层。相邻层之间的各神经网络实现完全连接，即下 一层的神经元与上一层的每个神经元都实现连接，每层内各神经元之间无连接。连接强 度构成网络的权值矩阵。 2 3 1 b p 神经网络的学习过程 b p 神经网络的学习过程包含信息的正向( 前向) 传播和误差的反向传播两个过程。 正向传播过程中，输入信号从输入层经隐含层单元传向输出层。每一层神经元的状态仅 仅影响下一层神经元的状态。输出层的各神经元获得网络的输入响应。此后，若输出响 应和期望输出存在误差，则朝着减小期望输出与实际输出误差的方向( 误差反方向) 传 播。通过修改各层神经元的连接权值和阑值，将误差信号由输出层传向输入层进行反向 传播，以使得误差信号达到最小i 该算法实际上是求误差函数的最小值，它通过大量的 样本训练，采用一阶梯度法即最速下降法，将神经元的权值沿着误差函数负梯度方向修 改，使其样本有正确的识别结果，并收敛于最小点。神经网络的样本学习就像入记忆数 字一样，神经元相当于人脑细胞，权值相当于数字在人脑中的记忆。学习样本权值的改 变就像人脑细胞的相互作用，网络的学习阶段就像人由不认识数字到认识数字的反复学 习阶段。神经网络是整体记忆特征向量的，只要大多数特征符合学习的样本就可识别为 同一物体，所以当样本存在较大噪音时神经网络的分类器仍可正确识别。 2 3 2b p 算法流程 ( 1 ) 初始化。对神经网络的权值和闭值设定任意小的随机值： 一1 3 基于b p 神经网络图像识别的研究 ( 2 ) 给定神经网络的训练数据。给定输入样本，其对应的输出期望及其神经元激 励函数； ( 3 ) 计算输入样本的实际输出； ( 4 ) 计算全局误差和各层的局部误差，并按误差反向传播方向调节权值和阈值； ( 5 ) 把下一个样本输入神经网络，返回第二步重复，直到误差满足要求。 具体算法流程如图2 6 所示。 开始 网络初始化 输入一个斯的学习样本 计算隐舍层神经元输出 计算输出层神经元输出 计算输出层神经元谩差和全局误差 计算隐含层神经元 完差 修改隐含层与输出层连接的权值 修改输入层与隐含层连接的权值 更新学习样本 学习周期结束 s e e e m i n y 更新周期数 ，周期数、 小于上限 n 结柬 n y 图2 6b p 算法流程 f i g 2 6 b pa r i t h m e t i cf l o w 一1 4 大连理工大学硕士学位论文 2 3 3b p 算法的优点和缺点 ( 1 ) b p 算法优点： 只要有足够多的隐含层和隐含节点，b p 网络可以逼近任意的非线性映射关系。 并且已证明，具有s i g m o i d 非线性函数的三层神经网络可以以任意精度的逼近任