神经网络及其在图像处理中的应用论文.pdf

摘要 人工神经网络由于具有并行计算 自组织 自学习的特性和全局逼近能力而 受到人们的广泛关注 并已经被成功地应用r 模式识别 图像处理 函数逼近 白适应控制等方面 b p 神经网络是各种神经网络模型中最具代表意义的一种网 络 本文首先对b p 神经网络结构及b p 算法进行了综述 尤其对目前b p 算法 的改进动态做了系统的分析研究 在此基础上 本文提出了一种直接白适应b p 算法 该算法着重改进了权值的调整方法 和标准b p 算法和以学习速率改变为 基础的算法相比 此算法缩短了学习时间 提高了学习效率 有效地避免了b p 算法收敛速度慢 易陷入局部极小等缺陷 其次 本文将改进的b p 算法用于字符图像的识别 取得了良好的效果 为 改善神经网络训练方法对样本的依赖性 本文提出了 种基于神经 模糊推沦系 统进行印刷体字符图像识别的方法 该方法具有识别率高及对噪声不敏感的特 一眭 仿真结果电证明其优于神经网络的识别方法 再次 本文提出一种基于邻域灰度变化极值和神经网络的图像边缘检测新方 法 浚方法首先基于邻域狄度极值提取边界候选图像 然后以边界候选象素及其 邻域象素的二值模式作为样本集输入对边缘检测神经网络进行训练 为加快网络 的收敛速度 本文提出了滚动训练方法 实验证明本文提出的边缘检测新方法较 之于已有的神经网络方法提高了学习效率 获得的边缘图像封闭性好 边缘描述 真实 最后 本文提出并实现了一种使用v b a c c e s s m a t l a b 混合编程的神经网络 模式识别系统 在系统中提出了基于数据库模式的神经网络数据存储架构 并为 进 步形成基于图像数据库模式的神经网络数掘存储架构奠定了基础 系统较目 前普遍采用的方法更为简便 高效 且具有良好的模块化结构和可移植性以及透 明性 经试验证明具有良好的效果 对于各种模式识别的情况 都具有较高的实 用性和参考价值 关键词 神经网络 模式识别 神经模糊系统 边缘检测 卜 卜 a b s t r a c t a n i f i c i a ln e 删n e t w 口r k sa t 仃a c tm o r ea n dm o r ea t t e n t i o ni nr e c e n tv e a r s hh a s b e e n s u c c e s s m l l ya p p l i e d t o m a n yf i e i d s s u c h a s p a t t e mr e c o g m t i o l l i m a g e p r o c e s s i n g f i l n c t i o n 印p r o x i m a t i o n s e l f a d 印t i v ec o n t r o l b pn e u r a ln e t w o r ki so n e o f t h er e p r e s e n t a t i v en e u r a ln e t w o r km o d e l s f i r s t t h e s t n j c m r eo fb pn e t w o r ka 芏l dc l a s s i c a j b a c k p r o p a g a t i o nl e a m i n g a l g o r i m mi si n 的d u c e di l l t l l ep 印盯 a i l dt i l c ns y s t e r n a t i ca 1 1 a l y s i sa f l dr e s e a r c ha r e m a d et ot 1 1 ev a r i o l l sl e a m i n gm e t h o d so fi m p r o v e db pa l g o 枷 l i r i ad i r e c ta d a p t i v e b pl e 锄i 1 1 9 两n c i p l e b a s e do nm es t a i l d a r db pa l g o 血l l i n i sp r e s e n t e d w l l i c h s t r e s s e do nt l l ea d j l l s t i i l e n tm e t h o do ft h ew e i g h t e x p e r i m e n tr e s u l t ss h o wt h a tt h e i m p r o v e db pa l g o r i t h mh a sm ec h a r a c t e r i s t i co ft h es h o r tt i m ea n dh i 啦e m c i e n c yo f l e 锄i n g s e c o n d c 1 1 a r a c t e ri m a g er e c o g i l i t i o nu s i n gi m p r o v e db pa l g o r i t h mi sp mf b n a l d i nt 1 1 ep 印 w h i c ho b t a i l l s9 0 0 de 仃e c t a l l dn l e nam e t h o do fb l o c kl e t t e rr c c o g n i t i o n u s i n ga n f i s a d a f t i v e n e t w o r k b a s e df u z z yi n f e r e n c es y s t e m s i sp r o p o s e d w h i c hh a sc h a m c t e r i s t i co fm g hr e c o g n i t i o nr a t ea n dr o b u s tw h e nt l ec h a r a c t e ra r e p o l l u t e d e 叩e r i m e mr e s u l t si i l d i c a 饴t i l a ti ti ss l l p e r i o rt 0t h em e t h o do fa f n t 1 1 i r d am e t h o do fe d g ed e t e c t i o l l w h i c h 弧do nm a x i m u f n 乒e yv a l u e s c h a i i g i n go fn e a r b yp i x e l s 锄dn e u m ln e 帆o r ki sp r o p o s e di i lt h ep 印e r t h em e t h o d u s e sal o g i c a lj u d g e m e n ta l g o r i 仉mt og e te d g ec a n d i d a t ci m a g e s a i l dm e n e d g ep i x e l s a n dm e i rn e i g h b o rp i x e l sc o m p o s et h eb i n a r y s a i i l p l e so ft 佗n e 啊a ln e t w o r k a s c m l l l e a m i n gm e m o di sa l s op r o p o s e dt oa c c e l e r a t et h ec o n v e 唱e n c es p e e d t h et e s t o ni m a g e sp r o v e st 1 1 a tt l l e i i i l a g es e 舯e m e db yt h i sm e t h o dh a sag o o de d g e c l o s e d n e s sa n dn l l ee d g e f i n a j l y ah y b r i dp r o 伊a l i l n l i n gm e t h o d v i t hv b a c c e s sa n dm a t l a bt 0d e s i g n a i l dp e 响彻an e u 蹦n e t w o r kp l a t f b r i nf o rp a 滟m r e c o g n i t i o ni sd e v e l o p e di i lt l e p 印e las c o r a g em i r i l e v o r kb a s e do nd a t a b a s et om a n a g e 也en e l l r a ln e t r kl e a m i n g d a 诅i sp r o p o s e di nt h ep l a t f o 帅 n c n 恤p l a t f o mi sm eo n e 诵t hb e a u t i 削 m o d u l 撕t ya n da l s 0p e n e t r a b i l i 够f o ra l l yk i n d so fp a t t e mr e c o g l l i t i o np r o b l e m s i t l l a sm e l l i g h e rv a i u 懿o f a p p l i c a t i o no rr e f e r e n c e k e yw o r d s n e u 脚n e t w o r kp a t t e mr e c o g l l i t i o n a n f i s e d g ed e t e c t i o l l 第一章绪论 第一章绪论 1 1 神经网络及其基本特征 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络 它的组织 能够模拟生物神经系统对真实世界物体做出交互反应 它是在现代神经科学研究 成果的基础之上提出柬的 反映了人脑功能的基本特性 但神经网络并不是人脑 的真实描写 而只是它的某种抽象 简化与模拟 网络的信息处理由神经元之间 的相互作用束实现 知识与信息的存贮表现为网络元件互连 日j 分布式的物理联 系 网络的识别和学习决定于各神经元连接权的动态演化过程 神经网络是一个具有高度非线性的超大规模连续时间动力系统 其最主要特 征为连续时间非线性动力学 网络的全局作用 大规模并行分前 处理及高度的鲁 棒性和学习联想能力 同时它又具有一般非线性动力系统的共性 即 不可预测 性 吸引性 耗散性 非平衡性 不可逆性 高维性 广泛连接性与自适应性 因此 神经网络实际上是一个超大规模非线性连续时 日j 自适应信息处理系统 j 1 2 神经网络研究的内容与学习规则 1 2 1 神经网络研究的内容 人工神经网络的研究的内科1 0 j 刀可分为两个大的方面 一方面是理论研究 另一方面是应用研究 1 2 1 1 理论研究 神经网络理论研究可分为两类 一类是利用神经生理与认知科学研究人类思维及智能机理 例如 人们通过 大量的生理学 解剖学实验掌握了大脑神经系统的结构特征 初步探明了大脑神 经活动机理 以及与神经活动有关的一些生物化学反应 对人脑的生理机构研究 则为构造人工神经网络模型及完善网络算法打下了基础 当然大脑神经网络的奥 秘还有待进一步研究 理论研究的另 类是 利用神经网络基础理论的研究成果 用数理方法探索 功能更加完善 性能更加优越的神经网络模型 深入研究网络算法的性能 如稳 定性 收敛性 容错性 鲁棒性 动力学复杂性等 丌发新的网络数理理论 如 第一帝绪论 神经网络动力学 非线性神经场等 1 2 1 2 应用研究 人工神经网络的应用研究可分为两类 一类是神经网络的软件模拟和硬件实现的研究 在通用计算机 专用计算机或者并行计算机上进行软件模拟 或由专用数字 信号处理芯片构成神经网络仿真器 出模拟集成电路 数字集成电路或者光器件在硬件上实现神经芯片 基于硬 件实现的人工神经网络通称第六代计算机 它是一种模拟人脑的超分散超平行的 信息处理系统 它不仅有自学习自组织的功能 而且无需复杂程序的启动 电子 神经网络计算机是第六代计算机技术中发展的较为成熟的一种 美国的t r w 公 司于1 9 9 5 年研制出了在3 6 c i n 2 芯片上集成了l o 亿个神经元的人工神经网络 另一类是神经网络在各个领域中的应用研究 i t 8 l 神经网络理论的应用已经 渗透到各个领域 并在计算机视觉 模式识别 智能控制 语音处理 传感技术 与机器人 生物医学工程等方面取得令人鼓舞的进展 例如 工业控制中 采用 神经网络自校正调节器后 可以随环境和特性的变化自动调整 使被控过程输出 对其设定值的方差达到最小 不仅使产品质量稳定 还能降低原材料的消耗 美 国联邦航空管理局利用神经网络进行机场行李炸弹检测等 1 2 2 神经网络的学习规则 人工神经网络是实现神经网络思维和学习的物质基础 神经网络的学习过程 是通过不断调整网络的连接权值束实现的 根据学习算法所采用的学习规则 可 以分为相关规则j 纠错规则 无教师学习规则 1 2 2 1 相关规则 仅仅根掘连接f 8 j 的激活水平改变权系 即如果神经网络中某一神经元同另一 直接与它连接的神经元同时处于兴奋状态 那么这两个神经元之间的连接将得到 加强 相关规则常用于自联想网络 执行特殊记忆状态的死记式学习 h o p f i e l d 神 经网络即是如此 所采用的修正的h e b b 规则为 2 一1 2 一1 这黾 和一分别是节点f 和 的系激励值 2 第一市绪论 1 2 2 2 纠错规则 依赖关于输出节点的外部反馈改变权系 从方法上等效于梯度下降法 通过 再局部最大改善的方向上一小步 一小步地进行修正 力图达到表示函数功能问 题的全局解 感知器学习即是使用纠错规则 对于万学习规则 可分为一般占规则和广义万规则 1 万学习规则 它优于感知器学习 因为 不是一固定量而是与误差成正 比 即 瑚 晒y i 这罩可是全局控制系数 而4 一 即期望值与实际值之差 2 广义万规则 它可在多网络上有效地学习 其关键是对隐节点的偏差艿如 何定义和计算 对b p 算法 当f 为隐节点时 定义 4 朋 瓯既 这罩既是节点f 到上一层节点后的权值 厂 为c 函数 将某一隐节点馈入上 一层节点的误差的比例总和 加权和 作为该隐节点的误差 通过可观察的输出 节点误差 下一层隐节点的误差就能递归得到 广义j 规则可学习非线性可分函 数 3 b o l t z m a n 机学习规则 它是基于模拟退火的统计方法来替代广义艿规则 适应于多层网络 它提供了隐节点学习的一个有效方法 能学习复杂的非线性可 分函数 主要缺点是学习速度太慢 因为在模拟退火过程中要求系统进入平衡时 冷却 必须慢慢的进行 否则易陷入局部极小 它基本上是梯度下降法 所以 要提供大量的例子 纠错规则基于梯度下降法 因此不能保证达到全局最优解 同时要求大量训 练样本 因而收敛速度慢 纠错规则对样本的表示次序变化比较敏感 必须精心 组织 于 能有效学习 1 2 2 3 无教师学习规则 学习表现为自适应于输入空间的检测规则 诸如g f o s s b e 曜等的a r t k o h o n e n 的自组织特征映射等都是无教师学习 在这类学习规则中 关键不在于 实际节点的输出怎样与外部的期望输出相一致 而在于调整参数以反映观察事件 的分布 这类无教师学习系统的学习并不在于寻找一个特殊映射函数的表示 而是将 事件空间分类成输入活动区域 并有选择地对这些区域响应 它在应用于丌发出 第一帝绪论 多层竞争族组成的网络方面有良好的f i 景 它的输入可以是连续值 对噪声宵较 强的抗干扰能力 但对较少的输入样本 结果可能要依赖于输入顺序 1 3 神经网络研究的历史与发展前景 1 3 7 9 1 3 1 神经网络的发展历程 神经网络的发展 可追溯到一个世纪以前 其发展历程可分为五个时期 即 初创时期 仞始发展期 低潮时期 复兴时期和发展高潮期 1 8 9 0 年 美国生物学家w j 锄e s 出版了 尘物学 一书 首次阐明了有关 人脑结构和功能 以及一些相关学习 联想记忆的基本规则 1 9 4 3 年 心理学 家m c c u l l o c h 和数学家p i n s 合作提出了形式神经元的数学模型 称之为m p 模 型 从此丌创了计算神经科学理论研究的时代 1 9 4 4 年 h e b b 从条件反射的 研究中提出了h e b b 学习规则 到5 0 年代未 以r d s e n b l a t t 提出的感知器为代表 形成了a n n 研究的第一次高潮 1 9 4 9 年m i i l s k y 和p a p e r t 的 p e r c e p t i o n 一书 出版 在大量数学分析的基础上 指出了感知器的局限性 从而导致了神经网络 研究的降温 到7 0 年代 仅有少数学者还致力于神经网络的研究 进入8 0 年代以来 国际上再次掀起a n n 的研究热湖 并取得了一大批引 人瞩目的成果 1 9 8 2 年 物理学家h o p f i e l d 提出了h n n 模型 从而有力地推动 了a n n 的研究 h i r l t o n 和s e j n o w s k i 采用多层神经网络的学习方法 提出了 b o l t z m a n 机模型 来保证整个系统趋于全局稳定点 r u r n e m a n 和m c c l e l l a n d 等 人提出了p d p 并行分布处理 理论 并发展了多层网络的b p 算法 1 9 8 8 年美 国加州大学的l 0 c h u a 等人提出了细胞神经网络模型 它是一个大规模的非线 性模拟系统 同时具有细胞自动机的动力学特性 a n n 的研究引起了美国 欧洲与同本等国科学家和企业家的巨大热情 脑 电学 心理学 认知科学 计算机科学 哲学等不同学科的科学工作者正在为此 进行合作研究 新的研究小组 实验室和公司与同俱增 美国星球大战计划 欧 洲尤里卡计划都将神经网络计算机作为重大研究项目 有关神经网络的国际会议 频繁召丌 目前 a n n 理论已经在诸多领域得到了广泛的应用 1 3 2 神经网络的发展前景 1 9 针对神经网络存在的问题和社会的需求 今后发展的主要方向可分为理论研 究和应用研究两个方面 1 利用神经生理与认知科学 研究大脑思维及智能的机理 计算理论 4 第一章绪论 人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径 但是由 于人类起初对神经系统了解非常有限 对于自身脑结构及其活动机理的认识还十 分肤浅 而且带有某种先验性 例如 b o l 机引入随机扰动来避免局部极 小 有其卓越之处 然而缺乏必要的脑生理基础 毫无疑问 人工神经网络的发 展与完善要结合神经科学的研究 而且 神经科学 生理学和认知科学等方面提 出的一些重大问题是向神经网络理论科学研究提出的挑战 这些问题的解决有助 于完善和发展神经网络理论 因此利用神经生理和认知科学研究大脑思维及认知 科学的机理 如有新的突破 将会改变智能和机器关系的认识 利用神经科学基础理论研究的成果 用数理方法探索智能水平更高的人工神 经网络模型 深入研究网络的算法和性能 如神经计算 进化计算 稳定性 收 敛性 计算复杂性 容错性 鲁棒性等 开发新的网络数理理论 由于神经网络 的非线性 因此非线性的研究是神经网络理论发展的一个最大动力 特别是人们 发现大脑中存在着混沌现象以来 用混沌动力学启发神经网络的研究或用神经网 络产生混沌成为摆在人们面前的新课题 因为从生理本质角度出发是研究神经网 络的根本手段 2 神经网络软件模拟 硬件实现的研究及神经网络在各科学领域应用的研究 由于人工神经网络可以用传统计算机模拟 也可以用集成电路芯片组成神经 计算机 甚至还可以用光学的 生物芯片的方式实现 因此研制纯软件模拟 虚 拟模拟和全硬件实现的电子神经网络计算机潜力巨大 如何使神经网络计算机与 传统的计算机和人工智能技术相结合也是前沿课题 如何使神经网络计算机的功 能向智能化发展 研制与人脑功能相似的智能计算机 如光学神经计算机 分子 神经计算机 将具有十分诱人的前景 1 4 本文的主要工作 本论文所做的工作主要有以下几个方面 1 b p 神经网络研究 对b p 神经网络结构和b p 算法作了一个系统的综述 提出了一种改进的b p 算法 并仿真证明该方法的有效性 2 基于神经网络的字符识别 介绍神经网络应用于字符识别的方法 给出了神经网络识别加噪的数学符号 的仿真结果 提出了一种基于神经模糊推理系统的印刷体字符识别的方法 并针 对英文大写字母和数字的识别仿真证明此方法优于神经网络的方法 3 基于神经网络的图像边缘检测 第 章绪论 将神经网络用于图像边缘检测 提出了一种基于神经网络的边缘检测新方 法 并实验证明此方法较之于已有的神经网络方法检测效果好 速度快 4 神经网络模式识别系统的开发和设计 结合v b 和m a t i a b 的优点 以v b n e w b 6 编写操作界面 丌发基于数据 库模式的神经网络数据存储架构 完成各项功能的调用及数据的i o 操作 以 m a t l a b 6 1 进行有关神经网络的运算 开发神经网络模式识别系统 并实验证明 它对各种模式识别问题都具有广泛的适用性 6 第二市b p 神纤嘲络研究 第二章b p 神经网络研究 在神经网络的理论研究方面 至今尚未有一种新方法从理论上证明在各种情 况下全面优于反向传播算法 b p 算法 因此 b p 算法的改进研究一直是神经 网络理论研究的热点 但对此进行综述的文章却很少见 本章首先对b p 神经网 络结构及b p 算法进行了综述 尤其对目前b p 算法的改进动态做了系统的分析 研究 在此基础上 本文提出了一种直接自适应b p 算法 该算法采用了变化的 权更新值来直接修改权值 和标准b p 算法和以学习速率改变为基础的算法相比 学习规律简单和清楚 计算上的花费很少 实验证明此算法缩短了学习时间 提 高了学习效率 有效地避免了b p 算法收敛速度慢 易陷入局部极小等缺陷 2 1b p 网络结构分析 r 在已出现的众多神经网络模型中 b p 神经网络模型是最典型也是应用最为 广泛和成功的网络之一 特别地 它在函数逼近 模式识别和故障诊断的应用中 取得了巨大的成功 然而 尽管b p 神经网络的研究取得了激动人心的成果 其 应用也解决了一些实际问题 但还存在着不完善之处 如初始权值选择问题 局 部极小值问题 网络结构问题等 其中 神经网络结构更是难点 众所周知 神 经网络应用的前提就是要确定一个合适的网络结构模型 这对网络的性能 收敛 性 推广能力等 有着重大的影响 典型的b p 网络 如图2 1 所示 是三层 j i 向网络 出输入层 隐含层和输出层组成 输入 输入层 隐层 输出层 输出 图2 1 典型的b p 网络结构图 般情况下 神经网络的输入层和输出层的神经元数目由问题本身的性质决 7 第一二章b p 挣并喇络研究 定 隐层的层数和各隐层的节点数由设计者根据问题的性质和对神经网络的性能 要求来决定 2 1 1 输入层和输出层设计 输入层起缓冲存储器的作用 把数据源加到网络上 其节点数目取决于数据 源的维数 即这些节点能够代表每个数据源 所以 最困难的设计判决是弄清楚 正确的数据源 如果数据源中有大量的未经处理的或者虚假的信息数据 那必将 会妨碍对网络的正确训练 所以要剔除那些无效的数据 确定出数据源的合适数 目 大体上需要经过四步l j j 1 确定与应用有关的数掘 2 剔除那些在技术上和经济上不符合实际的数据源 3 剔除那些边沿的或者不可靠的数掘源 4 丌发一个能组合或预处理数掘的方法 使这些数据更具有实用意义 人工神经网络只能处理表示成数值的输入数据 所以经常需要将外部的信息 交换或编码 输入的神经单元可以根据需要求解的问题和数据表示的方式而定 如果输入 的是模拟信号波形 那么输入层可以根据波形的采样点数决定输入单元的维数 也可以用一个单元输入 这时输入样本为采样的时间序列 如果输入为图像 则 输入单元可以为图像的象素 也可以是经过处理后的图像特征 输出层的维数根据使用者的要求来确定 如果b p 网络用作分类器 其类别 为研个 有两种方法确定输出神经元的个数 1 输出层有m 个神经元 其训练样本集中x q 属于第 类 要求其输出为 m y o o o 1 0 o 0 即第 个神经元的输出为1 其余输出为0 2 输出神经元还可根据类别进行编码 即朋类的输出只要用l o g 脚个输 出单元即可 2 1 2 隐含层数和层内节点数的选择 2 1 2 1 隐含层数的确定 对于多层神经网络来说 首先要确定选用几层隐含层 对于如何确定隐含层 数的问题 已有不少学者对此进行了理论上的研究 l i p p m a 越的研究指出 1 2 对于函数近似和数据分类问题 可能需要两个隐层来学习按段连续函数 第二章b p 神绎网络研究 c y b e n k o l 3 j 证明了具有单隐层及任意固定的连续s i 舯o i d 非线性函数的反传 m l p 可以以任意精度逼近紧集上的任何连续函数 当被用作具有硬限位 阶跃 激励函数的二进制取值神经元网络时 具有两个隐层的反传m l p 可以形成任意 复杂的决策区域以区分不同的类别 r o b c r t h e c h t n i e l s e n 1 3 证明了对于任何在闭 区间内的一个连续函数都可以用一个隐层的b p 网络来逼近 因而一个三层的 b p 网络可以完成任意的疗维到朋维的映射 h o 肋i k 1 2 j 等人证明了用一个隐层和 足够数量的神经节点可以实现任意精度的输入输出映射关系 隐含层起抽象的作用 即它能从输入提取特征 增加隐含层可增加人工神经 元网络的处理能力 但是必将使训练复杂化 训练样本数目增加和训练时间的增 加 目前人们认为二进制分类或判决边界问题 一个隐含层就足够了 但是 如 果要求输出是输入的任意连续函数 那就要用两个隐含层或者采用不同的激活函 数 在线性可分的情况下 隐含层是不需要的 3 1 2 1 2 2 隐含层内节点数的确定 韦岗的研究成果表明i lo 多层前向网络的函数逼近能力与隐层数目及隐层 神经元特性函数的具体形式关系不大 而主要取决于网络的隐层神经元数目 所 以 层内节点数需要进行恰当的选择 一般情况下 隐层节点数较多时 网络结 构比较复杂 学习时间长 能够很好的学习堋练样本 输出误差小 但推广能力 差 隐层节点数较少时 网络结构比较简单 虽然有较好的泛化能力 但完成对 可 l 练样本的学习较为困难 因此存在一个最佳的隐单元数 许多学者对此进行了 研究 h e c h t n i e l s e n 提出隐含层节点数目为2 l p p m 锄 鲫 认为最大隐含层 节点的数目为m 1 k u a l c 3 认为最大隐含层节点的数目为m 3 a j m a r e n p 等人认为 对小型网络来说 输入节点数大于输出节点数时 最佳隐 含层节点数等于 m 其中 为输入的节点数 m 为输出层节点数 可供 参考的估算公式还有 1 l m d 其中 m 为输出神经元数 疗为输入神经元数 口为 l 一1 0 之间的常数 2 l o g 疗 其中以为输入神经元数 近年来 许多学者提出了变结构动态调整隐含层神经元数目的方法 一种称 为增长方法 3 l j 2 即在开始时放入比较少的隐含单元 训练过程中 针对实际 问题 根据网络性能要求逐步增加隐含单元个数 直到满足网络性能要求 另一 种称为修剪方法 1o t 1 6 1 即在开始时构造一个含有冗余节点的网络 然后在训练 的过程中逐步删除那些不必要的节点和权值 一直减少到不可收缩为止 这样做 9 第二章b p 神弊州络研究 对于硬件完成的b p 多层网有一定的好处 但是 也存在着计算量大 效率低等 缺点 增加隐含层的节点数可以改善网络与训练组匹配的精度 该精度近似比例于 隐含层节点数的平方 然而 为了改善网络的概括推论能力 又要求适当减少 隐含层的节点数 所以 对一特定的应用网络 其隐含层的节点数应该是按精确 度和概括性综合统一考虑 2 1 2 3 仿真 用具有不同隐含单元数的b p 算法 对字母识别问题进行仿真 实验中 每一个字母都定义为7 5 象素 按行展开后的3 5 个象素作为神经 网络的输入 输出层取2 6 个神经元 对于各个字母 按顺序在其相应位置上输 出为l 其余为o 学习结束条件为跚 o o i f 如果掣 o 2 1 6 d 其他 其中警表示第疗次迭代时的梯度信息 哟表示权值更新值 d q 的选择 开始学习时 q 选取一个相对较大的值 有利于加快学习 速度 一般来说 初始的 q 可在o 1 2 之间选取 而快到极值点时 q 取较 小的值 有利于网络的收敛 具体可采用下式束实现 酬加酬o 1 一最 q 1 7 其中 0 是初始更新值 是总的迭代次数 m 是一个正数 2 3 2 改进算法学习步骤 1 置各网络参数的初始值 2 将训练集样本输入网络进行训练 计算梯度 望 日 u 3 按 2 1 6 2 1 7 调整网络参数 4 计算网络的误差 如满足精度要求 转入 5 否则 转 2 5 结束 1 7 第二章b p 神绎刚络研究 2 3 3 计算机仿真 为了证明算法的有效性 就异或问题本算法同其它b p 算法比较的试验结果 如下 神经网络模型为2 2 1 本算法初始更新值 o 取1 0 总的迭代次数 取 5 0 0 m 取2 0 0 学习结束条件船p o 1 另外 为了增加可比性 学习次数为 十次收敛学习的平均值 输出为其中某次的输出 结果如表2 1 所示 另外 因为初始权值是随机的 标准b p 算法在学习中有相当高的失败率 几乎高达9 0 的学习不收敛 学习率自适应算法也有4 0 可能陷入局部极小值 而本文算法偶见失败 表2 1 算法比较 输出 学习率学习次数 oool1011 标准b p 算法 o 35 4 6 2o 0 9 8 7 o 9 0 1 2 0 9 1 3 7 o 0 8 7 4 0 51 6 8 40 0 9 5 6o 9 3 9 lo 9 1 1 8o 0 9 9 l 0 81 0 9 5o 0 9 4 20 9 3 0 8o 9 4 3 50 0 5 6 4 学习率自适应算法1 3 6o 0 8 9 91 0 3 4 4o 9 3 4 6o 0 3 4 4 本文算法5 8 o 0 8 7 2 o 9 4 5 7 1 0 2 1 1 o 0 2 5 6 从仿真结果可以看出 本文提出的直接自适应b p 算法在学习性能和学习速 度上都明显优于标准b p 算法和学习率自适应b p 算法 这是因为本文算法采用 了变化的权更新值的办法来修改权值 和标准b p 算法和以学习速率改变为基础 的算法相比 不仅学习规律简单和清楚 计算上的花费很少 而且消除了偏导数 的大小对权值的有害影响 使权值的修改结果不会被不可预见的梯度性能模糊 另外 一般的梯度下降方法远离输出层的权较少得到修改和学习更慢 而改进的 b p 算法 权步的大小仅仅取决于偏导数的符号 不取决于它的幅度 这样 学 习同样地被推广到整个网络 使得接近输入层的权和接近输出层的权得到了同等 的机会学习 第三市苯十神绎网络的宁符识别 第三章基于神经网络的字符识别 基于神经网络的字符识别方法其分类结果与训练样本的选择和神经网络的 结构具有很大的相关性 因此 当训练样本不能完全反映被识别类的特征时 识 别效果就很差 有时 为了提高网络的性能 只能用增大训练样本集 减少训练 误差的方法来解决 而这又带来了学习时间长或泛化能力差的矛盾 据此 本文 提出一种印刷体字符识别的新方法 该方法通过设置规则建立识别字符的神经 模糊推理系统 并且无需训练就能达到识别存在较大噪声的印刷体字符的目的 仿真结果也证明其优于神经网络的识别方法 3 1 模式识别概述 3 1 1 简介 模式识别也称为特征识别 简单地说 就是把一种研究对象 根据它的某些 特征进行识别并分类的一门综合性新兴技术 它所研究的对象 如文字 声音 图像 产品等 概括起来通称为模式 模式数掘可以是对象的定量或定性的描述 如图书分类 数字识别 股票分析等 随着智能机器人的发展和应用 模式识别技术作为一门学科有着系统的理论 基础和技术方法 而且作为学习控制论中的一个内容 目 i i 正在发展中 从它的 应用领域来说 其中相当一部分与图像处理技术有着紧密的联系 如图文识别 指纹识别等 作为数字图像处理的具体应用 本文将对字符识别的问题进行研究 字符识别是模式识别领域的一项传统的课题 尽管许多学者研究了多年 但 目前国际上仍有许多学者在研究它 这是因为字笱识别不是一个孤立的问题 而 是模式识别领域中大多数课题都会遇到的基本问题 并且在不同的课题中 出于 具体的条件不同 解决的方法也不尽相同 因而字符识别的研究仍具有理论和实 践意义 3 3 3 1 2 字符识别的方法综述 针对模式特征的不同选择及其判别决策方法的不同 可将模式识别方法大致 分为5 大类 这5 种识别方法均可实现字符识别 但它们特点不同 必须根据条 件进行选择 1 统计模式法 9 第 帚幕卡种绛州络的字符识别 对己知类别的模式样本进行各种特征的提取和分析 选取对分类有利的特 征 并对其统计均值等按已知类别分别进行学习 按b a v e s 最小误差准则 根据 以上统计特征设计出一个分类误差最小的决策超平面 识别过程就是对未知模式 进行相同的特征提取和分类 通过决策平面方程决定该特征相应的模式所属的类 别 此方法比较成熟 能考虑干扰 噪声等的影响 识别模式基元能力强 但它 的抗干扰能力不足 对存在较大噪声的字符的识别比较困难 2 句法结构方法 分为训练过程和识别过程 训练过程就是用已知结构信息的模式作为训练样 本 先识别出基元和它们之问的连接关系 并用字母符号表示它们 然后用构造 句子的方法来描述生成这些场景的过程 并由此推断出生成该场景的一种文法规 则 识别过程就是对未知结构的模式进行基元识别及其相互关系分析 然后用训 练过程中获得的文法对其作句法分析 如果它能被已知结构信息的文法分析出 来 则该模式具有与该文法相同的结构 否则就可判定不是这种结构 此方法识 别方便 可从简单的基元丌始由简至繁 能反映模式的结构特征 能描述模式的 性质 对图像畸变的抗干扰能力较强 但当存在干扰及噪声时 抽取基元困难 且易失误 对存在较大噪声的字符识别不合适 3 逻辑特征法 其特征的选择对一类模式识别问题柬说是独一无二的 即在一类问题中只有 1 个模式具有某1 种 或某l 组合的 逻辑特征 此方法建立了关于知识表示及 组织 目标搜索及匹配的完整体系 对需通过众多规则的推理达到识别目标的问 题 有很好的效果 但当样品有缺损 背景不清晰 规则不明确甚至有歧义时 效果不好 它不适于存在较大噪声的字符的识别 4 模糊模式方法 就是在模式识别过程中引入了模糊集的概念 由于隶属度函数作为样品与模 板相似程度的量度 故能反映整体的 主要的特性 模糊模式有相当程度的抗干 扰与畸变 从而允许样品有相当程度的干扰与畸变 适于存在较大噪声的字符的 识别 但准确合理的隶属度函数往往难以建立 目前有学者在研究 并将其引入 神经网络方法形成模糊神经网络识别系统 5 神经网络方法 就是使用人工神经网络方法实现摸式识别 可处理一些环境信息十分复杂 背景知识不清楚 推理规则不明确的问题 允许样品有较大的缺损 畸变 神经 网络方法的缺点是其模型在不断丰富完善中 目前能识别的模式类别还不够多 神经网络方法允许样品有较大的缺损和畸变 这正是识别存在较大噪声的字符所 需要的f 4 4 1 第二章基于种 争啊络的宁符识别 3 1 3 基于神经网络的字符识别原理 3 1 3 1 神经网络字符识别原理 t 壹 卜 一竺 一 图3 1 神经网络字符识别原理示意图 一般神经网络字符识别系统由预处理 特征提取和神经网络分类器三部分组 成 2 识别系统的流程如图3 1 所示 预处理就是将原始数掘中的无用信息删除 常用的预处理一般包括了二值 化 细化或轮廓化 平滑 去噪 幅度归一化等 神经网络字符识别系统中的特征提取部分不一定存在 这样就分为两大类 1 有特征提取部分的 这一类系统 3 5 1 实际上是传统方法与神经网络方法技术的结合 这种方法可 以充分利用人的经验来获取模式特征以及神经网络分类能力来识别字符 特征提 取必须能反应整个字符的特征 但它的抗干扰能力不如第2 类 2 无特征提取 3 6 j 9 部分的 省去特征抽取 整个字符直接作为神经网络的输入 有人称此种方式是使用 字符网格特征 这种方式下 系统的神经网络结构的复杂度大大增加了 输入 模式维数的增加导致了网络规模的庞大 使得网络的训练 学习非常困难 此外 神经网络结构需要完全自己消除模式变形的影响 目前用于字符识别的人工神经网络模型有 h o p f i e l d 网络 多层前向网络 如 b p 网络 r b f 网络等 自适应共振 a r t 网络 自组织特征映射 s o f m 神经认知机等等 其中 b p 网络是应用最广泛的一种网络 在一定的字符集上 取得了很好的识别效果h 1 删 目前 人们还在研究将神经网络方法和传统的识别 方法结合起来使用 互相取长补短 如 神经网络和h m m 隐形m a r k o v 相 组合 模糊神经网络 4 5 舶l 的使用等 或先用传统的方法抽取较为稳定的特征 然 后再用神经网络进行自组织聚类学习并设计性能良好的分类器等 3 1 3 2 神经网络模式识别特点 1 神经网络模式分类器不但能在模式空间形成各种复杂的判决表面 而且 拦 军 时母 墼 第 审皋十神绎网络的字符识男町 神经网络方法最大的特点是网络具有自适应能力 即网络不但能自适应学习 而 且能自适应地调整网络的规模大小 2 般的神经网络模式分类器兼有模式变换和模式特征提取的作用 所以 不需要对输入的模式做明显的特征提取 网络的隐层本身就具有特征提取的功 能 3 神经网络分类器一般对输入信息的不完备和特征的缺损不太敏感 和传 统的识别方法比较起来 神经网络分类器在背景噪声统计特性未知的情况下 其 性能更好 而且网络具有更好的推广能力 2 o 3 2 基于改进型b p 算法的字符图像识别 洛曼哈脱曾经证明 多层人工神经网络的b p 算法在网络权值和阂值每次调 整步长无限小时 j 能收敛 引入动量项能加快计算速度 但学习率和动量项选择 不当时 同样造成收敛慢或引起振荡现象 改进的直接自适应b p 算法由于采用 了变化的权更新值的办法来修改权值 具有收敛速度快 学习时问短的特点 因 此本文提出将改进型的b p 算法用于数学符号的识别 1 数据获取 选用微软w o r d 数学编辑器中的3 0 个常用数学符号 形成3 0 个1 6 1 6 2 以象素为单位 黑白两色 字符数掘为黑 背景为白 b m p 文件 对文件中 的符号数据部分按行展开形成3 0 个2 5 6 维向量 构成训练样本集c 0 在c o 上 分别按一定比例随机污染 另形成2 个训练样本集c f l 2 污染率分别为 l o 和2 0 每个训练样本集包含3 0 0 个样本 试验的测试样本集共有7 个 分别为c o 以及在c 0 上 按一定比例随机污染 形成的6 个测试样本集f f 1 2 6 污染率分别为5 1 0 1 5 2 0 2 5 3 0 每个测试样本集包含3 0 个样本 图3 2 给出训练和测试样本 集中部分符号的图像 2 网络构成 试验取3 层b p 网络 其中输入层为2 5 6 r 个神经元 输出层为3 0 s 2 个神经元 隐层神经元数目按经验取为2 5 s 1 隐层和输出层的激活函数取为 l o g s i g 为了使网络具有抗干扰能力 在网络训练后 再将其输出后经过一层竞 争网络的处理 使网络的输出只在最近输入值的输出位置输出为1 保证在其它 位置为0 网络模型如图3 3 所示 第三章摹十神纾网络的7 符识别 污粢率 0 回国圉圈圆 圆国圉图圆 圆国圈固圆 回国圜圆圈 图3 2 训练和测试样本集中部分符号的图像 b a c kp r 仲a g a t i l 4 y e r c o 叩e t i t i v e1 a y e r 厂 1 厂 l n p l n h i d d e nl a y e r o u i p u ll a y e r 竺竺 兰 兰 兰 犁 l o 萨j g f l w j l p i 十b 舻2 慨 酱f l 阳j 叠i k 图3 3 数学符号识别的网络模型图 3 算法 b p 算法在最快下降方向 负梯度方向 调整权值 在该方向误差函数下降 最快 收敛速度却不一定最快 为此 本网络的误差反传层采用本文提出的改进 的b p 算法 网络的竞争层由两个层次组成 即输入层次和竞争层次 在竞争层次中 神 经元之间相互竞争 最终只有一个或几个神经元活跃 以适应当前的输入样本 竞争胜利的神经元就代表着当前输入样本的分类模式 4 识别结果及其分析 试验构建了两组网络 网络1 只对无污染的样本集g 进行训练 训练目标 为o 1 为了获得一个对噪声不敏感的网络 网络2 首先对所有训练样本集 第二审挚十神绎嘲络的字符识别 c f 0 1 2 进行训练 即理想样本与加入随机噪声的样本 训练目标为 船p 0 5 然后再对无污染的样本集c 0 进行训练 训练目标为册 o 1 以使网 络对无污染的样本j 下确识别 两组网络进行性能检测时 每个污染率下测试l o o 组随机污染的测试样本 每组有3 0 个样本 然后求其1 0 0 组的平均误识率 结 果如图3 4 所示 图3 4b p 神经网络数学符号识别结果图 从图示可以看出 网络1 因为没有对噪声样本进行训练 所以误识率高于网 络2 这也证明了在样本中添加随机噪声 是改善神经网络泛化能力的一种有效 方法 事实上 当训练数据被循环地作为网络的输入时 出于每次添加的噪声不 同 结果是一方面相当于增加了训练样本的数量 另 方面迫使神经网络不能精 确地拟和训练数据 从而对噪声起到平滑作用 防止了过拟和瞄 另外 不同算法的仿真证明 采用本文提出的直接自适应b p 算法其c p u 学习时 日j 仅为学习率自适应b p 算法的1 3 3 3 神经模糊系统理论 3 3 1 神经网络与模糊逻辑融合技术 7 删 神经网络是由大量的简单处理单元构成的非线性动力系统 它以生物神经网 络为模拟基础 具有巨量并行性 存储分却性 结构可变性 高度非线性 自学 习性及自组织等特点 神经网络能够处理不完整的信息 并能通过学习从给定的 经验训练中生成映射规则 但网络中映射规则是不可见的和难以理解的 另外神 经网络不适合于表达基于规则的知识 因此对神经网络进行训练时 常常只能将 2 4 第三章笨于神绎嘲络的字符识别 初始权