（光学工程专业论文）前馈型神经网络及其应用的研究.pdf

abs t r ac t abs tract b y s t u d y i n g o n t h e l e a r n i n g a l g o r i t h m , t h e a c t iv a t i o n f u n c t i o n a n d t h e n e t w o r k s t r u c t u r e o f t h e f e e d - f o r w a r d n e u r a l n e t w o r k , s o m e i m p r o v e m e n t s a r e p r o p o s e d in t h e t h e s i s a n d g o o d r e s u l t s a r e a c h i e v e d . f u rt h e r m o r e , t h e l a s e r p o w e r o f t h e o p t o - e l e c t r o n ic p a r a l l e l - p r o c e s s i n g n e t w o r k s y s t e m i s m e a s u r e d f o r t e s t i n g i t s s t a b i l it y . t h e c o n t e n t s i n t h e t h e s i s a r e a s f o ll o w i n g : 1 ) b r ie fl y i n t r o d u c in g t h e b a s i c k n o w l e d g e o f a rt i f i c i a l n e u r a l n e t w o r k , p e r c e p t r o n , t h e l e a r n i n g a l g o r it h m o f p e r c e p t r o n , t h e l e a r n in g a l g o r i t h m o f m u l t i - l a y e r f e e d - f o r w a r d n e u r a l n e t w o r k , c a s c a d e d n e u r a l n e t w o r k a n d i t s a p p l i c a t i o n i n m u l t i - t a r t e t r e c o g n it i o n e t c . 2 ) t h e r e c o g n i t io n o f t h r e e p l a n e m o d e l s i s s t u d i e d b y e m p l o y i n g f e e d - f o r w a r d n e u r a l n e t w o r k s a n d b a c k - p r o p a g a t i o n a lg o r it h m . r e f e r i n g t o c lu s t e r i n g e n c o d i n g , a n e f f i c i e n t m e t h o d f o r r e d u c i n g t h e n u m b e r o f h i d d e n n e u r o n s a n d s i m p l i f y i n g t h e r e c o g n i z i n g n e t w o r k s t r u c t u r e b y m e a n s o f s t u d y i n g o n t h e o u t p u t o f t h e h i d d e n n e u r o n s i s p r o p o s e d . wi t h c o m p a r i n g t h e r e c o g n i t i o n m e t h o d s a n d e x p e r i m e n t a l r e s u l t s o f t h e c a s c a d e d n e u r a l n e t w o r k w it h f e e d - f o r w a r d n e u r a l n e t w o r k t h e ir a d v a n t a g e a n d d i s a d v a n t a g e a r e a n a l y z e d . 3 ) a n o v e l p e r i o d i c p a c k e t a c t i v a t i o n f u n c t io n a n d a n o v e l e n e r g y f u n c t io n a r e s u g g e s t e d t o e x t r a c t t h e i n v a r i a n c e f e a t u r e s o f u n c o n s t r a in e d h a n d w r i t t e n d i g i t s a n d t o r e c o g n iz e t h e d i g it s i n t h e f e e d - f o r w a r d n e u r a l n e t w o r k . c o m p u t e r s im u l a t io n s s h o w t h a t t h e p r o p o s e d a lg o r i t h m a n d a c t i v a t i o n f u n c t i o n a r e e ff e c t i v e o n e x t r a c t in g f e a t u r e s a n d i m p r o v i n g t h e l e a r n in g s p e e d a n d r e c o g n i t i o n r a t e . 3 ) d e s c r i p t i o n o f t h e o p t i c a l i m p l e m e n t a t i o n o f a r t i f i c i a l n e u r a l n e t w o r k w i t h a n o p t o - e l e c t r o n i c s y s t e m f o r m u l t i - t a r g e t r e c o g n it i o n b a s e d o n t h e c a s c a d e d n e u r a l n e t w o r k i n t h e t h e s i s . t h e l a s e r p o w e r o f t h e o p t o - e l e c t r o n i c p a r a l l e l - p r o c e s s i n g s y s t e m i s m e as u r e d f o r t e s t in g it s s t a b i l i t y a n d i s e v a lu a t e d f o r i t s p e r f o r m a n c e . k e y w o r d s : p a tt e r n r e c o g n it i o n , a rt i f i c i a l n e u r a l n e t w o r k s , f e e d - f o r w a r d n e u r a l n e t w o r k , l i n e a r l y / n o n l i n e a r l y s e p a r a b l e , b a c k - p r o p a g a t i o n a lg o r i t h m , c a s c a d e d n e u r a l n e t w o r k , a c t i v a t i o n f u n c t i o n , t r a c e r u l e 1 1 第一章引含 食 贪- - a 已! 弓 岁 二 刁刁=f.j i fi 1 . 1人工神经网络的发展概况 人工神经网络是一门新兴的交又学科，它涉及生物、电子、计算机、数学、 和物理等学科，反映了人脑功能的若干基本特性，但是并非人脑生物系统的逼真 描述，只是某种模仿、简化和抽象。它采用物理可实现的系统来模仿人脑神经细 胞的结构和功能，由一定数量的处理单元有机地连接在一起，并行地进行某些智 能信息处理。 人工神经网络的应用主要在以下三个方面w :信号处理与模式识别 ( 如手写 体字符识别) ;知识处理工程或专家系统 ( 如医疗诊断或市场估计) ;运动过程控 制 ( 如机器人的手眼协调自 适应控制) 。这些应用实例的共同特点是:难以用算 法来描述待处理的问题，存在大量的范例可供学习。实际上，自 然界提供给我们 的信息处理问题可分为两大类型:结构性问题和非结构性问题.前者如数字计算 或方程求解，这正是冯 诺依曼计算机善于解决的问 题。后者如语言或图形识别， 这些不易翻译成严密的机器指令的问题，因而难以 用冯 诺依曼机获得满意的效 果。正是由于在信息处理的若干应用领域中利用冯 诺依曼计算机遇到不少困难， 而人工神经网络为解决这些问 题提供了一条具有潜力的新途径，引起了人们的巨 大兴趣。 人工神经网 络的 研究己 有几十年的历史了。 早在1 9 4 3 年， 心理学家m c c u l l o c h 和数学家 p i t t s 合作提出形式神经元的 数学模型2 1 ( 称之为m p 模型) ， 从此开创 了神经科学理论研究的时代。 m p模型是用逻辑的数学工具研究客观世界的事件在 形式神经网络中的表述。2 0 世纪 4 0年代末期， d . 0 . h e b b 提出了改变神经元连接 强度的h e b b 规则3 1 ，至今仍在各种神经网络模型中起着重要的作用，而作为人工 智能的网 络系统的 研究则是5 0 年代末6 0 年代初开始的。1 9 5 7 年r o s e n b l a t t 首 次引 进了感知机概念( p e r c e p t r o n ) ， 第一次把神经网络的 研究付诸工程实现， 把人工神经网络的发展推向了 一个高潮。但随着 1 9 6 9 年m i n s k y 和 p a p e r 的著作 r p e r c e p t r o n 发表，指出 感知机功能的局限性，使人工神经网络的研究进入低 潮。但仍有不少学者坚持研究， g r o s s b e r g 15 1 等提出了自 适应共振理论，芬兰的 第一章引台 k o h o n e n + ) 提出了自 组织映射理论，f u k u s h i m a 17 - e 提出了神经网络认识机网络理 论， a n d e r s o n 14 提出 了b s b 模 型 等 。 1 9 8 2 年， 美国 加州工学院 物理学家h o p f i e l d 提出了h n n 模型 10 1 ，引 入了“ 计 算能量函数”的概念，给出了网络稳定性判据:利用模拟电路的基本元件构造了 人工神经网络的硬件原理模型，为实现硬件奠定了基础;将上述成果用于求解日 前计算机不善于解决的典型问题，如著名的 “ 旅行商最优路径”( t s p )问题，取 得了令人满意的结果。人们重新认识到神经网络的威力以及付诸应用的现实性， 有力地推动了神经网络的 研究。 但是， 真正推动神经网 络研究的全面展开是 1 9 8 6 年 r u m e l h a r t和 m c c l e l l a n d提出的多层网络的“ 逆推” ( 或称“ 背传， b a c k p r o p a g a t i o n ) 学 习 算 法u i ， 简 称b p 算 法， 它 解除了 人 们 对感 知 机 多 层网 络 算法的疑虑。b p 算法是目前最为引人注目 的、应用最广的的神经网络算法之一。 但是，目前广泛采用的前馈型神经网络的b p算法有很多不确定因素，造成了 应用上的困难，如学习样本、权重初值、学习步长以及非线性函数的选择，仍是 凭经验来确定，选不好便会陷于局域极 小而使学习失败。特别是隐藏层神经元 数目的选定，至今还无章可依，影响了前馈型神经网络的推广应用，需要进一步 的研究和探讨。 在人们坚持发展神经网络理论的同时，也坚持不懈地对神经网络进行着硬件 的实现。实现的途径可以 借助半导体v l s i 电 路制作， 利用c o m s工艺、模拟与数 字混合 ( 或数字) 系统来实现，已 经可以 在单片上集成数百个神经元， 但这种水 平与神经网络的实际应用的要求尚有较大距离。随着脑科学、心理学、计算机科 学与信息科学、微电子学、物理学与数学等学科的发展，人工神经网络也将获得 更大的突破和进展。 圣 1 . 2本论文工作的意义及主要内 容 本文简要的介绍了人工神经网络的基础知识，以前馈型神经网络的模型为研 究对象，利用 b p算法对如何选取隐藏层神经元个数进行了研究，并从隐藏层神 经元训练后的输出状态来确定其个数;构造了新的能量函数和激活函数，在手写 第一章引言 体字符的识别中获得了较高的识别率;对光电识别系统的光源功率进行了测量， 得到它的功率曲线，以评定其功能的好坏。具体内容如下: 1 )简要介绍了人工神经网络基础知识，感知机及其学习算法，多层前馈型 神经网络的学习算法，级联神经网络及其在多目 标识别中的应用等内容。 2 )通过直接采用前馈型神经网络及 b p算法对同一飞机模型分类问 题进行了 研究。在聚类编码原则的基础上，对前馈型神经网络隐藏层神经元个数的 选取进行了一些探索，并从训练完成后隐藏层神经元的状态，找到一种用 来简化识别时网络结构的可行方法。同时，对这两种识别方法、实验结果 进行了比较，找出它们各自的优缺点，以便更好地处理有关问题。 3 )采用前馈神经网络来提取手写体字符的不变性特征，对无约束手写体进 行识别。通过定义新的能量函数和周期包激活函数来提取不变性特征，加 快网络收敛速度和提高不变性的稳定性。计算机模拟结果显示该算法及激 活函数能有效地提取手写体不变性特征，提高网络收敛速度和识别率。 4 )介绍了人工神经网络硬件的实现和基于级联神经网络模型之上的光电混 合多目标识别系统，并对光电混合系统的激光光源功率进行了测量，对其 性能进行了评定。 第二章 前馈型神经网络及其学习算法 第二章 前馈型神经网络及其学习算法 本章是本论文主要工作的背景和理论基础，简要介绍了人工神经网络基础知 识，感知机及其学习算法，多层前馈型网络的学习算法，级联神经网络及其在多 目 标识别中的应用等内容。 圣 2 . 1 人工神经网络概述 2 . 1 . 1 人工神经元模型 人工神经网络是由大量处理单元 ( 神经元)广泛互连而成的网络。它是在现 代神经科学研究成果的基础上提出的，反映了人脑功能的某些基本特性。但它并 不是人脑的真实描写，而只是它的某种抽象、简化和模仿。网络的信息处理由神 经元之间的相互作用来实现;知识与信息的存贮表现为网络元件互连间分布式的 物理联系;网络的学习和识别决定于各神经元连接权重的动态演化过程。 在人工神经网络中， 神经元又被称为处 理单元 ( p e : p r o c e s s i n g e l e m e n t ) 或节点 ( n o d e ) 。人工神经元在功能上讲只是生物神经元的一阶逼近。一般地来 说 ， 一 个 神 经 元 结 构 应 具 备 以 下 几 个 要 素 t 2 1 ) 输 入矢 量x ( x , , x 1 , ， x . ) 和 输出 标 量y o 2 ) 权重矢量w ( w w 1 ,， 、 。 ) 和阐值标量b ; 3 )神经元功能， 包括求和函数e 和激活函数f f一般根据需要选取各种非线 性函数形式。 图2 . 1人工神经网络处理单元的基本结构 第二章 前 锁型神经网络及其学习算法 这样，一个基本处理单元的结构模型就如图2 . 1 所示， 单个神经元的输出y 就表示为: y 一 i ( 艺w 。 x ， 一 b ) ( 2 . 1 ) r 为激活函数，可以选取不同的非线性函数形式。 2 . 1 . 2 神经网络结构的基本类型 神经网络是由一定数量的神经元相互连接构成.单个的神经元是独立的信息 处 理单 元， 具备由 激活函 数.! 产生的 输入 输出 关系。 尽管i可以 选取复 杂的 非线 性函数，但由于单个神经元结构的简单性，它的运算能力并不强，可是如果把许 多神经元连接起来，构成一个网络系统，就可以完成复杂的功能，呈现出智能的 特性。整个神经网络的行为是一种系统行为，而不是各个独立神经元行为的简单 相加。因此，神经元和神经元之间的连接和信息传递关系是产生神经网络整体协 同动力学行为的关键。在神经网络的基本结构确定后，神经元之间的互连权重即 反映了它们之间的信息传递关系，它表征了整个网络信息存储和信息处理的特 性。根据神经元连接方式的不同，神经网络可以分成以下几种类型 19 1 )前馈型网络。如图 2 . 2 ( a )所示，前馈型网络可划分为若干 “ 层” ，各层 依次排列，后一层的神经元只接受前一层神经元给出信号，各神经元之 间没有反馈。前馈型网络可用一有向无环路图表示。可以看出，输入节 点并无计算功能，只是为了表征输入矢量各元素值。以后各层节点表示 具有计算功能的神经元，称为计算单元。每个计算单元可有任意个输入， 但只有一个输出，它可送到多个节点作输入。我们把输入节点层称为第 零层。计算单元的各节点层从左至右依次称为第1 至n 层，由此构成n 层前馈型网络。第一节点层与输出节点层统称为 “ 可见层” ，而其他中间 层则称为隐藏层。输入模式经过各层的顺次变换后，得到输出层输出。 感知机和误差反向传播算法中所使用的网络都属于这种类型; 2 )反馈型网络。如图 2 . 2 ( b )所示，这种网络是在任意两个神经元之间都 可能有连接。在前馈型网络中，信号一旦通过某个神经元，过程就结束 第二章前馈型神经网络及其学习算法 了，而在相互结合网络中，信号要在神经元之间反复往返传递，网络处 在一种不断改变状态的动态之中。从某初态开始，经过若干次的变化， 刁会达到某种平衡状态，根据网络的结构和神经元的特性，还有可能进 入周期振荡 或其它如混沌等平衡状态。 3 )混合型网络。图 2 . 2 ( c )是有反馈的前馈型网络，网络从输出层 到输入层有反馈的连接。图 2 . 2 ( d )是层内有反馈的前馈网络，通过层 内神经元间的相互结合，可以实现同一层内神经元之间的横向抑制或兴 奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的 神经元分为若干组，让每组作为一个整体来动作。 净 铆一 净 铆一 亡一舞一 (n f(a ) ( b ) 图2 . 2 神经网络荃本的拓扑形式 2 . 1 . 3 神经网 络函 数逼近的k o l m o g o r o v 定理 1 4 尽管早在 1 9 5 7 年俄罗斯数学家库莫格罗夫 ( k o l m o g o r o v ) 就己 证明了 任意多 变量连续函数可以用单变量函数的叠加来表示。但是，3 0年之后， 这一理论才被 用来作为前馈型神经网络的无限的函数映射能力的依据。给解决感知机的局限性 第二章 前 馈型神经网络及其学习算法 和前馈型神经网络的应用奠定了理论的基础。这一定理有很多表述方式，与神经 网络有关的一种表述为: 只要有一个隐藏层的前馈型神经网络就能一致逼近任意连续函数。即给定一 个正 数s o和连续函数井 n - r , s 2 c r ” 是 r 上的有界闭子集， 则存在一权 重 矩阵w c r , : 为 权 重 系 数的 个数， 使 神 经网 络的 输出i ( 无 , w ) 满 足: i i ( x , w. ) 一 f ( 9 ) i0 s g n ( u ) u 一 0 “ y e s 0 不变x = 0 一1 , x0 ( 2 . 2 3 ) 对于任意输入样本。它的对应输出应为前面规定的编码值，即满足: y i 二 c ( 2 . 2 4 ) 此式不满足时，需要对权重进行学习训练.采用 s 纠错迭代算法如下: 叭m ); ( t + 1 ) = 叽. . ) f ( t ) + e 巩m ) , ( t ) ( 2 . 2 5 ) 哄 m n )l ( t ) = a ( c 广 一 y 梦 ) x , ( 2 . 2 6 ) 式中。 为学习步长，取任意小于 1的正实数。学习开始时，对初始权重矩阵赋予 随机值，直到对于每个选定样本，式 ( 2 . 2 4 )的条件都满足时，学习结束后得到 的权重。 第三章 前馈型神经网 络中隐藏层神经元的 研究 第三章 前馈型神经 网络中隐藏层神经元的研究 基于人工神经网络的多目标识别技术具有巨大的优越性，我们已经完成了将 级联前馈网络用于三维目 标模式识别的工作 2 0 1 ，如上章所述。它对畸变不变性 模式识别具有训练时不会出现局域最小的特点，同时也提供了一种设计隐藏层神 经元个数的聚类编码原则。 本章通过直接采用前馈型神经网络及 b p算法对同一 a t r问题进行了研究。 在聚类编码原则的基础上，对前馈型神经网络隐藏层神经元个数的选取及其对学 习收敛速度的影响进行了一些探索，并从训练完成后隐藏层神经元的状态，找到 一种用来简化识别时网络结构的可行方法。同时，对这两种识别方法、实验结果 进行了比较，找出各自的优缺点，以便更好地处理有关问题。 3 . 1级联神经网络与前馈型神经网络的比 较 神经网络作为一种特殊的映射工具，它可以 将不同的模式映射到特征空间中 的不同区域，从而达到分类的目的。在第二章中 详细介绍了基于 b p算法的多层 前馈型神经网络和级联神经网络，可以看出它们有许多不同的特点，下面将作一 下比较。 多层前馈型神经网络是人工神经网络中非常重要的一种，被证明具有任意复 杂的模式分类能力和良 好的多维函数映射能力，原则上可以实现多目 标位移、旋 转以 及尺度不变性识别( 2 q 。 但是， 从怪 2 . 3节中的分析可以 看出，多层前馈型神 经网络在实际应用时存在一些问题。例如，在前馈型网络中，相邻层之间的互连 权重是由背传算法进行训练调整，而在学习样本数目 较多、网络规模较大、隐藏 层数目 较多时， b p算法很难收敛， 容易陷入局域最小。基于 b p算法的特点，多 层神经网络的各个隐藏层之间没有明确的分工，每一个隐藏层不具有独立而明确 第二章 前蚀型神经网 络中隐藏层神经元的研究 的物理意义，隐藏层神经元个数的确定具有一定的盲目 性，往往只能根据输出结 果不断尝试进行调整，这都是b p 算法自 身的一些缺点. 为了解决多层前馈型网络存在的上述问题，南开大学于 1 9 9 2 年提出了级联神 提 计算单元 图3 . 邃 级联神经网络棋型示意图 经网 络模型(2 2 ) ，如图3 . 1 所示。 该模型仍是一种前馈型神经网 络， 它将几个相互 独立的网络前后依次连接而成，前一层的输出即是后一层的输入。这种分层结构 赋予每一层网络以独立的意义和功能，使得每一层网络的训练变得容易。还应该 指出的是，级联神经网络的网络结构是开放的，可以根据需要加入具有特定功能 的中间层，增强系统的综合性能，而不必改变原有的结构和训练结果。这样就可 以选择不同类型的网络，使它们各自的性能相互补充，获得性能更好的网络。比 如为克服硬件误差而在网络中增加一模糊处理层(2 3 1 ， 就不需要改变其他网络结 构。因此，级联神经网络的设计确实解决了前馈型神经网络存在的一些困难，同 时继承了多层前馈网络的强大识别性能。 图3 . 1 所示的 级联神 经网 络的 第一 级网 络包 括输入 层 l 。 和第一隐 藏 层 l , , 实现对输入目标的不变性编码，可以被看作一个多对一的异联想网络 ( h e t e r o a s s o c i a t i v e ) 。级联神经网络的特点之一在于规定第一隐藏层的输出。 我们把对第一隐藏层的输出规定为识别目标的不变性编码，每一种目 标对应一组 编 码， l ， 层的 神 经 元的 数目 由 编 码的 位数 决定。 我 们可以 根 据问 题的 需 要 来 确定 编码的位数。 第二级网络为w t a 网 络 ( w i n n e r t a k e a l l ) ， 包括第二隐藏层l : 和 输出 层l ., ， 它将l 、 层输出的不变性编码进行容错性识别，将第一级网 络输出的异 第三章前馈型神经网络中隐藏层神经元的研究 联想结果和待识别目 标对应的编码进行比 较，根据匹配度判断输入样本属于哪一 类识别目 标。由于实行分层学习，简化了学习程序，提高了学习效率，在实际应 用中取得了较好的效果。 尽管级联神经网络减小了传统多层神经网络的学习复杂性及陷入局域最小的 可能，每个子网都可以规定明确的功能，便于规划整个网络的拓扑结构，但编码 位数的确定仍然依靠推理或经验来确定，这就很难保证网络的最优化，甚至使网 络过于复杂化，这一点从下面的实验中就可以得到证实。 3 . 2网络结构的研究 神经网络是由许多的神经元相互连接而成的，参见 2 . 1节。连接方式的不 同，不仅造成网络对同一外部输入的不同响应，而且形成了不同的连接模型及其 变形，使它们具有各不相同的性能。连接方式还是网络是否分层、规模大小、分 多少层、有无反馈、 存贮信息量的大小等内 容的综合反映2 , 7 。 对于 即 网 络的设 计，亦需要考虑神经元数目的多少、神经元之间的连接方式等问题。 3 . 2 . 1输入与输出层的设计 输入的神经元可以根据需要求解的问题和数据表示的方式而定。如果输入的 是模拟信号波形，那么输入层可以根据波形的采样点数决定输入单元的维数，也 可以用一个单元输入， 这时输入样本为采样的时间序列。如果输入为图像，则输 入单元可以为图像的像素，也可以是经过处理后的图像特征. 输出层维数根据使用者的要求来确定。如果 b p网络用作分类器，其类别为 n ， 个，有两种方法确定输出层神经元个数: 1 ) 输出 层有m个神经元， 其训练样本集中x” 属于第.1 类，要求其输出为 y = ( 0 ,0 ， 二 、 0 ,1 ,0 ,0 . . ,0 ) t ( 3 . 1 ) i 即第j 个神经元输出为1 ， 其余输出 均为。 。 2 )输出 层 有 1 0 9 2 m 个 神 经 元， 式中 习 表 示 取x的 上 界 整 数。 这 种 方 式是对类别进行二进制编码，可大大压缩输出神经元数。 第三章前馈型神经网络中隐藏层神经元的研究 3 . 2 . 2隐藏层的设计 1 9 8 9 年 r o b e r t h e c h t -n i e l s o n根据k o l m o g o r o v定理证明了 对于任何在闭 区间内的一个连续函数都可以 用含有一个隐藏层的 b p网络来逼近2 5 ，因而一个 二层的b p 网络可以完成任意的n 维到m维的映射。 隐藏层神经元的数目的选择是一个十分复杂的问题，往往根据设计的经验和 试验确定，因而没有一个很好的解析式来表示，需要进一步的探讨。一般说来， 隐藏层神经元的数目与问题的要求，输入输出层神经元数的多少都有直接的关 系。隐藏层神经元的个数太多会导致学习时间过长，误差也不一定最佳;隐藏层 神经元的个数太少，网络的容错性差，不能识别以前没有看到的样本。因此存在 一个最佳的神经元个数， 根据问 题的实际情况， 通常可以 利用下面几个公式( 2 5 来 初步确定隐藏层神经元的个数，然后依据训练情况进一步确定。 1 ) k n , , c 众 = 小 这 个 公 式 是 由 多 层 感 知 机 分 割 乃 域 所 需 要 的 线 性 可 分 函 数 的个数来确定的。 2 ) n , =j n + m+ a( 3 . 3 ) 式中m为输出神经元数，” 为输入神经元，a 为 1 - 1 0 之间的常数; 3 ) n , = 1 1 0 9 2 n ， 式中 x 表示 取x 的上界 整数 ( 3 . 4 ) 式中n为输入神经元数。该公式是常用于数据压缩情况下的b p网络，其 输入与输出层的神经元数完全相同， 输入各个学习样本后， 通过 b p网络 的学习使输入与输出样本完全相同，由于中间神经元数目 远远小于输入 和输出神经元，则中间神经元便可成为输入样本的一种压缩。这种数据 压缩的中间神经元，也可以作为输入样本的某些特征。 4 ) 1 1 0 9 2 m s n , :5 2 m式中 x 表 示 取x 的 上界 整 数 ( 3 . 5 ) 式中m是待识别目标类数。此式即为互 2 . 4 中的编码约束公式。 第三章前饿型神经网络中隐藏层神经元的研究 以上这些参考公式，对于分类器来说，主要由于它的输入和输出基本上是二 值函数，往往输入是二值图像像素或特征，而输出则为 o , 1等情况，因而常可 用感知机的模型来参照。 还有一种考虑是使隐藏层神经元的数目可变，或开始训练时选择足够多的隐 藏层神经元，然后把学习后不起作用的隐藏层神经元逐步去掉，一直减少到不能 减少为止。也可在开始训练时选择比 较少的隐藏层神经元，学习一定的次数后， 不成功再增加隐藏层神经元数，一直达到比较合理的隐藏层神经元数为止。这样 做对于用硬件完成 b p多层网络有一定的好处，但对于结构的选定所花的时间较 长。 3 . 2 . 3 对上述四 个公式的简要分析 以上关于隐层神经元数目的选择规则，或是从多层感知机的结构确定方法或 是从级联神经网络模型的编码原则借用过来的，它们共同的特点是只能给出一个 粗略的下限 1 ) , 3 )或范围2 ) , 4 ) 。另外，它们的隐层神经元数 n分别与训练样 本数、输入神经元数以及样本的种类数有密切的关系，同一问题也可能会要求不 同的隐藏层神经元数，在处理不同的问 题时更应灵活的选取合适的公式作参考， 或综合这几个公式来考虑，以得到较好的隐层神经元数，提高学习的效率。 对于那些目 标类数较少、样本数量大的分类问 题，应当选用公式 4 ) ，如用其 他公式，则选取的隐层神经元数可能较大。以怪 2 . 4中飞机模型分类为例，输入 神经元数为 6 4 0 0 ，输出神经元数为 3 ，训练样本数为 6 0 0个，飞机类数为 3 。若 用公 式1 ) ， 可 求得n ， 最 小 为1 0 ; 若 用 公 式2 ) ， 可 求 得n ， 最 小为8 2 ， 最 大为9 1 ; 若用公式3 ) ， 可 求得n ， 最小为1 3 ; 若用公 式4 ) ， 可 求得n ， 最小为2 ， 最大为8 0 由此可见，对此分类问题用公式 4 )来选取隐层神经元数较小，但也不能有效地 确定隐层神经元的数目，未能解决隐层神经元数目 的问题，还需要进一步的研究 解决。 3 . 3 b p 网络隐层神经元数研究模型 3 . 3 . 2网络结构 第二章前馈型神经网络中隐藏层神经元的研究 输入层的输入是由c c d所采集目标的形状二值投影图，所取图象大小为 8 0 x 8 0象素，所以 输入层网络的规模为 8 0 x 8 0 .以我们所完成的多目 标识别问题为 例 ( 虽 2 . 4 ) ，为了研究隐层神经元数目 对学习和识别过程的影响，我们将级联神 经网络模型用两层前馈型神经网络代替，用 b p学习算法进行分类。根据级联神 经网络的聚类编码原则，隐藏层的神经元的 个数 2 n , 5 8 。 本文在上述范围内尝 试选定某些数值进行训练， 再根据训练后隐藏层的神经元的输出，将那些对任何 目 标输出均为+ 1或一 1( 近似等于+ 1或一 1也可)的神经元去掉，从而简化了网络 的结构，并能确定隐藏层神经元的个数。本文用三个不同的飞机模型作为分类对 .了.口 、工n曰 +0口 象， 输出层神经元的个数为3 ， 如图3 . 2 ， 当输出组合为 ( + 1 ， - 1 ， - 1 ) . ( - 1 , - 1 )和 ( - 1 ， - 1 , + 1 )时，分别表示三种待识别目 标的一种。 n(i .80)绝户 一广沐 带 注丫: 二沂二 立 . _ . - - 一 图3 .2本文所采用的二层前馈型神经网络 3 . 3 . 3 权重学习 如 图 拼1 , 2 , 3 - 二 ， 3 . 2.设输入层与隐藏层的互连权重为 v ( m w ( m , n = 1 , 2 , 3二 n , ) , 隐 藏 层与 输出 层的 互 连 权 重为叽( i= 1 , 2 , 3 . . . h ; j = 1 , 2 , 3 ) 。 输入 样本 为8 0 x 8 0 二 维 矩阵， 表 示为x k (m n ) ( k 表 示 第k 类学 习 样 本， m , n = 1 , 2 , 3 . . .8 0 ) , 则隐 藏 层第i 个神 经 元的 总 输 入n e t 急 为 n e t i, = 艺艺 v (m . )(x k (m n ) ( 3 . 6 ) 价=汀“二 且 输出y hy k ! 为 第三章前馈型神经网络中隐藏层神经元的研究 y 会 = f ( n e t 公 一 6 , ) ( 3 . 7 ) 其中 ， 0 为 隐 藏 层 神 经 元的 闭 值。 输出 层 第j 个神 经 元的 总 输入n e t 易 为 n e t ,i 一 叉 艺w h,j y ki ( 3 . 8 ) 仍二 !. = 1 输出y kj 为 y 急 = f ( n e t 易 一 b 丁 ) ( 3 . 9 ) 其中，b 愁 为 输出 层 神 经 元的 阐 值。 f ( x ) 取 为s ig m o id 函 数， 即 1一 介 rl、且一 ， 吸 x 】= 、， ， j 尸 1 气r 七 ( 3 . 1 0 ) 其中q 为斜率参数。当输入某目 标的一个样本，不满足上述对应的期望值时，需 要对权重进行学习训练。由b p 学习算法可知 a w ,j = a ( 心一 碍)f，(net 导 一 o ) y ai i 巩( t + 1 ) = 巩( t ) + a 巩 ( 3 . 1 1 ) ( 3 . 1 2 ) 其中，a 为学习步长，取小于 1 的正实数。 a v (. . ), = ,ljf ( n e t 一 b , ) y w ( d i 一 y y ) f ( n e t 一 6 , ) lx . (, ,) ( 3 . 1 3 ) v ( m ), ( t + 1 ) ， v ( m n ) , ( t ) + a v ( . . ) , ( 3 . 1 4 ) 其中 机值 16 为学习步长，取小于 1的正实数.学习开始时，对初始权重矩阵赋予随 训练过程中应使e数值尽量减小，网络收敛于局域最小。 第二章 前馈型神经网络中隐藏层神经儿的 研究 3 . 4实验结果及分析 我们选用三个不同的飞机模型作为分类对象，各采集 4 0 0个样本，包括面内 旋转旷3 6 0 0， 面外旋转。 一 士 2 5 0 ( 2 7 7 。实际上，目 标还可以 在摄像机视场范围内 做任意平移，这对采集到的图象样本也会产生影响，由于平移己在目 标的定位、 分割和二值化等处理过程中得到解决( 2 2 7 ， 这里我们只考虑预处理之后的 8 0 x 8 0 二值图形样本。每个目 标有 2 0 0个学习样本，2 0 0个测试样本。图 3 . 3为部分训 练 样 本图 形。 若 使 三 类 样 本 分 开， 只 需 所 有 学 习 样 本 的d 石 和y y 符 号 相同 ， 选 择 合适的阐值 ( 一般取 0即可)就可将它们正确分类。这样由 ( 2 . 1 1 )式，我们就 可 以 求 得 二 赢 = 8 .3 3 x 1。 一 ， 当 训 练 至 。能 使 e 8 . 3 3 x 1 0 一 时 ， 所 有 的 学 习 样 本就可以 正确分类。由于是将三种飞 机分类，故 p = 3 ， 在 i n t 1 0 9 2 川- n , - 2 0 的 范 围内 ， 2 - n , - 8 。 我 们 在2 至8 之间 选 择 不同 的 隐 藏 层 神经 元 个数 进 行学习 和 测试，所得计算机模拟的结果如下: 1 )隐 藏 层 神 经 元 个 数n ,= 2 或3 时， 各 权 重 训 练5 0 次， 每次 得 到 的 误 差e 数值均较大，用所得到训练权重去测试，正确识别率很低.这说明隐藏层 神经元个数选取对权重的训练非常关键，如果所选数目 太少，将很难或不 能训练出来好的权重。 2 )当n , = 4 时， 权重训练5 0 次， 有2 次 满足e 8 . 3 3 x 1 0 ，即 训练 样本的 识 别率为 1 0 0 % ,测试样本有 1 次也为 1 0 0 % ，另 1 次为9 9 % ;有 5 次虽然e 未满足上述条件， 但数值较小， 训练样本和测试样本也有很高的识别率， 达到 9 9 % 以上。 3 )当n ,= 8 时， 权重训练5 0 次， 有9 次满足e 8 . 3 3 x 1 0 ， 还有4 1 次虽然 e未满足上述条件， 但数值较小，也有很高的识别率， 达到9 9 % 以上。由 此可以 看出，隐藏层神经元个数增加时， 容易训练出识别率高的权重。 4 )当n ,= 5 , 6 , 7 时 也能 得 到 很 好的 训 练 权 重， 在 此 就 不 再 一 一 赘述了 。 在网络训练过程中， 还发现了一个有意义的 现象，即当4 - n , 0 . 9 8 ) 非a ( 0 . 0 2 ) 图4 . 1 含单层隐藏层神经元的前馈型网络 在图 4 . 1中，目 标 ( 模式) 原来有很多描述的特征，可是在图中识别时隐藏 层只有 3个神经元，它们的输出值提供了模式的内部显示，也就是说这 3 个神经 元提供了分类所需要的信息。因此，用神经网络对目 标进行特征提取是一种切实 可行的办法。图 4 . 1的分类问题本质上是将一个高维模式识别问题转化成一个低 维的识别问题，网络中包含着单层隐藏层神经元，它的数目 就是缩维后的维数。 其实，第二章中级联神经网络的编码，第三章中隐藏层神经元的输出值都可以看 作某种特征提取，然后由输出层神经元在分类。 进行特征提取时网络的能量函数是平方误差，用梯度下降法进行训练，有可 能收敛于局域最小，导致特征提取的结果不唯一 3 1 。 此外， 特征提取的结果还要 受到权重初始值和模式输入顺序的影响。 尽管这样， 特征提取仍有其积极的意义， 因为它包含着一些基本的特征，可用来记忆、显示、控制程序和很多识别问题， 而且若能对网络结构进行合理的设计，还能减少不变性特征的不稳定性，获得更 好的特征， 下面的论述就将致力于这些方面的改进。 互 4 . 2周期包激活函数 神经网 络的激活函数是影响网络收敛行为的一个重要的因素3 2 ，它也会影响 不变性特征信息的稳定性。传统的 s i g 111 o i d函数和双曲正切函数是两个常用的重 要函数，它们都是单调上升函数，具有较好的分类能力， 但在提取不变性特征时 并不理想。一篇快报中3 3 提出了一种新的激活函 数一s i g m o i d型周期函 数，由于 第四章手写体数字识别的神经网络算法 该函数能把输出空间划分为无数个等间隔的子空间，因此能显著地提高网络的分 类能力和大大加快了网络的收敛速度，与此同时，由于该函数提供了较为平坦的 收敛区域，网络收敛的稳定性得到可靠的保证。针对模式识别的特点，我们提出 使用周期包函数作为激活函数来提取模式的不变性特征。周期包函数由多个不同 振幅 h 、 斜率 b 、 周期试和位移风 的周期函数组成， 定义为 f ( n e t j ) = 艺 h 1 十 e 一 蜘in( “ 巧 卜 、 ( 4 . 1 ) 其中 n e t ， 为 第 j 个 神 经 元 的 净 输 入 。 适当 选 取k , h , b , 和c 。 的 值， 可以 、 0.s0.e070.6一 一匕sipm0id per i od i c n 急 t z 4 6 s 图4 . 2 k = 2 , b , = b 2 7 . 5 , r i= r , = 0 . 6 , h i= h 2 0 . 5 , c , = 4和c 2 二 一 4 时的 激活a 数 获得一定形式的激活函数， 如图4 . 2 所示。 由图4 . 2 可看出， 周期包函数同s i g m o i d 函数一样能够提供比较平坦的收敛区域，在下降区域的中间还有一个缓慢变化的 区域， 这样可以降低模式变化对不变性特征的影响;在平坦的收敛区域之间，该 函数的斜率较大，能保证网络的快速收敛。因此，该激活函数既能保证网络快速 收敛又能保证不变性特征的稳定性，用来提取模式的不变性特征。 4 . 3网 络模型和学习算法 在 4 . 1中讨论了一般的特征提取的方法，指出了它的一些缺点。为了 更好 的 提取不变性特征，人们提出了信号映射模型3 4 - 3 6 ，并采用视觉学习规则来自 组 织地提取模式的不变性特征。但