基于仿生模式识别的构造型神经网络分类方法

1、基于仿生模式识别的构造型神经网络分类方法         <TABLE     style="PADDING-RIGHT: 10px; PADDING-LEFT: 10px; PADDING-BOTTOM: 10px; LINE-HEIGHT: 22px; PADDING-TOP: 10px"     cellSpacing=0 cellPadding=3 width="96%" align

2、=center     border=0>                                               

3、0;      0 引言模式识别经历了统计模式识别、结构模式识别、模糊模式识别三个主要发展阶段。针对传统模式识别,王守觉1于2002年提出了一种新的模式识别,它基于认识事物而不是区分事物,与传统以最佳划分为目标的统计模式识别相比,更接近于人类认识事物的特性,故称为仿生模式识别。传统模式识别与分类算法都是基于假定同类样本点相互之间没有任何关系,但是客观世界一切事物均有联系,仿生模式识别就在于引入了同类样本存在某些普遍规律性,在特征空间中必然会形成某种多维几何图形,从而建立一种多维空间中非超球复杂几何形体覆盖的识别原理。人工神经网络是模拟

4、生物神经网络进行信息处理的一种数学模型,由大量神经元通过不同的拓扑结构组成,具有极强的自学习能力和分类能力,在模式识别领域中得到了广泛应用。但由于每个神经元的数学描述都是一个多变量的非线性函数方程,组成网络后,整个网络的数学描述就是一个复杂的多变量非线性方程组,这对于认识与研究来说是非常困难的。为了改善对神经网络行为的认识和研究中的黑匣子式的难以处理的状态,许多学者从几何角度对不同神经元以及神经网络的行为进行了新的分析和研究24,通过构造一个球领域模型将神经网络的训练问题转换为点集覆盖问题。因此,人工神经网络是实现仿生模式识别的有效手段1,5,6。本文首先从仿生模式识别理论出发,通过研究不同神

5、经元模型几何意义,提出了一种新的基于仿生模式识别理论的构造型神经网络分类算法。财务管理论文该算法考虑同类样本在特征空间中形成的拓扑结构,构造出一种能够对每类样本进行最佳覆盖的神经网络。与传统神经网络分类算法相比,该算法几何意义明确,理解简单,实现容易。1 仿生模式识别1.1 仿生模式识别理论基础仿生模式识别理论认为:同类而不完全相等的事物之间,必至少存在一个渐变过程,在这个渐变过程中间的各事物都属于同一类,即特征空间中同类样本全体的连续性规律。其数学描述如下:在特征空间?R?n?中,设所有属于A类事物的对象所构成的集合为A,若集合A中存在任意两个元素x与y,则对为任意大于零的值时,必定存在集合

6、B,使B=x?1?,x?2?,x?3?,x?n?|x?1?=x,x?n?=y,n?N,(x?m?,x?m+1?)<,>0,n-1m1,m?N,B?A在特征空间R?n?中同类样本点之间所存在的这个连续性规律超出了传统模式识别与学习理论的基本假定,即同类样本之间没有任何联系。但是,该连续性规律却是客观世界中客观存在的,同时也是仿生模式识别中用来作为样本点分布的先验知识,档案管理论文从而提高了对事物的认识能力。1.2 仿生模式识别数学分析仿生模式识别引入特征空间中同类样本的连续性规律后,对一类事物的认识,实质上就是对这类事物的全体在特征空间中形成的无穷点集合形状的分析和认识。仿生模式识别

7、的数学分析问题正是点集拓扑学中对高维流行的研究问题,因此仿生模式识别也被称为拓扑模式识别。以下是仿生模式识别数学分析中的一些基本概念和假设:闭集A:在仿生模式识别中,特征空间R?n?中任何一类事物(如A类)全体在R?n?中连续映射的“象”所做成的点集被视为一个闭集。流行:在点集拓扑学中,闭集根据不同类对象在特征空间中形成不同维数的流行。P?a?: 在实际工程中,样本数据通常带有一定的随机噪声,因此对A类事物认识的判别覆盖集合应该用集合P?a?取代集合A,即P?a?=x|(x,y)k,yA,xR?n?其中:k为选定的距离常数。集合A与n维超球体的拓扑乘积:为了判别某个样本是否属于A类集合P?a?

8、,必须在特征空间R?n?中构筑一个能覆盖集合P?a?的n维空间几何形体。这个近似覆盖几何P?a?的n维空间几何体是以不同维数的流形(集合A)中无穷的点做球心,以常数k作为半径的无穷多个n维超出球体的并,即集合A与n维超球体的拓扑乘积。2 神经元几何意义2.1 超平面根据文献2,3对?M-P?神经元的数学描述不难看出,神经元的输出由两个因素决定,即激励函数和函数的基ni=1w?i?x?i?-=0(1)这个基函数就是输入空间中输入点离一个超平面的距离(一侧为正,社会主义论文一侧为负)。当ni=1w?i?x?i?->0时,表示点x落在超平面的正半空间内,输出为1;当ni=1w?i?x?i?-&

9、lt;0时,?表示点落在超平面的负半空间内,输出为-1。于是,一个M-P神经元的功能,可看成是一个由超平面划分的空间二分类识别器。对神经元的这种超平面理解,给神经网络研究人员带来了很大便利。但是,当神经元数目较多、模式类别多且线性不可分等问题出现时,超平面在空间中交叉复杂,不能对特征空间中所有类进行很好的划分。于是,研究人员开始提出用多维空间中的超闭曲面取代超平面的设想7。 2.2 超闭曲面在文献7中,作者从几何角度对径向基函数(RBF)网络神经元的数学模型作了新的解释,即RBF神经元基函数不是与一个超平面的距离,而是与一个核心点的距离。RBF神经元函数的基为?ni=1(w?i?-x?i?)?

10、2?-?2?=0(2)该神经元相当于在输入空间中以核心w?i?、以为半径的超球面。ni=1(w?i?-x?i?)?2?-?2?>0时,表示输入点在此超球面外,输出为-1;当ni=1(w?i?-x?i?)?2?-?2?<0时,?表示输入点在此超球面内,输出为1。于是,一个RBF神经元网络可以将一个无限空间分成一个有限空间和一个无限空间,且分界面是非线性的。但是RBF是一种最简单的封闭超曲面高阶神经元网络,不会根据不同模式具体的分布信息来改变自身的形状,其使用也具有很大的局限性。为了实现传统BP神经元和RBF神经元网络的功能,工程其他论文本文采用了这两种神经元组合的形式,通过构造一种能

11、覆盖不同模式在特征空间中形成的复杂几何体的神经网络,实现仿生模式识别的多维空间中非超球复杂几何形体覆盖1的识别原理。3 基于仿生模式识别的神经网络构造算法根据仿生模式识别原理,同一类样本由于连续性规律,在特征空间中会形成一种复杂的几何体。要实现对这个复杂几何体的覆盖,首先要实现对单个简单几何体的覆盖;然后通过对简单几何体合并或相交的方法来实现对整个复杂几何体的覆盖8。     <TABLE     style="PADDING-RIGHT: 10px; PADDING-LEFT: 10px; PAD

12、DING-BOTTOM: 10px; LINE-HEIGHT: 22px; PADDING-TOP: 10px"     cellSpacing=0 cellPadding=3 width="96%" align=center     border=0>               3.1 覆盖算法 为了实现采用神经网络中若干神经元近似覆盖,本文用若干首尾相接的

13、线段来拟合这个流行曲线,这是很多研究相关领域的学者们经常做的一种假设8,9。这样,折线与?n?维超球的拓扑乘积即是所求。 根据覆盖原                                       3.1 覆盖算法 为了实现采用

14、神经网络中若干神经元近似覆盖,本文用若干首尾相接的线段来拟合这个流行曲线,这是很多研究相关领域的学者们经常做的一种假设8,9。这样,折线与?n?维超球的拓扑乘积即是所求。根据覆盖原理,算法首先要实现对单个直线段的覆盖,即求取到空间一直线段距离小于某一值?k?中国文学论文的区域。下面详细讲解对直线段的覆盖:在特征空间?R?n?中,样本集合S=S?1?,S?2?,?NA1AD?,S?m?,m为样本数,S?i?=(S?i1?,S?i2?,?NA1AD?,S?in?),n为样本维数。输入矢量X=(X?1?,X?2?,?NA1AD?,X?n?)。考虑两个样本点形成的直线段,计算输入矢量到特征空间中直线段

15、的距离d,如图1所示。由空间向量积可得?cos?()=S?i+1?-S?i?X-S?i?/(S?i+1?-S?i?)(X-S?i?)=nj=1(S?i+1,j?-S?i,j?)(X?j?-S?i,j?)/(S?i+1?-S?i?)(X-S?i?)(3)距离d为d=(X-S?i?)?2?-(X-S?i?)?2?cos?2?(4)将式(3)代入(4),令w?i,j?=nj=1(S?i+1,j?-S?i,j?)/(S?i+1?-S?i?),?i?=nj=1(S?i+1,j?-S?i,j?)S?i,j?/(S?i+1?-S?i?),得d=nj=1(X?j?-S?i,j?)?2?-(nj=1w?i,j?

16、X?j?-?i?)?2?(5)接下来的工作是构建一种神经网络,使得其能够覆盖到空间直线段距离d小于某值k(d3.2 网络构建由以上覆盖算法可知,网络必须由一个输入层、两个隐层(?M-P神经元层和RBF?神经元层)和输出层组成。以下是对各层的详细描述:?a?)输入层。接收样本输入,因为样本为n维,所以输入层需要n个神经元。?b?)第一隐层。由传统的?M-P?神经元组成,其模型为Y?1,i?=f?1,i?(nj=1w?i,j?X?j?-?i?)(6)其中:f?1,i?为线性函数,f?1,i?(x)=0 x<0或x>S?i+1?-S?i?x x>0?;w?i,j?=nj(S?i+1

17、,j?-S?i,j?)/(S?i+1?-S?i?),?i?=nj(S?i+1,j?-S?i,j?)S?i,j?/(S?i+1?-S?i?),分别为该层第i个神经元的权值向量和阈值。由于m个样本构成m-1条直线段,该层至多需要m-1个神经元。?c?)第二隐层医院管理论文。由?RBF?神经元组成,其模型为Y?2,i?=f?2,i?(nj=1(w?i,j?-X?j?)?2?-?2?)(7)其中:f?2,i?为阶跃函数,f?2,i?(x)=0x>01 x0;w?i,j?=S?i,j?,?2?=Y?2?1,i?+k?2?,分别为该层第i个神经元的权值向量和阈值。可以写成Y?2,i?=f?2,i?(

18、nj=1(X?j?-S?i,j?)?2?-(nj=1w?i,j?X?j?-?i?)?2?-k?2?)=f?2,i?(d?2?-k?2?)(8)因此,m个样本需要m个?RBF?神经元,当与Y?2,i?相连的Y?1,i?不存在时,以Y?1,i?=0计算。d)输出层。覆盖将m-1个直线段的超球进行合并,其模型为Y?3?=f?3?(mi=1Y?2,i?)(9)其中:f?3?也为阶跃函数,f?3?(x)=1 x>00 x0,该层只需要一个神经元进行求和即可。该网络考虑了所有样本,实现了样本在特征空间中形成的n维流行(用折线来近似计算)与半径为k的n维超球的拓扑乘积的覆盖。当样本在覆盖范围内时,输出

19、为1;在范围之外时,输出为0。神经网络的结构模型图如图2所示。3.3 算法实现给定一个训练样本集?samples?=(S?i?,C?r?),1im,1rCN?。其中:m为样本数;第i个样本S?i?=(S?i1?,S?i2?,?NA1AD?S?in?);n为样本维数;CN为类别数;C?r?为第r类别。(S?i?,C?r?)表示第i个样本属于第C?r?类。算法具体描述如下:输入:训练样本?samples?输出:一个对样本分类的神经网络?a?)初始化距离常数k,对每一个训练样本设置一个标志?flag?=0,表示该样本还没有被任何超球子类所覆盖。?b?)对于第r类样本(1rCN):(?a?)在未被覆盖

20、的样本中,计算样本间的两两距离(欧式距离),选择距离最小的两个样本S?i?,S?i+1?,通过式(6)计算Y?1,i?。(?b?)以S?i?为核心,以?2?=Y?2?1,i?+k?2?为半径做一个超球面,计算未被覆盖的样本是否落入该超球面,即计算式(9)。若dk,输出0,表示该样本没有落入该超球面,不改变其标志。(?c?)返回(?a?),其它理学论文直到该类所有样本的标志?flag?=1。?c)?r?+,重复b),直到?r?=?CN?,所有样本标志flag?=1,即表示所有样本都被覆盖。?4 性能分析本文提出的基于仿生模式识别神经网络构造算法相对传统神经网络分类算法而言,有以下优点:a)传统分类问题是将样本进行一类类的划分。本文引入了仿生模式识别理论,使用更合乎人类认识事物的视角,对样本进行一类类的认识,即便有新样本输入,也不会对原有识别产生影响,是对传统神经网络分类的一种改