（计算机应用技术专业论文）模糊hopfield网络在人脸识别中的应用.pdf

摘要模糊神经网络是人工智能的热门研究课题，已在聚类、识别等方面取得了大量成功的应用。本文的主要研究工作包括以下两个方面：( 1 ) 从理论上分析了模糊系统中多种模糊算子，对各种模糊算子进行了公式表述，对基于m a x m i n 模糊算子的模糊h o p f i e l d 网络的各种性质进行了推导论证。( 2 ) 建立了一个基于反馈型神经网络的模糊h o p f i e l d 网络人脸识别模型，通过将人脸图像特征提取，数据标准化，构造特征向量关系矩阵，模糊合成运算等步骤有机的结合起来，实现了基于阀值可调的人脸识别方案，并用m a t l a b 2 0 0 7 进行编程实验，在识别率，拒识率和误识率等方面验证了此种方法的有效性，给出了此种模型用于人脸识别时的两种提升识别率的方法。本文的创新点包括：( 1 ) 将反馈型模糊h o p f i l e d 网络应用在人脸识别领域，建立了一种基于阀值可调的人脸识别模型。( 2 ) 不满足于单一一种m a x m i n 模糊算子的应用，对几种不同的三角模或t模所对应的模糊h o p f i e l d 网络的识别效果进行了对比。关键词：模糊h o p f i e l d 网络；人脸识别；模糊聚类；模式识别；模糊算子a b s t r a c tf u z z yn e u r a ln e t w o r ki sah o tr e s e a r c ht o p i ci na r t i f i c i a li n t e l l i g e n c e ，a n di th a sa c h i e v e dm a n ys u c c e s s f u la p p l i c a t i o n si nc l u s t e r ，r e c o g n i t i o na n ds oo n t h em a i nr e s e a r c hw o r k si n c l u d et h ef o l l o w i n gt w oa s p e c t s ：( 1 ) a n a l y z e dav a r i e t yo ff u z z yo p e r a t o r so ft h ef u z z ys y s t e mi nt h e o r y ，a n dt h e nd i s c u s s e df u z z yo p e r a t o rf o rt h ev a r i o u ss t a t e m e n t si nf o r m u l a ，l a s t l y ，t h ev a r i o u sp r o p e r t i e so ff u z z yh o p f i e l dn e t w o r kb a s e do nm a x - m i nf u z z yo p e r a t o rw e r ed e d u c e da r g u m e n t ( 2 ) e s t a b l i s h e daf a c er e c o g n i t i o nm o d e lb a s e do naf u z z yh o p f i e l dn e t w o r kw h i c hi saf e e d b a c k b a s e dn e u r a ln e t w o r k ，a n daf a c er e c o g n i t i o np r o g r a mb a s e do na d j u s t a b l et h r e s h o l dw a sa c h i e v e db yt h eo r g a n i cc o m b i n a t i o no fh u m a nf a c ei m a g ef e a t u r ee x t r a c t i o n ，d a t as t a n d a r d i z a t i o n ，s t r u c t u r a lf e a t u r ev e c t o rr e l a t i o n s h i pm a t r i xa n df u z z ys y n t h e t i c ，t h e ni ti sp r o g r a m m e dw i t hm a t l a b 2 0 0 7 ，s ot h ee f f e c t i v e n e s so ft h i sm e t h o dw a st e s t e di nr e c o g n i t i o nr a t e ，r e je c t i o nr a t ea n de r r o rr a t e ，l a s t l y ，s u c hm o d e l sf o rf a c er e c o g n i t i o nt oe n h a n c er e c o g n i t i o nr a t ea r eg i v e nb yt w om e t h o d s t h ei n n o v a t i o no ft h i sp a p e ri n c l u d e s ：( 1 ) a p p l i e dt h ef e e d b a c kf u z z yh o p f i l e dn e t w o r kt of a c er e c o g n i t i o na r e a ，a n de s t a b l i s h e dam o d e lo ff a c er e c o g n i t i o nb a s e do na d ju s t a b l et h r e s h o l d s ( 2 ) n o ts a t i s f i e dw i t has i n g l ek i n do fm a x - m i nf u z z yo p e r a t o ra p p l i c a t i o n ，t h er e c o g n i t i o ne f f e c t so fs e v e r a ld i f f e r e n tt r i a n g u l a rn o r mo rt - m o d ec o r r e s p o n d i n gt ot h ei d e n t i f i c a t i o no ff u z z yh o p f i e l dn e t w o r k sw a sc o m p a r e d k e yw o r d s ：f u z z yh o p f i e l dn e t w o r k ；f a c er e c o g n i t i o n ；f u z z yc l u s t e r i n g ；p a t t e r nr e c o g n i t i o n ；f u z z yo p e r a t o ri i长沙理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：豸衢、日期：沙f 0 年6 月；日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1 、保密口，在年解密后适用本授权书。2 、不保密团。( 请在以上相应方框内打“4 )作者签名：虿7 l ：象日期：切i 。年月弓日导师签名：乏i 羹吼如i 。年6 月弓日1 1 课题研究背景和意义第一章绪论现代科技社会飞速发展促使社会生活的多个方面对快速安全高效的身份验证日益迫切。事实上，生物特征一直是人们研究身份识别验证的一个很重要的方向，其中原因是因为生物特征表现为人的本质个体属性，且具有自身稳定性和个体差异性。在研究过程中发现，利用人脸特征进行的身份验证又是最自然最直接的手段，比较与其它人体生物特征如指纹，毛发，掌纹，瞳孔，人脸识别具有多项特点，如直接、友好、方便等，并且易于被用户所接受。人脸识别于是成为模式识别研究领域的重要课题。尽管个人本身可以毫不困难地由人脸辨别一个人，但反映到计算机上就存在着很多难以解决的问题，如：各种装饰( 眼镜，帽子等) 遮挡住人脸，造成不完全信息；受到光照、成像角度、成像距离的影响，人脸成像模糊化；人脸本身具有形态变化，不是稳定的刚体；随年龄的增长，人脸自身加重岁月痕迹从而产生外形变化等等。这诸多因素使得人脸识别研究成为一项极富挑战性的课题，但同时又具有很高的学术价值。从长远的角度来看，人脸识别的深入研究必将推动模式识别、人工智能、计算机图形等多个计算机科学分支的研究发展。从另一方面来看，如果能够找到解决途径，成功构造出人脸检测和识别系统，将为解决其它类似的模式识别问题提供重要的启示。在过去几十年，人脸识别的研究大多从理论出发。自2 0 世纪8 0 年代末，9 0 年代初以来，由于信息安全的重要性日渐突出，人脸识别技术的研究逐渐成为热门课题，特别是在应用领域。到二十世纪七十年代早中期，一些经典的模式识别技术被用来衡量和比较人脸及其侧面轮廓线之间的特征。但在整个八十年代期间，基于机器自动人脸识别的研究工作在很大程度上可以说是处在了停滞不前的状态。直到九十年代早期，伴随着社会经济和计算机技术的高速发展，实时计算和自适应神经网络的重新出现，硬件的飞速发展及由毒品交易、恐怖活动等犯罪行为的增加，法制应用需求的增加等一系列原因，人脸识别方面的研究才又引起研究者们越来越多的关注，并取得了较快的发展。在过去二十多年里，心理学专家和神经科学专家也对人类如何开展人脸识别技术，从各个方面做了广泛的研究。他们主要关心的问题是：人脸的唯一性，人脸如何识别，是基于全局信息还是局部信息，识别任务怎样分析和利用脸部表情，刚出生的婴儿是如何识别人脸，祖母神经细胞是否存在及关于右半脑在理解人脸时的起到那么作用等。尽管这些研究所提出的很多假设和理论只是基于一个比较小的测试集，其用来解释实验结果的某些理论和推理甚至是自相矛盾的，但这些发现对人脸的计算机自动识别仍然起着非常重要的作用。一般说来，人脸识别可分为三个步骤：人脸检测定位，特征提取，识别心，3 1 。神经网络算是一门边缘性交叉学科，神经网络的理论是大量信息并行处理与大规模并行计算的基础。它既是一种非线性动力学系统，也是白适应组织系统。8 0 年代，研究神经网络的兴起，对认知和智力本质的基础研究甚至计算机产业产生了很大的刺激和推动。近十年来，神经网络的理论与实践又有了很大的新发展，它又一次拓展了计算概念的内容，使进化计算、神经计算成为新的学科，用软件模拟神经网络的技术得到了广泛的应用。神经网络的前沿问题将渗透在本世纪科学的挑战性问题中，并被研究者预言将取得重大突破。自l a z a d e h 于1 9 6 5 年引入模糊集合的概念，模糊系统在理论和实践上均取得了相当的成功。模糊系统在非线性系统辨识、模式识别以及专家系统等领域得到了广泛应用。尽管神经网络、模糊系统在很多领域得到了成功应用，但是我们应该看到在其收敛性、稳定性、鲁棒性、性能优化、误差分析等许多方面有值得跟进一步研究的地方。对以上问题的研究，将加深对神经网络、模糊系统本质的理解，进步推动神经网络和模糊系统在生产实践中的应用。本课题的研究工作为基于人脸图像，应用模糊神经网络技术对人脸进行识别。该研究工作有着广泛的应用领域：( 1 ) 在安全防范领域中的应用社会上有许多重要的部门，如军事、金融、保密等部门都需要对出入人员进行身份识别，以防止信息泄漏和不法现象的发生。特别是银行金融系统，对监控系统的要求很高，如对金库的保险柜、密码锁、自动柜员机和电子商务信息系统等等，都采用了人脸识别这种更直观、可靠、准确的识别技术。这几十年，刑事、经济案件的频频发生，以往的安全措施必将遭受新的考验。但是，人脸识别技术却不需要提供任一种钥匙，不管是电子的还是机械的。这样就避免了密码或密钥移失的现象。如果再配合其它安全技术，贝l j 能显著提升安全系数。使用该技术可以方便地进行身份识别，而不使被识别者感到不舒服。另一方面，从监控角度来看，由于对每次交易操作都生成了一系列详细的记录信息，因此可以很方便的提取其中的追踪信息。现今，银行系统以及发展出多种业务，如保险柜出租、托管等，若将这种人脸识别系统应用其上，定能提高业务的安全系数。同时，人脸识2别技术也可以应用在其他快捷式提存款终端，这样如果用户忘记密码了也没有关系，冒领、盗取等事件的发生也会大大减少。( 2 ) 在犯罪刑侦领域中的应用在刑侦工作中，对罪犯的抓捕是至关重要的一环。近几年，我国的公安部门、检查机构、司法部门都加强了对犯罪行为和案件的打击力度，搜捕在逃犯人的手段也在不断加强。但目前采用的技术只是将逃犯的照片、身份介绍、背景资料发布到网上。这种方法要通过多种鉴定技术才能进行判断，这无疑加重了鉴定的复杂度。如果犯罪分子狡辩、伪装，往往不得不要消耗大量的人力，物力和时间来进行确认。人脸识别技术的利用，可以使工作效率得到很大的提高。如果在重要的地方设置摄像机，系统能进行自行监控来往人员头像，然后通过网络将其人脸特征数据传送到数据中心，与对比特定人群头像，立刻做出判断，实现即刻报警。应用人脸识别技术可以依据犯罪嫌疑人的人脸图像对机场、车站、港口等重要交通场所进行监控，从而大大促进了罪犯抓捕工作的开展。( 3 ) 在公共事业领域中的应用在现代社会，许多领域都需要对人进行身份验证。如银行、保险、交通等公共事业部门。采用传统的密码、i c 卡等手段和技术对人进行身份验证具有安全性差、易遗失、易伪造等缺点。而采用人脸识别技术进行身份验证则能够很好地克服传统身份验证手段和技术的缺点。1 2 人脸识别的国内外研究现状在国外，早在二十世纪六十年代就有对计算机人脸识别算法的研究。而受限于当时人脸成像设备和计算机硬件基础，在该领域的研究没有进一步展开。到了二十世纪八十年代，计算机技术得到进一步发展，计算机人脸识别技术得到了科研人员的普遍重视。到了九十年代，计算机人脸识别技术的研究已经成为模式识别领域研究的热点。从总体上来看，人脸识别研究发展的第一阶段是在1 9 6 4 年至1 9 9 0 年。这一阶段，人们所采用的技术、方法都很一般，主要是基于人脸的几何结构特征( g e o m e t r i cf e a t u r eb a s e d ) ，其次还包括引入人工神经网络，基本上没有取得的多少重要的研究成果，实际应用上也远没有达到要求。人脸识别发展的第二阶段是在1 9 9 1 年至1 9 9 7 年，在这短暂的7 年时期取得的研究成果很丰硕，产生了大量意义深远的人脸识别算法，特别是美国军方组织的著名的f e r e t 人脸识别算法，它的测试极大地推动了商业人脸识别系统的产生，使其更具有实际应用价值，例如f a c e i t 系统。为这一阶段的研究开创先河的是“特征脸 方法的诞生，3它是美国人特克( t u r k ) 和潘特兰德( p e n t l a n d ) 两人提出的。这个在麻省理工学院( m i t ) 媒体实验室出现的成果，在极大程度上促进了人脸识别技术的发展。直到今日，特征脸结合归一化的协相关量的方法已经成为了测试人脸识别性能的基准算法。同时，也是在m i t 学院，布鲁内里( b r u n e l l i ) 和波基奥( p o g g i o ) 两人做了一个基于结构特征与基于模板匹配方法的识别性能对比实验，由此得出一个具有导向性的结论：模板匹配方法优于基于特征方法。随后的贝尔胡米尔( b e l h u m e u r ) 等人提出了f i s h e r f a c e 方法，他们首先利用主成分分析法( p c a )对图像进行降维，然后采用线性判别分析法( l d a ) 对降维后的主成分进行处理，从而使类间散度尽量大而类内散度尽量小。该方法至今是人脸识别的主流方法之一。据此还有其它一些变种，如基于零空间、基于子空间和基于核的方法等等。马哈丹( m o g h a d d a m ) 提出的基于双子空间的方法就是对特征脸方法的改进。他从另一个途径把人脸图像间的相似度计算问题转换成一个类内差和类间差的分类问题。首先利用p c a 技术对两类数据进行降维，得到两类的条件概率密度，然后对此进行贝叶斯决策来得到识别结果。这一时期还诞生了另一种重要的方法：弹性图匹配技术( e l a s t i cg r a p hm a t c h i n g ，e g m ) 。该方法的优势在于对人脸关键局部特征进行建模的同时保留了面部的全局结构特征，具有较好的识别效果。19 9 8年至今是人脸识别发展的第三阶段。9 6 年，美国军方举行了著名的f e r e t 人脸识别算法，测试结果表明：大多数人脸识别技术在较理想的条件下都表现出良好的识别性能。但在光照强度不一、姿态变化多样等非理想条件下或者对象不配合情况下的鲁棒性不强，适应性较差。因此，光照、姿态等问题就自然成为了下一阶段人脸识别的关键问题。随之而来，人脸识别系统在商业应用上也得到了更进一步发展。f e r e t 在2 0 0 0 年和2 0 0 2 年的测试中都加入了对商业系统评测，从而促进了人脸识别在商业系统的发展进步。当前很多国家展开了有关人脸识别的研究，主要有美国，日本，欧洲国家等，著名的研究机构有美国m i t 的m e d i al a b ，a il a b ，c m u 的h u m a n c o m p u t e ri n t e r f a c ei n s t i t u t e ，m i c r o s o f tr e s e a r c h ，英国的d e p a r t m e n to fe n g i n e e r i n gi nu n i v e r s i t yo fc a m b r i d g e 等。近几年来，国际上发表的有关人脸识别方面的论文数量大幅度增加，每年，国际会议上关于人脸识别的专题也屡屡可见。与此同时，美国等国的很多研究小组在从事着人脸识别技术的研究，这些研究受到了军方、警方及大企业的高度重视和资助，美国军方每年还特别组织人脸识别竞赛以促进这一领域的发展。同时，一些科研单位和企业开始将研究的成果转化为实用产品，如m o r i s 公司的t u r e f a c e ，v i s n o i e s 公司的f a c e h ，以及z n b o c h u n i g r i b l h 公司研制的z n a c e 等。4时至今r ，很多公司和科研单位已经推出了很多成熟的人脸识别技术软件，如微软的e y e c u ，中科院自动化所研发的“a u t h e n m e t r i c 中科奥森 人脸识别系统和智能视频监控系统等。综合有关文献，目前的方法主要集中在以下几个方面：( 1 ) 模板匹配主要有两种方法，固定模板和变形模板。固定模板是首先设计一个或者几个参考模板，然后计算测试样本与参考模板两者之间的某种度量，以是否大于某个阈值来判断其测试样本是否是人脸。由于这种方法相对而言比较简单，在早期的人脸识别系统中采用得比较广泛。其缺点是由于人脸特征的变化较大，难以得到一个有效的模板来表示人脸的所有共性。变形模板与固定模板在原理上相同，但其中采用了一些非固定的元素，如加入手工构造参数化的曲线或曲面去表征人脸中的一些非固定特征，像鼻子、眼睛和嘴唇等。另一种方法是让系统自动去生成自适应曲线或曲面，构成变形的人脸模板。其检测过程是将模板与测试图像进行匹配，加入某种惩罚机制，利用一种能量函数来表示匹配程度。( 2 ) 示例学习示例学习的基本思想是从某一概念的已经给出的正例和反例的集合中采用归纳法，产生出接受j 下例，排斥反例的一般规则。实现步骤是将人脸样本和非人脸样本送入计算机，从而产生出判别规则，将之作为判断输入的测试样本图像是否是人脸的判别依据。缺点是为了获得比较高的精度，学习过程需要使用大量的样本，同时样本数据是高维矢量。研究精确的区分性和数据维数的降低是通用有效的学习算法的关键。示例学习的另一条研究途径是组合多个表示人脸模式的线性空间。如果采用k o h o n e n 自组织映射网络对人脸样本和非人脸样本两者进行聚类，再对每一类样本进行f i s h e r 线性判别，如此得到一个每一类的判别平面，将之构成图像子空间，同时，运用高斯模型描述出每个子空间，估计类条件概率密度。这样，对于测试样本图像，计算出其属于各个子空间的概率大小，选择分类决策概率最大的类，认为是它所属的类，从而判断测试样本图像是否是人脸。( 3 ) 神经网络神经网络从本质上讲也是一种基于样本的学习方法。近年来，将神经网络用在人脸检测技术上取得了很大的进展。m i t 的研究者首先对人脸样本集和非人脸样本集进行样本聚类，以测试样本分别与人脸样本集或者非人脸样本集的某个子类之间的距离当做分类的一个度量，分类器采用多层感知器( m l p ) 网络。而c m u的学者则直接以人脸样本图像作为神经网络的输入，设计出一个神经网络分类器，5它具有特定结构的适用于人脸特征，同时通过前馈神经网络优化检测结果。r a p h a e lf e r a u d 等人则利用了多个神经网络，如多层感知器( m l p ) ，约束产生式模型( c g m ，c o n s t r a i n e dg e n e r a t i v em o d e l ) ，实现了一个应用于计算机网络中人脸图像检索的快速方法，同时经过实验，其准确性也很高。s h a n g h u n gl i n 等人训练了三个神经网络( p d b n n ，p r o b a b i l i s t i cd e c i s i o nb a s e dn e u r a ln e t w o r k ) ，它们都基于概率决策。将之用于眼睛定位，人脸检测和人脸识别，实现了一个比较完整的人脸识别系统h 一 。( 4 ) 基于隐马尔可夫模型的方法马尔可夫模型是指一个归于离散时序有限状态的自动机，而隐马尔可夫模型( h m m ) 是指这一马尔可夫模型的内部状态对外界而言是不可见，外界只能得到各个时刻的模型的输出。对于人脸布局模式来说，我们可以把它按照某个序列分成前额，眼睛，鼻子，嘴巴和下巴。人脸模式可以通过对这些特定区域基于一个有序的识别来检测。隐马尔可夫模型对这一识别方式是容易做到的。s a m a r i a 等人首先提出了使用h m m 模型来对人脸进行检测的算法，他们将人脸区域的这种结构信息作为隐马尔可夫模型的一个状态迁移条件。除此以外，还有基于a d a b o o s t的人脸识别算法，基于形状分析的方法，基于彩色信息的方法，和多模态信息融合的方法，国外都投入了大量的资金，进行了研究与实验。国内对于人脸识别技术的研究开始于九十年代初，目前国内已有大量的人脸识别方面的文章和学术论文见诸于报，研究主要集中于部分有实力的高等院校和科研院所。大多数的研究是以k l 变换和神经网络为基础展开的，但实践证明：这两种方法都不会产生很好的人脸识别效果。在国内，是南京理工大学的学者开展的基于最佳鉴别矢量集的研究是基于计算机的人脸识别技术研究最成功的。多年来，他们通过用伪逆矩阵代替逆矩阵、在类内散布矩阵中添加奇异值扰动，以及讨论逆矩阵的求解空间，不断给出最佳鉴别矢量集的优化算法。他们的研究方向主要是针对基于f i s h e r 线性判别准则进行的多类分类问题来展开的。中科院计算所在完成对8 0 0 0 多个人脸的成功识别后，“面像检测与识别核心技术 一一这一国家8 6 3 项目通过了有关专家委员会的鉴定。这标志着我国在人脸识别这一当今热点禾姗领域中掌握了一定的核心技术。近年来，国内又有入给出了基于傅里叶不变特征的计算机人脸识别方法，从而开始了应用傅里叶变换特征进行人脸识别的先河，该方法也取得了很好的识别性能。在神经网络算法方面，南京理工大学的於东军博士发表的论文成功引入了模糊神经网络的思想进行分析和应用，并得到了较好的识别效果，”。近期，四川大学计算机学院研究的人脸机器自动识别关6键技术及应用系统的研究通过教育部主持的科技成果的鉴定。人脸机器的自动识别的主要创新点为：1 、提出了一系列具有人工智能特征的图像预处理自适应算法。深入研究了遗传算法、神经网络等计算智能理论，利用相关研究成果，比较成功地解决了图像分割中门限的自适应选取、彩色和灰度图象增强中变换函数的自适应选取、图像模板匹配中的快速自动定位等问题，较大幅度地提高了算法的运算速度，同时克服了人工干扰等缺点。2 、提出了一系列新颖的复杂背景下的人脸检测技术。利用四元数理论、小波变换、s v m 和信息融合等技术，较大程度地提高了算法的准确率和鲁棒性，一定程度上克服了光照、噪声、姿态以及遮挡物等因素对人脸检测结果的影响。3 、提出和改进了一系列人脸特征提取和识别算法：利用“先验模板”、活动轮廓、动态模板、广义数字曲率、图形特征等技术，较好地解决了人脸边缘提取时容易产生不连续变异点或边缘粗化等问题，实现了对各种脸部五官轮廓特征的联系提取和形状描绘。利用信息融合技术、流形技术和计算智能理论等设计分类器，提高了识别分类能力。该项目在图像的自适应预处理、基于四元数的人脸检测和识别等方面具有创新性，整体上处于国内领先、国际先进水平。用该项目的自主知识产权核心技术开发的智能视频图像监控系统、智能考勤系统等一系列基于人脸识别技术的产品，已经得到较好应用，取得了良好的社会与经济效益。1 3 模糊神经网络的研究现状模糊神经网络起源于2 0 世纪8 0 年代后期的同本。在此之前，模糊技术在日本已得到极大的重视和发展，并广泛应用在家电和工业控制中。自第一届i e e e 国际神经网络会议召开后，日本研究人员就开始了模糊神经网络研究，并在1 9 8 9 1 9 9 1 年发表了一系列有关模糊神经网络的文章。当时，模糊神经网络研究的热点是如果利用神经网络的学习能力来实现模糊系统的自动设计，并在1 9 9 1 年率先推出了模糊神经网路洗衣机，随后，逐渐应用到机器控制，工业过程控制等领域。受到同本模糊神经网络成功应用的影响，欧美也从2 0 世纪9 0 年代开始模糊神经网络的研究，特别是由美国加州大学贝克莱分校的扎德教授领导的软计算创新小组( b i s c ) 在模糊理论和模糊神经网络方面作出了杰出的贡献，并极大的推动了模糊神经网络在世界范围内的研究工作。近年来，我国在模糊系统和模糊神经网络的研究上也涌现了大量的论文和应用成果。2 0 0 4 年9 月在秦皇岛举行的人工智能学会强调“人工智能学科的研究对象7开始从以确定性问题为主转移到以不确定性问题为主”，并公布了2 5 个人工智能重大前沿研究课题，此次大会的主旨更是推动了我国模糊系统及模糊神经网络的研究。国内很多高校，如南京理工大学，国防科技大学等在模糊神经网络的研究上也作出了很多工作随9 1 。与模糊理论经过长时间才被认可相比，模糊神经网络之所以能在短时间内被广泛认可，其魅力就在于简单、实用。到今天，模糊神经网络已不仅应用在消费电子、工业控制，还包括系统辨识、图像处理、模式识别、数据挖掘、财务工程等许多领域。1 4 本章小结本章首先介绍了本文的研究背景，意义及其应用前景，接着简述了人脸识别在国内外的发展现状，这其中说明了国内在这方面的研究方向和所取得的成果，最后引入了模糊神经网络的发展及其在不确定性人工智能方面的重要延伸，给出了本文研究模糊神经网络在人脸识别方向的应用依据和可把握的方向。8第二章模糊神经网络性质及其模糊算子2 1 人工神经网络人工神经网络本质上是模拟人脑思维方式的一种数学模型，它反映出人脑功能的基本特征，如并行处理信息、进行联想、学习新事物、模式识别、事物分类、事件感知、推理等，同时它还具备另一部分智能行为一一思维、学习、信息处理等功能。神经网络是现代生物学在研究人脑内部结构和功能的成果基础上提出来的，也是用于模拟人类大脑中神经网络的构造和功能的数学模型，即可以用电子元件或光电元件等构成的线路予以实现，也可用软件在计算机上进行仿真。它是一门高度综合的交叉学科，已经应用并渗透到工程各个领域。神经网络的基本组成单元是神经元，数学上的神经元模型和生物学上的神经细胞是对应的。或者说，人工神经网络理论用神经元来描述客观世界，而这种神经元只是一种抽象的数学模型。神经网络的功能是“感知”，其实现是通过神经元中相互间的信号互相传输，互相作用引起的。这种功能不是靠一个神经元实现的，而是整个网络的实现了这种功能。单个简单的神经元相互之间互相作用，其产生的功能就变得复杂而强大。根据神经元的生理解剖和它的功能特性，经过分析提出如图2 1 所示的神经元i 的数学模型。毛图2 1 神经元的结构模型根据这个结构模型，神经元可以看做是一个多输入单输出的非线性信息处理单元，设神经元的输出为y ，则有9其中y i = = f ( n e t )( 2 1 )刀- - z _ - e ,( 2 2 )j式中：_ 为由神经元j 到神经元i 的输入，j = l ，2 ，n ；以为神经元i 的输出，可以跟其他多个神经元连接；为神经元j 到神经元i 的连接权值；9 为神经元i的阙值；f ( o ) 为神经元的激发函数，或称作用函数，它是一个非线性函数。神经元模型有多种激发函数( a c t i v a t i o nf u n c t i o n ) ，它们具有的突变性和饱和性，反映了神经元的冲动和疲劳特性( 兴奋和抑制) 。从神经网络的连接方式着眼，可以认为有以下三种基本形式。( 1 ) 前馈型神经网络前馈型神经网络又称之为前向网络。如图2 2 所示，每个神经元为一个节点，用小圆圈表示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受上一层神经元的输出变成这一层的输入。前馈型神经网络在结构上的最大特点是含有比较多的隐含层，能够提取高序统计数据。输入层隐含层输出层图2 2 前馈型神经网络结构示意图输入信息经过各层的变换后，由输出层输出。感知器和误差反向传播网络都采用这类前馈神经网络结构的形式。这类神经网络具有以下特征：1 ) 能逼近任意非线性函数；2 ) 能对信息进行并行分布式处理与存储；3 ) 可以多输入、多输出；4 ) 便于用超大规模集成电路或光电集成电路系统实现，或用现有的计算机技1 0术仿真；5 ) 能进行学习，以适应环境的变化。此外，这种网络还可分出一种叫输出反馈的前馈式网络和前馈式内层互连网络。前者的网络结构与前馈式网络的不同之处是：这种网络存在一个从输出层到输入层的反馈回路。后者网络结构中，同层的神经元是相互关联，相互制约的，但从层和层之间的关系来看，还是属于前馈式的网络结构。许多自组织的神经网络大多具有这样的结构，如a r t 网络等。( 2 ) 反馈型神经网络如图2 3 所示，该神经网络结构中至少含有一个反馈回路，其中每一个输入节点都有可能接受来自外部的一个输入以及来自输出神经元的反馈。这种神经网络是一种基于反馈动力学系统，它需要在工作一段时间后，才能达到稳定。反馈型神经网络又分为反馈型全互连网络和反馈型局部互连网络。前者网络中，由于其神经元之间复杂的相连关系，每一层的神经元输出会影响下一层，最后一层的输出又会反馈到输入结点。后者网络中，单个的神经元只和局部的神经元有联系，所形成的反馈也只限于局部，故也可看成是网状结构。反馈网络中最简单且应用最广泛的模型是h o p f i e l d 神经网络，它具有联想记忆的功能，如果将l y a p u n o v 函数定义为寻优函数，h o p f i e l d 神经网路还可以解决寻优问题。图2 3 反馈型神经网络结构示意图( 3 ) 自组织网络k o h o n e n 网络是最典型的自组织网络。当神经网络在接受外界输入时，网络将会分成不同的区域，每个区域具有不同于其他区域的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图。k o h o n e n 网络实际上是一种非线性映射，这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图n0 川。2 2 模糊逻辑系统一般的说，模糊逻辑系统是指那些与模糊概念和模糊逻辑构成直接关系的系统。它由模糊产生器、模糊规则库、模糊推理机和反模糊化器四部分组成。模糊逻辑系统具有许多极其重要的优点：( 1 ) 由于输入、输出均为实型变量，故特别适用于工程应用系统：( 2 ) 它提供了一种描述专家组织的模糊“i f t h e n 规则的一般化模式；( 3 ) 模糊产生器、模糊推理机和反模糊化器的选择有很大的自由度，因此当用模糊逻辑系统解决某些特殊问题时，可通过学习的方法，选取最优的模糊逻辑系统，使之能有效地利用数据和语言两类信息。按照常见的形式，模糊逻辑系统可分为纯模糊逻辑系统；高木关野模糊逻辑系统；广义模糊逻辑系统。纯模糊逻辑系统实质上是仅由模糊规则和模糊推理机组成的系统，如图2 4 所示：图2 4 纯模糊逻辑系统其特点之是输入输出均是模糊集合。模糊规则由若干“i g t h e n ”规则构成，模糊推理机在模糊逻辑原则的基础上，利用这些模糊“i f - t h e n ”规则决定如何将输入论域vcr “上的模糊集合与输出论域vc r 上的模糊集合对应起来。模糊推理规则形式为：尺“：i f 而i se 7 ，i s 层t h e nyi sg 7其中，f7 和g 7 均为模糊集合。x = ( x l ，x 2 ，矗) r u ，y e v , x 和y 分别为输入和输出语言变量，l = 1 ，2 ，m 。纯模糊逻辑系统的优点是，它提供了一种量化专家语言信息和在模糊逻辑规则下系统地利用这类语言信息的一般化模式；但亦有缺点，即输入输出均为模糊集合，不易为绝大多数工程系统所应用。t a k a g i s u g e n o 模糊逻辑系统事实上是一般化模糊逻辑系统的特例。但它在许1 2多实际领域中得到了成功应用。在此系统中，模糊规则有着下列的特殊形式：r “：i f 五i sf 7 ，i sct h e ny l = c i + c ( x l + + c i n x ，式中，f 7 为模糊集合；q 为实数；y 7 为系统根据此条规则得到的输出，是一个实数，i = 1 ，2 ，m 。对于一个输入向量x = ( 五，而，x h ) r ，t a k a g i s u g e n o 模糊系统的输出y 定义为：mny 7 兀材y = 号一( 2 3 )兀“t = lt = lt a k a g i - s u g e n o 模糊逻辑系统的主要优点是，它的输出能由规则库中变量的诸隶属函数以及规则的输出精确确定。因此能用系统辨识的方法来确定该系统的参数，用确定系统阶数的方法来确定规则数m 。该系统的缺点在于其规则的结论部分是非模糊的，这对于描述专家的经验带来了很大的不便1 2 郴】。而广义模糊逻辑系统是指可以包含现有的所有模糊逻辑系统，因而很具有普遍适应性。2 3 模糊神经网络及其模糊算子模糊逻辑的发展已经神经网络的完善，使得近十年以来智能控制技术得到了长足的进展。模糊逻辑和神经网络虽然属于两个不同的领域，它们的基础理论相差较远，但它们都是智能的仿真方法，从客观实践和理论上讲，是完全可以结合使用的。把模糊逻辑和神经网络相结合就产生了一种新的技术领域，即模糊神经网络。与传统的神经网络模型不同，模糊神经网络的结构和权值都有一定的物理含义。在设计模糊神经网络结构时，可以根据问题的复杂程度以及精度要求，并结合先验知识来构造相应的模糊神经网络模型。这样，网络的学习速度就会大大加快，并在一定程度上回避了梯度优化算法带来的局部极值问题。目前，模糊神经网络有三种形式：算术模糊神经网络、逻辑模糊神经网络、混合模糊神经网络。模糊神经网络是一种具有模糊权系数或者输入信号是模糊量的神经网络。上面三种形式的模糊神经网络所执行的运算方法是不同的。学习算1 3法是模糊神经网络优化模糊权系数的关键所在。一方面，逻辑模糊神经网络，采用的学习算法是基于误差的，即监视学习算法。一方面，算术模糊神经网络，则有诸如模糊b p 算法、遗传算法等算法。对于混合模糊神经网络，现在尚未得出有合理的算法。模糊神经网络可应用于模糊回归、模糊专家系统、模糊控制器等方面。( 1 ) 算术模糊神经网络：算术模糊神经网络是一种可以对输入的模糊信号执行模糊算术运算，并且其权系数是模糊权系数的神经网络。通常，算术模糊神经网络也可称之为常规模糊神经网络，或称之为标准模糊神经网络。常规模糊神经网络有三种基本类型：1 ) f n n l ：是含有模糊权系数，而输入信号为实数的神经网络。2 ) f n n 2 ：是含有实数权系数，而输入信号为模糊数的神经网络。3 ) f n n 3 ：是含有模糊权系数，而输入信号为模糊数的神经网络。模糊算术运算包含模糊乘和模糊加两种基本模糊运算。常规的模糊神经网络最典型的结构是像f n n 3 一样的结构，而f n n l 与f n n 2的结构和f n n 3 相同，其运算过程都可以由f n n 3 结构的运算过程推导出来。在f n n 3 结构中，模糊权系数和输入信号都是模糊数，而神经元对信息的处理是用模糊加、模糊乘以及非线性的s 函数。常见的f n n 3 结构如图2 5 所示，它是一个三层的神经网络，输入层包含有两个神经元，隐含层包含有两个神经元，输出层包含有一个神经元。网络中的神经元分别用编号l 5 标出。nm图2 5 算术模糊神经网络很明显，对于神经元3 ，如它的输入为虬，则有u = ( 3 ) o ( m p 吸，)式中：0 为模糊加运算； 为模糊乘运算。1 4( 2 4 )对于神经元4 ，如其输入为u ，则有u 4 = ( n o 彬。) 0 ( m 0 4 )( 2 5 )用d 3 、q 分别来表示神经元3 、4 的输出，则有：0 3 = 厂( 虬) ，d 4 = 厂( u )对于神经元5 ，如其输入为址，输出为y ，则有u 5 = ( 0 3 k ) o ( q0 k )y = 厂( 以)( 2 6 )最终输出y 是由传递函数s 求出的，其模糊数为【o ，1 - 】厂= f n n ( n ，m )对模糊神经网络来说，在输入为n ，m ，输出为y 时，可以将其看做n ，m 通过神经网络后映射为y ，并表示为：y = f ( ，m )( 2 ) 逻辑模糊神经网络的应用逻辑模糊神经网络则是由逻辑模糊神经元组成的。逻辑模糊神经元是具有模糊权系数，并可以对输入的模糊信号进行逻辑操作的神经元。模糊神经元所进行的模糊运算有算术运算、逻辑运算和其他运算。不管怎样，由于模糊神经元的基础是传统得神经元，因此可由传统的神经元推导得出。可执行模糊运算的模糊神经网络是从一般神经网络发展而来的。一般的神经网络的基本单元是传统神经元。传统的神经元模型由下式描述：只= f i e _ 一谚( 2 7 )式中：x j 为神经元的输入；w 。为权系数； 】为非线性激发函数；只为神经元的输出。如果将上式中的相关运算改为模糊运算，则可以得到基于模糊运算的模糊神经元，这种神经元的模型可以表示为：只= f o 。r ( w ，, , a n d x ，, ) ( 2 8 )式中：“o r ”运算为模糊逻辑“或”运算，从而有“或”神经元，或者表示为：咒2 苫( ，ax j )同理也有“与神经元的模型，即：y i2 台( vx j )对于一个神经元，考虑到其输入信号是以隶属度函数表示的，值表示的，于是把输入向量表示为：x ( t ) = x o ( t ) ，五( ，) ，矗( f ) 7 o ，l r1 5( 2 9 )( 2 1 0 )而不是以绝对( 2 1 1 )很明显，这些输入信号在( n + 1 ) 维超立方体 0 ，1 r 1 之内，隶属度函数的隶属度为 0 ，1 问的值，而输入信号艺( ，) 是模糊量，用隶属度表示。同理，网络中的权系数向量也可以用超立方体 o ，l r + 1 中的信号表示为w ( t ) = 【w o ( t ) ，m ( f ) ，( ，) 7 o ，1 r 1( 2 1 2 )式中，权系数( f ) 是模糊量，这时的神经元结构如图2 6 所示：烁= - - - - 玩x l = “1x 。- - u 。图2 6 模糊神经元模型对于输入而，x 2 0 ，l 】，定义a n d 操作为t 映射，即耳= 【x l a n d x ：】= 【五磁】- 玎x x ，t 】( 2 1 3 )同理，定义o r 操作为s 映射，即乓= 墨o r x 2 a = 【五瓯】= s r ，置( 2 1 4 )并且，定义n ( 非) 操作为n 映射：【o ，l 】专【o ，1 】，即k = x l 】= 1 一五( 2 1 5 )故有：( 0 ) = 1 ，n ( 1 ) = 0 ，n n ( x ) = x 。( 3 ) 混合模糊神经网络在网络的拓扑结构上，混合模糊神经网络的形式和常规模糊神经网络几乎是一样的。它们之间的不同仅在于如下两点：1 ) 输入到各自神经元的数据聚合方式不同。2 ) 神经元的激发函数，或称传递函数不同。在混合型模糊神经网络中，任何操作都可用于聚合数据，任何函数都可用作传递函数去产生新的网络输出。对于专门的应用，可选择与之相关而有效地聚合运算和传递函数。而在常规模糊神经网络中，数据的聚合方法选择模糊加或模糊乘运算，传递函数采用s 函数【1 6 19 1 。模糊蕴涵算子对于模糊神经网络来说有着非常重要的作用。我们先从模糊系统分析。对于单输入单输出的模糊控制系统，目前通常有如下方法：1 6设x 是输入变量的论域，y 输出变量的论域，a - a i ) ，s i 如a b 和b = e ) ，g g 分别是x ，y 上的一簇模糊集集合。若把a ，b 看做语言变量，由此便形成n 条推理规则：i fxi sa it h e nyi se ，i = l ，n ，这里x x ，y y 称之为基础变量。x 到y 的模糊关系称为r = 4 e 的关于第i 条推理规则的真域。如若用秒代表某个特定的模糊蕴涵算子，则r ( x ，y ) = 4 ( x ) 秒e ( y ) ，x x ，y y ，这n 条推理规则的真域之和为r = ij r ，即苫即，zr ( x ，少) = v r i ( x ，y ) = v 1 ( a i ( x ) o b i ( y ) )( 2 1 6 )1 = 1一l=l一给定a f ( x ) ，则推理结果b f ( y ) f ，它是由c r i 算法确定，即b = a a