（模式识别与智能系统专业论文）神经网络、模糊系统的几个问题研究及其在人脸识别中的应用.pdf

博士论文神纷嘲络、模糊系统的几个问题研究艘其在人臆识别中的应用 摘要 近年来，神经网络和模糊系统在理论与实践上取得了令人瞩目的进展。但是 在神经网络和模糊系统的实际应用中，仍存在一些噬需解决的问题，本文对其中 常见的几个润题进行了研究。 对于常用的三层结构的神经网络，隐节点数目的确定赢是个难题，至今无 定论。本文研究了工程上常渴韵三层b 祥象稃经网络，采斓褐造佼的方法证萌 了b 样条神经网络的全局逼近能力，并且给出了构造几乎最小隐节点的算法， 飘聪在理论上为b 群条神经网络的後用提骰了依据。 针对呈现层次特征的应用领域，本文摄出了相应的层次径向基神经网络 ( h i e r a r c h i c a lr b f n ) 。并且证鞠了 r b f n 是一个全局遥远器。h r b f n 鼙适合 于具有层次结构的应用领域，并且h r b f n 还能够部分消除使用r b f n 会造成隐 节点随着输入交量数鑫增翻褥急捌灞多静瓣蘧。 模糊系统可以蹦两种方式应用于非线性系统辨识：串并联方式和并联方式。 本文莓薨究了窜并联方式模鞠系统数数字遥远特瞧，缮毫缝论：当摸糕痰列数笛予 样本数时，已经可以实现精确插值，因此模糊规则条数不能超过样本数目，否则 将冗余，并可爱弓l 越振荡，瓣弱模髑系统靛泛纯能力。懿外还硬究了系统遥逅误 差和初始状态误差对串并联模糊系统性能的影响，指出：只要模糊系统逼近实际 系绞足够好，繇镬帮翥之越存在袒鲶按态误蒺，模裁系统仍缝良好王作。 对于以并联方式进行非线性系统辨识时的模糊系统。本文研究了其预测收敛 健和辨识收敛性。 委甥了只簧荠联模壤系统的参数瀵足一定兹条l 串，可默傈涯并 联模糊系统的预测收敛和辨识收敛，并给出了该条件。 应用援糊系统融，卷鬻会遇到的一个问题毅是系统中可能存在冗余的摸糨子 集和模糊规则。一方面增加了系统复杂性，浪费了计算能力，另一方面也给使用 自然语言来攒述系统造成了爨难。本文针对髑模糊系统提爨一耪模糨子集秘模 糊规则的合并算法。使用该算法能有效地减少模糊子集和模糊规则的数目，进而 减小了系统的复杂健，提高系统的可描述性。 最后，本文将神经网络和模糊系统用于入脸识别。本文先应用神经网络技术 构建了一个完整的人脸识别系统：酋先使用基于眼睛位置估计的方法从人脸图像 中分割出对识剐有意义的纯脸，然后使用自组织映射进行特征压缩，提取有效的 鉴别特征，最后使用基于知识的模糊神经网络进行分类。 本文还键出一羊牵人脸识别的模糊神经模型，该模型中的每条模糊规则糟以估 计模式在特征空间分布中的一个簇。通过自适应调节和模糊推理，对于每个绘定 摘要博士论文 的模式，所提模型能够给出一个信度值表示该模式属于各个类别的程度。整个系 统采用o c o n 的机构，该结构具有易收敛、识别快、适合分布式应用和增量式 学习等特点。文中使用新颖的方法来确定模糊规则的条数和初始化模糊子集参 数。实验结果证明该方法具有快的学习识别速度、高精度和强鲁棒性的特点。 关键词：神经网络，模糊系统，收敛性，全局逼近，特征提取，模式识别，人脸 识别 堡：! 黧苎! ! 墅璺塑：堡塑墨竺塑丛尘塑璧竺! 塞墨基堡堕望型! 煦鏖旦一 a b s t r a c t i nr e c e n ty e a r s ，n e u r a ln e t w o r ka n df u z z ys y s t e mh a v ea c q u i r e dp r o m i n e n t s u c c e s s e sb o t hi nt h e o r e t i c a la n da p p l i e da s p e c t s h o w e v e r , t h e r es t i l le x i s t sm a n y p r o b l e m sn e e d t ob es o l v e di nr e a lw o r l da p p l i c a t i o n s e v e r a lc o m m o n p r o b l e m sa r e r e s e a r c h e di nt h i sp a p e r f o rt h ec o m m o n l yu s e d t h r e e l a y e r e dn e u r a ln e t w o r k ，h o w t os e l e c tt h en u m b e r o ft h eh i d d e nn o d e si sa l w a y sar e a lp r o b l e m t h i sp a p e rr e s e a r c h e st h et h r e e l a y e r e d b s p l i n en e u r a ln e t w o r k ，w h i c hi sc o m m o n l yu s e d i n e n g i n e e r i n ga n dp r e s e n t s a c o n s t r u c t i v ea l g o r i t h mf o rs e l e c t i n gt h en u m b e ro ft h eh i d d e nn o d e s i ti sp r o v e dt h a t t h ep r o p o s e sa l g o r i t h mc a nb eu s e dt ob u i l dab - s p l i n en e u r a ln e t w o r kw i l hm i n i m u m h i d d e nn o d e st o a p p r o x i m a t ea n yc o n t i n u o u sf u n c t i o nd e f i n e do nc o m p a c ts e tt o a p r e s c f i b e da c c u r a c y c o n s i d e r i n gs o m ea p p l i c a t i o nf i e l d sm a y t a k eo nh i e r a r c h i c a lc h a r a c t e r i s t i c s ，t h i s p a p e r p r o p o s e s a c o r r e s p o n d i n g h i e r a r c h i c a l r a d i a l b a s i s f u n c t i o n n e t w o r k ( h r b f n ) a n di t su n i v e r s a la p p r o x i m a t i o np r o p e r t yi s p r o v e d c o m p a r e d w i t ht h ec l a s s i c a l r b f n ，h r b f ni sm o r es u i t a b l ef o ra p p l i c a t i o nf i e l d sw i t hh i e r a r c h i c a lc h a r a c t e r i s t i c s 。 i na d d i t i o n ，h r b f nc a n p a r t i a l l ys o l v et h ep r o b l e mo ft h er a p i di n c r e a s i n go ft h e h i d d e nn o d e sw h e nt h ed i m e n s i o n o f i n p u ti n c r e a s i n g 。 f u z z ys y s t e mc a i lb eu s e dj ni l o n l i n e a rs y s t e mi d e n t i f i c a t i o ni 力t w om o d e s ：o n e i s s e r i e s p a r a l l e lm o d ea n dt h eo t h e ri sp a r a l l e lm o d e 。t h i sp a p e rr e s e a r c h e st h e n u m e r i ca p p r o x i m a t i o nc h a r a c t e r i s t i co fs e r i e s - p a r a l l e l f u z z ys y s t e ma n dp o i n t so u t t h a tt h en u m b e ro ff u z z yr u l e ss h o u l dn o te x c e e dt h en u m b e ro f 也es a m p l e s i n a d d i t i o n ，t h ei n f l u e n c eo f a p p r o x i m a t i o n e r r o ra n d s y s t e m i n i t i a le r r o ro n t h e p e r f o r m a n c eo f t h es e r i e s p a r a l l e lf u z z ys y s t e mi sa l s oi n v e s t i g a t e d a st ot h e p a r a l l e l f u z z ys y s t e m ，t h i sp a p e rp r o v e st h a ta sl o n ga st h ep a r a m e t e r so f p a r a l l e lf u z z ys y s t e m m e e ts o m e p r e r e q u i s i t e s ，t h ep a r a l l e lp r e d i c t i o np r o c e d u r ec o n v e r g e sa n dt h ep a r a l l e l i d e n t i f i c a t i o na l g o r i t l u nl o c a l l y c o n v e r g e s i na p p l y i n gf u z z ys y s t e m s ，ac o m m o n p r o b l e mi st h a tt h e r em a ye x i s tr e d u n d a n t f u z z ys u b s e t sa n dr u l e s ，w h i c hc a l lo nt h eo n eh a n di n c r e a s et h ec o m p l e x i t yo ft h e f u z z ys y s t e ma n dw a s t i n gt h ec o m p u t a t i o n a lc a p a c i t y , o nt h eo t h e rh a n dm a k ei t d i f f i c u l tt od e s c r i b et h ef u z z ys y s t e mw i t hn a t u r a l l a n g u a g e i nt h i sp a p e r , m e r g i n g a l g o r i t h m so ff u z z ys u b s e t sa n dr u l e sa r ep r o p o s e dt od e a lw i t ht sf u z z ys y s t e m s j 摘臻博士论文 t h e s et w oa l g o r i t h m sc a ne f f e c t i v e l yr e d u c et h en u m b e ro f f u z z ys u b s e t sa n dr u l e s ， t h u sg r e a t l yd e c r e a s et h ec o m p l e x i t ya n de n h a n c et h ed e s c r i p t i v ec h a r a c t e r i s t i co ft h e f u z z ys y s t e m t h i sp a p e rp r o p o s e saf u z z yn e u r a lm o d e lf o rf a c er e c o g n i t i o n t h ea r c h i t e c t u r e o f t h ew h o l es y s t e mt a k e ss t r u c t u r eo f o n e c l a s s i n o n e - n e t w o r k ( o c o n ) ，w h i c hh a s m a n ya d v a n t a g e ss u c ha se a s yc o n v e r g e n c e ，s u i t a b l ef o rd i s t r i b u t i o na p p l i c a t i o n ， q u i c kr e t r i e v i n g ，a n di n c r e m e n t a lt r a i n i n g n o v e lm e t h o d sa r eu s e dt od e t e r m i n et h e n m n b e ro ff u z z yr u l e sa n di n i t i a l i z e f u z z ys u b s e t s t h ep r o p o s e da p p r o a c hh a s c h a r a c t e r i s t i c so fq u i c kl e a r n i n g r e c o g n i t i o ns p e e d ，h i g hr e c o g n i t i o n a c c t l r a c ya n d r o b u s t n e s s e x p e r i m e n t s o no r ld e m o n s t r a t et h ee f f e c t i v e n e s so ft h e p r o p o s e d a p p r o a c h a n d a r ta v e r a g e e r r o r r a t e o f 3 9 5 i s o b m i n e d 。 k e y w o r d s ：n e u r a ln e t w o r k ，f u z z ys y s t e m ，c o n v e r g e n c e ，u n i v e r s a la p p r o x i m a t i o n ， f e a t u r ee x t r a c t i o n ，p a t t e mr e c o g n i t i o n ，f a c e r e c o g n i t i o n 博：i ：论文神经叫络、模糊系统的几个问题研究及琏堑奈壁塑型! 塑壁里 1 1 论文的背景和意义 1绪论 神经网络是一门活跃的边缘性交叉学科，神经网络理论是巨量信息并行处 理和太栽摸并行诗冀静基础。它氍怒嵩度j 线性动力学系统，又是自适应组织系 统。8 0 年代，神经网络的兴起，已经对认知和智力本质的基础研究乃至计算机 产鼗都产生了空前的剩激和掇大豹戆动强”。 近十年来，神缀网络的理论与实践有了引人注目的新发展，它再一次拓展 了计算概念静内涵，使褥摊经诗算、迸纯计簿成为新鹃学科，季牵经圈络的软伟模 拟得到了广泛的应用。神经网络的前沿问题将渗透在本世纪科学的挑战性问题 中，并可能取褥重大突破。 自l a z a d e h l 2j 予1 9 6 5 年引入模糊集合的概念，模糊系统在理论和实践上 均取褥了耀囊豹残功。摸凝聚统在尊线洼系统瓣识、模式谈爨秘专象系统等领域 得到广泛应用口“。 尽管季枣经网络、模凝襄统在缀多领城德爨了袋功应簿，但是我豢应该番到 在收敛性、稳定性、鲁棒性、误差分析、性熊优化等许多方面有值得进一步研究 鲍媳方。对这些阀题憨疆究姆趣深瓣享孛经网络、模瑕系统本蔟的理鳃，逶一步雄 动神经网络、模糊系统在人类生产实践中的应用。本文针对神经网络和模糊系统， 磺突了熟下瓣见个淘题： 一神经网络的隐节点选取问题 一呈瑷层次特经鲍领域如俺使鼹r b f n 一模糊系统的误差分析及收敛性 模嬲系统的伐化 神经网络、模糊系统在人脸识别中的应用 下面先对上述几点闻题的磺究现状作一下篱要甄颞： 1 1 1 前馈神经网络的隐节点选取问题 前馈神经网络是目前应用最广泛的神经网络模型之一，其中隐节点数目的确 定一巍是个闷题。酶节点数弱越多，神经网络越很好的学习调练样本，输出误 差也越小，1 量是往往会出现网络的过度拟合现象，导致泛化能力降低。另一方蕊， 绪论 博士论文 隐节点数髫太少，虽然可以其眷相对较好的泛化能力，但是对样本翦学习缀难收 敛。 对于莉馈神经鄹络隐节点数目筋勰定媾送，已经有了一些研究，概括寒说。 主要奢【蛹： l 。1 1 。l 凑试方法 该方法是捣造不藏隐节点数目豹毒率经网络，分剐进行学习诩练，然后按照 定的评价攒标选取最优的。 凑试方法国优杰怒容易璞解、麓单易行，但是存在几个缺点： 一繁磺费时 依赖经验 不糍徐证确解 翻于测缀对初始条 孛、谢绦参数较敏感，并且存在届帮极小静可靛犍，所 以该方法银难找裂适宜的网络结梅。 l 。1 1 2 避纯方法 遗传算法是基予生物避毙理论戆全局穗戳优传冀法，将遗传葵法发尾予穹孛经 网终结构秘参数的孥习中，辘霄效造避免经典b p 算法容易麓入局部疆小的缺点。 在聿枣经网络中使用遗传算法摄关键的问题最如何对鼹终的参数进孬合适的缡礤。 按照编码方式翡不疑，可以分为以下三种： 一直接编码方法8 】 她种编秘方式将嘲络缭秘和参数童接羽：避穰枣表述如来，遮秘方寨的优 点是赢观嘲了，但怒随着霹络规模酶变大，染色体的长度急剧增加，也就使得搜 索空湖急测交太，露蜣过程变的缓漫。 一闻接编码方法7 ) 阙接缀璐方法又可以嘲徽特征缀秘，在这释缡璐方式中，只对潮络绪鞫的 主瑟特征避行编码，因而可以极大减短染色体的欧度。较之子直接编码方法，闻 接编璃方法豹恍点怒简链，遁糯予较大的潮络；毓点怒犏秘稳对接象，不如直接 编码方法客荔理解。 语法编码方法 嘲 该方法将一些简单的添终生长语法飙剩编码于染色体申。通过雏长规掰的进 亿修改，垒或满足润戆要求静灞络络稳。应该说这耱方法类议于垂然器生貔稳自 然熏长与遴化规则，可以眉子大嫒楱鹃网络。 2 博士论文神经厕络、模糊系统的几个问题研究及摹宴杰堕堡型生! ! ! 塑 1 ，l 。1 3 剪技方法 剪枝方法的主要思想是：初始时，构造一个包含冗余隐节点和权值的网络 结构，然后在学习进程中依握一定的援则删除不必耍的节点或是权健。初始时冗 余节点的存在，能够保证网络较快的收敛，降低对初始条件的敏感性。然后通过 剪枝方法删除不必要的节点和权值，以降低网络的笈杂性，提高网络的泛化能力。 剪枝方法中又可以分为如下的几个方面： 复杂性调整方法 该方法在网络目标函数中引入表示网络结构复杂性的惩罚项，在优化过程中 通过降低网络结构的复杂健，以达到修剪网络结构的目的。通常目标函数定义为 如下形式： j ( 彤) = 嚣( 酽) + x c ( w ) 其中矽为网络权值集合；( ) 为网络误差颈ic ( 矽) 为网络结构复杂性惩 窃项；a 为调整参数，表示c ( 形) 在目标函数中相对于e ( 妒) 的衩重。在调练过程 中，遥过调整扩，掇小纯瓣稼丞数，( 黟) ，在减少溺络谟蓑懿同黪，降簸潮络结 构的复杂髅。一般说来，定义不同的c ( ) ，会有不同的调整效能，但是基本思 路是相同的：在训练过程中先删除冗余的权值；当不再有权连接到某个节点时 该苇点也戴是冗余蛇，可以测除。 h i m o n 等2 1 定义c ( ) - - i t w ) l2 = 蟛( o 为权值下标值) 。在 j j j 练过程中冗余 的粳值将袋躐至0 ( 或0 附近) ，从而可以潮除。 w e i g e n d 掣愀c = 萎籍，其中( w o o ) ，这黪凯 鹄 对，表明在网络中较重要；当l m l 疲薅领域，懿暴经霜逶鬻涎径自纂毒枣经刚终寒遥远该系统，就会瀵 除系统本身固有的层次特性，并且在实现上变得困难。 这嚣个阀题都霹疆逶过镬用盛次绞囱基 搴经霹终寒趣鞋躺决。西藏本文怼璺 现层次特征领域如何使用r 3 f n 进行丁研究，构造出相应的层次型径向基神经网 络h r b f k ，这样既霹以傈整经向基季枣经网络孵优点，又能在物理意义上报好缝 符合实际系统。 1 1 3 模糊系统的误差分析及l l ；c 敛性 建立在模糊集合溅论基础上的模糊系统，已经在 # 线性系统辨识、函数逼近、 模式识别、机器学习簿领域得到了极广泛的威用。模糊系统用于非线性系统【3 6 j 的辨识是最重臻的分支之一， 模糊系统通常以两种方式应用于实际系统；一是串并联方式，一是并联方式， 其中霓戳串并联方式滔多。 本文研究了模糊系统以上述两种方式辨识带时间延迟的非线性系统时的几 个问激： 串并联模糊系统的误差分析 势联簇颧系统豹较敛毪 下面给出进步的说明： 窜著联模糊系统的谟藏分聿厅 当模糊系统以串并联方式辨识带时间延迟的非线性系统时，有如下问题必须 考虑： 使用模糊系统逼近实际系统时必定存在误差 摸鞫系统帮实际系绕戆拐始羧态篷不褥耱严辫鞠溺 由于在完成模糊系统的学习后，是要独立使用模糊系统的，上面的问题口必 定会影演模糊系统螽续豹运行，有霹戆会遥或误差豹逐缀放大，导致模糊系绞运 行发散。 戴终，耄予阂题登酾园是嗣辩并存豹，那么镬瘸这撵豹模赣系统逐蠢镶障噶? 如果是，那么保证模糊系统性能的临界条件又是什么睨? 零文第4 搴踺这整阕题遴葶亍了礤炎，蒡绘出了答案。 并联模糊系统的收敛健 黧然串势联模糊畚统的应翔较之予著联模糊系统瑟广，毽是当摸麟系鲮以率 并联方式工作时，所有延迟的输出数攒( 用做输入数掰) 均为实际系统的观测德， 因此对鼹测蛉糖度要求比较菘。太多的觋测噪声会极大遗影噙摸糊系绞戆往戆。 6 博士论文神经网络、模糊系统的儿个问韪研究及其破。人避型史! ! 堡旦 而在并联方式中，所有延迟的输出数据( 用做输入数据) 只和模糊系统本身有关， 是猿立予实际系统瀚蕊测氆豹，这楚荠联模糊系统酌饶点。 但是对并联模糊系统的预测和辨识收敛性的研究还不是很完善，本文对丘七做 了磷究，绘整了确豫浚敛经静条件。 1 1 4 模糊系统盼优化 模糊系绞是出一组模凝规则寒撼述的，弱此如键获取模糨规赠裁残炎应爆模 糊系统的关键所在。传统的方法是由知识工程师对专家知识进行总结归纳得到， 然藤逐步修正。这秘方法费时费力势且效果并不理怒。已经出现了不少方法囊动 获取模糊规则的方法，典型的有： 基于k n n 的模糊趣则自动裳成 2 5 1 此方法分为三个步骤：数据预处理，初始模糊划分以及规则提取。该方法生成 的规则集简法有效。 一神经网络的方法h 3 j 神经网络知识获取通常分为获取神经劂络的结构描述知识和获取样本集定 性描述知识。目前对前者的研究较多并有一些方法和成果出现，而黯者困难较大 并缺乏有效实现。 遗传算法方法嗣 遗传算法( 6 6 j 是一种基于自然选择原理和自然遗传机制的搜索算法，它模拟自 然弊中的生命进化祝澍，并在人工系统中实现特定嚣标的寻饶。利用遗传算法可 以通过示例学习迸行知识获取，它能够从分散的事实和蕴涵飙律的数据中归纳出 一艇靛鬣刚。 其他方法 铡翔蕊予信患麓秘最大壤益祝翻的决策树方法i d 3 ，邋合连续l 毒形豹c i d 3 以及粗糙集方法。 应该摇掰豹是，不管是入工还餐垂葫获敬方法，酃可链器致模赣系统中模糊 子集和模糊规则的冗余。 簇赣子嶷懿冗余会导致馁臻自然语言寒掇述搂襁子集( 概念) 辩交褥戳难。 模糊规则的冗余则会导致系统复杂性的增加，浪费计算能力以及理解模糊系统交 餐困难。因j 邈套必婺对模羧子集稳模糊筑鬟瞬行钱纯，毅麓纯系统酶复杂瞧，提 高系统的可理解性。 已经鸯尼秘谯毒匕模凝趣裂方法：妇蓑容簇整并1 3 3 1 、摸赣二元愈数剐、裳疆 函数融合和消除i 站1 等等。 本文钳x 孪一类憋隳款t s 模凝系绞，提爨了一秘摸糨子集秘模裁褒戴懿会荠 绪论 博士论文 算法。使用该算法能有效地减少模糊子集和模糊规则的数目，进而减小系统的复 杂性，提高系统的可描述性。 1 1 5 神经网络、模糊系统应用于人脸识别 人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故 可用于模式识别，而且不受模式形变影响。用于人脸识别的神经网络方法可训练 有较强噪声和部分缺损的图象，这种非线性方法有时比线性方法更有效。 最早应用神经网络进行人脸识别工作的是k o h o n e n s l l ，利用网络的联想能力 回忆人脸，当输入图像噪音很多或部分图像丢失时，也能回忆出准确的人脸。最 近，r a n g a n a t h 和a r u n 8 5 】提出了用于人脸识别的径向基函数网络( r b f n ) ，l i n 等 1 7 3 提出了用于人脸检测、眼睛定位与人脸识别的基于概率决策的神经网络，l e e 等提出了用于人脸识别的模糊b p 网络【5 2 】。s l a w r e n c e 在文中组合应用了自 组织( s o m ) 和卷积神经网络( c n ) 用于人脸识别，在o r l 图象库上的错误率为 3 8 3 。然而该方法的结构是a l l c l a s s i n o n e n e t w o r k ( a c o n ) ，所以当有新的类 别加入时，网络的输出结点就需要改变，这将导致需要重新训练整个系统。也就 是说，该方法不具备增量学习的能力。这个问题可以通过使用 o n e c l a s s i n o n e n e t w o r k ( o c o n ) 代替a c o n 来部分得到解决。在o c o n 的结 构中，一个子网络负责识别一类，对于一个k 类的识别问题，构建k 个不同子网 络。当需要增加或是删除类别时，只要增加或是删除相应的子网络。与a c o n 方式相比，0 c o n 具有很多优点如容易收敛，适合分布式应用，识别快速，增量 式学习等特点。关于两者更多特点的比较见文【7 ”。 还有很多a n n 相关的方法应用于人脸识别，如m l p 8 6 1 ，r b f1 8 7 1 以及延时 神经网络( t 肼q n ) 【8 8 1 。文献f 7 5 1 还使用了m l p 代替c n ，亦及s o m + m l p ，在o r l 上的错误率为4 0 。文献【8 6 j 组合了统计不相关的特征提取算法和m l p ，在o r l 得到一个相对较好的结果，错误率为7 。 1 2 本文的主要工作 本文针对神经网络和模糊系统中的几个问题进行了研究，并且将神经网络和 模糊系统应用于人脸识别中，得到了较好的结果，主要的工作与结论整理如下： 对于工程上常用的三层b 样条神经网络，本文给出了构造几乎最小隐节 点的算法。使用该算法，可以构造出几乎最小隐节点数目的三层b 样条神经网 络。并且使用构造性的方法证明了b 样条神经网络的全局逼近能力，从而在理 论上为b 样条神经网络的使用提供了依据。 博士论文神经嬲络、模糊系统的几个问题研究及其在人脸识别中的应用 针对呈现层次特征的应用领域，本文提出了相应的层次径向基神经网络 ( 差i e r a r c h i c a lr b f n ) ，著曼涯疆了h r b f n 是一个全嚣逶邋器。 姻f k 雯逶合 于具有层次结构的应用领域，并且h r b f n 还能够部分消除使用r b f n 可能造成 的隐节点睫蘸输入变量维数增加露憩剧增多的闻题。 本文研究了审并联模糊系统用于非线性系统辨识时的数字逼近特性，得 出绪论：当模糊规则数等于样本数时，已经可以实现精确插傻，因此模糊规则条 数不能超过样本数目，否则将冗余，并可能引起振荡，削弱模糊系统的泛化能力。 此外还研究了系统逼近误羞和初始状态误惹对串并联模糊系统性能的影响，指 出：只要模糊系统遥近实际系统足够好，即便两者之间存在初始状态误差，模糊 系统仍能良好工作。 对于以并联方式进行非线性系统辩识时的模糊系统，本文研究了其预测 收敛性和辨识收敛性。证明了只要并联模糊系统的参数满足一定的条件，可以保 证并联模襁系统的预测收敛相辨识l 没敛，并给出了该条件。 应用模糊系统时，常常会遇到的一个问题就是系统中可能存在冗余的模 糊子集帮模糊蕊瓣。一方面增掇了系统复杂槛，浪赞了诗髯能力，努一方瑟也绘 使用自然语言来描述系统造成了困难。本文针对t s 模糊系统提出一种模糊子集 和禳赣霞刘豹合荠冀法。饺蠲该算法g 有效琵减少模糊子集和穰糊簸粼静数鼙， 进而减小了系统的复杂性，提高系统的可描述性。 本文应蠲享孛缀网络投术梅建了一个宠整觞久黢谈别系统：蓄先篌帮纂予 眼睛位置估计的方法从人脸图像中分割出对识别有意义的纯脸，然后使用自组织 欧垂雩迸行将缓压绾，提取有效鲍鉴剃特征，簸螽使蠲基于知谖懿模獭害枣经翳终送 行分类。 本文逐提出一耱太黢识别鑫冬模凝糖经模型，该模型中的每象模凝翘粼用 以估计模式在特征空间中分布的一个簇。通过自适应调节和模糊推理，对于每个 绘定的模式，酝提模型憨够绘出一个售度毽表示该模式属予各个类嬲豹程魔。整 个系统采用o c o n 的结构，该结构具有易收敛、识别快、适合分布式应用和增 量式学习等特点。文中使用颞颞的方法来确定模糊艘则的条数和初娥伲模凝予集 参数。实验结果证明该方法其有快的学n 识别速度、高精度和强鲁梅性的特点。 1 3 本文的内容安排 本文分为8 章。 第1 章先介绍了神经网络和模糊系统的应用与发展，接着介绍了存在的一 些问题，最鼯介绍了本文研究的主要工作与成果。 第2 章先介绍了b 样条神经网络，然后使用构造性的方法证明： 9 博士论文 定义在致密区间上的连续实函数，存在b 样条基函数，用遮挫基函数实现的b 样条枣枣经网终瞧鞋任爨的糖凄逼近定义在致蜜区闻上瓣连续安蘧数e 簸蜃绘爨一 个算法，该算法能在允许误麓的条件下找出几乎最小的基函数集( 隐节点数) ， 共绘如了数学 正黢。 第3 章先介绍了径向基神经网络( r b f n ) ，然后指出在特定的情形下r b f n 的局限性，并绘出层次r b f n 的解决方案。并绘出了槐造h r b f n 鲶步骤，最后 证萌了h r b f n 的全髑逼近性，为h r b f n 的应用奠蹴了理论基础。 第4 章龙研究了模糊系统以串并联方式用于非线性系统辫识时的数字逼近 特性，指出了模糊规则的上界。接着研究了逗近误差和初始状态误差对模糊系统 性能的影响，指出：只要模糊系统逼j 艟实际系统足够好，即使两者之间存在初始 状态谈差，横糊系统仍能良好工作。 第5 章先介绍模并联糊系统的基本概念和用于模糊系统参数优化的死区b p 算法，然后给国了弗联模糊系统预测帮辨识收敛的一般性结论及其证明。最后使 用一个仿真实例证明了其正确性。 第6 章提出了静模糊子集帮横襁规则的合并簿法，畿够有效圣| 骜减少模糊 系统中冗余的模糊子集和模糊规则，有效提高对模糊系统的自然语言可描述性和 霹理瓣往，势降低系统复杂经。 第7 章应用神经网络技术构建了一个完艇的人脸识别系统：首先使用基于 鼹藩倥嚣信谤豹方法觚久验鼙像中分割毫对谈别有意义酌缝簸，然螽饺蘑自缝织 映射避行特征压缩，提取有效的鉴别特征，最后使用基于知识的模糊神经网络进 露分类。出予扶覆始入验鎏豫孛分裁爨魂验并辍鞋铰匿，葱蔼霹馥在一定程度上 减少人脸的位鬻与姿悫变化对识别结果的负丽影响。使用s o m ，自组织地获得 莲缩熬特征，霹戳提麓谈爨率舞减少谖爨羚鬏熬诗算爨。谴蔫蒺予氟滚黥攘獭神 经网络，能从样本数据中获取分类信息，进一步提高识别率。 第8 章撼出了一秘用于入黢识别懿模裁毒枣经模蘩。傻鲻了豢鬏黔方法采确 定模糊规则的条数和初始化模糊子集的参数。系统结构使用适合于分布式应用和 增量式学习的o c o n 结梅。奁o r l 撂准墨像疼上我锭进行了鑫转实验豁验 囊本 章所述方法的有效性，最后的平均错误率为3 9 5 。实验结果说明本濑所提模型 具有较快的学习识剐速度、巍壤度稂舞捧性。 最后的结束语为本文做了简要的总结，对神经网络、模糊系统的研究前景做 了进一步的展望。 博士论文 神经网络、模糊系统的几个问题研究及其在人脸识别中的应用 2 1 引言 2 b 样条神经网络的构造理论 对于一个给定的非线性函数我们都知道用神经网络可以以任意精度来逼 近它，荬霖鞭就是享枣经弱络是全爨遥近器。爱攀使蠲静享孛经弼终是3 瑶羁。对予 3 层网丽言，输入至输出的映射实际上是通过基函数的加权组合来实现的，当取 不醚的基交数隧，网络具鸯不同瓣 燕矮，筹显圣 算熬复杂魔瞧不同。豢鼹憝基丞 数有s i g m o i d 、高斯型等等。当基函数取b 样条函数时，称此神经网络为b 样条 享孛经网络。 对于如图2 1 所示的3 层神经网络，输入至输出的映射是通过基函数a ，( x ) 的 加权组合来实现的，即y = g t ，( x ) w ，其中x = ( x i ，h ) r 。将基函数取为b ，l 样条函数时，称诧神经网络为b 样条神经网络。由于b 样条函数本身具有良好 的性质f 9 9 】( 正定性，归一性，致密 生) ，因此b 样条神经网络得到了极为广泛地 应用。 x ) 鹭2 18 徉条穆羟踺络静拓挣络秘 虽然t 3 样条神经网络具有很多优点，但是在面对一个实际应用问题时， 节点数星懿送取去器是个目熬，至今未有理论指导。零章善在疑凌这个运题， 出找出几乎最小隐节点数目的算法。 2 b 样条神经网络的构造理论博士论文 2 2b 样条函数简介 b 样条函数是工程上常用的种插值函数，由于它符合工程实际孺耍，因此 应焉藏整缀广。 假定输入向量为：x = ( _ ，善2 ，矗) 7 ，x ，u i 为有限区间，可以定义为： u l = t i x ，“一曼x 严) 强对繁i 续辕入嚣阕送行分割： 矿“鹧i 鸬。2 一帆 x 严 n + ，称为蕾的第，个内插点。 黩，一 8 ，。嚣圹：，= 瑾m 0 ，必定存在万 0 ，使得当( x l x 2 ) 2 + ( y l y 2 ) 2 j 时， 确- i f ( x 一，y 一) 一厂( x z ，y ：) l 姜成立，其中( x 。，y ，) ，( x z ，y ：) p 。 我们先沿x 轴将区间 0 ，1 】均匀划分n 个等份( 内插点 b 。专，( 1 ，一1 ) ) ，并在区间两边各找相应的两个外插点( 因为阶数为3 ) ， 当足够大时，令万2 寺。这样就可以沿z 轴定义b 样条基函数集 口2 ( 爿， ) ，= 1 , 2 ，+ 2 ) ，其中a j ( x ) = ；( x ) 。 同理，可以沿着j ，轴定义b 样条基函数集= b ，( y ) ，= 1 , 2 ，+ 2 ) ，且 其中b j ( x ) = a ，( z ) ，_ ，= 1 ，2 ，n + 2 。然后可以构造乘积b 样条基函数集如下： = c o ( x ，y ) f c , j ( 工，y ) = 4 ( x ) b ，( y ) ，i ，= 1 , 2 ，一，n + 2 ) 根据定义2 2 ，并注意到4 ，( x ) 的峰值点为万i 一丽3 ，则在。上对厂的b 样 条插值可以写为： f ( x , y ) = n 备+ 2 n 缶+ 2 万i 一丽3 ，专一嘉) 4 ( z ) 曰，( y ) 对于任意给定的点( x ，_ y ) p ，我们总是可以将其定位于： 万is x 百i + 1 ，万j y 等 其中0 x y n i 。 又因为爿，( x ) ，b ，( y ) 均为3 阶b 样条函数，即每维上最多有3 个基函数不 等于零，这样上式可以重新写为： f ( x , y ) 叫等一丽3 ，百j + l 一寺型塑! 塑 + f ( i + l 一杀，等杀) 垒塑丝竺 坝等一丽3 ，百j + 3 一嘉匕坐：! 塑 ! 璺堂墨塑丝堕塑竺塑堕墨堡堕主笙兰 坝可i + 2 一嘉，等一嘉) 型竖! 丝 川百i + 2 一亲，等 + ，( 等一嘉，等一寺型皇型塑 州等一素，等嘉) 垒望兰：! 竺 + ，( 等一嘉，等一寺型皇型塑 州等一嘉，等一寺型塑! 竺 利用b 砰泶幽双明归一任伺： a i + a 2 + - - + a 9 = 【a ，+ l ( x ) + a + 2 ( x ) + a ，+ 3 ( x ) 】 b ，+ i ( x ) + b ，+ 2 ( z ) + b i + 3 ( x ) = 1 1 = 1 不失一般性，不妨设f ( + 3 - 一面3 ，1 j + f 3 一面3 ) ，八f 百i + l 一嘉， j + f l 一互3 ，5 y 别为上式中的最大最小值，就有下面两式成立： 厂( 等一嘉，可j + l 一丽3 ) ( 怕) 氘y ) 和 氘y ) ，f 【百i + 3 一面3 ，百j + l 一面3 ) ( q + 口：+ 咖。) ，f 【百i + l 一嘉，等一丽3 ) 夕( w ) 厂( 等一去，等一啬) 于是有 f ( x , y ) - ，( 等一丽3 ，百j + l 一寺l l ，c 等一亲，等一寺叫等一嘉，等一寺i 又由于点百i + 1 一丽3 ，1 j + f l 一丽3 ) 利息( 1 i + f 3 一面3 ，1 j + r 3 一啬) 之间的距离 掣 三拼 博上论文神经网络、模糊系统的几个问题研究及其在人脸识别中的应用 | ，f t 虿i + 3 一亲，等一去，一c 等一嘉，等一嘉，| l - c 占 霉由点( x ，”的任意性，裁涯明了定理2 + 1 。 定理2 i 能够从理论上保证，对于任意定义在致密区间上的连续实函数，存 在转撵条蘩嚣数，蹋这些蘩函数实现浆b 群条耱缀释络能戮任意的精度遥近定 义在致密区间上的连续实函数。但是著没有给出如何求得基函数的方法，这样在 实酝应震中缓容易黪致基丞数豹过多。下瑟褥绘出个算法，该算法在兔诲误 差的条件下找出几乎最小的基函数集。 2 。4 构造算法 同样，为了简明起见，这里的算法描述的是二维情形。 设f ：舻一足为连续实淤数，绘定一令允琏：误差s ，我们可以我n - 个拶， 使得当妖i = 五f 了石丽s 占时，有 ，( h ) 一，( x ：，y ：) i s ；。基于占，我 们设= i ；- 这里b j 。) 表示不大于石的最大蹙数。蒸于，可以将舻划 分为n 2 个网格。 算法2 1 基于上述网格划分，我们初始化所谓的极值集合s 。 f o r0 f ，歹 n 若八专，专) - r a i n 厂( 等，毒) ，( 等，专) ，( 专，等) ，( 专，j j + 一1 ) 或歹( 专，嘉) m a x 厂( 导，专) ，( 等，专) ，( 嘉，争) ，苁专，等) 成立，则 唏i ，万j ) 一s 。 我们用，表示迭代次数，中( x ，y ) 表示在，次迭代时的误差函数。初始时，设 2 b 样条神经网络的构造理论博士论文 置t = 0 ，中”( x ，y ) = f i x ，y ) 。 步骤1 lf = f + 1 ，并引入 雕= x 2 万1 f 1 f 一1 ，( x ，y ) s 影t = y = 专邮j n - 1 ，( ) d ) 假定和s ：中分别包含有p ，g 个元素，那么总可以将这些元素排序为： s ：0 x i x 2 - x 。1 ，( 1 p n 一1 ) s ；：0 y l y 2 y ，1 ，( 1 g n 一1 ) 对于彤，我们可以在区间 o ，l 】两边分别定义两个适当的外插点x _ 2x 一。和 x 一+ 2 ，z ，+ 3 ( 例如可以取x _ 22 - - 三，x l2 一! ，x ，+ 2 2 1 + 1 , x p s = 1 + 2 p ) pp ，。作为x 。， p ” 1 作为x 。使用这些插点，就可以沿着x 轴定义3 阶b 样条基函数。 a = 爿j ( x ) l 爿j ( x ) = ? ( 工) ，1 i p + 3 上式中的n ? ( x ) 是按下式递归定义的： j ( x ) = ( ? 鱼) 三一o ) + ( 三二三一) j v ? 一( x ) x ，一i x 一女x l x p 女+ i 咖，= 髋譬j 其中，l i p + 3 。 同理，可以沿着y 轴定义3 阶b 样条基函数 f 咖h 再y - y 瓦j - kw k - 胁i ( 芳寿州弋力