（计算机软件与理论专业论文）基于小世界体系的核自联想记忆框架及其应用研究.pdf

南京航空航天大学硕士学位论文 摘要 本文主要研究了核框架下基于小世界体系的自联想记忆模型及其在人脸识 别i 一t 的小规模应j 村。内容涉及传统自联想记忆模型统一框架的建立、传统模型 仝酉= 连结构的简化以及结构简化后的统一框架在人脸识别中的应用。本文将机 器学= ) = j 领域中流行的核技巧和社会领域中广泛存在的小世界网络应用于自联想 记忆模型的研究，主要做出了以下三个方面的创新 二作： 1 、构建了 个核自联想记忆模型的统一框架。本文首先从h o p f i e l d 联想记 忆模型出发，通过在传统的自联想记忆模型中引入机器学习中颇具影响力的核 方法，构建了类统一的核白联想记忆模型框架。将现有众多的自联想记忆模 型从数学的高度统于同一框架中，并从中可以推广出更多不同形式的自联想 记忆模型。 2 、对全可连的核自联想记忆模型框架进行了稀疏化改造。现有的自联想记 忆模型无不是采川传统的全互连结构，随着实际的需求和被处理问题规模的 扩大，模型的复杂度大大增加了，从而导致布线t 艺上的嘲难难以克服，限制 了模型的v l s i 硬件实现。本文的研究表明，和引入规则百连网络、随机互连 网络柑比较，引入小世界网络体系结构到核自联想记忆模型中是最为理想的。 3 、提出了系列新颖的基于自联想记忆模型的鲁棒入脸识别算法。在上述 _ t 作的摹础上，本文丰要研究了基于小世界体系的指数核自联想记忆模型在人 脸识别中的应用。该算法在著名的f e r e t 人脸数据库上不仅获得了与模型全互 连时几乎相“的识别性能，而且还明显优于标准特征脸算法( e i g e n f a c e s ) 和最 近提出的( p c ) 2 a 算法，表现出了较强的鲁棒性。 关键词；人t 神经网络，联想记忆，核方法，小世界体系，稀疏网络结构 人脸识别 南京航空航天大学硕士学位论文 a bs t r a c t t h i st h e s i s m a i n l y f o c u s e so nas m a l l w o r l d a r c h i t e c t u r eb a s e dk e r n e l a u t o a s s o c i a t i v em e m o r yf r a m e w o r ka n di t sa p p l i c a t i o n so ns m a l ls c a l ef a c e r e c o g n i t i o n ，s p e c i f i c a l l yi n c l u d i n gh o wt o c o n s t r u c tau n i f i e df r a m e w o r ko f c o n v e n t i o n a la u t o - a s s o c i a t i v em e m o r ym o d e ls ，h o wt or e d u c ec o m p l e x i t yo f f u l l y c o n n e c t e dm o d e l s a n dt h eu n i f i e df r a m e w o r k s a p p l i c a t i o no n f a c e r e c o g n i t i o n s o m er e c e n tr e s e a r c ht h e o r i e s ，s u c ha st h ep o p u l a r “k e r n e lm e t h o d ”i n m a c h i n el e a r n i n ga n de x t e n s i v e l ye x i s t e d “s m a l lw o r l dn e t w o r k ”i ns o c i a lf i e l d s ， a r ea p p l i e dt oa u t o - a s s o c i a t i v em e m o r ym o d e l s m a i nc o n t r i b u t i o n so ft h i st h e s i s a r es u m m a r i z e da sf o l l o w s ： f i r s t l y ，au n i f i e df r a m e w o r ko f k e r n e l a u t o a s s o c i a t i v em e m o r ym o d e l si s c o n s r u e t e da n dd e v e l o p e d i nt h i st h e s i s ，b a s e do nh o p f i e l da s s o c i a t i v em e m o r y m o d e l ，t h ea u t h o rp r o p os e saf r a m e w o r ko fk e r n e la u t o a s s o c i a t i o nm e m o r ym o d e l s b yu s i n gt h ek e r n e lt r i c kt od i r e c t l ym o d i f yi t sr e c a l l ( u p d a t e ) r u l e s w i t hs u c ha f r a m e w o r k ，w ec a nn o to n l yu n i f o r m l yf o r m u l a t et h ee x i s t i n ga u t o a s s o c i a t i v e m e m o r ym o d e l sb u ta ls od e r i v em o r en e wd i f f e r e n tm o d e i su s i n gd i f f e r e n tk e r n e i s f r o mt h ef r a m e w o r k s e c o n d l y ，t h ec o m p l e x i t yo ff u l l y c o n n e c t e dk e r n e la u t o a s s o c i a t i v em e m o r y m o d e l si sr e d u c e d 。a tp r e s e n t ，a l m o s ta l lt h ea u t o a s s o c i a t i v em e m o r ym o d e l s a d o p tf u l l - c o n n e c t e ds t r u c t u r eo ra r c h i t e c t u r e w i t ht h er e a ld e m a n d sa n dt h e e n l a r g i n go ft h es c a l eo fh a n d l e dp r o b l e m ，t h ec o m p l e x i t yo ft h em o d e l sh a v e i n c r e a s e dg r e a t l y ，w h i c hw i l lu n d o u b t e d l yr e s u l ti nt h ed i f f i c u l t yo fc o n n e c t i n gu p o nt h ec r a f t ，a n dr e s t r i c tm o d e l s c i r c u i ti m p l e m e n t a t i o n t h er e s e a r c hr e s u l t si n t h i st h e s iss h o wt h a t ，c o m p a r e dw i t ht h er e g u l a rn e t w o r ka n dr a n d o mn e t w o r k ， i n t r o d u c i n gs m a l l - w o r l da r c h i t e c t u r ei n t ok e r n e la u t o - - a s s o c i a t i v em e m o r ym o d e l s i sc o n f i r m e dt ob em o r ee f f e c t i v e f i n a l l y ，as e r i e so fn o v e lf a c er e c o g n i t i o na l g o r i t h m sb a s e do na s s o c i a t i v e m e m o r ym o d e l sa r ep r o p o s e d o nt h eb a s i so fa f o r e s a i dw o r k ，t h ea u t h o rf u r t h e r p r o p o s e sr o b u s tf a c er e c o g n i t i o na l g o r i t h m sb a s e dons p a r s e k e r n e la u t o a s s o c i a t i v em e m or ym o d e l s s i m u l a t i o nr e s u l t so nap a r to ft h ef e r e tf a c ei m a g e d a t a b a s es h o wt h a tt h e s ea l g o r i t h m sn o to n l ya c h i e v ea l m o s tt h es a m er e c o g n i t i o n l i l 基于小世界体系的核自联想记忆框架及其应用研究 p e r f o r m a n c ea st h a to ff u l l y c o n n e c t e dm o d e l s ，b u ta l s oo u t p e r f o r mb o t hf a m o u s e i g e n f a c e sa n d ( p c ) 2 aa l g o r i t h m sa f t e ra d d i n gr a n d o mn o i s eo ro c c l u d i n gp a r t i a l l y onf a c ei m a g e k e y w o r d s ：a r t i f i c i a l n e u r a ln e t w o r k s ，a s s o c i a t i v e m e m o r y ，k e r n e lm e t h o d ， s m a l l - w o r l da r c h i t e c t u r e ，s p a r s en e t w o r ks t r u c t u r eo ra r c h i t e c t u r e ， f a c er e c o g n i t i o n v 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究 工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的 研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出 贡献的其他个人和集体，均己在文巾以明确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被 查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适_ l = 本承诺书) 作者签名 日期 卫聋一 趟。l 南京航空航天大学硕士学位论文 符号： x | + x | 置( f ) e ( t ) 白：x + f k ( x ，z ) d l ( p ) c i p l k ” k ? 喀j ，x 、 缩略词 f e r e t 注释表 向量维数或网络中神经元个数 初始模式向量 初始模式向量经过一步回忆后的状态 第f 个待记忆模式向量 神经元，与神经元i 之间的连接权值 第s 个待记忆模式的第i 个分量或特征 矩阵或向量转置 第i 个神经元t 时刻的输出 t 时刻的如a p u n o v 能量函数 内积运算 特征空间 样本空间到特征空间的映射 核函数 边重新连接的概率 特征路径长度 聚类系数 第v 个节点的近邻节点数 与x ：所对应的核函数 向量点乘 著名的b e n c h m a r k 人脸数据库 首字母缩写： a m a u t o a s s o c i a t i v em e m o r y 自联想记忆模型 a n na r t i f i c i a ln e u r a ln e t w o r k 人工神经网络 b a m b i - d i r e c t i o n a la s s o c i a t i v em e m o r y 双向联想记忆模型 b k a msb i v a l u ek e r n e la u t o - a s s o c i a t i v em e m o r ym o d e l s 二值核自联想记忆模型 e c a m e x p o n e n t i a lc o r r e l a t i o na s s o c i a t i v em e m o r y 指数关联联想记忆模型 e x p e x p o n e n t i a lk e r n e l指数核函数 i x 基于小世界体系的核自联想记忆框架及其应_ l ； 研究 g a u sg a u s s i a nk e r n e l 高斯核函数 h a m h o p f i e l da s s o c i a t i v em e m o r y h o p f i e l d 联想记忆模型 h o c a mh i g h o r d e rc o r r e l a t i o na s s o c i a t i v em e m o r y高阶关联联想记忆模型 k a m sk e r n e la u t o - a s s o c i a t i v em e m o r ym o d e l s 核自联想记忆模型 k f d ak e r n e lf i s h e rd i s c r i m i n a n ta n a l y s i s 核f i s h e r 判别分析 k f c mk e r n e lf u z z yc m e a n s 核模糊c 均值 k p c ak e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i s 核主分量分析 m e m r c a mm o d i f i e dm u l t i v a l u e dr e c u r r e n tc o r r e i a t i o na s s o c i a t i v em e m o r y w i t he x p o n e n t i a lf u n c t i o n 改进的多值指数递归关联联想记忆模型 m k a m sm u l t i v a l u ek e r n e la u t o a s s o c i a t i v em e m o r ym o d e l s 多值核自联 想记忆模型 m v e c a mm u l t i v a l u e de x p o n e n t i a lc o r r e l a t i o na s s o c i a t i v em e m o r y 多值 指数关联联想记忆模型 ( p c ) 2 ap r o j e c t i o nc o m b i n e dp r i c i p a lc o m p o n e n ta n a l y s i s 投影组合主分量分析 p c a p r i c i p a lc o m p o n e n t a n a l y s i s 主分量分析，本文也用来指标准特征脸算法 p f c a mp o t e n t i a l f u n c t i o nc o r r e l a t i o na s s o c i a t i v em e m o r y 潜能函数关联 联想记忆模型 r a n d m k a m sr a n d o mn e t w o r kb a s e dm u l t i v a l u ek e r n e la u t o a s s o c i a t i v e m e m o r ym o d e l s 基于随机网络的多值核自联想记忆模型 r e g u m k a m s r e g u l a rn e t w o r kb a s e dm u l t i v a l u ek e r n e l a u t o - a s s o c i a t i v e m e m o r ym o d e l s 基于规则网络的多值核自联想记忆模型 s f m k a m ss c a l e f r e en e t w o r kb a s e dm u l t i v a l u ek e r n e la u t o a s s o c i a t i v e m e m o r ym o d e l s 基于无标度网络的多值核白联想记忆模型 s o m s e l f _ o r g a n i z i n gm a p 自组织神经网络 s v m s u p p o r tv e c t o rm a c h i n e s 支持向量机 s w as m a l l w o r l da r c h i t e c t u r e小世界体系 s w a b k a m ss m a l l w o r l da r c h i t e c t u r eb a s e db i v a l u ek e r n e la u t o a s s o c i a t i v e m e m o r ym o d e l s 基于小世界体系的二值核自联想记忆模型 s w a k a m s s m a l l w o r l da r c h i t e c t u r eb a s e dk e r n e la u t o a s s o c i a t i v e m e m o r ym o d e ls 基于小世界体系的核自联想记忆模型 s w a m k a m ss r e a l l 一w o r i da r e h i t e c t u r eb a s e dm u l t i v a l u ek e r n e la u t o - a s s o c i a t i v em e m o r ym o d e l s基于小世界体系的多值核自联想记忆模型 t a n h h y p e r b o l i ct a n g e n tk e r n e l 双曲正切核函数 v l s i v e r yl a r g es c a l ei n t e g r a t i o n 超大规模集成电路 x 南京航空航天大学硕士学位论文 第一章绪论 i 1 人工神经网络的研究意义 人类具有高度发达的大脑，大脑是思维活动的物质基础，而思维是人类智 能的集中体现。长期以来，人们做了大量研究工作以了解大脑的工作机制和思 维的本质，向往能构造出具有类人智能的人工智能系统，以模仿人脑功能，完 成类似于人脑的工作。一般认为，人脑的思维有逻辑思维、形象思维和灵感思 维三种基本方式。逻辑思维的基础是概念、判断与推理，即将信息抽象为概念， 再根据逻辑规则进行逻辑推理。由于概念可用符号表示，而逻辑推理宜按串行 模式进行，这一过程可以事先写成串行的指令由机器来完成。2 0 世纪4 0 年代 问世的第一台电子计算机就是这样一种用机器模拟人脑逻辑思维的人工智能系 统，也是人类实现这追求的重要里程碑。电子计算机作为具有计算和存贮能 力的“电脑”，物化延伸了人脑的智力，这是探索构造具有脑智能的人工系统的 一个重大进步。以电子计算机为基础的人工智能和专家系统，在信息的加工、 处理r f i 起到了“智能化”的作用。 但是迄今为止现代计算机在解决与形象思维和灵感思维相关的问题时， 却显得无能为力。例如，尽管今天的超级计算机在速度及数据处理能力上是相 ! 惊人的，但是它们却很难甚至无法完成那些对于一个小孩来讲都是非常简单 的事情，比如识别人脸、学习走路和讲话等等。究其原因，最根本的一条就是， 基于冯诺依曼的计算机是一种基于算法的程序存取式机器，信息一旦存入便 保持不变，在某存储单元地址存入新的信息后会覆盖原有信息，因此不可能对 其进行回忆，相邻存储单元之间互不相干，因此不具备联想能力。另一方面。 从实现的角度看，以串行处理为特征的计算机，由于它在某一时间只能处理少 部分信息、因此它在快速处理大量信息上就有很大的限制，即瓶颈效应问题。 即使采用多处理器以并行方式处理，但由于大量的时问花费在串行操作的等待 上，冈此也很难有效进行并行操作。 相比较而言，布满在人类大脑皮层上的神经细胞，即神经元具有让当今计 算机无法企及的大规模快速并行处理能力。这是因为每个神经元有数以千计的 通道同其他神经元广泛相互连接，形成了复杂的生物神经网络。生物神经网络 以神经元为基本信息处理单位，对信息进行分布式存储和加工，这种信息加工 与存储相结合的群体协同工作方式使得人脑呈现出日前计算机无法模拟的神奇 基于小世界体系的核自联想记忆框架及其应用研究 智能。为了进一步模拟人脑的形象思维方式，人们不得不跳出冯诺依曼计算 机的框架另辟蹊径。而从模拟人脑生物神经网络的信息存储和加t 处理机制入 手，设计具有人类思维特点的智能机器，无疑是最具有希望的途径之一。 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是模仿和延伸人脑 智能、思维、意识等功能的非线性自适应动力学系统，神经网络所具有的学刊 算法能使其对事物和环境具有很强的自学习、自适应和自组织能力，它的知识 积累是自动的、无瓶颈效应存在。因此，神经网络信息处理系统是一种拥有全 新计算结构的新型智能信息处理系统，或称为基于神经计算的智能信息处理系 统。它可以模仿人脑处理不完整的、不准确的、甚至处理非常模糊的信息，并 能够进行联想记忆，从部分信息中获得全部信息。获得这种能力的晟基本的， 也是最关键的要素，是神经网络具有分布存储信息和并行计算的性能。它通过 神经元之间的协同形成结构，通过协同促进网络形成自组织和宏观有序的结构， 使其实现集体行为，获得联想记忆的功能。因此，联想记忆神经网络是由其突 触权值和连接结构来表达信息的记忆9 这种分布式存贮使得神经网络能存储较 多的复杂的模式和恢复记忆的信息。它是通过预先存储或学习机制进行自适应 训l 练的，可从不完整的信息或噪声干扰中来恢复原始的信息，网而它具有很大 的潜在应用价值，如图像恢复、图像和语音处理、模式识别、分类等【l , 2 , 3 1 。 1 2 联想记忆模型的最新研究进展 现代意义上对神经网络的研究一般认为从1 9 4 3 年美国芝加哥大学的生理学 家w s m c c u l l o c h 和w a p i t t s 4j 提出的m p 神经元模型开始，到2 0 0 3 年正 好6 0 年。在这6 0 年中，神经网络的发展走过了段曲折的道路。1 9 6 5 年， m m i n s k y 和s p a p e r t 5 在p e r c e p t r o n 一书中指出感知机的缺陷，并表示出 对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是 神经网络发展史上的第一个转折。到了2 0 世纪8 0 年代初，优秀的美国物理学 家j j h o p f i e l d 6 博士发表了一篇对神经网络研究的复苏起了重要作用的文章， 他提出的h o p f i e l d 联想记忆( h o p f i e l da s s o c i a t i v em e m o r y ，h a m ) 模型不仪 开创了联想记忆模型研究的先河，而且显示出了神经网络的巨大潜力。受其所 用方法的推动，从八十年代初到现在，联想记忆( 也可称为联想存储器) 的研 究己取得了丰硕的成果。既有理论的，又有应用的。在理论上侧重于新的学刊 算法和体系结构的创建和设计f 7 。0 1 ；在应用方面则是利用联想记忆所独具的纠 错性等优势，结合具体应用，进行多方面的研究，如图像压缩】、模式识别 ” 和知识推理等“3 1 。 南京航空航天大学硕： 学位论文 从结构上讲，联想记忆属于类特殊的神经网络，依照其神经元的激活状 态( 即输出值) 与时间的关系，可分为：离散联想记忆( 离散时间和离散状态 值) 和连续联想记忆( 连续时间或连续状态值) 。由于连续联想记忆模型分析和 实现都比较困难，本文只讨论相对易实现和易处理的离散联想记忆模型，如不 特别指出，下文所说的联想记忆都是指离散联想记忆。 同人类联想方式的多样性相仿，目前所研究的联想记忆能实现如下的联想 模式： l 、自联想模式：即模式能从自身联想到自身，输入与输出属于同一取值域， 如人脸到人脸。此模式的最大功能是能实现对含噪和部分缺损输入模式的补全， 从而通过联想完整地恢复残缺的输入模式。自联想模式又可分为非循环自联想 ( 如图1 1 ( a ) ) 和自循环联想( 如图i 1 ( b ) ) 。自联想的典型实例为h o p f i e l d 联 想模型蚓。 ( a ) 、非循环自联想( b ) 、循环自联想 图1 1 两种自联想模式 2 、异联想模式：此联想模式可用于模式分类，如人脸联想到对应的姓名、 性别等。输入与输出分属两个不同的取值域x 和y ，其联想也有非循环和循环 异联想，分别如图1 2 ( a ) 和图1 2 ( b ) 。异联想的典型例子是k o s k o 的双向联想 记忆( b i - d i r e c t i o n a la s s o c i a t i v em e m o r y ，b a m ) 模型f 】4 1 。 除此之外，还有序列联想【”】、事件联想 ”】、多向联想【17 1 以及多对多联想 1 18 等等。 根据联想记忆的输入、输出模式分量的取值范围，又可分为二值和多值联 想记忆模型。早期的h a m 和b a m 都是二值模型。为使联想记忆可直接处理诸 如灰度级图像之类的输入模式，多值开始被引入联想记忆【”】。 基于小世界体系的核自联想记忆框架及其应朋研究 ( a ) 、非循环异联想( b ) 、循环异联想 图1 2 两种异联想模式 目前，关于联想记忆的研究工作主要集中在以下几个方面【2 0 】： 1 、生物原型研究：从生理学、心理学、解剖学、脑科学、病理学等生物科 学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理，以 此来指导联想记忆进行更进一步的系统深入研究。 2 、建立理论模型：根据生物原型的研究，建立联想记忆的理论模型。其中 包括概念模型、知识模型、物理化学模型、数学模型等。理论模型用于神经网 络功能和结构分析，可从定性与定量、静态与动态、微观与宏观等多种观察角 度进行研究，这是一种广义模型。 3 、联想记忆网络模型和算法研究：在理论模型研究的基础上构建具体的神 经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习联想记忆算法 的研究。这方面的工作也称为技术模型研究。 4 、联想记忆网络应用系统：在网络模型与算法研究的基础上，利h j 联想记 忆组成实际的应用系统，例如，完成某种信号处理或模式识别的功能；构建专 家系统：制成机器人等等。这些应用实例的共同特点是：难以用算法来描述待 处理问题，存在大量的范例可供学习。 迄今为止，在联想记忆的研究领域中，有代表性的学习算法己达数i 利r ， 如果能把相同类型的联想记忆从数学的高度统一到同个框架之中，则有可能 从更本质的观点来解释他们的特性。本文在这方面针对自联想记忆模型作了 些有益的尝试。 另一方面，联想记忆模型尽管可队用欤件描述( 数学方程、算法、程序) ， 但其终极目标是以硬件实现( j i 半导体器件、光学器件或分子器件) 。日前，大 量的工作集中于硅半导体v l s i 电路制作，利用c m o s1 二艺、模拟与数字混合 ( 或数字) 系统来实现。比较著名的研究单位如美国的b e l l 实验室、加州理t 学院、麻省理工学院以及日本的富士通公司和筑波大学。”1 前，在单片上集成 近百个神经元的制作技术已经没有困难，倪这利r 规模的联想记忆网络与实际的 南京航空航天大学硕士学位论文 应用要求尚有较大差距。因此，如何简化联想记忆模型的复杂结构就成了当前 非常紧迫而又现实的问题，它直接影响到联想记忆模型的商品化实现。 1 3 本文的主要研究工作 本文着重从学习算法和体系结构两个方面对传统的自联想记忆 ( a u t o a s s o c i a t i v em e m o r y ，a m ) 模型进行了研究，并且提出了一种基于改进 模型的新的鲁棒人脸识别算法。本文所作的主要工作如下： f 1 1 运用核技巧构建了一个自联想记忆模型的统一框架。学习算法是决定 自联想记忆模型性能( 如存储容量、纠错性能等) 的关键所在。虽然研究人员 已经提出了许多采用不同学习算法的自联想记忆模型，但是由于这些不同的学 习算法所导致的不同的a m ，给应用者带来了选择上的困难，因此本文的研究 重点是建立个自联想记忆模型的统一框架。其优点有三：一是将现有众多的 a m 从数学的高度统一于同一框架中，并加以刻画和描述，由此能从更高的视 角，统一地考察和比较模型的性能，并可能从更本质的观点来揭示它们的特性； 焉是能从统一框架中推广出更多具有同样甚至是更优性能的新模型；三是从硬 件实现的角度，为同一框架构建出相同的硬件平台，使不同的a m 可在同一平 台上得以方便地实现。 ( 2 ) 引入小世界网络的思想，对传统模型的全互连体系结构进行了稀疏化 改造。虽然许多自联想记忆模型的存储容量已达到了指数级，但它们无一不是 采川传统的全互连结构。随着实际的需求和被处理问题规模的扩大，模型的复 杂度大大增加了，从而导致布线_ 艺上的困难难以克服，限制了模型的v l s i 硬件实现。既然是对人脑记忆功能的模仿，那么自然应该融入更多的生物特性。 大脑神经生物学的研究表明：a m 的性能不仅依赖于连接的方式，也依赖于连 接的稀疏性。因此，本文的第二个研究重点是引入稀疏结构到传统的全互连自 联想记忆模型中，实验结果表明，改进模型既保持了原有的赢性能，又大大降 低了模型的结构复杂度。 ( 3 ) 提出了三类箍于自联想记忆模型的鲁棒人脸识别算法。传统的人脸识 别算法尽管能获得较为理想的识别精度，但当人脸图像包含噪声点、部分信息 缺失或煮有遮挡时，这些方法的识别精度会显著降低。而本文提出的这些算法 由于继承了联想记忆独特的纠错性能，识别性能表现得较为稳定。更为重要的 是，”1 测试的人脸图像无遮挡、不含噪时，基于小世界体系的指数核自联想记 忆模型c4 0 连接度) 在减少6 0 网络连接的惰现不仪获得了与金互连模型柏 “1 的识别性能，而且还优于标准特征脸算法( e i g n e f a c e s ) 和最近提出的( p c ) 2 a 基于小世界体系的核自联想记忆框架及其应用研究 算法；即使在对人脸图像添加随机噪声或者部分遮挡后，该算法仍能保持比较 高的识别率，表现出了较强的鲁棒性。 1 4 本文的内容安排 本文的内容共分以下五章： 第一章阐明了本文的研究背景，介绍了联想记忆模型的最新研究进展，并 概述了本文的主要研究工作。 第二章首先介绍了现有的几种自联想记忆模型，并指出了传统自联想记忆 模型所存在的局限性及其解决办法；然后重点介绍了基于核的学习理论，内容 包括核方法的实质以及常用的核函数；最后是本章的重点，运用前述的核技巧 核化了h a m 并推广到多值，构建了囊括现有模型的统一的二( 多) 值核自联 想记忆模型框架。 第三章首先阐述了核自联想记忆模型的局限性及其解决办法；接着介绍了 三种稀疏网络结构：规则网络、随机网络和广泛存在的稀疏小世界网络结构及 其之间的联系与区别，然后简单介绍了另外一种最近引起广泛关注的稀疏网络 结构一一无标度网络；最后引入上述的稀疏网络结构，构造了新型的皋于小世 界体系的二( 多) 值核自联想记忆模型框架。 第四章介绍了各种自联想记忆模型在人脸识别一p 的应刚。其1 1 | ，重点考察了 不同连接度的基于小世界体系的指数核自联想记忆模型对含噪和部分遮挡人脸 的识别性能。 第五章对本文的研究工作进行了总结，并指出了进步的研究方向。 本文研究内容得到了国家自然科学基金：核框架下的多对多联想记忆及 其知识处理研究( n o 6 0 2 7 1 0 1 7 ) 和江苏省自然科学基金：拓展的映射型神经 网络统一框架研究( b k 2 0 0 2 0 9 2 ) 的资助 南京航空航天大学硕士学位论文 第二章核自联想记忆模型统一框架 2 1 传统的自联想记忆模型 自联想记忆模型是一种重要的人工神经网络模型，它能被用来模仿人类思 维和机器智能。迄今为止，许多研究工作者一直致力于探索自联想记忆模型的 理论和应用，并且取得了很大的成功。本节我们将首先介绍重要的h o p f i e l d 联 想记忆模型，并且通过l y a p u n o v 能量函数简单地分析了它的稳定性，然后介绍 了另外几种典型的自联想记忆模型。 2 1 1h o p f i e l d 联想记忆模型及其稳定性分析 在2 0 世纪8 0 年代初期，神经网络研究的重新兴起在很大程度上应归功于 j o h nh o p f i e d 的丁作。作为一个著名的物理学家，h o p f i e l d 的名声和科学资历 使人们对神经网络的研究恢复了信心。在6 0 年代中期，由于误解人们对神经网 络的研究前景很不乐观。在h o p f i e l d 早期学术活动中，他曾研究光和固体间的 相可作川。后来，他集叶精力研究生物分子间的电子转移机制。可以想象，他 翟数学和物理学上的学术研究和他后来在生物学上的经验的结合，为他在神经 网络提出的概念和所作的贡献奠定了基础。 h o p f i e l d 分别在19 8 2 年和19 8 4 年发表了两篇非常有影响的论文【6 ，”】。这两 篇文章集中了前人的许多观点，如m c c u l l o c h 和p i t t s 的神经模型 “，g r o s s b e r g 的改进模型 2 2 1 ，a n d e r s o n 和k o h o n e n 的线性联想器模型 2 3 1 以及a n d e r s o n 、 s i l v e r s t e i n 、r i t z 和j o n e s 的盒中脑状态模型 2 4 1 。h o p f i e l d 的论文可读性好，他 把些重要思想结合起来并进行了简明的数学分析( 包括l y a p u n o v 稳定性定理 的应j h ) 。 h o p f i e i d 非常强调理论模型的实践意义，他长期与a t & t 贝尔实验室保持 联系，早在1 9 8 7 年，贝尔实验室就已成功地在h o p f i e l d 网络基础上开发了神 经网络芯片。他指出神经网络的一个主要应用前景就在于v l s i 和光学设备的 并行实现。因此，过于复杂的网络结构势必会影响到它的硬件实现，本文的第 三章将针对这个具有现实意义的关键问题作一些研究。这里首先介绍h o p f i e l d 联想记忆模型的演化规则及其稳定性分析： 1 、h a m 模型及其演化规则 h a m 模型是由二值神经冗( 如图2 1 ) 和相互问的全互连方式构成( 如图 基于小世界体系的核自联想记忆框架及其应用研究 2 2 1 。而其学习算法或更新规则采用了著名的h e b b 学习规则【2 ”。 图2 1 二值神经元模型 图2 2h a m 网络的全互连结构 假设有一组待记忆的月维列向量模式 x 一l ，1 ) ”，f _ l ，2 ，m ) ；_ 为任一个 输入模式，刀为z 的下一个状态，h a m 可由下面的回忆规则来描述 z = 5 9 胛( 阡w ) = 踞。( mx t ( x ，) ，z ) = 甚g ( m 。( j 3 1，。l 其中 = x ( ) 7 ( 2 1 ) ( 2 2 ) 这里w 为权值矩阵，昭n ( ) 是一。符号函数，当x 0 时取值为1 ，否则取值为 1 。t 表示向量的转置。 h a m 的体系结构如倒2 2 ，它由, r 个神经元经全瓦连组成，其对应的学刊 规则采用h e b b 规则，学习的实质是通过对神经元各权值的调整最终达到记忆 南京航空航天大学硕士学位论文 待学模式的口的。 h a m 学习算法： s t e p l ：记忆，即进行权值调整 rm ：j 善可+ 律( ：。) l o f - j 其中彬，表示神经元与神经元i 之间的连接权值。 表示第s 个待记忆模式的第i 个分量或特征。 s t e p 2 ：回忆 任给一待回忆模式x = ( x ，置，- ，) 2 - - 1 ，1 ) ”，( 这里“r ”表示矩阵或向量转 置) 。将其作为初始状态，提交给h a m ，即置置( o ) = x i ，i = l ，2 ， ，置o ) 表示第 i 个神经元r 时刻的输出。 s t e p 3 ：动态地从初态开始运行直到收敛或至稳态。 五( h 1 ) = 聊( x j ( f ) ) i = 1 ，2 ，” ( 2 4 ) 注意在该步的执行过程一h 神经元状态的改变涉及二种更新方式，即同步 更新和异步更新。 所谓同步更耨是指所有神经元状态在同一时刻同时更新。所谓异步更新是 指在任意时刻从所有神经元中随机选定一神经元更新其状态，同时保持其他神 经元在该时刻不变。 同步更新适合并行处理但在实现时需要严格的同步机制，通常这一条件较 为严格。异步更新放宽了严格的同步限制，但一般仅适合于串行处理。 2 、稳定性分析 网络的稳定性决定着网络的动态行为最终能否终止。若x 满足x = s g n ( w x - o ) 的话，终止后所呈现的状态工即成为吸引子或不动点。学习的目的就是通过权 值调整使待记忆模式成为网络能量函数的吸引子或不动点。可以证明，异步更 新方式下，h a m 从任意初态出发最终收敛到吸引子或不动点。亦即，任一待识 模式通过网络以动态执行的方式获得识别，其结果要么是已记忆模式，要么是 未记忆过的模式，此模式即为伪稳态。 网络的稳定性可借助如下定义的l y a p u n o v 能量函数e ( ，) 得到证明： e ( t ) = 一专( f ) 7 w x ( t ) + 0 ) 7 占( 2 5 ) 在离敷时刻和离敞状态下，若对于以f ) 的异步变化，e ( f ) 满足 ( 1 ) e ( f ) 有界； 基于小世界体系的核自联想记忆框架及其应用研究 ( 2 ) e ( 吼总是随预f ) 的婪化而减小， 则说明网络在该更新方式下稳定，其h a m 的稳定性证明参见 2 0 2 1 2 其他的自联想记忆模型 尽管h a m 模型的影响甚大，但分析表明其模型存在如下缺陷：1 ) 、存储容 量极为有限，其上界仅为0 15 n ( n 为网络中神经元个数) ；2 ) 、神经元状态仅 取二值，无法直接处理现实中的多值情形。为了提高自联想存储器的存储容量， 扩大它的处理范围，许多学者对此进行了长期不懈的研究，提出了如下几个典 型的自联想记忆模型： 1 、高阶关联联想记忆模型( h i g h - o r d e rc o r r e l a t i o na s s o c i a t i v em e m o r y h o c a m ) d p s a l t i sa n dc h p a r k 【9 1 等人于1 9 8 6 年在美国物理学会的会刊上提出了 个高阶关联联想记忆模型( h o c a m ) ，该模型可作如下描述： 假设 ，i = 1 , 2 ，3 ，m ) 是一组待记忆的模式，z = ( 置，也，以) 7 为任一个输入 模式，其中x7 ，x ，x 1 ，1 o h o c a m 按下面的演化规则进行迭代： m = s g n ( ( z 1 ，x ) + h ) 9 + x ，g n ，q l ( 2 6 ) j - i 其中x 是初始模式，x 是网络经过一步回忆后的状态 是内积运算。 作者指出，h o c a m 模型的存储容量较h o p f i e l d 模型有了相当大的提高，渐 近达到了9 。 2 、潜能函数关联联想记忆模型( p o t e n t i a l f u n c t i o nc o r r e l a t i o r ia s s o c i a t i v e m e m o r y ，p f c a m ) 潜能函数关联联想记忆模型( p f c a m ) 由a d e m b o 和o z e i t o u n i t 2 6 , 2 7 于 1 9 8 8 年提出。该模型的演化规则如下： m z + = 渺( 研一( z 1 ，) ) 。+ z2 ) ，l l ( 2 7 ) i = 1 其中的参数说明如前所述。 p f c a m 模型的