（计算机应用技术专业论文）基于独立分量分析的人脸识别研究.pdf

哈尔滨工程大学硕士学位论文 摘要 人脸识别是模式识别、图象处理等学科的一大研究热点，可以广泛地应 用到安全部门、电视会议、身份鉴别、数字监控等领域。 人脸识别主要有三部分构成：数据预处理、特征提取和分类判别，其中 特征提取可以说是重中之重，也是本文的研究重点。 在预处理阶段主要完成对人脸样本的图象增强、几何及灰度归一化和白 化等工作。这些工作有效地改善了图象质量、降低了计算复杂度，从而提高 了后续算法的收敛速度。 在特征提取环节，本文利用独立分量分析技术来提取人脸特征，形成各 个分量相互统计独立人脸特征空间。由于独立分量分析算法提取的独立分量 个数是由输入样本的个数决定的，所以在训练样本庞大时，会使训练时间呈 指数形式增加。为此，本文采用主分量分析法先对原输入样本进行降维处理， 把主分量形成的人脸特征空间作为独立分量分析算法的输入数据，从而降低 了独立分量分析算法输入样本个数的要求，降低了计算复杂度，提高了独立 分量分析算法的收敛速度。针对人脸样本的特殊性，本文采用的独立分量分 析算法是改进后的i n f o m a x 算法，即，算法实现时采用了四阶累积量来对 g ，( m ) 进行自适应学习。 在分类判别中，本文针对独立分量分析算法提取的人脸特征空间，把最 近距离分类器和基于支持向量机的分类器做了比较。实验结果表明，本文所 采用的独立分量特征空间对这两种不同的分类器并不敏感。 实验结果说明独立分量分析是人脸识别领域里的一个行之有效的方法， 并具有广阔的应用前景。 关键词：人脸识别；独立分量分析；主分量分析；支持向量机 哈尔滨工程大学硕士学位论文 a b s t r a c t h u m a nf a c er e c o g n i t i o ni sa t t r a c t i v ei np a t t e r nr e c o g n i t i o na n d i m a g ep r o c e s s i n g i t c a db ea p p l l e dt o s e c u r i t ys y s t e m ，h u m a ni d m a n a g e m e n t ，t e l e c o n f e r e n c e ，d i g i t a ls u r v e i 1l a n c ea n ds oo n g e n e r a l l y ， f a c e r e c o g n i t i o n c o n s i s t so ft h r e e p a r t s ： p r e p r o c e s s i n g ， f e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n f e a t u r e e x t r a c ti o nist h em o s t i m p o r t a n tt h i n g ，o nw h i c ho u rs t u d yf o c u s t h e p r e p r o c e s s i n g w o r ki n c l u d e s i m a g ee n f o r c e m e n t ，g e o m e t r y n o r m a l i z a t i o no ff a c e i m a g e s ，i m a g ei n t e n s i t yn o r m a l i z a t i o n a n d w h i t i n g t h e s ep r e p r o c e s s i n gi m p r o v ei m a g eq u a l i t y ，d e c r e a s e c o m p u t a t i o nc o m p l e xa n dt h e r e f o r es p e e du pa l g o r i t h m sc o n v e r g e n c e i nt h ef e a t u r ee x t r a c t i o n s t e p ，t h i sp a p e ru s e si n d e p e n d e n t c o m p o n e n ta n a l y s i s t oe x t r a c tf e a t u r e s i nt h ef e a t u r es p a c e ，t h e c o m p o n e n t sa r es t a t i s t i c a li n d e p e n d e n t t h en u m b e ro ft h ei n d e p e n d e n t c o m p o n e n ti sd e t e r m i n e db yt h en u m b e ro fi n p u ts a m p l e s ，s o ，w h e nt h e t r a i n s a m p l e s a r e v e r ym a n y ，t h et r a i n i n g t i m ew i l li n c r e a s e e x p o n e n t i a l l y b e c a u s eo ft h i s ，t h i sp a p e rd e c r e a s e sd i m e n s i o n so ft h e o r i g i n a li n p u ts p a c eb yp c a ，t h e nu s e sp c as u b s p a c ea st h ei n p u td a t a o fi c aa l g o r i t h m ，w h i c hr e d u c e st h en u m b e ro fi n p u ts a m p l e st oi c a a l g o r i t h m ，d e c r e a s i n g t h ec o m p u t a t i o nc o m p l e x ，s oq u i c k e n st h e c o n v e r g e n c eo fi c aa l g o r i t h m c o n s i d e r i n gt h es p e c i a l i t y o ff a c e i m a g e s ，w ea d o p tt h ei m p r o v e di n f o m a xa l g o r i t h m ，w h i c hu s e sf o u r t h c u m u l a t i o nt os t u d y g ：( y ，) a d a p t i v e l y a si c af a c ef e a t u r es p a c ei s ，c o n c e r n e d ，t h i sp a p e rc o m p a r e s ，t h e s v mc l a s s i f i e rw i t hn e a r e s tn e i g h b o rc l a s s i f i e r t h ee x p e r i m e n t a l r e s u l t ss h o wi c af e a t u r e s p a c e i sn o ts e n s i t i v et ot h e s et w o c l a s s i f i e r s 哈尔滨工程大学硕士学位论文 a tl a s t ，o u re x p e r i m e n t ss h o wt h a ti c ai sa ne f f e c t i v em e t h o di n f a c er e c o g n i t i o nf i e l d ，t a k i n go i lw i d ea p p l i c a t i o nf o r e g r o u n d k e yw o r d s ：f a c er e c o g n i t i o n ；i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ； p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ；s u p p o r tv e c t o rm a c h i n e ( s w ) 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ： 垄军 日期：7 , o 口妒年p 月哆e t 哈尔滨工程大学硕士学位论文 1 1 引言 第1 章绪论 人脸是人类视觉中最为普遍的模式，人脸所反映的视觉信息在人与人的交 流、交往中有着重要的作用和意义。计算机入脸识别技术试图使计算机具有入 的识别能力，由于其广泛的应用领域，人脸识别技术在近三十年里得到了广泛 的关注和研究。依托于图象理解、模式识别、计算机视觉和神经网络等技术， 人脸识别技术在一定应用范围内获得了成功，并且正在被推向更广的应用领 域。与其它生物识别技术，诸如指纹识别、眼虹膜识别和声音识别相比较，人 脸识别具有以下两点独特的特性： 1 适合要求隐蔽实行的场合。其它生物识别方法一般需要人的某些自愿 动作，如按指纹、签字等，而人脸识别对此要求甚低，使它更易于使 用，特别适合要求隐蔽实行的场合，如罪犯侦缉等。 2 当记录一个企图登录的人的生物记录时，只有人脸能更直观、更方便 地核查该人的身份。例如，管理员仅凭双眼无法判断所登录的用户指 纹是否确实与相同号用户所登记的指纹一致，但却可以比对面像。 人脸作为一种高普遍性、可以非接触式采集的重要生物特征，可以用 以进行身份鉴别。 人脸识别技术可以被应用在多种不同的安全领域：证件( 驾驶执照、护照) 中的身份认证：楼寓进出的安全控制；重要场所中的安全检测和监控；智能卡 中的身份认证。人脸识别技术在信息安全领域也有着巨大的潜在应用价值。随 着网络技术日益走进入们的日常生活，越来越多的用户可以访问互联网，越来 越多的信息被置入互联网。而由于网络信息访问的便捷性，网络的安全控制成 为一个日益迫切的重要问题。利用人脸识别技术。可以进行计算机的登录控制， 达到程序安全使用、数据库安全访问，实现局域网和广域网的安全控制，保护 电子商务的安全性。人脸识别技术可以用于创建友好自然的人机交互方式，是 哈尔滨工程大学硕士学位论文 智能计算机领域研究的重要内容之一。一个可以识别使用者脸像的智能计算 机，可以按照其特点为该使用者提供工作环境，从而使人与计算机之间的交互 如同人与人之间的交互一样轻松自如。另外，人脸识别技术还被用在图象库检 索，在大型人脸库中检索出与索引人脸相同或相近的脸像。例如：公安部门可 以利用人脸识别技术进行罪犯库的管理和查询。 在日常生活中，人们识别周围的人用的最多的是人脸。由于人脸识别的非 侵犯性，具有直接、友好、方便的特点，是人们最容易接受的身份鉴别方式。 随着网络技术和桌上视频的广泛采用，图象捕捉设备正在成为个人计算机的标 准外设，同时电子商务等网络资源的利用对身份验证提出了新的要求，人脸识 别成为最有潜力的生物身份验证手段之一。 1 2 人脸识别的研究内容 人脸识别( f a c e r e c o g n i u o n ) 就是用计算机对人脸图象进行特征提取和识 别的模式识别技术。在2 0 世纪7 0 年代初，对人脸识别的研究涉及心理学神经 科学。研究内容包括：人脸对人身份鉴定的唯一性；人脸全局特征和局部特征 在人脸识别中的作用；表情的分析与使用；婴儿是如何识别人脸的等等。其直 接目的是要搞清楚人是如何对人脸进行识别的。7 0 年代中期以后，开展了用 数学、物理技术的方法对人脸自动识别的研究。特别是在1 9 9 0 年以后，研究 工作更加广泛和深入地开展。这些研究工作涉及模式识别、图象处理、计算机 视觉和神经网络等学科领域。 计算机人脸识别的研究内容大概包括以下几个方面的内容： 1 人脸检测( f a c ed e t e c t i o n ) ，就是从各种不同的场景中检测出人脸 的存在并确定其位置。这方面的研究主要受光照、噪声、面部倾斜度 以及各种各样的遮挡的影响。 2 人脸表征( f a c e r e p t e s e n t a t i o r , ) ，就是采取某种表示方法表示检测出 的人脸和数据库中的己知人脸。通常的表示法包括几何特征( 如，欧 式距离、曲率、角度等) 、代数特征( 如，矩阵特征矢量) 、固定特 征模板、特征脸等。 哈尔滨工程大学硕士学位论文 3 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ，就是通常所说的人脸识别，将待识 别的人脸与数据库中的相关信息进行匹配。这个过程要选择适当的人 脸表征方式与匹配策略。整个识别系统的构造与人脸的表征方式密切 相关。 4 表情姿态分析( e x p r e s s i o ng e s t u r ea n a l y s i s ) ，就是对待识别人脸的 表情或者姿态信息进行分析，并对其进行分类。 5 生理分类( p h y s i c a lc h s s i f i c a f i o n ) ，就是对待识别人脸的生理特征进 行分析，得出其年龄、性别等相关信息。 入脸检测，入脸表征，人脸鉴别是我们通常意义上建立入脸自动识别系统 的三个方面。人脸自动识别系统包括两个主要的技术环节，首先是人脸的检测 和定位，即从输入图象中找到人脸存在的位置，并将人脸从背景中分割出来( e p 人脸检测) ，然后才是对归一化的人脸图象进行特征提取与识别( 即人脸表征 与人脸鉴别) 。 相对来说表情姿态分析、生理分类是一个非常困难的研究方向，不过它在 计算机图形学( 尤其是计算机动画) 领域有很广泛的应用前景，因此在最近几 年得到了国内外很多从事计算机视觉( c o m p u t e r v i s i o n ) 的研究人员的注意。 本文的研究重点是人脸表征，人脸鉴别。下面就人脸识别的国内外研究现状作 一综述。 1 3 人脸识别的研究现状 国外的大学一般都有c o m p u t e rv i s i o n 研究组，并有从事人脸图象处理 课题的研究小组。其中著名的大学包括m i t 、c m u 、c o r n e l l 、r o c k f e l l e r 等。 德国的一些相应的研究机构也开展得较好。国内从事这方面研究的大学有清 华大学、浙江大学、哈尔滨工业大学、南京理工大学等，中国科学院的一些 研究机构也从事人脸识别的研究。另外国外有些公司已经开发了一些人脸识 别的产品，部分产品被安全机构使用，得到好评。国内也有部分公司对人脸 识别产品感兴趣。下面简单描述一下人脸识别目前的研究现状。 哈尔滨工程大学硕士学位论文 1 3 1 人脸检测 人脸检测作为人脸自动识别系统的主要技术环节之一，它的研究有一定 的独立性，这是由于在一些特定的场合人脸检测相对来说要简单一些。但是 最近几年随着人们越来越关心各种复杂情况下的人脸自动识别系统，人脸检 测与定位得到了较多的重视。 人脸检测的基本思想是用知识或统计的方法对人脸建立模型，比较所有 可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。人 脸检测由于场景、位置、方向的变化以及入脸的姿态( 正面。侧面) 、表情、 光线的变化等原因，使得人脸检测的研究具有很强的挑战性。 目前人脸检测方法大致可以分为三类：1 、基于模板匹配方法，2 、基于 知识的方法，3 、基于特征不变性方法。 基于模板匹配的方法n ，计算一个确定的人脸模板与候选图象位置上的局 部像的相关程度( 差分测度) ，若它超过某个预定的门限，则认为找到人脸， 这个过程通常称为模板匹配。这里的“确定的”人脸模板，一般是在对一定数 量的入脸样本的灰度分布进行统计的基础上建立起来的。当入脸模式的类别太 多而难以由单个相关模板建模时，有些方法就采用若干个相关模板来检测在外 观上近似于刚性的局部的人脸特征( 如眼睛，嘴等) 。但是相关模板对人脸的 大小和光照很敏感，所以不太适用于变化多端的人脸模式；另一方面，相关模 板的计算量比较大，直接在边缘图象上进行匹配也比较困难，因此，较多的模 板匹配方法采用由粗到细，或由低分辨率到高分辨率的检测过程。 基于知识的方法，这类方法利用人的知识建立若干规则，从而将人脸检 测转化为假设检验问题。y a n g 在文献 1 7 采用了一种分级的基于知识的人脸 检测方法，也就是常说的马赛克方法，它给出了基于人脸区域灰度分布的规 则，依据这些规则对图象从低分辨率到高分辨率进行筛选，以样本满足这些 规则的程度作为检测的判据。这类方法存在一个问题，就是如何将人所具有 的知识转化为规则，如果规则过于严格仔细，会出现由于不能满足所有条件 而不能检测到人脸，如果规则过于普遍，那么又会出现错误的检测，同时这 种方法无法适应人脸姿态变化。 基于特征不变性的方法，这类方法是基于，这样一种假设，人们能够毫不 哈尔滨工程大学硕士学位论文 费力地发现不同姿态、不同光线下的人或物体，所以他们必然存在在这些变 化下的不变的特征。这一类方法主要有采用人脸特征的检测，基于皮肤颜色 纹理特征的检测m ，以及基于多个特征综合的检测n ，。这类方法的缺点在于这 些特征会由于照明、噪声以及遮挡情况被破坏，在这种情况下很多方法都会 失效。 1 3 2 人脸的描述 人脸描述是人脸自动识别中的一个核心问题，它在一定程度上决定了人 脸识别的具体方法及性能。计算机对人脸进行检测、识别甚至表情分析，很 重要的一点是如何合理地表示人脸。所有的已知人脸必须以一定的格式存储 起来，人脸表示的本质与识别使用的匹配策略相互影响。目前常见的表示方 法是：特征向量表示和二维图象表示。 1 用面部特征空间构成的几何量特征描述方法( g e o m e t r i c f e a t u r e b a s e d r e p r e s e n t a t i o n ) ，这种方法首先定义一些人脸 特征点或特征区域，如眼睛虹膜，鼻侧翼点、嘴角、下巴轮廓等， 然后在此基础上，计算出反映该人脸特征的距离、角度、曲线等 几个特征量，从而用这些几何特征向量形成特征向量描述该人脸。 2 二维图象的人脸描述方法( i m a g e b a s e dr e p r e s e n t a t i o no r p i c t o r i a l r e p r e s e n t a t i o n ) ：该种描述方法用入脸模式的原始 图象或滤波后图象代表人脸模式。基于模板的人脸描述是其中最 简单的一种，这种方法将原始人脸灰度图象作为标准图象储存起 来，通过计算输入图象与库中已知人脸模板的相关量来寻求最佳 的匹配。 1 3 3 人脸识别的方法 人脸识别的输入图象通常有三种情况；正面、侧面、倾斜。由于实际情 况的要求，对人脸正面模式的研究最多。人脸识别的本质是一个三维非刚性 物体与二维投影图象的匹配问题，它的困难体现在：1 、人脸非刚性变形( 如 表情等) 的不确定性；2 、人脸模式的多样性( 如，胡须、发型、眼睛、化妆 等) 3 、图象获取过程中的不确定性( 如，光照的强度、光源方向等) 。识别 哈尔滨工程大学硕士学位论文 人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差 异而对于同一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和 特征提取都比较困难。 在对人脸图象进行特征提取和分类之前一般要作预处理，主要包括几何 归一化和灰度归一化。几何归一化是指根据人脸定位结果将图象中入脸变换 到同一位置和同样大小。灰度归一化是指对图象进行光照补偿等处理，光照 补偿能够在一定的程度上克服光照变化的影响而提高识别率。人脸特征提取 与识别方法大概可以分为以下几类： 基于代数特征的识别方法，这类识别方法仍然是将人脸用特征矢量表示， 只不过用的是代数特征矢量：即人脸图象在由“特征脸( e i g e n f * c e s ) ”张成的降 维子空间上的投影。s i r o v i c h 和k i r b “首先将k - l 变换用于人脸图象的最优表 示。t u r k 和p e n f l a n d 进一步提出了“特征脸”方法，该方法以训练样本集的 总体散布矩阵为产生矩阵，经k - l 变换后得到相应的一组特征矢量，称为“特 征脸”，这样，就产生了一个由“特征脸”矢量张成的子空间，每一幅人脸图 象向其投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的 位置，试验表明其具有较强的稳定性，可以作为人脸识别的依据。但是系统在 进行特征脸提取之前需要作大量预处理工作，如归一化等。总之，特征脸方法 是一种简单、快速、实用的基于变换系数特征提取的算法，但是由于它在本质 上依赖于训练集图象和测试集图象的灰度相关性，而且要求测试图象与训练图 象比较相似，所以它有一定的局限性。 基于f i s h e r 线性辨识分析的识别方法，线性辨识( l d a ) 的基本思想是找 到一种线性交换，使得数据经过该线性变换之后，各个特征之间具有最大的可 分性。这一思想可由散布矩阵分析来实现。i d a 对于类别间的辨识信息感兴 趣，f i s h e r 判别准则使得经过线性变换之后的类间差异最大，同时保证类内的 差别最小，从而达到最佳分类的目的。 基于几何特征的识别方法，这类识别法将人脸用几何特征矢量表示，用 模式识别中层次聚类的思想设计分类器，达到识别目的。这就要求选取的几 何特征矢量具有一定的独特性，能够反映不同人脸之间的差别，同时又具有 一定的弹性，以消除时间跨度、光照等的影响。几何特征矢量是以人脸器官 的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧 6 哈尔滨工程大学硕士学位论文 式距离、曲率、角度等。p o g g i o 和b r u n e l l i 用改进的积分投影法取出用欧 式距离表征的3 5 维人脸特征矢量用于模式分类。人脸器官的关键点分别对应 于不同的积分投影方式产生出的波峰波谷，根据人脸结构的先验知识，可以 得出人脸各器官之间的几何位置关系，但是精确地提取这些几何特征是一项 十分困难的工作。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是：定义 一个参数可调的器官模型( 即可变形模板) ，定义一个能量函数，通过调整模 型参数使能量函数最小化，此时的模型参数即作为该器官的几何特征。这种 方法的思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数 只能由经验确定，难以推广；二是能量函数优化过程十分耗时，难以实际应 用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需 要大量的前处理和精细的参数选择，同时，采用一般几何特征只描述了部件 的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，比较 适合于做粗分类，而且目前己有的特征点检测技术在精确率上还远不能满足 要求，计算量也很大。 基于多分类器方法，多分类器结合方法可大致分为两大类：一类是所有 分类器基于对输入模式的同一表征，即使用相同的特征空间，各分类器仅是 结构不同或参数不同；另一类是各个分类器有各自对输入模式的不同表征， 即，使用不同的特征空间，各分类器完全不同。由于不同性质的特征往往反 映了物体的不同方面，因而在一种特征空间很难区分的两种模式，有可能在 另外一种特征空间上很容易分开，而对应于同一特征的不同分类器有可能从 不同的角度将该特征映射到决策空间上，因此利用不同性质特征和不同分类 器的组合可能准确区分出一个物体，从而得到一个较好的分类结果。 1 4 本文研究的主要内容 本文的主要研究内容集中在人脸特征提取和识别算法。目前存在的很多 人脸特征提取算法，大多采用无监督统计算法。上面我们介绍的基于k l 变 换的特征脸方法就是其中比较受欢迎的一种，但是它提取的只是基于图象象 素两两之间的二阶统计关系。然而在人脸识别这样的应用中，识别所需要的 哈尔滨工程大学硕士学位论文 重要信息可能包含象素间的高阶统计关系，因此采用对这些高阶信息敏感的 特征能获得更好的识别效果。独立分量分析( i c a ) 是这种高阶统计方法中的 一种，它是特征脸方法的推广。 论文内容作如下安排： 第l 章简要介绍了人脸识别技术的一些基本情况，通过对人脸识别技术 应用范围的介绍及国内外的应用情况的研究，指出了人脸识别的巨大应用前 景，然后对国内外人脸识别的研究内容和研究现状作了一个简要的综述，提 出了本文研究的重点。 第2 章全面地阐述i c a 理论及相关知识，在此基础上分析i c a 算法在人 脸特征提取中的可行性及理论优势。 第3 章对人脸图象预处理进行了讨论。预处理工作主要包括：人脸图象 直方图均衡、图象的几何与灰度归一化和i c a 算法输入数据的白化。本文首 先对输入图象进行直方图均衡操作，减少了光照影响；然后利用双线插值对 图象进行几何归一化，以利后面的特征提取；最后还对图象进行灰度归一化 和白化处理，降低了计算复杂度，提高了i c a 算法的收敛速度。 第4 章主要讨论了人脸特征的提取与选择，首先分析了主分量分析和独 立分量分析各自的优点，在此基础上，把两者结合实现了基于p c a i c a 人脸 特征提取法。实验表明，该方法取得了很好的识别效果。本文把基于支持向 量机和二叉树的分类器和最近邻分类器分别对i c a 人脸表示空间进行了分类 实验。实验结果显示，我们提取的这个独立分量特征空间对两者并不十分敏 感。 8 哈尔滨工程大学硕士学位论文 2 1 引言 第2 章 lc a 理论及相关知识 i c a 这种新的多维信号处理方法，主要用于揭示和提取多维统计信号中 的潜在成分，是在具有较长研究历史的盲源分离问题“”( b s s ) 中浮现出的新的 信号分析技术。与传统的多维信号分析方法截然不同的是，经i c a 处理得到 的各个分量不仅去除了相关性，还是相互统计独立的，并且是非高斯分布的。 i c a 在许多方面对传统方法的重要突破使得其越来越成为信号处理中一个极 具潜力的分析工具。 2 2 多维统计数据的线性变换 在科学研究的众多应用领域，一个普遍存在的问题是如何从采集的数据 中获取信息。随着科技的高速发展，大量数据的测量及存贮已经不再成为问 题，但是获取数据本身所含信息是不够的。提取产生这些数据的系统固有的 信息才是根本目的所在。在诸如数据分析、信号处理、神经网络等应用领域， 找到对多维数据的一个恰当的描述是经常会遇到的问题。为了使问题尽可能 的简单化以及考虑到计算的复杂性，最好使得这种描述是一个对原数据的线 性变换，因为这会对各种形式的后继分析带来极大的方便，如：数据压缩、特 征提取、模式识别、可视化等。 在多维信号处理中，为了便于研究，通常把采集得到的数据( 如一系列的 人脸图象。一组麦克风的录音等) 看成多维随机变量( 或称随机矢量) 的一系列 样本值，以便于将随机矢量的数值统计方法l i t i d t l 应用到原数据。这样做虽然 几乎完全忽略了信号的时间特性，但是可以尽可能地利用其统计特性。在一 些场合下，这种做法能在很大程度上弥补由时频域方法的局限性带来的不足。 在本文中，这些随机矢量都假设成连续取值的，而且不失一般性，假设其中 哈尔滨工程大学硕士学位论文 的所有分量都是零均值的，即有e x _ 0 。 对多维信号在时刻t 的采样x ( f ) = b 。o ) ，x ：( f ) ，( f ) r ，t = 1 , 2 ，r 可看 作是m 维随机变量的某一观测样本矢量，其中一( f ) ，i = 1 , 2 ，m 为各个分量， 按照某种规则对其作线性变换，记为f ( r ”一尺”1 ： y ( ，) = 厂( x ( f ) ) ( 2 - - 1 ) y ( t ) = y ( f ) ，y ：( f ) ，_ y 。( f ) r 为变换后的结果。假设这里的，是一线性变换， 于是y ( 0 中的每个分量都是原数据所有分量的线性组合： ) ，( f ) = w o x j ( f ) ，净1 , 2 ，n ，j = 1 , 2 ，m ( 2 - - 2 ) 对应每个儿( r ) 的一组系数，j = 1 , 2 ，m 称为一个基向量，( 2 - - 2 ) 可简单地 写成矩阵形式： y = w x ( 2 3 ) 故多维数据的线性变换简单地说就是按照一定的准则寻找一系列的加权系数 组成线性变换矩阵矿中的各个基向量( 的行向量) ，而这个基向量构 成一个新的坐标系。将原数据在这样一个坐标系上展开，得到的各个分量便 是变换的结果。要求变换后的数据y 在最大程度上体现原数据间隐含的实质 结构，并且y 的各个分量能够尽可能地代表产生原数据的系统本身的物理机 制。基于多维随机变量统计分析的框架，变换矩阵的寻找方法通常是建立 一个体现输出结果y 的统计特性的目标函数g ( y ) 。而这种统计特性因算法中 基本准则的不同而不同，可能是一、二阶的，如相关系数、协方差等；也有 可能是高阶的，如互信息、非高斯性等。 常见的线性变换技术主要有主分量分柝( p c a ) 、奇异值分解( s v d ) ，投 影法( p r o j e c t i o np u r s u i t ) 等旺- ，。以上方法都属于信号分析的经典范畴， 其分析方法仅限于二阶统计特性，确切地说这些方法是建立在协方差矩阵的 基础上。i c a 则是对上述传统方法的突破，是一种新的线性交换技术。为了 便于其原理的说明，以后除特别声明均假设变换前后数据维数相等：m = n 。 在实际应用中，当观测信号个数m 大于源信号个数时，总可以通过降维的 方法使得m = ，所以这种假设不失一般性。 1 0 哈尔滨工程大学硕士学位论文 2 3 主分量分析 粗略地说，所有的线性变换都是寻找这样的矽矩阵，只是因输出j ，的目 标函数的不同使得不同的方法分别得到不同的变换矩阵。主分量分析是一种 正交变换，在多变量数据分析中是一个流行的工具，这种处理方法可由多个 角度来定义。下面从几何的角度，结合能量晟大准则对这种传统的线性变换 方法进行一个简单的叙述：对于多维数据，简记为x = “，而，x 。 7 ，按照某 一方向w 7 进行映射，w 1 7 是一维矢量： m = w 1 7 x ( 2 4 ) 原则是使m 的能量最大，由于y 。也是零均值，所以只需满足e y 2 最大。这 个m 作为第一个主分量，然后再在与前一个矢量w 1 7 正交的所有矢量中寻找 一个2 ( 即满足w l w ：= 0 ) ，同样使得映射后的j ，：= 7 x 能量最大，这样 便找到了第二个主分量y ：。在如下两个前提下，依次类推得到剩余主分量。 1 该方向与前面所有方向都正交( 或称垂直) 。 2 映射后的数据方差( 即能量) 为最大。 由于每次映射的各个方向相互垂直，结果得到一组互不相关的分量： e y i y j = o ，f ， 主分量分析主要用于信号压缩和编码，是一种最小均方误差( l m s ) 意义 下的最优变换m 。也就是说，变换后的信号能量主要集中在前几个主分量中， 而由这少数几个主分量张成的子空间去重构原信号，逼近效果从最小均方误 差意义下是最优的。 由前面叙述可知，所有这些映射矢量作为基向量，便构成主分量分析对 应的变换矩阵w = w 1 ，w 2 ，均，w ) 7 ，其中前几个基向量w l ，w 2 ，对应 能量占主导地位的几个主分量的映射方向，现将余下的基向量置零，得到 w 。= w 1 ，w 2 ，w d ，0 ，0 0 7 ，利用矿，对信号进行近似恢复，得到 工= w “w x 。其中w x 为所选择的前d 个主分量。重构信号的均方误差为 e 舡一x 。n 。当选择d 个主分量去重构原信号时，由于原信号的维数n d ， u 所以从信号维数的角度来讲p c a 起到了对信号降维的作用。在很多情况下， 有效的降维会使得在最大程度保持原信号中所蕴涵的信息的情况下大大降低 1 1 哈尔滨工程大学硕士学位论文 运算复杂度。譬如在进行人脸识别应用中，输入的人脸图象的维数往往很高， 采用p c a 方法对其进行特征提取可以降低样本的维数，从而降低计算复杂度， 提高了计算速度，而且从重构人脸图象的角度，在最小均方误差意义下，它 是一种最优变换。 2 4 统计独立 经p c a 方法得到的各个分量是互不相关的，换句话说，p e a 去除了信号 问的二阶冗余信息。即便是经过了p c a 方法处理，各分量之间仍有可能存在 着高阶统计意义上的冗余信息。统计独立m ，是i c a 中的一个核心概念，也是 i c a 模型的一个最基本的假设。统计独立要求高阶统计不相关，所以它是一 个更加苛刻的条件。正因为此，i c a 方法成为p e a 的一个推广。下面由随机 事件的独立性引入随机变量的独立性。 2 4 1 随机事件的独立性 在概率论中，设a 。b 是某一随机试验事件空间中的两个事件，如果满 足： p ( a b ) = p ( a ) p ( b ) ( 2 - 5 ) 则称一，b 是相互独立的事件，注意到条件概率密度p ( bj 彳) 的表达式： 邶= 等 ( 2 - 6 ) p ( e l a ) 表示在事件4 己经发生的情况下事件曰发生的概率。不难看出，如 果a ，b 相互独立，且p ( a ) 0 则有： p ( e i 一) = p ( b ) ( 2 7 ) ( 2 7 ) 式是描述a ，b 相互独立的另一种方式。对它的一个直观解释就是：事 件4 的发生对事件曰发生的概率不提供任何额外的信息。 2 4 2 统计独立的随机变量 随机事件的独立性概念可以很容易地引出随机变量的情况。仍以二维为 例，设x ，y 是连续型随机变量，其相互独立的定义为： 厶( x ，y ) = f a x ) f , ( y ) ( 2 - - 8 ) 哈尔滨工程大学硕士学位论文 该式左边为( x ，y ) 的联合概率密度，右边分别为两个变量的边缘概率密度。可 见，独立使得多变元的联合函数分解成单变元函数因子乘积的形式，这给计 算多维随机变量的联合概率密度函数带来了方便。类似地，两个随机变量相 互独立意味着其中一个变量的取值对另一个变量的取值不提供任何信息。( 2 - - 8 ) 式的定义可以扩展到任意维变量，只不过等式右边变成项边缘概 率密度的乘积。由定义式( 2 8 ) 还可以得出统计独立的一个很重要的性质。 对任意给定的两个函数g ，和g ：，很容易证明总有下式成立： e g o ) g ：( 砷 = e g ，o ) ) e 9 2 0 ) ) ( 2 9 ) 这里如果我们令g d x ) = x ，g ：( y ) = y ，则( 2 - - 9 ) 式变成； e x y = e x e y ( 2 1 0 ) 变量x ，y 的协方差等于零，即它们不相关。由此可见，统计独立包含着不 相关，而不相关只是独立的微弱形式。但是在后面我们将看到，用p c a 进行 去相关作为i c a 的预处理过程可以大大减少i c a 的计算量。 2 5 i c a 模型及定义 2 5 1 i c a 和盲源分离 盲源分离问题( b s s ) 是信号处理中一个传统而又极具挑战性的课题。盲 源分离是指仅从观测的混合信号( 通常是多个传感器的输出) 中恢复独立的 源信号，这里的“盲”是指：l 、源信号是不可观测的：2 、混合系统是事先 未知的。在科学研究和工程应用中，很多观测信号都可以假设成是不可见的 源信号的混合。所谓的“鸡尾酒会”问题( c o c k t a i lp a r t yp r o b l e m ) 就是 一个典型的例子，简单来说就是当很多人( 作为不同的声音源) 同时在一个 房间里说话时，声音信号由一组麦克风记录下来，这样每个麦克风记录的信 号是所有人声音的一个混合，也就是我们所说的观测信号。接下来的问题是： 如何只从这组观测信号中提取每个说话者的声音信号，即源信号。由于输入 输出两端的连接权值是未知的，所以属于盲源分离的范畴。如果这些连接权 值是己知的，或者说混合系统是己知的，则上面的问题就退化成简单的求逆 过程，即，求混合矩阵的逆矩阵。但是在更多的情况下，我们无法获取有关 哈尔滨工程大学硕士学位论文 混合系统的先验知识。这就要求我们从观测信号来推断这个混合矩阵，实现 盲源分离。 i c 技术正是为了解决盲源分离问题而不断发展起来的，并成为阵列信 号处理和数据分析中的有力工具。将i c a 应用在盲源分离中，能够从混合信 号中重现不可观测的源信号成分，所利用的仅仅是假设源信号统计独立这样 一个容易满足的先验条件。与传统的二阶方法( 如p c a 等) 相比，i c a 不仅 可以去除各分量之间的一、二阶相关性，同时还具有发掘并去除数据间的高 阶相关信息的能力，使得输出分量相互独立。当前，i c a 在诸如语音识别、 通信、生物医学信号处理等很多领域都得到极大的重视。针对入脸识别中的 人脸图象样本和人脸特征向量之间的关系符合盲源分离中的观测向量和源信 号间的关系，并且i c a 还发掘并去除数据间的高阶相关信息，较传统的二阶 方法有较大的理论优势，本文尝试着把它应用在人脸识别的特征提取部分， 并取得了良好的实验结果。 2 5 2 i c a 的线性模型 现在从盲源分离的角度给出i c a 的线性模型及其定义。假设存在个独 立的源信号，表示成信号矢量的形式，s ( r ) = b ( r ) ，s ：( f ) ，( f ) 】7 ，独立意 味着有下式成立： p ( s ) = 1 - i p 。 ) ( 2 一1 1 ) f = l 以及个观测信号x ( r ) = k 0 ) ，x 2 ( f ) ，x 。( r ) 】r , t = 1 , 2 ，t 。这些观测信号是 由源信号混合而成，且混合是线性瞬时的，这意味着对每个时n t 都有： t ( f ) = s j ( t ) ，f - 1 , 2 ， ( z 一1 2 ) 产i 写成矩阵向量形式： x ( t ) = a s ( t ) ( 2 1 3 ) 其中a 是由混合系数组成的混合矩阵。对照( 2 一1 2 ) 可见，矩阵的每个行向 量中的个元素作为个源信号的加权系数对源信号进行混合，得到对应的 一个观测信号。但在有些时候我们更加关心爿的列向量。设a i 是4 的列向量， ( 2 一1 3 ) 的模型可以写成： 哈尔滨工程大学硕士学位论文 x ( r ) = 口。s i ( t ) ( 2 1 4 ) f - l 此时观测信号又可理解为矩阵a 的列向量的一个线性混合，而对应的权重正 是各个独立源信号。a i 之所以被关注是因为它可以反映独立源s a t ) 的空间模 式。 经过a 线性混合后的观测信号x ( f ) 的各个分量将不再是独立的，即： p ( x ，) 丌p ，( _ ) ( 2 1 5 ) 图2 1i c a 基本问题框架图 如图2 1 所示，所谓i c a 方法就是找到一个线性变换矿，称之为解混 矩阵，将它旆加到观测信号x ( f ) ，使得各输出信号尽可能的相互独立。这里 的矽从信号处理的角度看可称之为空间滤波器，如果从神经网络的角度就是 输入输出间的连接权值。当矽通过某种优化算法得到后，便有： y ( t ) = w x ( t ) = w a s ( t ) ( 2 1 6 ) 这时输出j ，( f ) 是源信号j ( f ) 的一个估计。y ( t ) 的每个分量都是由观测信 号线性组合而成，组合的系数是解混阵矿中对应的行向量的各个元素。换句 话说，y ( f ) 的各个分量是由中对应的行向量滤波的结果，故矿的行向量又 常被称为i c a 的空间滤波器。见( 2 1 6 ) 式的右边，令p = w a ，则p 可以用 来衡量i c a 算法的分离性能，明做性能矩阵。显然当p = i ( ，为单位矩阵) 时，估计的性能是一个最理想的情况，j ，( f ) = j ( f ) 。但是从盲源分离的观点看， y ( r ) 中的各个分量与j ( f ) 相比存在次序的不同以及对应分量幅度相差一个常 数项都是可以的。这称为i c a 问题的不确定性，事实上造成这种不确定性的 原因正是因为没有关于独立源的先验知识。这时p 可以不再是单位阵，而只 1 5 哈尔滨工程大学硕士学位论文 需具有这样的性质：每行、每列有且仅有一个非零元素。根据矩阵理论，总 可以按下式进行分鳃： p = w a = r s( 2 1 7 ) 式中：r 是一个置换矩阵 s 是一个对角阵 这两个矩阵就定义了性能矩阵p ，根据p 的性质，不难得出这样的结论： 如果s ( f ) 各个分量统计独立，则p s ( t ) 的各个分量仍然相互独立。这一性质同 时也间接说明了i c a 的输出结果具有次序和幅度的不确定性。因此从另一方 面可以说，如果矽是一个解混矩阵，则对p 进行归一化和重新排序后，一定 可以得到一个单位矩阵。 以上从盲源分离角度给出了i c a 的模型，还可以从多维信号线性描述的 观点阐述i c a 模型。对于给定的维观测信号x q ) = 【而o ) ，工：o ) ，h ( f ) 】7 ， i c a 的目标是寻找一个新的坐标系( w 1 ，w 2 ，w 。) ，再将工( f ) 在这个坐标系 上展开： x ( t ) = w l y l ( d + w 2 y 2 ( f ) + - + w s y ( d ( 2 1 8 ) 以至于输出分量y 。o ) ，y ，( d y 。9 ) 是相互统计独立的。这两种对i c a 问题的 表述可以