已阅读5页,还剩49页未读, 继续免费阅读
(计算机应用技术专业论文)非负矩阵分解方法及其在人脸识别中的应用.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
硕十学位论文 摘要 非负矩阵分解( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ,n m f ) 是一种较新的矩阵 分解方法,它将给定的一个非负矩阵分解为左右两个非负矩阵因子的乘积,可得 到被分解矩阵的低秩逼近。当n m f 被用于对高维数据降维时,由于非负性约束, 使得分解得到的矩阵因子具有一定程度的稀疏性,因而可得到对原始高维数据稀 疏性的、基于部分的表示。在过去的十年里,n m f 作为新兴的特征提取方法和 维数约减方法已应用于人脸识别、数字水印、文本分析等领域。然而,当数据规 模很大、矩阵维数很高时,现有的n m f 算法存在收敛速度太慢、收敛性无法保 证等缺点;此外,n m f 虽然已经被成功地应用于人脸识别,但是基于该方法的 人脸识别性能还比较差。为了解决上述问题,本文做了以下工作: 1 针对基于交替非负最小二乘法的梯度投影法改进的n m f 算法 ( a l t e r n a t i n gn o n n e g a t i v el e a s ts q u a r e su s i n gp r o j e c t e dg r a d i e n tw i t h a r m i j or u l e ,a n l s p g n m f ) 与l e e 和s e u n g 的乘性迭代算法相比虽然有较好的收 敛性,但存在收敛速度太慢的缺点,仔细分析发现,a n l s p g n m f 算法的每一次迭 代都要调用基于a r m ij o 步长规则的梯度投影法( p r o j e c t e dg r a d ie n tw it h a r m i j or u l e ) 来求解许多个带非负性约束的线性最小二乘问题,而基于a r m i j o 步长规则的梯度投影法最耗时的操作是搜索满足a r m i j o 步长规则的步长因子,这 是最终导致a n l s p g - n m f 算法的收敛速度太慢的主要原因。为了加快a n l s p g n m f 算法的收敛速度,本文用基于m o r 6 步长规则的梯度投影法求解非负最小二乘问 题,进而对a n l s p g - n m f 算法进行了改进。实验结果表明,改进的a n l s p g n m f 算法 与原算法相比,在没有使计算精度遭受较大损失的情况下,收敛速度快出很多, 实现了改进a n l s p g - n m f 算法的目的。 2 为了提升基于f i s h e r 3 乍负矩阵分解( f i s h e rn m f ,f n m f ) 的人脸识别性能, 本文对f is h e r t 负矩阵分解进行了加权改进。根据人面部的眼睛、嘴巴、鼻子、 眉毛对于正确识别人的身份所起的作用非常大,且这些器官近似地分布在人面部 的中心区域,但是,当f n m f 被用于提取人脸特征时,人脸图像中的所有像素被赋。 予了同等的地位,而人脸中心区域的像素对人脸识别贡献较大,应该在优化过程 中给中心区域的估计像素值与原像素值之间的偏差加上较大的惩罚,于是,本文 提出了加权f i s h e r 非负矩阵分解( w e i g h t e df i s h e rn m f ,w f n m f ) 。实验结果表 明,当人脸无遮挡时,基于w f n m f 算法的人脸识别性能可与特征脸方法相媲美, 当人脸存在较大尺寸的遮挡时,基于w f n m f 算法的人脸识别性能优于特征脸方法。 关键词:非负矩阵分解;人脸识别;梯度投影法;交替非负最, b - - - 乘法; 1 f 负矩阵分解方法及其在人脸识别巾的应用 曼曼曼璺皇曼曼曼曼皇曼曼曼曼曼皇曼曼曼曼曼曼m a a la l_i ii i i i。 a b s t r a c t n o n n e g a t i v e m a t r i xf a c t o r i z a t i o n ( n m f ) i sar e c e n tp o w e r f u l m a t r i x d e c o m p o s i t i o nt e c h n i q u e t h a t a p p r o x i m a t e s an o n - n e g a t i v e i n p u t m a t r i xb ya l o w r a n ka p p r o x i m a t i o nc o m p o s e do fn o n n e g a t i v ef a c t o r s i th a sf o u n dw i d e a p p l i c a b i l i t y a c r o s sab r o a ds p e c t r u m f i e l d s ,r a n g i n g f r o mp r o b l e m si nf a c e r e c o g n i t i o n ,t e x ta n a l y s i s ,a n dg e n em i c r o a r r a ya n a l y s i s ,t o m u s i ct r a n s c r i p t i o n h o w e v e r ,m o s tn m fa l g o r i t h m ss u f f e rf r o ml a c ko fc o n v e r g e n c e ,a n dw h e nt h e y c o n v e r g e ,a r en o t o r i o u s l ys l o w t oc o n v e r g e i np a r t i c u l a r ,w h e na p p l i e dt of a c e r e c o g n i t i o n ,n m fg i v e sp o o rr e c o g n i t i o np e r f o r m a n c e i ns h o r t ,t h em a j o rc o n t r i b u t i o n so ft h i st h e s i sa r es u m m a r i z e da sf o l l o w : 1 t h i st h e s i se x p l o r e sa n l s p g n m f ( a l t e r n a t i n gn o n n e g a t i v el e a s ts q u a r e s u s i n gp r o j e c t e dg r a d i e n tw i t ha r m i j or u l ef o rn m f ) a l g o r i t h m w h i l et h ep o p u l a r l e e a n ds e u n g sm u l t i p l i c a t i v eu p d a t em e t h o ds t i l l l a c k sc o n v e r g e n c er e s u l t s , a n l s p g n m f a l g o r i t h m e x h i b i t sn i c e o p t i m i z a t i o np r o p e r t i e s h o w e v e r , a n l s p g n m fa l g o r i t h mc o n v e r g e ss l o w e rt h a nt h el e ea n ds e u n g sm u l t i p l i c a t i v e u p d a t em e t h o d w h e nu s e df o rc o m p u t i n gn m f , a n l s p g - n m fa l g o r i t h mc a l l s p r o j e c t e dg r a d i e n tw i t ha r m i j or u l ep e ri t e r a t i o n f o rs o l v i n gt w on o n 。n e g a t i v e c o n s t r a i n e dl i n e a rl e a s ts q u a r e sp r o b l e m s s e l e c t i n gt h es t e ps i z e 仅i st h em o s tt i m e c o n s u m i n go p e r a t i o ni nt h ep r o j e c t e dg r a d i e n tw i t ha r m i j or u l e an e ws t r a t e g yf o r s e l e c t i n gt h es t e p s i z eqi si n t r o d u c e d am o d i f i e da n l s p g n m fa l g o r i t h mi s p r o p o s e d t h ee x p e r i m e n t a lr e s u l ts h o w s t h a tt h em o d i f i e da n l s p g - n m fa l g o r i t h m c o n v e r g e sf a s t e rt h a nt h ea n l s p g - n m fa l g o r i t h m t h i sn e wm e t h o di s t h u sa l l a t t r a c t i v ea p p r o a c ht oc o m p u t i n gn m f 2 t h i st h e s i sa l s oe x p l o r e saw e i g h t e dm o d i f i c a t i o no f f i s h e rn o n - n e g a t i v e m a t r i xf a c t o r i z a t i o n ( f n m f ) a l g o r i t h mf o rf a c er e c o g n i t i o n i n s p i r e db yt h ef a c t t h a te y e s ,m o u t ha n dn o s eh a v eb e e nd e t e r m i n e d t ob e i m p o r t a n t f o rf a c e p e r c e p t i o na n dr e c o g n i t i o na n dt h e s ef e a t u r e sa r ea p p r o x i m a t e l yl o c a t e di nt h ec e n t e r o faf a c e ,af e a t u r ee x t r a c t i o nm e t h o ds h o u l dg i v em o r ei m p o r t a n c et ot h ec e n t r a l a r e ao fe a c hf a c e o ft r a i n i n gi m a g es e t aw e i g h t e dm o d i f i c a t i o no ff n m ff o r i m p r o v i n gf n m f - b a s e df a c er e c o g n i t o np e r f o r m a n c ei sp r o p o s e db yi n t r o d u c i n ga w e i g h tm a t r i xa t t h ec o s tf u n c t i o no ft h ef n m fd e c o m p o s i t i o n t h ee x p e r i m e n t a l r e s u l ta l s os u p p o r t st h ec o n c l u s i o nt h a tt h en e wa l g o r i t h mc a na c h i e v eab e t t e r p e r f o r m a n c ei nf a c er e c o g n i t i o n k e y w o r d s :n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ;f a c er e c o g n i t i o n ;p r o j e c t e dg r a d i e n tm e t h o d ; a l t e r n a t i n gn o n n e g a t i v el e a s ts q u a r e s t t 硕十学位论文 插图索引 图3 1 = 1o 9 时,三种算法的的目标函数值随迭代次数的变化 图3 2e = 10 。6 时,三种算法的的目标函数值随迭代次数的变化 图4 1o r l 人脸库中部分人脸图像 图4 2 人脸随机位置有不同尺寸遮挡的测试样本 图4 3g k l d - e m 算法分解得到的基图像 图4 4l n m f 算法分解得到的基图像 图4 5f n m f 算法分解得到的基图像 图4 6w f n m f 算法分解得到的基图像 图4 7 在无遮挡人脸测试样本集上识别率比较 图4 8 人脸子空间维数为2 5 ,各种算法的识别率随遮挡尺寸的变化 图4 9 人脸子空间维数为4 9 ,各种算法的识别率随遮挡尺寸的变化 图4 1 0 人脸子空间维数为8 1 各种算法的识别率随遮挡尺寸的变化 图4 1 1 人脸子空间维数为1 2 l ,各种算法的识别率随遮挡尺寸的变化 i 3 4 l 2 3 3 3 3 4 5 5 5 6 2 2 3 3 3 3 3 3 3 3 3 3 3 f = 负矩阵分解方法及其在人脸识别中的戍用 附表索引 表3 1 三种n m f 算法的性能比较2 4 忒 兰州理工大学 学位论文原创性声明 本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特i i :i i 以标注引用的内容外,本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体,均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名:薪建知日期:2 。口年石月7 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借 阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口,在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“ ) 作者签名:新泣鼬 刷磁轹了乏如 日 日 7、, 肿即 6,u 年年 几 7 冲 m 期期 硕十学位论文 1 1 课题背景 第1 章绪论 随着计算机技术及网络通讯技术的飞速发展,特别是因特网的出现和普及, 过去的几十年里,人类在生产、生活中积累的数据量急剧增长,信息时代,信息 的价值不言而喻,对这些积存的海量数据进行分析、归类,从中挖掘出对人类生 产、生活有用的信息迫在眉睫。生产、生活中产生的大量数据都具有非负性,如 工厂产品的产量、销售公司的销售额等等。面对这些大规模数据,人类似乎显得 束手无策,幸运的是,数学中的矩阵分解思想给人类带来了福音。利用矩阵分解, 可将大规模问题转换为小问题来处理。经典的高纬数据分析、降维方法,如主分 量分析、独立分量分析都可看作某种矩阵分解方法,但是它们允许分解得到的矩 阵因子中的元素可以存在负值,但负值在实际应用中往往缺少物理意义。 在信号分析、图像分析、文本分析、生物医学工程和化学工程等领域,信息 或信号处理的许多数据具有非负性的特点,如灰度图像、物质成分含量、文章中 单词出现的次数和统计学中的概率转移矩阵等。面对大规模的高维的非负数据, 如何针对其非负性,寻找有效的方法,对其进行降维和分析,非负矩阵分解应运 而生。 认知学研究表明,人类对整体的感知是基于对部分的感知。非负矩阵分解 ( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ,n m f ) 的思想正是源于此。它是一种较新的矩 阵分解方法,它对矩阵因子的元素的数值加入了非负性约束。非负性约束的引入, 可使通过对原始的、高纬的非负数据进行非负矩阵分解,分解得到的结果不存在 负值,在实际应用中具有明确物的理意义,从而得到智能化的、纯加性、低纬的 数据描述,且具有一定程度的稀疏性,稀疏性在一定程度上能抑制外界噪声的干 扰。 非负矩阵分解目前已成为机器学习、模式识别、图像工程等领域的研究热点, 因此,对非负矩阵分解进行深入的研究,是一个具有重要理论意义和应用价值的 课题。 1 2 非负矩阵分解的研究现状与发展趋势 非负矩阵分解问题属于最优化范畴。仅对左右矩阵因子施加非负性的非负矩 阵分解模型称为基本的n m f 模型;根据某种需要,对左右矩阵因子施加除非负 性约束外的其他约束的模型称为改进的n m f 模型。相应地,现有的n m f 算法 可分为基于基本n m f 模型的算法和基于改进n m f 模型的算法。 1 f 负矩阵分解方法及其在人脸识别中的戍用 1 2 1 国外研究现状 n m f 的思想是可追溯到1 9 9 4 年p a a t e r o 和t a p p e r 在文【1 】中提出的正矩阵分 解( p o s i t i v em a t r i xf a c t o r i z a t i o n ,p m f ) ,在这篇文章里他们尝试对环境方面的实际 数据进行因子分析。但真正使n m f 的研究流行起来,并成为一个研究热点,是 1 9 9 9 年l e e 和s e u n g 2 j 提出了一个以广义k u l l b a c k l e i b l e r 散度为目标函数的基 于基本n m f 模型的算法,并将其应用于人脸图像的表示,将o r l 人脸库上的 人脸图像向量化,构成一个非负矩阵,运用n m f 算法进行分解,将得到的基图 像矩阵中的每一列转换为与o r l 人脸库中人类图像等尺寸的图像矩阵,发现呈 现在人们面前的是人脸面部的某些部件,如眼睛、嘴巴、眉毛等。2 0 0 1 年,l e e 和s e u n g i3 】对基于基本n m f 模型的算法进行了深入的研究,提出了两个经典的 n m f 算法:基于欧氏距离的乘性迭代算法和基于广义k u l l b a c k l e i b l e r 散度的乘性 迭代算法,并给出了收敛性证明,这两个算法由于提出的比较早,收敛速度较快, 已被应用于各个领域,现已成为n m f 的基准算法。 芬兰赫尔辛基大学的h o y e r 教授【4 j 提出了一种改进的n m f 模型,即带稀疏 限制的非负矩阵分解模型( n o n n e g a t i v em a t r i xf a c t o r i z a t i o nw i t hs p a r s e n e s s c o n s t r a i n t s ,n m f s c ) ,并给出了相应的求解算法,相对前述算法的最大优势在 于可以很方便地控制基矢量的稀疏程度。l i l 5 】等人根据化学计量学需要,提出了 带正交限制的非负矩阵分解模型。m o n t a n o i6 】等人提出了非平滑非负矩阵分解 ( n o n s m o o t hn o n n e g a t i v em a t r i xf a c t o r i z a t i o n ,n s n m f ) 。 美国德克萨斯大学奥斯汀分校的d h i l l o n 教授、k i m 博士和s r a 博士先后提 出了基于b r e g m a n 散度和对偶b r e g m a n 散度的广义非负矩阵分解【7 1 ,以欧氏距 离为目标函数的基于基本n m f 模型的快速算法f n m a 8 1 ,以及基于牛顿法的快 速非负矩阵分解算法1 9 j 。 美国田纳西大学诺克斯维尔分校的m i c h a e lw b e r r y 教授长期致力于文本挖 掘的研究。他提出了一种混合型的n m f 算法一g d c l s 算法【1 0 , i i 】,并应用于文 本挖掘,取得了良好的效果。b e r r y 等人【1 2 】对n m f 算法的研究现状及其在各个 领域中的应用现状进行了很好的综述。 美国德州大学阿灵顿分校c h r i sd i n g 教授长期致力于n m f 在数据聚类中的 应用 1 3 , 1 4 , 1 5 l ,以及在组合优化中的应用【1 6 1 ,并提出了凸n m f ( c o n v e xn m f ) ,以 及半n m f ( s e m i n m f ) 1 1 7 1 芬兰赫尔辛基理工大学的e r k k io j a 教授和他的博士生y u a nz h i j i a n 提出了 投影n m f l l 8 ,1 9 1 ( p r o j e c t i v en m f ) ,并用于人脸图像的处理与压缩。 丹麦奥尔堡大学h a n sl a u r b e r g 博士对n m f 的理论基础进行了深入的研究, 尤其是对非负矩阵分解结果在什么条件下是唯一的做了大量的研究工作【2 0 , 2 1 】。 关于这方面的早期研究,还有美国斯坦福大学d a v i dd o n o h o 教授【2 2 1 。 2 硕十学位论文 日本理化学研究所( r i k e n ) 高级脑信号处理实验室的a n d r z e jc i c h o c k i 博 士和他的团队对n m f 算法及其在盲源分离中的应用做了大量的研究工作,取得 了丰硕的成果 2 3 - 3 0 1 ,并开发出了基于m a t l a b 的n m f 算法工具包n m f l a b 3 1 1 。 1 2 2 国内研究现状 国内对n m f 的研究,相对开始的较晚。2 0 0 1 年,原微软中国研究院的李子 青博士、张宏江博士等人【3 2 l 发现l e e 和s e u n g 提出的经典n m f 算法在人脸图像 未得到配准的情况下,不能学习得到人脸的部件。并提出了局部非负矩阵分解 ( l o c a ln o n n e g a t i v em a t r i xf a c t o r i z a t i o n ,l n m f ) 来解决这个问题。c h e n 等人1 3 3 将l n m f 算法应用于人脸检测并取得了较好的效果。现为中科院自动化所生物 识别与安全技术研究中心主任的李子青带领他的团队,于2 0 0 9 年,提出了基于 吉布斯随机场的n m f 算法( g r f n m f ) ,该算法的收敛速度较快,并且得到的分 解结果具有较好的稀疏性和可解释性。 清华大学信息科学与技术国家实验室的章毓晋教授、李乐博士对非负矩阵分 解的研究做了大量的工作,文献 3 5 1 是对n m f 算法的研究现状进行了综述,对 已有的n m f 算法进行了很好的分类,指出各个n m f 算法的缺点,并提出了改 进的算法【3 6 , 3 7 1 针对n m f 的先天缺陷,即数据描述能力不强、推广性差,提出了 非负矩阵集分解( n o n n e g a t i v em a t r i xs e tf a c t o r i z a t i o n ,n m f s f ) 的概念和相应的 算法【3 8 , 3 9 】。 浙江大学计算机学院的蔡登教授等人针对流形数据提出了图正则非负矩阵 分解算法g n m f 4 0 1 ,该方法在矩阵分解过程中明确考虑了数据集携带的几何信 息:如果数据点在原空间是邻近点,那么对应到新的基下也是邻近点。此外,他 们还提出了局部保留n m f l 4 1 ( l o c a l i t yp r e s e r v i n gn m f ) 。 可见,国内的研究机构和学者也逐渐加入n m f 研究的行列,并取得了一定 的成果。 总的说来,n m f 已经得到学术界、产业界的的重视,但是关于n m f 的理论 和应用方面的研究还有待进一步展开。 1 2 3n m f 的应用领域及发展前景 一、n m f 在人脸识别中的应用现状 在o r l 人脸库上,l i t 3 2 】等人将他们提出的l n m f 方法、经典n m f 算法、 p c a 方法做了比较实验,发现经典n m f 算法的识别率低于p c a 方法,而l n m f 方法分类表现比p c a 方法好,并且随着测试人脸图像的被遮挡部分不断变大, l n m f 方法的识别率要好于p c a 方法和经典n m f 算法,并表现出一定的稳定性。 最近,i o a n 等人1 4 2 】将l n m f 用于人脸识别,在两个不同的分类器下,进一步说 明l n m f 方法分类表现好于n m f 和p c a 。z a f e i r i o u 等人1 4 3 j 提出了n m f f a c e s 3 非负矩阵分解方法及其在人脸识别中的应用 方法,其本质是n m fp l u sl d a 的有监督的两阶段的特征提取方法,并用于正 面人脸身份验证,对多视角人脸图像的识别性能如何,尚待进一步研究。最近, o h 等人【4 4 j 提出了基于精选的局部非负矩阵分解( s e l e c t i v el o c a ln o n e g t i v e m a t r i xf a c t o r i z a t i o n ,s l n m f ) 基图像的遮挡不变的人脸识别方法,该方法由人 脸遮挡区域检测和基于s l n m f 的识别两个阶段构成。为了实现检测出测试图 像的被遮挡区域,将训练集中没有遮挡物的每一幅人脸图像划分成n 个子区域, 然后进行训练得到n 个子空间,他们经过实验,表明将人脸划分成六个子区域可 以得到最佳的识别率,该实验用的是a r 人脸库,通过与其它基于局部特征的人 脸识别方法:f a c e l t 、a m m 4 5 1 ;以及与基于全局特征的人脸识别方法:p c a 和 r p c a t 4 6 l 做对比,实验结果表明,当测试的人脸图像被太阳镜、围巾遮挡时, s l n m f 方法的识别率分别为8 4 、8 7 ,要比其它基于局部特征的人脸识别方 法好,比基于全局特征的人脸识别方法p c a 明显好,但是,对于表情为尖叫的 人脸仅为4 9 ,比f a c e l t 方法( 7 8 ) 明显低很多。该方法与其他方法相比,不 足之处是耗时较多。w a n g 等人”7 j 提出了f n m f ( f i s h e rn o n n e g a t i v em a t r i x f a c t o r i z a t i o n ) 。与经典的n m f 算法的不同之处是,他们把f i s h e r 鉴别信息( 类内 散度和类间散度的差) 作为罚项加入到广义k u l l b a c k l e i b l e r 散度而构成目标函 数,仿效经典n m f 算法的构造方式,构造了相应的f n m f 算法。f n m f 在对数 据进行非负分解的同时,最大化了类内散度和类间散度的差,从而使分解结果中 蕴涵了较多的类别信息,此外,实验表明f n m f 导致的分解结果也是非常稀疏 化的,该方法的局限性是收敛性无法得到保证。欧阳怡彪等人1 4 8 】提出了利用小 波变变换( w t ) 、带稀疏性约束的非负矩阵分解( n m f s c ) 和f i s h e r 线性判别分析 的组合来进行人脸识别。对每幅图像先进行三层小波分解,取低频子图像构成待 分解的非负矩阵,用n m f s c 算法进行分解,这样,既能捕获到人脸的实质特 征,又有效地降低了计算复杂性;n m f s c 能显式地控制分解稀疏度和发现人脸 图像的局部特征;f i s h e r 线性判别分析能在低维子空间中形成良好的分类。实验 结果表明,这种方法对光照变化、人脸表情和部分遮挡不敏感,具有良好的健壮 性和较高的识别率。西班牙巴塞罗那自治大学的j o r d iv i t r i a 教授等人【4 9 j 将经典 n m f 算法用于人脸识别,在a r 人脸库上,与经典的人脸识别方法特征脸方法 ( e i g e n f a c e s ) 、f a c e l t 、b a y e s i a n 方法进行了对比实验,发现f a c e i t 对人脸表情变化 鲁棒性最强,b a y e s i a n 方法次之,经典n m f 算法除对尖叫表情变化很敏感外, 对微笑和痛苦两种表情变化有一定的鲁棒性,他们用了三种距离度量方法:l 1 范数、l 2 范数( 欧几里德距离) 和c o r r e l a t i o n ,发现在n m f 子空间中用 c o r r e l a t i o n 作为距离度量比用其它两种距离度量能够取得较高的人脸识别率,且 识别率要比特征脸方法高。适当地选取人脸基图像个数r 时,经典n m f 算法比 e i g e n f a c e s 对光照变化、人脸部分遮挡以及这两者同时出现时的鲁棒性强一些。 白晓明等人【5 0 】为了提高彩色人脸识别的性能,提出了一种n m f 与线性判别 4 硕十学位论文 曼曼曼曼! 曼曼曼舅舅皇曼蔓曼曼曼皇曼曼曼量笪曼量曼皇曼毫曼巴量曼量曼曼量曼曼曼曼曼曼鼍曼曼曼量曼曼鼍曼曼曼皇曼皇曼曼曼皇皇曼皇曼皇鼍ii,i | 曼曼曼曼曼曼 分析相结合的彩色人脸识别方法。首先采用经典n m f 算法对彩色人脸图像不同 颜色通道的信息进行编码,计算彩色人脸图像空间的基图像;然后根据计算得到 的图像分解系数,融入人脸对象的类别信息,采用线性判别分析算法计算最优的 鉴别子空间;最后以彩色人脸图像在最优的鉴别子空间的投影系数为特征向量, 采用最近邻分类算法进行人脸身份分类,取得了较好的彩色人脸识别性能。 基于非矩阵分解的理论,李勇智等人【5 1 】提出了具有正交性的n m f 投影轴的 计算方法和具有统计不相关性的n m f 投影轴的计算方法。与经典n m f 算法相 比,提出的方法在某种程度上降低了特征矢量之间的统计相关性,并且提高识别 率。在o r l 人脸库和y a l e 人脸库上进行人脸识别实验,结果表明提出的两种 特征提取方法在识别率方面整体上好于经典n m f 算法,甚至超过p c a 方法。此 外他们还提出一种新的有监督的特征提取方法:组合类别信息的非负矩阵分解 ( c i n m f ) 方法。c i n m f 方法具有二个特点:一是在特征提取过程中它直接利用 训练样本的类别信息;二是在计算上仍然采用与经典n m f 算法相同的最优化形 式。它提取鉴别信息的有效性整体上高于经典n m f 算法。在特征提取方面, c i n m f 方法则尽可能地利用训练样本的类别信息,使经典n m f 算法从一种无监 督的学习方法变为一种有监督的学习方法,增强了提取鉴别信息的有效性。 二、n m f 在其他领域中的应用 n m f 已应用于文本分析【2 】与聚类【1 2 l 。由于n m f 算法在处理文本数据方面的 高效性,著名的商业数据库软件o r a c l e 在其第1 0 版中专门利用n m f 算法来进 行文本特征的提取和分类。n m f 在对文本信息提取的方面表现的很好,原因在 于智能文本处理的核心问题是以一种能捕获语义或相关信息的方式来表示文本, 但是传统的分析方法仅仅是对词进行统计,而不考虑其他的信息。实际上,n m f 可以看成是一种潜在语义模型,能提取潜在的语义。 除了在图像识别中取得了成功的应用,n m f 还在图像检索【5 2 1 、压缩【5 3 1 、图 像融合【5 4 l 中取得了较好的应用。 最近,n m f 也在音乐信号分析【5 5 l 与乐器识男a t 5 6 】得到了初步应用。 生物医学和化学研究中,也常常需要借助计算机来对试验的数据进行分析和 处理。n m f 算法也为这些数据的处理和分析提供了一种新的高效快速的途径 【5 6 6 0 l o 此外,n m f 还在网络安全、盲源分离等方面得到了成功的应用。 总之,近年来,n m f 的应用才刚展开,相信以后会有更多的成功的应用。 广泛的应用反过来也将促进n m f 的进一步研究。 1 3 本文的主要工作及内容结构安排 近年来,国内外科研机构、院校实验室以及众多研究人员对非负矩阵分解的 5 菲负矩阵分解方法及其在人脸谚 别中的府用 理论和应用开展了大量的研究工作,取得了较好的研究成果。虽然非负矩阵分解 已经在某些领域获得了成功的应用,但是仍然没有得到广泛的应用,其中有两个 重要的原因,第一,已有的n m f 算法在收敛速度和收敛性上往往不能做到二者 兼顾,有的算法的收敛速度快,但是收敛性无法得到保证,有的算法是收敛性可 以得到保证,但是收敛速度过慢,不能满足实时性要求。第二,某些性能良好的 n m f 算法对特定应用领域的问题往往无能为力,需要按照应用领域的特殊性进 行修改。为此,本文有针对性的做了以下两方面的工作。 1 本文对现有的n m f 算法进行了分类,分为l e e 和s e u n g 的乘性迭代算 法、基于梯度下降的算法和基于交替非负最小二乘法( a l t e r n a t i n gn o n n e g a t i v e l e a s t s q u a r e s ,a n l s ) 的算法,即a n l s n m f 算法。对属于最后一类的收敛性 较好、分解精度较高的基于梯度投影法( p r o j e c t e dg r a d i e n t ) 的a n l s p g n m f 算 法进行了详细的分析,发现该算法的收敛速度太慢,经过仔细推敲,得知该算法 的效率主要取决于用梯度投影法求解n m f 子问题的效率,而该梯度投影法最耗 时的操作是搜索满足a r m i j o 条件的步长因子,于是,本文将一种快速、有效的 梯度投影法应用于求解n m f 子问题,对a n l s p g n m f 算法进行了改进,实验 结果表明,该算法在分解精度没有遭受较大损失的情况下,实现了对 a n l s p g n m f 算法的收敛速度的提升。 2 将n m f 应用于人脸识别,本文主要根据眼睛、鼻子嘴巴的鉴别力最强, 对人脸识别的贡献最大,于是,为了改进基于f i s h e r 非负矩阵分解( f i s h e r n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ,f n m f ) 的人脸识别性能,对f n m f 进行了加权 改进,改进后的算法称为加权f i s h e r 非负矩阵分解( w e i g h t e df i s h e rn o n n e g a t i v e m a t r i xf a c t o r i z a t i o n ,w f n m f ) ,实验结果表明,在人脸无遮挡的情况下,基于 w f n m f 人脸识别性能接近于特征脸方法;在人脸存在部分遮挡,尤其是被遮挡 的面积较大的情况下,基于w f n m f 的人脸识别较特征脸方法相比,有较好的 鲁棒性。 本论文组织结构如下: 第1 章主要介绍了非负矩阵分解的研究背景及意义、国内外研究现状和最 新进展,介绍了其在人脸识别及其他领域中的应用现状。 第2 章给出了非负矩阵分解的定义,指出非负矩阵分解是一个最优化问题, 并介绍了非负矩阵分解常用的两个目标函数,给出了最优性条件。 第3 章研究了基于交替非负最小二乘法的梯度投影法改进的n m f 算法 ( a n l s p g n m f ) ,并对其进行了改进。 第4 章主要研究基于非负矩阵分解的人脸识别。根据人脸部件对于身份识 别的贡献是不一样的这一客观事实,为了改进基于f i s h e r 非负矩阵分解人脸识别 性能,提出了加权f i s h e r 非负矩阵分解。 最后,对前面的工作进行总结归纳,指出了不足之处,以及下一步工作需要 6 硕+ 学位论文 改进的方面,展望了今后的研究方向。 7 非负矩阵分解方法及其在人脸识别中的应用 第2 章非负矩阵分解的基础理论 2 1 非负矩阵分解的基本概念 定义2 1 1 对一个n 维的随机向量a 进行了m 次的观测,记这些观测为向量 集 口,一1 ,2 ,小) ,取a - t a 。,气”哆a _ 】,其中4 ,- a ,j - 1 , 2 9 ,m 。 n m f 是求取非负的n x r 维基矩阵u ,和非负的r m 维系数矩阵v ,使 a u v ( 2 1 ) 的方法。 通常设定r m i n ( m ,n ) ,所以只有在u 包含了随机变量a 的本质特征时,才可使 a i 摹u v 。n m f 的实质是:在纯加性描述的限制下,将高维的随机模式 a j ,j = 1 ,2 ,m ) 简 化为低维的随机模式 v j ,j = l ,2 ,m ) ,这种简化的基础是估计出原始数据中的本质结构 u 。从机器学习的角度看,u 包含了随机向量a 的某些本质特性,它除了要被用于描述 训练数据外,还要被用于描述非训练数据,且u 确定后,依据一定的a 和u v 间的差 异度量准则,v 也就可以确定,所以u 蕴涵了n m f 学习结果的全部内容,它是学习过 程中被学习的主要参数。 2 2 非负矩阵分解的优化模型 从数学规划的角度讲,n m f 可归结为对如下的优化问题求解: m i n 无,y ) , 、 s t u f ,y f l 厶卅 其中目标函数l ( v ,矿) 刻画了a 和u v 间的差异性,无可以是任意的距离度量或 散度。已有的研究结果显示,可利用的任何形式的无均不是( u ,的凸函数,所 以求解( 2 2 ) 式的全局最优解并不现实,可行的办法是通过交替地优化u 和v 得到 相应n m f 问题的一个局部最优解【1 1 j 。这里应强调,交替优化过程中,求v 只是 为了辅助求u ,求u 是进行n m f 学习的根本目的【3 5 1 。n m f 的实际执行算法是一 个对矩阵因子不断迭代改进的过程,寻求在非负约束条件下使目标函数的值最小 的矩阵因子。下面将介绍最常用的两种目标函数。 2 2 1 基于欧氏距离的平方的目标函数 该目标函数是被分解非负矩阵a 和它的逼近:矩阵因子u 和v 的乘积( u v ) 的欧氏距离的平方( s q u a r eo f e u c l i d i a nd i s t a n c e ,s e d ) 。基于s e d ,n m f 可写成 如下最优化问题: m u i ,ne ( 咿) 扣一沙i 哇善( 一( w ) 。) 2( 2 3 ) s t u 磁”,v e r : 8 硕十:何论文 其中,i i i l ,代表矩阵的f r o b e n i u s 范数,当且仅当a = u v 时,函数取得最小值 0 。 2 2 2 基于广义k l ( k ui ib a c k - l eibie r ) 散度的目标函数 另一个比较常用的目标函数是l e e 等人【3 1 提出的基于广义k u l l b a c k l e i b l e r 散度( g e n e r a l i z e d k u l l b a c k l e i b l e rd i v e r g e n c e ,g k l d ) 的目标函数 m 。y i n 。( a l l w ) z ;l ;薹卜1 0 8 南卅什( w bi ( 2 4 ) s j u 彤”,y ” 当且仅当a = u v 时,函数取得最小值0 。 虽然上面两个目标函数在仅考虑u 或仅考虑v 时是凸函数,但当同时考虑 两个变量时它们就不再是凸函数了,所以期望一个可以找到问题( 2 3 ) 和( 2 4 ) 的全 局最优解的算法是不现实的,找到局部最优解才是可行的。 2 2 3n m f 问题的最优性条件 首先,假设本小节中的n m f 问题以欧氏距离为目标函数。 k k t ( k a r u s h k u h n t u c k e r ) 最优性条件是研究n m f 方法解的性质的基本条件。 2 0 0 4 年c h u 等人【6 1 】对k k t 条件问题进行了研究,本节的定理和推论主要来自 于该文献。 定义2 1 2k k t 最优性条件 对于最优化问题( 2 3 ) 来说,u e r 7 ,v r :一,若( u ,v ) 是其最优解,必须满足 如下三个条件( 2 5 ,2 6 ,2 7 ) ,其中,“ 代表矩阵之间的h a d a m a r d 积,这三个条 件合起来称为n m f 问题的k k t 条件。 u 0 ,v 乏0 ( 2 5 ) 川v 一a ) ( v t 苫o ,( u ) t ( u v 一a ) 苫0( 2 6 ) ( u 。v 。一a ) ( v 。) 1 奉u = o ,( u ) 7 ( u v 一a ) v = o ( 2 7 ) 2 3n m f 问题的性质和解的性质 本节中将n m f 的两个最常用的目标函数三i i 4 一沙畦和d ( ai i u
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年黑龙江能源职业学院高职单招笔试语文历年参考题库含答案解析
- 2026年黑龙江农业经济职业学院高职单招笔试职业技能测验历年参考题库含答案解析
- 2026年驻马店职业技术学院高职单招笔试化学历年参考题库含答案解析
- 2026年长沙民政职业技术学院高职单招笔试职业技能测验历年参考题库含答案解析
- 2026年长春健康职业学院高职单招笔试职业技能测验历年参考题库含答案解析
- 2026年金肯职业技术学院高职单招笔试语文历年参考题库含答案解析
- 2026年郑州黄河护理职业学院高职单招笔试化学历年参考题库含答案解析
- 2026年郑州商贸旅游职业学院高职单招笔试英语历年参考题库含答案解析
- 水产品原料处理工岗前行业知识考核试卷含答案
- 系统护理对糖尿病肾病患者实验室指标的影响分析
- 2026年中国出口信用保险公司招聘笔试大纲及备考指南
- 中小学以体育强化为核心落实“健康第一”教育理念实施方案
- 间羟胺药物课件
- 2026年深泽县辅警招聘考试备考题库必考题
- 江苏省南京市玄武区2025-2026学年九年级上学期期中历史试卷(含答案)
- 上海交易集团秋招面笔试题及答案
- 整县屋顶分布式光伏项目绿色施工方案
- GB/T 4337-2025金属材料疲劳试验旋转弯曲方法
- 手术室精益管理汇报
- T/CAR 10-2022食品速冻装置隧道式速冻装置
- 景区团建合同协议书范本
评论
0/150
提交评论