非负矩阵分解方法及其在人脸识别中的应用(学位论文)

1、兰州理工大学硕士学位论文非负矩阵分解方法及其在人脸识别中的应用姓名：郭建虎申请学位级别：硕士专业：计算机应用技术指导教师：张永20100420硕十学位论文摘要非负矩阵分解（，）是一种较新的矩阵分解方法，它将给定的一个非负矩阵分解为左右两个非负矩阵因子的乘积，可得到被分解矩阵的低秩逼近。当被用于对高维数据降维时，由于非负性约束，使得分解得到的矩阵因子具有一定程度的稀疏性，因而可得到对原始高维数据稀疏性的、基于部分的表示。在过去的十年里，作为新兴的特征提取方法和维数约减方法已应用于人脸识别、数字水印、文本分析等领域。然而，当数据规模很大、矩阵维数很高时，现有的算法存在收敛速度太慢、收敛性无法保证等

2、缺点；此外，虽然已经被成功地应用于人脸识别，但是基于该方法的人脸识别性能还比较差。为了解决上述问题，本文做了以下工作：针对基于交替非负最小二乘法的梯度投影法改进的算法（，）与和的乘性迭代算法相比虽然有较好的收敛性，但存在收敛速度太慢的缺点，仔细分析发现，算法的每一次迭代都要调用基于步长规则的梯度投影法（）来求解许多个带非负性约束的线性最小二乘问题，而基于步长规则的梯度投影法最耗时的操作是搜索满足步长规则的步长因子，这是最终导致算法的收敛速度太慢的主要原因。为了加快算法的收敛速度，本文用基于步长规则的梯度投影法求解非负最小二乘问题，进而对算法进行了改进。实验结果表明，改进的算法与原算法相比，在没

3、有使计算精度遭受较大损失的情况下，收敛速度快出很多，实现了改进算法的目的。为了提升基于乍负矩阵分解（，）的人脸识别性能，本文对负矩阵分解进行了加权改进。根据人面部的眼睛、嘴巴、鼻子、眉毛对于正确识别人的身份所起的作用非常大，且这些器官近似地分布在人面部的中心区域，但是，当被用于提取人脸特征时，人脸图像中的所有像素被赋。予了同等的地位，而人脸中心区域的像素对人脸识别贡献较大，应该在优化过程中给中心区域的估计像素值与原像素值之间的偏差加上较大的惩罚，于是，本文提出了加权非负矩阵分解（，）。实验结果表明，当人脸无遮挡时，基于算法的人脸识别性能可与特征脸方法相媲美，当人脸存在较大尺寸的遮挡时，基于算法

4、的人脸识别性能优于特征脸方法。关键词：非负矩阵分解；人脸识别；梯度投影法；交替非负最，乘法；负矩阵分解方法及其在人脸识别巾的应用曼曼曼璺皇曼曼曼曼皇曼曼曼曼曼皇曼曼曼曼曼曼。（），：（，），。仅（），：；硕十学位论文插图索引时，三种算法的的目标函数值随迭代次数的变化图。时，三种算法的的目标函数值随迭代次数的变化图人脸库中部分人脸图像图人脸随机位置有不同尺寸遮挡的测试样本图算法分解得到的基图像图图算法分解得到的基图像图算法分解得到的基图像算法分解得到的基图像图在无遮挡人脸测试样本集上识别率比较图图人脸子空间维数为，各种算法的识别率随遮挡尺寸的变化图人脸子空间维数为，各种算法的识别率随遮挡尺寸的变

5、化图人脸子空间维数为各种算法的识别率随遮挡尺寸的变化图人脸子空间维数为，各种算法的识别率随遮挡尺寸的变化负矩阵分解方法及其在人脸识别中的戍用附表索引表三种算法的性能比较忒兰州理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特：以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：薪建知日期：。口年石月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国

6、家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于、保密口，在、不保密团。（请在以上相应方框内打“）年解密后适用本授权书。作者签名：新泣鼬几冲日刷磁轹了乏如期期年年，肿即、，日硕十学位论文第章绪论课题背景随着计算机技术及网络通讯技术的飞速发展，特别是因特网的出现和普及，过去的几十年里，人类在生产、生活中积累的数据量急剧增长，信息时代，信息的价值不言而喻，对这些积存的海量数据进行分析、归类，从中挖掘出对人类生产、生活有用的信息迫在眉睫。生

7、产、生活中产生的大量数据都具有非负性，如工厂产品的产量、销售公司的销售额等等。面对这些大规模数据，人类似乎显得束手无策，幸运的是，数学中的矩阵分解思想给人类带来了福音。利用矩阵分解，可将大规模问题转换为小问题来处理。经典的高纬数据分析、降维方法，如主分量分析、独立分量分析都可看作某种矩阵分解方法，但是它们允许分解得到的矩阵因子中的元素可以存在负值，但负值在实际应用中往往缺少物理意义。在信号分析、图像分析、文本分析、生物医学工程和化学工程等领域，信息或信号处理的许多数据具有非负性的特点，如灰度图像、物质成分含量、文章中单词出现的次数和统计学中的概率转移矩阵等。面对大规模的高维的非负数据，如何针对

8、其非负性，寻找有效的方法，对其进行降维和分析，非负矩阵分解应运而生。认知学研究表明，人类对整体的感知是基于对部分的感知。非负矩阵分解（，）的思想正是源于此。它是一种较新的矩阵分解方法，它对矩阵因子的元素的数值加入了非负性约束。非负性约束的引入，可使通过对原始的、高纬的非负数据进行非负矩阵分解，分解得到的结果不存在负值，在实际应用中具有明确物的理意义，从而得到智能化的、纯加性、低纬的数据描述，且具有一定程度的稀疏性，稀疏性在一定程度上能抑制外界噪声的干扰。非负矩阵分解目前已成为机器学习、模式识别、图像工程等领域的研究热点，因此，对非负矩阵分解进行深入的研究，是一个具有重要理论意义和应用价值的课题

9、。非负矩阵分解的研究现状与发展趋势非负矩阵分解问题属于最优化范畴。仅对左右矩阵因子施加非负性的非负矩阵分解模型称为基本的模型；根据某种需要，对左右矩阵因子施加除非负性约束外的其他约束的模型称为改进的模型。相应地，现有的算法可分为基于基本模型的算法和基于改进模型的算法。负矩阵分解方法及其在人脸识别中的戍用国外研究现状的思想是可追溯到年和在文【】中提出的正矩阵分解（，），在这篇文章里他们尝试对环境方面的实际数据进行因子分析。但真正使的研究流行起来，并成为一个研究热点，是年和提出了一个以广义散度为目标函数的基于基本模型的算法，并将其应用于人脸图像的表示，将人脸库上的人脸图像向量化，构成一个非负矩阵，

10、运用算法进行分解，将得到的基图像矩阵中的每一列转换为与人脸库中人类图像等尺寸的图像矩阵，发现呈现在人们面前的是人脸面部的某些部件，如眼睛、嘴巴、眉毛等。年，和】对基于基本模型的算法进行了深入的研究，提出了两个经典的算法：基于欧氏距离的乘性迭代算法和基于广义散度的乘性迭代算法，并给出了收敛性证明，这两个算法由于提出的比较早，收敛速度较快，已被应用于各个领域，现已成为的基准算法。芬兰赫尔辛基大学的教授【提出了一种改进的模型，即带稀疏限制的非负矩阵分解模型（，），并给出了相应的求解算法，相对前述算法的最大优势在于可以很方便地控制基矢量的稀疏程度。】等人根据化学计量学需要，提出了带正交限制的非负矩阵分

11、解模型。】等人提出了非平滑非负矩阵分解（，）。美国德克萨斯大学奥斯汀分校的教授、博士和博士先后提出了基于散度和对偶散度的广义非负矩阵分解【，以欧氏距离为目标函数的基于基本模型的快速算法，以及基于牛顿法的快速非负矩阵分解算法。美国田纳西大学诺克斯维尔分校的教授长期致力于文本挖掘的研究。他提出了一种混合型的算法一算法【，】，并应用于文本挖掘，取得了良好的效果。等人【】对算法的研究现状及其在各个领域中的应用现状进行了很好的综述。美国德州大学阿灵顿分校教授长期致力于在数据聚类中的应用，以及在组合优化中的应用【，并提出了凸（），以及半（）芬兰赫尔辛基理工大学的教授和他的博士生提出了投影，（），并用于人脸

12、图像的处理与压缩。丹麦奥尔堡大学博士对的理论基础进行了深入的研究，尤其是对非负矩阵分解结果在什么条件下是唯一的做了大量的研究工作【，】。关于这方面的早期研究，还有美国斯坦福大学教授【。硕十学位论文日本理化学研究所（）高级脑信号处理实验室的博士和他的团队对算法及其在盲源分离中的应用做了大量的研究工作，取得了丰硕的成果，并开发出了基于的算法工具包。国内研究现状国内对的研究，相对开始的较晚。年，原微软中国研究院的李子青博士、张宏江博士等人【发现和提出的经典算法在人脸图像未得到配准的情况下，不能学习得到人脸的部件。并提出了局部非负矩阵分解（，）来解决这个问题。等人将算法应用于人脸检测并取得了较好的效果

13、。现为中科院自动化所生物识别与安全技术研究中心主任的李子青带领他的团队，于年，提出了基于吉布斯随机场的算法（），该算法的收敛速度较快，并且得到的分解结果具有较好的稀疏性和可解释性。清华大学信息科学与技术国家实验室的章毓晋教授、李乐博士对非负矩阵分解的研究做了大量的工作，文献是对算法的研究现状进行了综述，对已有的算法进行了很好的分类，指出各个算法的缺点，并提出了改进的算法【，针对的先天缺陷，即数据描述能力不强、推广性差，提出了非负矩阵集分解（算法【，】。浙江大学计算机学院的蔡登教授等人针对流形数据提出了图正则非负矩阵分解算法，该方法在矩阵分解过程中明确考虑了数据集携带的几何信息：如果数据点在原空

14、间是邻近点，那么对应到新的基下也是邻近点。此外，他们还提出了局部保留（，）的概念和相应的）。可见，国内的研究机构和学者也逐渐加入研究的行列，并取得了一定的成果。总的说来，已经得到学术界、产业界的的重视，但是关于的理论和应用方面的研究还有待进一步展开。的应用领域及发展前景一、在人脸识别中的应用现状在人脸库上，】等人将他们提出的方法、经典算法、方法做了比较实验，发现经典算法的识别率低于方法，而方法分类表现比方法好，并且随着测试人脸图像的被遮挡部分不断变大，方法的识别率要好于方法和经典算法，并表现出一定的稳定性。最近，等人】将用于人脸识别，在两个不同的分类器下，进一步说明方法分类表现好于和。等人提出

15、了非负矩阵分解方法及其在人脸识别中的应用方法，其本质是的有监督的两阶段的特征提取方法，并用于正面人脸身份验证，对多视角人脸图像的识别性能如何，尚待进一步研究。最近，等人【提出了基于精选的局部非负矩阵分解（，）基图像的遮挡不变的人脸识别方法，该方法由人脸遮挡区域检测和基于的识别两个阶段构成。为了实现检测出测试图像的被遮挡区域，将训练集中没有遮挡物的每一幅人脸图像划分成个子区域，然后进行训练得到个子空间，他们经过实验，表明将人脸划分成六个子区域可以得到最佳的识别率，该实验用的是人脸库，通过与其它基于局部特征的人脸识别方法：、；以及与基于全局特征的人脸识别方法：和做对比，实验结果表明，当测试的人脸图

16、像被太阳镜、围巾遮挡时，方法的识别率分别为、，要比其它基于局部特征的人脸识别方法好，比基于全局特征的人脸识别方法明显好，但是，对于表情为尖叫的人脸仅为，比方法（）明显低很多。该方法与其他方法相比，不足之处是耗时较多。等人”提出了（）。与经典的算法的不同之处是，他们把鉴别信息（类内散度和类间散度的差）作为罚项加入到广义散度而构成目标函数，仿效经典算法的构造方式，构造了相应的算法。在对数据进行非负分解的同时，最大化了类内散度和类间散度的差，从而使分解结果中蕴涵了较多的类别信息，此外，实验表明导致的分解结果也是非常稀疏化的，该方法的局限性是收敛性无法得到保证。欧阳怡彪等人】提出了利用小波变变换（）、

17、带稀疏性约束的非负矩阵分解（）和线性判别分析的组合来进行人脸识别。对每幅图像先进行三层小波分解，取低频子图像构成待分解的非负矩阵，用算法进行分解，这样，既能捕获到人脸的实质特征，又有效地降低了计算复杂性；能显式地控制分解稀疏度和发现人脸图像的局部特征；线性判别分析能在低维子空间中形成良好的分类。实验结果表明，这种方法对光照变化、人脸表情和部分遮挡不敏感，具有良好的健壮性和较高的识别率。西班牙巴塞罗那自治大学的教授等人【将经典算法用于人脸识别，在人脸库上，与经典的人脸识别方法特征脸方法（）、方法进行了对比实验，发现对人脸表情变化鲁棒性最强，方法次之，经典算法除对尖叫表情变化很敏感外，对微笑和痛苦

18、两种表情变化有一定的鲁棒性，他们用了三种距离度量方法：范数、范数（欧几里德距离）和，发现在子空间中用作为距离度量比用其它两种距离度量能够取得较高的人脸识别率，且识别率要比特征脸方法高。适当地选取人脸基图像个数时，经典算法比对光照变化、人脸部分遮挡以及这两者同时出现时的鲁棒性强一些。白晓明等人【】为了提高彩色人脸识别的性能，提出了一种与线性判别曼曼曼曼！曼曼曼舅舅皇曼蔓曼曼曼皇曼曼曼量笪曼量曼皇曼毫曼巴量曼量曼曼量曼曼曼曼曼曼鼍曼曼曼量曼曼鼍曼曼曼皇曼皇曼曼曼皇皇曼皇曼皇鼍硕十学位论文，曼曼曼曼曼曼分析相结合的彩色人脸识别方法。首先采用经典算法对彩色人脸图像不同颜色通道的信息进行编码，计算彩色人

19、脸图像空间的基图像；然后根据计算得到的图像分解系数，融入人脸对象的类别信息，采用线性判别分析算法计算最优的鉴别子空间；最后以彩色人脸图像在最优的鉴别子空间的投影系数为特征向量，采用最近邻分类算法进行人脸身份分类，取得了较好的彩色人脸识别性能。基于非矩阵分解的理论，李勇智等人【】提出了具有正交性的投影轴的计算方法和具有统计不相关性的投影轴的计算方法。与经典算法相比，提出的方法在某种程度上降低了特征矢量之间的统计相关性，并且提高识别率。在人脸库和人脸库上进行人脸识别实验，结果表明提出的两种特征提取方法在识别率方面整体上好于经典算法，甚至超过方法。此外他们还提出一种新的有监督的特征提取方法：组合类别

20、信息的非负矩阵分解（）方法。方法具有二个特点：一是在特征提取过程中它直接利用训练样本的类别信息；二是在计算上仍然采用与经典算法相同的最优化形式。它提取鉴别信息的有效性整体上高于经典算法。在特征提取方面，方法则尽可能地利用训练样本的类别信息，使经典算法从一种无监督的学习方法变为一种有监督的学习方法，增强了提取鉴别信息的有效性。二、在其他领域中的应用已应用于文本分析【】与聚类【。由于算法在处理文本数据方面的高效性，著名的商业数据库软件在其第版中专门利用算法来进行文本特征的提取和分类。在对文本信息提取的方面表现的很好，原因在于智能文本处理的核心问题是以一种能捕获语义或相关信息的方式来表示文本，但是传

21、统的分析方法仅仅是对词进行统计，而不考虑其他的信息。实际上，可以看成是一种潜在语义模型，能提取潜在的语义。除了在图像识别中取得了成功的应用，还在图像检索【、压缩【、图像融合【中取得了较好的应用。最近，也在音乐信号分析【与乐器识男】得到了初步应用。生物医学和化学研究中，也常常需要借助计算机来对试验的数据进行分析和处理。算法也为这些数据的处理和分析提供了一种新的高效快速的途径【此外，还在网络安全、盲源分离等方面得到了成功的应用。总之，近年来，的应用才刚展开，相信以后会有更多的成功的应用。广泛的应用反过来也将促进的进一步研究。本文的主要工作及内容结构安排近年来，国内外科研机构、院校实验室以及众多研究

22、人员对非负矩阵分解的菲负矩阵分解方法及其在人脸谚别中的府用理论和应用开展了大量的研究工作，取得了较好的研究成果。虽然非负矩阵分解已经在某些领域获得了成功的应用，但是仍然没有得到广泛的应用，其中有两个重要的原因，第一，已有的算法在收敛速度和收敛性上往往不能做到二者兼顾，有的算法的收敛速度快，但是收敛性无法得到保证，有的算法是收敛性可以得到保证，但是收敛速度过慢，不能满足实时性要求。第二，某些性能良好的算法对特定应用领域的问题往往无能为力，需要按照应用领域的特殊性进行修改。为此，本文有针对性的做了以下两方面的工作。本文对现有的算法进行了分类，分为和的乘性迭代算法、基于梯度下降的算法和基于交替非负最

23、小二乘法（，）的算法，即算法。对属于最后一类的收敛性较好、分解精度较高的基于梯度投影法（）的算法进行了详细的分析，发现该算法的收敛速度太慢，经过仔细推敲，得知该算法的效率主要取决于用梯度投影法求解子问题的效率，而该梯度投影法最耗时的操作是搜索满足条件的步长因子，于是，本文将一种快速、有效的梯度投影法应用于求解子问题，对算法进行了改进，实验结果表明，该算法在分解精度没有遭受较大损失的情况下，实现了对算法的收敛速度的提升。将应用于人脸识别，本文主要根据眼睛、鼻子嘴巴的鉴别力最强，对人脸识别的贡献最大，于是，为了改进基于非负矩阵分解（，）的人脸识别性能，对进行了加权改进，改进后的算法称为加权非负矩阵

24、分解（，），实验结果表明，在人脸无遮挡的情况下，基于人脸识别性能接近于特征脸方法；在人脸存在部分遮挡，尤其是被遮挡的面积较大的情况下，基于的人脸识别较特征脸方法相比，有较好的鲁棒性。本论文组织结构如下：第章主要介绍了非负矩阵分解的研究背景及意义、国内外研究现状和最新进展，介绍了其在人脸识别及其他领域中的应用现状。第章给出了非负矩阵分解的定义，指出非负矩阵分解是一个最优化问题，并介绍了非负矩阵分解常用的两个目标函数，给出了最优性条件。第章研究了基于交替非负最小二乘法的梯度投影法改进的算法（），并对其进行了改进。第章主要研究基于非负矩阵分解的人脸识别。根据人脸部件对于身份识别的贡献是不一样的这一客

25、观事实，为了改进基于非负矩阵分解人脸识别性能，提出了加权非负矩阵分解。最后，对前面的工作进行总结归纳，指出了不足之处，以及下一步工作需要硕学位论文改进的方面，展望了今后的研究方向。非负矩阵分解方法及其在人脸识别中的应用第章非负矩阵分解的基础理论非负矩阵分解的基本概念定义对一个维的随机向量进行了次的观测，记这些观测为向量集口，一，小），取。，气”哆】，其中，。是求取非负的维基矩阵，和非负的×维系数矩阵，使（）的方法。通常设定（，），所以只有在包含了随机变量的本质特征时，才可使摹。的实质是：在纯加性描述的限制下，将高维的随机模式，）简化为低维的随机模式，），这种简化的基础是估计出原始数据

26、中的本质结构。从机器学习的角度看，包含了随机向量的某些本质特性，它除了要被用于描述训练数据外，还要被用于描述非训练数据，且确定后，依据一定的和间的差异度量准则，也就可以确定，所以蕴涵了学习结果的全部内容，它是学习过程中被学习的主要参数。非负矩阵分解的优化模型从数学规划的角度讲，可归结为对如下的优化问题求解：无，），、，厶卅其中目标函数（，矿）刻画了和间的差异性，无可以是任意的距离度量或散度。已有的研究结果显示，可利用的任何形式的无均不是（，的凸函数，所以求解（）式的全局最优解并不现实，可行的办法是通过交替地优化和得到相应问题的一个局部最优解【。这里应强调，交替优化过程中，求只是为了辅助求，求是

27、进行学习的根本目的【。的实际执行算法是一个对矩阵因子不断迭代改进的过程，寻求在非负约束条件下使目标函数的值最小的矩阵因子。下面将介绍最常用的两种目标函数。基于欧氏距离的平方的目标函数该目标函数是被分解非负矩阵和它的逼近：矩阵因子和的乘积（）的欧氏距离的平方（，）。基于，可写成如下最优化问题：，（咿）扣一沙哇善（一（）。）（）磁”，：硕十：何论文其中，代表矩阵的范数，当且仅当时，函数取得最小值。基于广义（）散度的目标函数另一个比较常用的目标函数是等人【提出的基于广义散度（，）的目标函数（）。（）；薹卜南卅什（彤”，”当且仅当时，函数取得最小值。虽然上面两个目标函数在仅考虑或仅考虑时是凸函数，但当

28、同时考虑两个变量时它们就不再是凸函数了，所以期望一个可以找到问题（）和（）的全局最优解的算法是不现实的，找到局部最优解才是可行的。问题的最优性条件假设本小节中的问题以欧氏距离为目标函数。首先，（）最优性条件是研究方法解的性质的基本条件。年等人【】对条件问题进行了研究，本节的定理和推论主要来自于该文献。定义最优性条件对于最优化问题（）来说，：一，若（，）是其最优解，必须满足如下三个条件（，），其中，“代表矩阵之间的积，这三个条件合起来称为问题的条件。，乏（）川一）（苫，（）（一）苫（。一）（。）奉，（）（一）（）（）问题的性质和解的性质本节中将的两个最常用的目标函数三一沙畦和（）统一记为，）。在

29、文献】中证明了问题是问题。问题的解具有如下性质：（）存在性非负矩阵分解方法及其在人脸识别中的应用对于目标函数（，），当固定时，其关于是凸函数，当固定时，其关于是凸函数，但是当和同时变化时，无，功并不是凸函数，从而需要讨论问题局部最优解的存在性问题。一般情况下，对于任何一种算法都要验证分解得到的左右矩阵因子和是否满足最优性条件。如果解满足最优性条件，则这个解至少是稳定的，即（，）一定是函数（，）的平稳点，但未必就是极小点。（）多重性的解不具有唯一性，即它存在多重最优解，这可以通过。思考来讨论，其中是可逆的非负矩阵且其逆也非负，即尺度变化和排列导致了解的非唯一性。心引于年首次研究了的解是否具有唯一

30、性，随后文献对其进行了进一步的研究。对于尺度变化，可以通过规范化减小其影响，在实际应用中要求基矩阵的列向量满足范数归一化的要求。本章小结本章首先给出了非负矩阵分解的概念，然后从数学规划的角度，给出了一般非负矩阵分解的最优化模型。并给出了刻画以欧氏距离平方为目标函数的问题的最优解的最优性条件。最后，介绍了非负矩阵分解问题及其解的性质。硕士学位论文第章非负矩阵分解算法非监督学习算法，例如主分量分析（）、独立分量分析（）、因子分析（）等，都可以理解为对原始数据矩阵在一定条件限制下进行分解。本文所研究讨论的非负矩阵分解（）算法与上述算法模型类似，是国际上新近提出的种矩阵分解方法。与其他方法相比，的特殊

31、之处在于对分解得到的左右矩阵因子施加了非负性限制，这会得到对原始数据基于部分的表示，从而能更好地反映原始数据的局部特征。本章中将的两个最常用的目标函数劲爿一沙和（一）统一记为厶缈，）。非负矩阵分解思想的起源最早提出非负矩阵分解思想的是和【¨。在这篇文章里他们尝试对自然环境方面的实际数据进行因子分析，所得到的每一个因子是一系列的基本变量的正线性组合。在现实世界中，因子是有具体的物理意义的，因子若为正，说明其起作用，因子若为零，说明其不起作用。他们提出的正矩阵分解最优化模型如下：（）喉（）工，彤，“从（）式可以看出，他们提出的其实是一种加权非负矩阵分解。矩阵是与给定矩阵同维的权重矩阵，用

32、于对因子的作用进行调节。和】最先提出了利用交替最小二乘法（，）来求解上面的优化模型。这种方法固定针对进行优化，然后，互换变量的角色，固定针对优化，如此不断地交替迭代改进，直到求得满足一定要求的解为止。该算法采用随机初始化策略对和进行初始化。随后设计了多种算法来对上述的优化算法进行改进。由上述可知，等人在非负矩阵分解方面的研究作出了一定的贡献。但是从现在的角度来看，还是存在一些不足之处。首先，他们的研究只局限于非负矩阵分解在环境科学中的应用，没有对该类算法的应用推广做深入研究。其次，他们使用的算法只能应用于特定的领域，无法直接推广到其他的领域。最后，没有从理论上证明算法的收敛性，而是主要基于经验

33、来提出，缺乏理论基础。非负矩阵分解受到众多科学研究人员的重视，应用于现实生产、生活中去解决实际问题，并成为最近十年来的一个研究热点，还要归功于和这两位科学家。年，和】提出了非负矩阵分解非负矩阵分解方法及其在人脸识别中的府用（，）这一术语。则为人类处理大规模非负数据提供了一种新的途径；与传统的矩阵分解方法相比，具有占用存储空间少、分解形式和分解结果在认知学上的可解释性，以及易于实现等优点。年和在文献【】中提出了两种经典算法，统称为乘性迭代算法（）。一种算法以最小化原始数据矩阵和逼近矩阵之间的欧氏距离的平方为目标函数，另一种算法则以最小化广义散度为目标函数。这两种算法从本质上来说均属于迭代步长自学

34、习的梯度下降算法。和声称这两种算法的收敛性是可以保证的，并给出了他们的证明。和还将非负矩阵分解算法应用到了多个领域，如人脸表示、文本挖掘等领域。从此以后，非负矩阵分解算法逐渐走入了研究人员的视线之中，并最终成为研究人员关注的热点问题。非负矩阵分解算法自从和的乘性迭代算法【提出以来，非负矩阵分解方法就一直作为机器学习领域高维数据维数约减的基本方法之一，受到了各国学者的广泛讨论和研究。人们又陆续给出了各种各样的、更为简单和有效的算法】，【。】。统观这些算法，有的算法既能归属这一类，又能归属那一类，但是，它们大体可分为以下三类：和的乘性迭代算法、基于梯度下降的算法和基于交替非负最小二乘法的算法。和的

35、乘性迭代算法基于欧氏距离的平方的乘性迭代算法睁（）曩扣一帖圭善（一（）。订（）、。，彤”，“求解优化问题的乘性迭代规则如下：虬一翮）：（）¨黯基于广义散度的乘性迭代算法（）咄。（刮沙）一羹薹卜，皑南卅一（。筒筒。（），冠”，：硕十学何论文求解优化问题的乘性迭代规则如下：吨掣（）幻一蔷（）墅群堕（）口一式子（）利用和它的逼近间的欧氏距离的平方（，）作为目标函数。和【采用了类似于算法中使用的优化策略去交替式地优化，得到了乘性迭代算法，其核心部分就是式子（）和式子（），为了方便，就称这个算法为（前半部分代表目标函数，后半部分代表优化方法或模型）。式子（）利用广义散度（，）作为目标函数，和】

36、也采用了类似于算法中使用的优化策略去交替式地优化，得到了乘性迭代算法，其核心部分就是式子（）、（）和（），将这个算法记为。这两个算法由于提出的较早，且很好地调和了算法效率和实现简单性间的矛盾，在实际应用中，两种算法的效果很好，常常被作为经典算法加以引用和介绍。算法完成每一次迭代，即产生一个迭代点（，）的计算复杂为（）。其他的算法可能在计算时间上更加有效，但是在具体实施上难度较大。在这些迭代规则下，逼近的效果是可以保证的，而且只要根据规则重复迭代，算法一定可以得到满足一定精度的近似解。相比算法，算法更被人们熟悉，它的最优性也被研究得更为充分。关于算法的收敛性由文献【有如下的结论：当算法收敛到可行

37、区域内部的有限点时，该点是一个稳定点，这个稳定点可能是也可能不是局部极小点；当有限点落在可行区域的边界时，其稳定性不能确定。年等人，针对在优化条件上的不足，对和】的乘性迭代方法进行了改进，通过证明新迭代算法的迭代序列至少有一个极限点，证明了新算法的解的存在性。基于梯度下降的算法梯度下降法是求解的第二类算法，如在文【】中提出求解带稀疏性约束的算法。等在文【】中提出了一种带最小二乘约束的梯度下降法（，）来求解，并将其应用于文本挖掘。下面给出基于梯度下降的算法的一般框架：）（负矩阵分解方法及其在人脸谚！别中的应用算法：输入非负矩阵霹拥，随机初始化匙”，匙“；：对迭代次数，（）（矿，）（）（）（矿，）

38、（）检验和“是否满足给定的收敛准则，若满足则输出和，转；不满足则重复：算法终止众所周知，基于梯度下降的算法是最简单、最容易实现的一类方法，不过其收敛速度非常缓慢，而且对于步长勺和的选择非常敏感，这对于实际应用来讲实在不是一个好的选择。基于交替非负最小二乘法的算法基于交替非负最小二乘法（，）的算法的思想可追溯到年和在文献将正矩阵分解转换成最小二乘法来求解，可谓是历史最悠久的算法。为了简便，将这类算法记为，它被用于求解如下的模型：（叫）扣彳一；一壹（一（）二二了、一，霹”，“对于目标函数（，），当和同时变化时其并不是凸函数，但是，当固定时其关于是凸函数，当固定时其关于是凸函数。类算法固定针对用非负最小二乘法进行优化。然后互换变量的角