（分析化学专业论文）非平滑非负矩阵分解及其应用研究.pdf

摘要 摘要 化学计量学的蓬勃发展丰富了分析化学的理论，提高了分析化学家解决问 题的能力，为现代化学注入了新的活力。随着新技术、新领域的不断开拓和分 析样品的日趋复杂化，日益要求分析化学和化学计量学提供相应的新理论、新 技术和新方法。 化学计量学新方法的研究一直是化学计量学的热点和推动力，它们不断改 变着化学量测的面貌，推动着化学量测的发展。近年来，在模式识别、图像分 析和无线通讯等研究领域出现了不少新的数据分析方法，如正矩阵分解，非负 矩阵分解等，将这些方法的新思路引入化学计量学，并结合一些成熟的化学计 量学方法，我们将可能提出一些更好的化学计量学新方法。 本文在非负矩阵分解的基础上，针对算法存在的零值等问题，通过引入平 滑矩阵改进算法，成功解决了这一问题，并在化学信号解析中取得一定的成功。 同时本文在p a r a f a c 和t u c k e r 3 模型的基础上发展了一种新的数据解析方法。 非负的高维数据分解方法为化学数据解析提供了新思路，新的算法适用体系广 泛，不仅可以解析色谱等具有连续选择性区域的混合体系，更善于解析如质谱 等只有非连续选择性区域的混合体系。算法在重叠峰解析，复杂化学反应动力 学，代谢组学数据解析均取得了令人满意的结果。 本文的主要工作成果在于： ( 1 ) 通过对非负矩阵分解理论和算法的研究，考虑到算法的缺陷，借助平滑 矩阵等算法改进，成功解决了非负矩阵分解算法存在的零值等问题； ( 2 ) 提出了分别基于p a r a f a c 和t u k c e r 3 模型的三维数据非负分解模型，指 明了一条新的数据解析思路。新的方法无需再展开三维数据，而是直接 分解三维数据，非负的解析结果有直接的物理化学意义； ( 3 ) 利用主成分分析和核一致诊断，成功解决了n m f 算法如何确定主成分数 的问题； ( 4 ) 将算法应用于复杂体系的化学反应动力学，取得了令入满意的结果： ( 5 ) 初步探讨了算法在手性化合物分离、代谢组学质谱数据等领域的应用。 本文分为以下几部分： 第1 部分是前言，负责阐述课题的背景来源和课题所要完成的任务，并对论 i 摘要 文的整体结构进行概括。 第1 i 部分是二维非负矩阵分解研究。这部分包括不同的非负矩阵分解方法 以及非负矩阵分解基本原理和算法，从数学角度上论证了算法的收敛性：同时 探讨了算法优缺点和适用性，以及非负矩阵分解的发展和改进：接着改进算法， 包括不同平滑方法的引入，以及主成分数的确定，使算法适用于化学信号解析， 并通过模拟实验研究了算法的可行性，最后成功应用于消旋异构体系的色谱信 号解析。 第i 部分是高维数据的非负解析研究。论文探讨了高维数据的解析方法； 针对三维数据，分别用平行因子分解和t u c k e r 3 模型发展了非平滑三维非负矩阵 分解方法；通过加入非平滑矩阵解决了算法的零值问题；利用核一致诊断，确 定了数据的主成分数。 在应用环节，本文主要研究了算法在化学反应动力学中应用，包括模拟反 应动力学实验和实测体系，并初步探讨了算法在代谢组学的应用，取得了令人 满意的结果。 第1 v 部分是结语，总结了论文的研究工作，并展望了以后的工作。 关键词：非负矩阵分解非平滑p a r a f a ct u c k e r 动力学化学计量学 a b s t r a c t a b s t r a c t t h ea c h i e v e m e n to fc h e m o m e t r i c sc o n t r i b u t e sg r e a t l yt ot h ed e v e l o p m e n to f a n a l y t i c a lc h e m i s t r y i tn o to n l ye n r i c h e st h et h e o r yo fa n a l y t i c a lc h e m i s t r y , b u ta l s o s t r e n g t h e n st h ep r o b l e m s o l v i n g a b i l i t yo fp e o p l e t o d a y , p r o b l e m sa r ea r i s i n gw i t h n e wf i e l d se m e r g i n g t h en e wt h e o r i e s ，t e c h n i q u e sa n dm e t h o d o l o g i e sa r en e e d e d w h e nt h ea n a l y t i c a lo b j e c t so r eb e c o m i n gm o r ea n dm o r ec o m p l e x t h en e wm e t h o d o l o g i e sa r e t h eh o tr e s e a r c ha n dd r i v et h ee v o l u t i o no f c h e m o m e t r i c s s o m en e wd a t aa n a l y s i sm e t h o d s ，s u c ha sp o s i t i v em a t r i xf a e t o r i z a t i o n ( p m f ) ，n o r m e g a t i v em a t r i xf a c t o r i z a t i o n ( n m f ) e t e ，a r ea r i s i n gr e c e n t l y t h e ya l e a p p l i e di nm a n yo t h e rf i e l d s ( s u c ha s ，p a r e r nr e c o g n i t i o n ，i m a g ea n a l y s i s ，w i r e l e s s c o m m u n i c a t i o n , e t c 1a n dm a yb ei n t r o d u c e df o ra m l y t i c a ld a t ar e s o l u t i o n i nt h i sp a p e r , n o n - n e g a t i v em a t r i xf a e t o r i z a t i o n ，o nt h eb a s i so ft h ea l g o r i t h mf o r t h ez e r ov a l u ea n ds oo n , t h r o u g ht h ei n t r o d u c t i o no fas m o o t hm a t r i xa l g o r i t h m , s u c c e e d e di ns o l v i n gt h i sp r o b l e m a tt h es a m et i m e ，t h ec u r r e n ta u t h o rp r o p o s e da n e wd a t aa n a l y s i sm e t h o db a s e do np a r a f a ca n dt u c k e rm o d e l n o n - n e g a t i v e l l i g h d i m e n s i o n a ld a t ad e c o m p o s i t i o nm e t h o dp r o v i d e sa n e wi d e af o rt h ec h e m i c a l a n a l y s i sd a t a n o to n l yw i mc o n t i n u o u sc h r o m a t o g r a p h ya n a l y s i so f t h em i x e ds y s t e m o f r e g i o n a ls e l e c t i v e ，b u ta l s ob e t t e ra tm a s ss p e c t r o m e t r ya n a l y s i s ，t h en e wa l g o r i t h m h a sw i d e l y a p p l i c a t i o n s a t i s f a c t o r yr e s u l t sa r co b t a i n e di n t h ea n a l y s i so ft h e o v e r l a p p i n gp e a k s ，c o m p l e xc h e m i c a lr e a c t i o nk i n e t i c sa n dm e t a b o l i s mf i e l d t h em a i nw o r ko ft h i sp a p e rc a nb ed i v i d e di n t ot h r e ep a r t s i nt h ef i r s tp a r t ，t h e t h e o r i e sa n dt h ea l g o r i t h m so fn o n n e g a t i v em a t r i xa l g o r i t h m sw a si n v e s t i g a t e d t h e a p p l i c a t i o na n dt h ew e a k n e s so ft h ea l g o r i t h mw e r ea l s os t u d i e d i nt h es e c o n dp a r t ， b a s e do nn o n n e g a t i v em a t r i xf a c t o r i z a t i o n ，t h ec u r r e n ta u t h o rm o d i f i e dt h ea l g o r i t h m b yi n t r o d u c e dam a t r i x ，w h i c hs m o o t ht h ev a l u eo f t h ef a c t o r t h em o d i f i e da l g o r i t h m w a ss u c c e e d e di nr e s o l v i n gt h ep r o b l e mo fz e r oa n da c c e l e r a t i n gc o n v e r g e n c e ，a f t e r t h a t ，f o rv e r i f y i n gt h em o d i f i e da l g o r i t h m ，t h ec u r r e n ta u t h o rd o e sr e s e a r c ho n s i m u l a t e dd a t as e ta n dr e a le x p e r i m e n td a t as e t i nt h el a s tp a r t ，m u l t i w a yd a t a i i i a b s t r a c t a n a l y s i sw a ss t u d i e d b a s e do np a r a f a ca n dt u c k e rm o d e l ，t h ec u r r e n ta u t h o r p r o p o s e dai l e wd a t aa n a l y s i sm e t h o d t h en e wm e t h o dp r o v i d e san e wa p p r o a c hf o r t h ec h e m i c a la n a l y s i sd a t a a n dt h ea p p l i c a t i o n so ft h em e t h o dw e r em a i n l y i n v e s t i g a t e d t h en e wm e t h o dw a sa p p l i e dt o s i m u l a t e dd a t am a t r i xa n dr e a l e x p e r i m e n t a ld a t am a t r i xa n dt h es a t i s f i e dr e s u l t sw e r eo b t a i n e d t h er e s u l t ss h o w t h a tt h en e wm e t h o di sap o w e r f u lm e t h o df o rd a t aa n a l y s i s k e yw o r d s ：n m y n o n s m o o t hp a r a f a ct u c k e rk i n e t i c sc h c m o m e t r i c s 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：口f 】、卜咱 伊5 年，月1 1 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名：竹沙嘎 年月日5 年、月i ，日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：们一沙嵋 俨( 年j 月 第一章引言 1 1 化学计量学发展与挑战 第1 章引言 分析化学是研究分析方法的学科，也是一门表征和测量的科学，其发展依 赖于理论、技术与对象( 问题) 的相互作用。学科之间的相互渗透( 包括分析 方法中不同技术的联用) 是分析化学发展的基本规律。分析化学也是- - 1 7 计量 科学，它发展、优化、应用量测过程，以获取全局或局部性的化学品质信息， 解决所提出的量测课题。因此，分析化学实际上是- - i q 化学信息科学【“。化学计 量学是从量测数据中获取，表述和显示相关化学信息。化学计量学是化学与计 算机科学以及数学、统计学的接e l 。它运用在计算机上实现的数学、统计学方 法，优化化学量测过程，并从化学量测数据( 信号) 中最大限度提取有用的化 学信息1 3 j 。化学计量学以化学量测的基础理论与方法学为研究对象。它涉及的问 题很多是分析化学的基础性问题，或者说它构成分析化学第二层的基础理论的 重要部分。化学计量学的发展与分析化学的信息化有着密切的关联。 化学计量学经过近3 0 年的发展，取得了令人瞩目的成就，正日益得到国内 外学者的重视1 4 】【列【6 】。化学计量学不仅为化学量测提供理论和方法，而且为各类 波谱及化学量测数据解析、化学化工过程的机理研究和优化提供新途径，它涵 盖了化学量测的全过程，包括采样理论与方法、试验设计与化学化工过程优化 控制、化学信号处理、分析信号的校正与分辨、化学模式识别、化学过程和化 学量测过程的计算机模拟、化学定量构效关系、化学数据库、人工智能与化学 专家系统等，是一门内涵相当丰富的化学学科分支。化学计量学的发展为化学 各分支学科、其中特别是分析化学、环境化学、药物化学、有机化学、化学工 程等，提供了不少解决问题的新思路、新途径和新方法【”。上世纪8 0 年代以来， 我国化学计量学研究得到了迅速的发展，国内出现了多本化学计量学专著与教 材【8j 【9 】【“】【1 2 ”】【1 4 】，化学计量学到现在“己发展成为一门在国际上有一定影响 的独立的化学学科分支”【1 “。 化学计量学已成为化学与分析化学学科的一个独特分支，两个重要的条件 和因素推动了这方面的发展。首先，化学与分析化学中大量涌现的现代化学量 第一章引言 测仪器，使化学与分析化学家比以往任何时候都更容易获得大量化学量测数据。 取得数据甚至大量数据已不是最困难的一步，最难解决的瓶颈问题是这些数据 的解析以及如何从中提取所需的有用化学信息。化学家与分析化学家首次遇到 类似行为科学家或经济学家所遇到的大量数据如何处理的问题。化学家与分析 化学家比较幸运，因为大量现代分析测试仪器出现带来的“数据爆炸时代”，也 正是计算机普及的时代。这就构成了化学计量学发展的第二个条件。为了对极 为复杂的化学量测数据进行解析，化学家、分析化学家利用可在计算机上实现 的许多强有力的数学方法，包括一些相关学科发展的数据与信号处理新方法， 从多维化学量测数据中提取有用的相关化学信息。如果说经典分析化学是依赖 费时而麻烦的化学或物理的方法来对很多复杂化学体系进行纯组分分离，即采 用单变量校正方法进行定性定量分析的话，那么，现代分析化学家面对的则是 各种分析分离技术集于一体的高维仪器所产生的巨量分析信号，藉化学计量学 发展的新型分析信号的多元校正与分辨方法来进行复杂多组分体系的定性定量 解析。高维数据解析的化学计量学方法现已进入可用来解决分析化学中实际难 题的程度，将这些方法用于复杂环境样本、中草药中单位药及复方分析等领域， 取得了很多令人振奋的结果。 1 2 复杂多组分体系解析 随着化学、生命科学、药物学等学科的迅猛发展，分析样品正变得越来越 复杂。体系的高度复杂性使得体系中化学成分的定性定量分析变得非常困难， 分析任务也因此变得越来越艰巨。与此同时，近二十年来，联用仪器在化学领 域得到了比较广泛的发展和应用，如h p l c d a d 、g c m s 以及l c m s 等等。 这些仪器普遍具有较强的分离特性，可以将一个复杂的体系分解成为相对简单 的子系统，它们的出现与应用使复杂体系的分析变成可能。然而，无论仪器多 么的先进，条件如何的优化，一个特别复杂的体系，如中草药成分分析体系、 食品分析体系等是不可能通过色谱分解得到一个个只包含一种组分的小体系， 重叠峰仍然不可避免。但幸运的是，联用仪器量测得到的两维数据包含着大量 的化学成分信息，如果能借助结合适当的化学计量学方法，就有可能从这大量 的信息中提取出有用的化学信息，甚至得到纯组分的浓度、光谱信息，进而对 体系中的化学成分进行定性定量分析。 2 第一章引言 般来说，对于服从l a m b e r t - b e e r 定律的化学信号，实验测得的数据矩阵可 用矩阵分解的方法解析，其实质就是要将一个单矩阵分解为两个能表示原始组 分化学信息的子矩阵。为此，在化学计量学领域中，分析化学家提出了各种各 样的单矩阵分析方法，如自模式曲线分辨( s e l fm o d e l i n gc u r v er e s o l u t i o n ， s m c r ) h 0 就是一类单矩阵分解方法的统称。自模式曲线分辨法主要基于主成分 分析，其基本假设有两条： ( 1 ) 混合物量测谱符合线形加和性； ( 2 ) 波谱量测值只能为正值。 由于这两条假设要求条件对一般波谱仪器所产生的数据皆可成立，故其适 用性较广。典型的s m c r 方法有迭代目标转换因子分析方法( i t e r a t i v et a r g e t t r a n s f o r m a t i o nf a c t o r a n a l y s i s ，i t t f a ) 、直观推导式演进特征投影方法( h e u r i s t i c e v o l v i n gl a t e n tp r o j e c t i o n ，h e l p ) 等。它们分别根据不同的原理实现单矩阵的 分解，如i r 邝_ a 通过在迭代中加入化学信息限制( 如非负性、单峰性等) 使迭 代矢量逼近原始信号，而h e l p 则充分利用两维色谱的化学特征，采用基于秩 图的局部主成分分析方法实现单矩阵的分解。 与此同时，近年来，在模式识别、图像分析以及声音处理和无线通讯等研 究领域也出现了很多新的单矩阵分解方法，如独立组分分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，i c a ) 、非负独立组分分析( n o r m e g a t i v ei n d e p e n d e n t c o m p o n e n ta n a l y s i s ，n i c a ) 、非负矩阵因子分析( n o n n e g a t i v em a t r i x f a e t o r i z a t i o n ，n m f ) 、非线性主成分分析( n o n l i n e a r p r i n c i p l e c o m p o n e n t a n a l y s i s ， n l p c a ) 等。与传统的s m c r 方法相似，它们的目的也是将一个单矩阵分解为 两个具有实际物理化学意义的子矩阵。如i c a 能得到不仅是不相关的而且是相 互统计独立的组分，非负矩阵因子分解n m f 可以将一个非负矩阵分解为两个非 负因子矩阵的线性组合，可用于“非负”限制条件下的数据降维。 n m f 是一种数据降维和特征提取方法，它只限制原始数据非负，量测数据 可看成是原始信号的线性加合。n m f 也是一种潜变量分析方法，它可以在不改 变原数据结构的前提下，将原数据阵分解成两个非负矩阵来表征原数据，尽可 能地从原数据中提取信息。因而n m f 可以像主成分分析( p c a ) 一样用来进行 潜变量分析，虽然n m f 和p c a 都是通过寻找转换矩阵投影得到新的矩阵表达， 但两者有根本的不同。p c a 是基于向量的分解方法，其分解得到的得分矩阵和 载荷矩阵相互正交，矩阵没有明确的物理化学意义；n m f 分解得到的两个矩阵 3 第一章引言 并不一定正交，它的分解结果中没有负值，有相应的物理化学意义。 1 3 论文主要工作内容 本文的主要工作成果在于： 1 通过对非负矩阵分解理论和算法的研究，考虑到算法的缺陷，借助平滑 矩阵等算法改进，成功解决了非负矩阵分解算法存在的零值等问题； 2 提出了分别基于p a r a f a c 和t u k c e r 3 模型的三维数据非负分解模型，指 明了一条新的数据解析思路。新的方法无需再展开三维数据，而是直接 分解三维数据，非负的解析结果有直接的物理化学意义； 3 利用主成分分析和核一致诊断，成功解决了n 肝算法如何确定主成分数 的问题； 4 将算法应用于复杂体系的化学反应动力学，取得了令人满意的结果； 5 初步探讨了算法在手性化合物分离、代谢组学质谱数据等领域的应用。 本文分为以下几部分： 第1 部分是前言，负责阐述课题的背景来源和课题所要完成的任务，并对论 文的整体结构做一概括。 第1 i 部分是二维非负矩阵分解研究。这部分包括不同的非负矩阵分解方法 以及非负矩阵分解基本原理和算法，从数学角度上论证了算法的收敛性；同时 探讨了算法优缺点和适用性，以及非负矩阵分解的发展和改进；论文接着改进 算法，包括不同平滑方法的引入，以及主成分数的确定，使算法适用于化学信 号解析，并通过模拟实验研究了算法的可行性，最后成功应用于消旋异构体系 的色谱信号解析。 第1 i i 部分是高维数据的非负解析研究。论文首先探讨了高维数据的解析方 法；接着针对三维数据，分别用平行因子分解和t u c k e r 3 模型发展了非平滑三 维非负矩阵分解方法；然后通过加入非平滑矩阵解决了算法的零值问题：同时 利用核一致诊断，确定了数据的主成分数。 在应用环节，本文主要研究了算法在化学反应动力学的应用，包括模拟反 应动力学实验和实测体系，并初步探讨了算法在代谢组学的应用，取得了令人 满意的结果。 第部分是结语，对论文研究工作总结，并展望了以后的工作。 4 第2 章非负矩阵分解理论与算法 第2 章非负矩阵分解理论与算法 2 1 非负矩阵分解方法概述 e k a t j a l a i n e n 在1 9 9 0 年发表了一篇用交替回归的技术来获得非负化学谱图 信号，即后来被称为交替最小二乘( a l s ) 的技术。1 9 9 4 年p a a t e r o 和t a p p e r 在他们 所发表的一篇文章【1 7 】里尝试对环境方面的实际数据进行因子分析，所得到的每 一个因子是一系列的基本变量的正线性组合。具体模型如下： 设矩阵a 的每一列为实际观测值，矩阵v 的每一列为因子，而矩阵h 的每 一行作为矩阵a 对应因子的影响。用矩阵w 来代表每一个元素的权重，权重代 表每一个观测值的可信度等级。p a a t e r o 和t a p p e r 提出了如式( 2 1 ) 所示的优化模 型： 1 1 w 缈一删犯 s u b j e c tt ov 0 ，h o ( 2 1 ) p a a t e r o 和t a p p e r 最先提出了利用有约束的最小二乘迭代算法。这种方法固 定v 针对h 进行优化，然后互换变量的角色固定h 针对v 优化，重复迭代过程。 该算法的初始状态随机选定以试图得到全局最优解。 p a a t e r o 随后设计了多种算法来对上述的优化算法进行改进。他的第二个算 法，p m f 2 1 8 】对上述算法进行了修改，使整个应用过程复杂化不少。接着他又提 出了一个更加通用的算法模型”m u l t i l i n e a re n g i n e ”，来寻找满足非负条件限制的 多因子模型，该算法利用改进的变梯度算法来解决此优化问题。由上述可知， p a a t e r o 等人在非负因子分析方面作了大量的工作。但从现在的角度来看，他们 的文章中还是存在一些不足之处。首先，他们的研究只局限在非负矩阵分解的 某一具体应用领域，没有对该类算法的应用推广性做深入研究；其次，他们使 用的算法只能应用于特定的领域，无法直接推广到其他的领域；最后，他们没 有对所建立的模型进行相应的理论推导和研究，没有从理论上证明算法的收敛 性以及复杂度等，而是主要基于经验来提出，缺乏理论基础。 d d l e e 和h s s e u n g 在1 9 9 7 年的一篇有关无监督学习方法的论文中提出了 非负矩阵因子分解o n n e g a t i v em a t r i xf a c t o r i z a t i o n , n m f ) “9 】的概念，1 9 9 9 年他 5 第2 章非负矩阵分解理论与算法 们的论文1 2 0 】在n a t u r e 上发表后引起了人们的广泛关注，目前已广泛用于生物医学 【2 l 】【2 2 l 【2 3 】【、人脸识别【2 5 】【2 “、图像科学【2 7 】【”1 、语音信号处理等领域。 n m f 是一种数据降维和特征提取方法，它只限制原始数据非负，量测数据 可看成是原始信号的线性加合。n m f 也是一种潜变量分析方法，它可以在不改 变原数据结构的前提下，将原数据阵分解成两个非负矩阵来表征原数据，尽可 能地从原数据中提取信息。因而n m f 可以象主成分分析( p c a ) 一样用来进行 潜变量分析，虽然n m f 和p c a 都是通过寻找转换矩阵投影得到新的矩阵表达， 但两者有根本的不同。p c a 是基于向量的分解方法，其分解得到的得分矩阵和 载荷矩阵相互正交，矩阵没有明确的物理化学意义；n m f 分解得到的两个矩阵 并不一定正交，它的分解结果中没有负值，有相应的物理化学意义。 2 2 模型 非负矩阵分解可用下述公式描述： 圪。z 形。，h 。 ( 2 2 ) 式( 2 2 ) 中k 。表示观测数据矩阵，。，和耳，。表示因子矩阵，n 为变量数， m 为样本( 或变量) 数。r 表示体系的主成分数，一般情况下，r 的选取要满足 ( n + m ) r n m ，一。与因子矩阵。，q 。元素值均非负。 n m f 与其他矩阵分解模型最大的不同之处在于矩阵的非负限制，在这种情 况下，只有加和是可能的，即： 二 z ( w h ) m = 睨h 。 ( 2 3 ) a = l 式( 2 3 ) 中为非负矩阵v 中的元素，既和日。分别表示因子矩阵w 和h 中的元素。因子矩阵w 每一列表示一个基向量，而因子矩阵h 的每一行则表示 由该基向量表征原非负矩阵v 的相应列时的权重。 2 3 目标函数和迭代规则 为了寻找一个近似的分解过程，必须首先定义目标函数来保证逼近的效果。 这样的目标函数有两类，一种是用范数误差来衡量重构误差，另一种是最小化 6 第2 章非负矩阵分解理论与算法 修正的k u l l b a e k - l i e b l e r 散度为目标函数。 2 3 1 欧氏距离 对于第一类目标函数，一个比较有用的方法是衡量量测矩阵v 和重构矩阵 w h 的欧氏距离： 卜聊i | 2 = ( 一( 孵) 口) 2 ( 2 4 ) 当且仅当v = w h 时，式( 2 4 ) 即欧氏距离为零。 我们采用欧氏距离来构建评价函数f ，得到式( 2 5 ) ： f = ( 一( 聊) ) 2 分别对w 和h 求偏导，有： 瓦o f = 之晒1 a 一岫l a ) ( 2 6 a ) 薏5 之7 矿k 妒聊k 。) ( 2 6 b ) 采用梯度法，我们可以得到加法更新法则： 彬。= 彬。+ 4 。 ( v i i ) ，。一( w h h ) ，。】 ( 2 7 a ) h q = 日+ 【( 形叼掣一( 矿w h ) 口】 ( 2 7 b ) 上面两个公式中参数4 。和瑁。也成为学习率，它们的物理意义是定点( f i x e d p o i n t ) 梯度法的步长，若选择屯= 谚和= 谚名言e ，加法更新公式 ( 2 7 a ) 和式( 2 7 b ) 可以变为乘法更新公式( 2 8 a ) 和式( 2 8 ”： 帆黩 ( 2 s 的 h q 七一h ” 2 3 2 散度 对第二类，基于散度或熵的目标函数如下： 7 黯 塑! 兰韭里丝堕坌堡些堡皇竺鎏 - _ - 。_ _ _ _ _ _ _ _ _ _ _ - 。_ - 。_ _ _ _ _ _ 。_ _ 。_ _ 。_ - _ _ - 。_ _ _ _ _ _ - - 。_ 。1 。 掣i i w h ) 2 莩( ”8 蒜一+ ( 附m ( 2 9 ) 同样，当且仅当v = w h 时，式2 9 取最小值0 。 简化公式( 2 9 ) ，得评价函数f ： f = l 。g ( w h ) 驷一( 腰) 埘 ( 2 1 0 ) 需要说明的是，公式( 2 1 0 ) 等价f - f 式( 2 i i ) ，= n m 【1 。g ( w h ) m 一( 嗍机】 ( 2 1 1 ) 我们的任务是最小化f ，使得v 逼近于w h 。 根据公式，对f 求偏导，则有： 舞= 弘。击一；日” 薏= 莩睨击一军 仁佗 得到加法公式( 2 1 3 a ) 和式( 2 1 3 b ) ： f v 、 既川一九【善蔬一莓j 仁1 3 曲 = + 军击一军既j ，” 其中参数瓦和玎，称为学习率，若选择耻盎和驴轰，删 可以得到乘法更新规则( m u l t i p l i c a t i v e u p d a t er u l e s ，m u r s ) 。 ( w e ) 扯 彬。卜彬a l 三r 仁1 4 曲 8 第2 章非负矩阵分解理论与算法 ( w h ) 。 卜矿 2 4 收敛性证明 r 2 1 4 1 ) 为了证明在上述更新公式下，目标函数单调递减，引入辅助函数g ( h ，h ) ， 其满足 g ( h ，h ) f ( ) ；g ( h ， ) = f ( h ) ( 2 1 5 ) 令h = a r gm i n o ( h ，h 。) ，则可得 f ( h “) g ( h ，h 。) g ( h 。，h 。产f ( )( 2 1 6 ) 只有当h 。取g ( h ，h 。) 最小值时f ( + 。户f ( 。) 。如果目标函数f 的导数存在且 在h 。的一个极小领域内连续，那么若每次取 。l = 盯g m i n g q ， 。) 进行迭代，f 最 终会收敛到一个局部最小点k h = a r gl 珥nf ( ： f ( 一) f ( h 。+ 1 ) f ( 矗。) f ( o ) 可以构造这样的辅助函数g ( h ， 。) ，对于目标函数，其迭代规则能满足 = a r gm i ng ( h ，h 。) 。 2 5 算法 根据乘法更新公式( 2 8 a ) 和式( 2 8 b ) ，得到计算因子矩阵w 和h 的第一种算 法。 ( 2 ) ( 3 ) 在非负约束条件下，初始化因子矩阵w 和h ( 如随机初始化矩阵w 和h 1 ； 计算新帆帖形。舷； w v r 列归一化w ： 2 芝万j a ： ； ( 4 ) 计算新的h ：h a u = ，乙 9 瑞 第2 章非负矩阵分解理论与算法 ( 5 ) 重复( 2 ) 至( 4 ) ，直到收敛。 根据乘法更新公式( 2 1 4 a ) 并1 1 式( 2 1 4 b ) ，得到计算因子矩阵w 和h 的第二种 算法。 ( 1 ) 在非负约束条件下，初始化因子矩阵w 和h ( 如随机初始化矩阵w 和h 1 ： ( 2 ) 计算新的w ： ( 3 ) 列归一化w ： ( 4 ) 计算新的h ： h p f 哪b 。 形a2 形。矿； w , o2 藏； 形。v , ( w h ) 驷 2 矿； t ( 5 ) 重复( 2 ) 至( 4 ) ，直到收敛。 综上所述，以上两种算法仅仅是采用的乘法更新计算公式不同，基本步骤 是相同的，并且二者算法运算速度相差不大。实际上我们使用的是简化过的算 法，这也是现在常用的n m f 算法。算法如下： 在非负约束条件下，初始化因子矩阵w 和h ( 如随机初始化矩阵w 1 j 和m ； ( 2 ) 计算新的w ： ( 3 ) 列归一化w ： 啥彬。按日； w 一 j a 2 瓦； 一 j 4 m 计算新胁 = 咿冼 ( 5 ) 重复( 2 ) 至( 4 ) ，直到收敛。 2 8 算法优点和不足 1 0 第2 章非负矩阵分解理论与算法 l e e 和s u n g 的n m f 算法在非负元素的限制下是一种非常好的矩阵分解算 法，它有两个非常重要的特点，即产生基于局部的、稀疏的非负矩阵，这些特 性使产生的数据比较容易直观地解释。 在传统的化学计量学方法中，非负是一种外加限制条件的方法，即算法本 身不能保证分析结果非负，要在算法之中加入其它方法进行限制，比如，当有 负值出现时，采用将其设为零或采用非负最小二乘( n o n n e g a t i v i t yl e a s ts q u a r e s n n l s ) d o 】方法进行限制。n m f 中对“非负”的限制截然不同。由于乘法更新规 则的应用，在原始数据非负的情况下，n m f 能够保证分解结果w 和h 不会出现负 值。n m f 算法本身就能保证不会出现负值，而不再需要其它的任何方法对“非 负”进行进一步的限制。 将n m f 算法用在人脸数据上，主题矩阵w 每列中存放的是诸如人眼、鼻、 嘴等在表现人脸具有关键作用的特征，编码矩阵h 每列中存放是具体人脸用w 中的局部特征相加组合的方式码。这有别于用整个特征脸来表征不同的脸。这 和人们在记住一个人的脸的过程相似：先记住脸上有特色的局部特征，然后经 过相加的组合而形成一个人整个脸的记忆。n m f 算法在人脸识别和图像压缩中 有相当大的用途。 将n m f 算法用在语音处理上的时候，矩阵w 每列中存放是语音数据比较 稀疏的特征码，而矩阵h 每列中存放是具体语音在由w 中特征码组合时的方式 编码。这种数据结构在进行语音识别和语音分离等方面有较大的用处。 将n m f 算法应用在化学信号的解析中，矩阵w 每列存放的是化学各纯组 分的特征信号，而矩阵h 存放的是w 中特征信号的一定组合方式，如浓度或对 应的光谱强度。与基于p c a 的化学计量学方法不同，n m f 算法解析的是非负化 学信号的线性加和，而不是整个体系对应的特征向量，可直接得到有物理化学 意义的解。 n m f 的原理简单，已在模式识别和图像分析处理等研究领域得到了比较广 泛的应用。但同时算法也存在以下不足之处： 零值：如前所述，n m f 在迭代计算过程中采用了乘法更新公式，如果( 初 始) 因子分解矩阵w 和h 中的任一元素为“零”，则重构数据矩阵w h 中相对 应的元素也必将为“零”而不会成为“非零值”。也就是说，这时会导致迭代不 收敛，或者说不能达到局部最小值，此时得到的解将不会是最优解。 收敛速度：n m f 算法是用由梯度下降法推导而产生的，其乘法更新公式是 第2 章非负矩阵分解理论与算法 由梯度下降法中的加法更新公式转换而来，以梯度为基础的方法的一个不足之 处是其速度受步长( 或称学习率) 大小的影响。算法的收敛速度比较慢。有时 需要几千甚至几万次迭代计算才能达到比较理想的收敛结果。 唯一性：当n m f 用于化学波谱解析时，得到的解析结果可能仍是纯组分波 谱的线性组合，需要通过“投影”或“旋转”等进一步操作。 另外n m f 算法需要其它算法确定体系的组分数，并且在处理高稀疏的数据 上也存在问题，需要做进一步的改进。 1 2 第3 章非负矩阵分解算法改进和应用研究 第3 章非负矩阵分解算法改进和应用研究 3 1 非负矩阵分解改进算法简介 自从1 9 9 9 年l e e 和s u n g 正式在n a t u r e 上发表文章给出了一种n m f 矩阵分 解算法以来，许多在此基础上的算法在不同程度上对n m f 存在的缺点进行了改 善。下面着重介绍以下几种算法： 1 l o c a ln o n n e g a f i v em a t r i xf a c t o r i z a t i o n ( l n m f ) 3 l j 非负矩阵分解只是要求所分解的因子矩阵元素非负，如果对分解的因子矩 阵考虑进一步的约束，可以强化分解的结果。f e n g 等基于这个想法，提出了局 部非负矩阵分解并用于图像识别，他们提出的约束问题可转为如下的约束优化 求解问题： 。( 刚册) = 等( l 。s 万岳一+ ( 唧u + 口砉缈l 一卢喜晒k ( 3 1 ) 2 n o n n e g a t i v es p a r s ec o d i n g ( n n s c ) 根据稀疏编码原则，h o y e r 提出了一种非负稀疏编码，使分解后的系数有比 较好的稀疏特性，也就是求解如下的约束性问题 e ( 矿，脚) = 扣一删卜丑厂帆)( 3 2 ) 该学习算法的一个缺点是基向量学习是加性迭代，不能很好地保持非负特 性，对负值必须使其强制置零。h o y e r 将其算法应用在视觉感知的建模研究中。 3 稀疏非负矩阵分解f s n m f l 【圳 同样根据稀疏编码原则，l i u 等基于散度提出了如下的稀疏非负矩阵分解 d ( y i iw h ) 2 莩( 讪8 蒜一“抄口等以 ( 3 3 ) 和n n s c 的学习算法相比，s n m f 算法全部采用乘性迭代规则，能很好地保 持数据的非负特性。 4 n o n s m o o t hn o n n e g a t i v em a t r i xf a c t o r i z a t i o n ( n s n m f ) i ”1 1 3 第3 章非负矩阵分解算法改进和应用研究 近来的一篇是a l b e r t o 等的非平滑非负矩阵分解，a l b e r t o 通过加入一平滑矩 阵控制因子矩阵w 和h 的稀疏性，他们把数据分解为w ，h ，以及平滑矩阵s 即： v = w s h ( 3 4 ) 其中 s = ( 1 一口讧+ ( a r ) 1 1 7( 3 5 ) s 的元素值在迭代中不变。通过口的值控制w 和h 的稀疏性，解决了n m f 在高稀疏数据处理中的问题。 5 g a o ，s n m f 3 5 3 6 g a o 等探讨了n m f 在化学里的应用，并针对化学性号的特征，对相应的 n m f 算法进行修饰，如平滑处理、单峰限制等。取得了一定的成果。 3 2 算法改进 近年来有许多针对n m f 算法在不同领域的应用的改进算法，这些算法从各 个方面克服了n m f 算法在应用领域的缺点，改进的方式大致可以分为两大类： 第一类主要改进n m f 算法使之能收敛到全局最优点；第二类改进是在算法的稀 疏度的控制上进行改进，使之更有效、可控地处理高稀疏度的数据。 本文通过参考奇异值分解，并借鉴非平滑非负矩阵分解( n s n m f ) 的思想，发 展了一种新的非负矩阵分解算法，新方法将数据矩阵分解为三个相乘的因子矩 阵，如下式( 3 6 ) 所示： 矿= w s h ( 3 6 ) 其中矩阵矿是量测矩阵，矿和h 分别是n m f 分解所得的因子矩阵，矩阵s 类似于s v d 分解里的特征矩阵，它的初始值如式( 3 7 ) 所示： s = ( 1 一口皿+ ( o r