（电路与系统专业论文）基于独立分量分析的盲分离算法研究.pdf

摘要 盲信号处理发展至今已有好几十年的时间，它可以分为三大类： 盲辨识、盲反卷积、盲源分离。目前，用于盲源分离的主要方法是独 立分量分析方法( 工c a ) ，它是近二十年来发展起来的一种高效盲信 号分离方法，它是指在源信号和混合矩阵均未知的情况下，仅利用源 信号统计独立等容易满足的先验条件，于监测到的混合信号中恢复出 各源信号。独立分量分析方法已被广泛地应用于语音信号处理、医学 信号处理、图像处理、阵列信号处理等领域。 本文介绍了盲源分离的研究现状及独立分量分析的研究现状，阐 述了独立分量分析的概念、基本模型、求解限定条件及解的不确定性。 然后，按独立分量分析的一般求解步骤介绍了预处理方法、目标函数、 优化算法、分离性能评价函数。接着，介绍了小波域i c a 方法在图像 盲分离中的应用，并将小波i c a 运用至一维的语音或人工信号盲源分 离问题中，通过计算机实验仿真发现小波i c a 方法也有利提高语音或 人工信号的分离性能。针对自然梯度算法对于步长的依赖性，提出了 一种改进的基于双曲正切函数自适应步长方法。它采用性能指数( 丹) 的思想，设定一个新的评判目标函数( w ) 达到最优的标准。并通过小 波域i c a 图像盲分离计算机实验仿真，证实了其优越性能。针对自然 梯度算法具有爬坡能力差，容易陷入局部极值的缺点，而又考虑到混 沌具有随机性、规律性、遍历性等特点，故将混沌思想与自然梯度算 法相结合得到混沌i c a 方法。通过图像盲分离实验和语音盲分离实验 对混沌i c a 方法进行验证，并与普通自然梯度算法分离结果相比较分 析，结果表明混沌i c a 方法分离效果更加优越。 关键词：盲源分离，独立分量分析( i c a ) ，小波i c a ，自适应步长， 混沌i c a a bs t r a c t b l i i l ds i 伊a lp r o c e s s i n gh a sb e e ni nd e v e l o p 眦n tf o rd e c a d e s ，i tc a i l kd i v i d e di n t ot h r e ec a t e g o r i e s ：b l i n di d e n t i f i c a t i o n ，b l i n dd e c o n v o l u t i o n ， b l i n ds o u r c es e p a r a t i o n a tp r e s e n t ，m em a i nm e t h o df o rb l i n ds o u r c e s e p a r a t i o ni sa i n e t l l o do fi n d 印e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ，i ti sa j l e 艏c i e n tm e t h o df o r b l i n ds i 弘a ls e p a r a t i o nw ，h i c hh a sd e v e l o p e dl a s t 细o y e a r s i ti n e a l l s 廿1 a ti tc a ne s t i m 眈m es o u r c es i 印a lc o m p o n e n t so n l yb y s o u r c es i 印a l s p r i o rc o n d i t i o n s ，e v e ni ft h es o u r c es i 盟a l s 锄di i l i x i n g m a t r i xa r eu n 妇o 、n i n d 印e n e l e n tc o m p o n e n ta n a l y s i sm e t h o dh a sb e e n w i d e l yu s e di ns p e e c hs i g l l a lp r o c e s s i n g ，i n e d i c a ls i g 舱lp r o c e s s i i l g ， i m a g ep r o c e s s i n g ，a i t a ys i g n a lp r o c e s s i n ga n ds oo n 7 1 1 1 i s p a p e r i 1 1 t r o d u c e sm eb l i l l ds o l u c es 印锄_ t i o nr e s e a r c hp r e s e n t s i t u a t i o na i l d 1 es t u d yo fi n d 印e n d e n tc o m p o n e n t 锄a l y s i sc l l r r e n t s i n l a t i o n ，e l a b o r a t e d ，t h ec o n c 印to fi i l d e p e i l d e n tc o m p o n e n ta n a l y s i s ， b a s i cm o d e l ，t l l er e s t r i c tc o n d i t i o n so fs o l v i n ga n dn l es o l u t i o nu n c e r t a i n t y t h e n ，a c c o r d i i l gt ot h eg e n e m ls t e p so fi n d 印e n d e n tc o m p o n e n ta n a l y s i s ， d e s c m i n gp r e p r o c e s s i n gm e t h o d ，o b j e c t i v e m n c t i o n ，o p t i i n i z 撕o n a l g o r i t h m ，s e p a r a t i o np e r f b l l 劬a n c ee v a l u a t i o nn m c t i o n t h e n ，i n 缸。o d u c i n g t l l e 叩p l i c a t i o no ft h ew a v e l e ti c a i n c t h o du s e di i lb l i n di m a g es e p 獭_ 6 0 n ， a n du s i n gw a v e l e ti c at oo n e d i m e n s i o n a lv o i c eo rm a n u a ls i g n a lb l i n d s o l u c es 印a u r a t i o np r o b l e m ，t l l r o u g hc o m p u t e rs i m u i a t i o nw ek n o wt l l a t w a v e l e ti c aa l s o i m p r o v e d v o i c eo rm a l l u a ls i g n a lb l i n ds o u r c e i i i s e p a r a t i o n sp e 怕m l a n c e i nv i e wo ft h en a t u r a lg r a d i e n ta l g o r i t l l mf o r s t e ps i z ed e p e n d e n c e ，t h i sp a p e rp r o p o s e sa ni n l p r o v e da d a p t i v es t 印一s i z e m e t h o db a s e do nh y p e r b o l i c 向n c t i o n w i t ht h ei d e ao fp e r f o m a n c e i n d e x ( ) ， w es e ta ni m p r o v e dc r i t e r i at oj u d g ew h e t h e rt h eo b j e c t i v e 如n c t i o n ( w ) i s o p t i m a l a n dt h r o u g ht h ew a v e l e ti c ab l i n di m a g e s e p a r a t i o nc o m p u t e rs i m u l a t i o n e x p e r i m e n t s ， w ec o n f i m e dt h e s u p e i l i o r i 够o fw a v e l e ti c a t h en a t i l l - a lg r a d i e n ta l g o r i t h mh a sap o o r c l i m b i n ga b i l i t y ，a n de a s yt of a ui n t ol o c a le x t r e m ev a l u e s t a k i n gi n t o a c c o u n tt h ec h a o s h a st h ec h a r a c t e r i s t i co fr a n d o 砌e s s ， r e g u l a r i t y ， e 唱o d i c i t y ，e t c s ow eo b t a i l lc h a o si c am e t h o db yc o l l l _ b i n i l l gc h a o s t h e o 拶 a n dn a t u r a l g r a d i e n ta l g o r i t h m w ev e r i f i e dt h e s e p a r a t i o n p e r f o m a n c eo fc h a o si c at h r o u g hi m a g eb l i n ds 印a r a t i o na n db l i l l d s p e e c h s e p a r a t i o ne x p e d m e n t s a n dc o r n p 撕n gt h e s 印a r a t i o n p e 墒m a n c ew i mm en a t u r a lg r a d i e n ta l g o r i t h m s ，t h er e s u l t ss h o wt h a t c h a o si c am e t h o df o rs e p a r a t i l l ge 虢c ti sm o r es u p e d o r k e yw o r d s ：b l i i l ds o u r c es e p a r a t i o n ，i n d e p e n d e n tc o n l p o n e n ta n a l y s i s ( i c a ) ，w a v e l e ti c a ，a d a p t i v es t e p s i z e ，c h a o si c a i v 基于独立分量分析的盲分离算法研究 第一章绪论 1 1 盲信号分离的起源 盲信号处理( b l i n ds o u r c ep r o c e s s i n g ，b s p ) n 儿2 1 是2 0 世纪8 0 年代后期迅速发展起来的一个新型研究领域，它是统计信号处理、信 息论及人工神经网络等多学科相结合而形成的一门新兴学科。根据盲 信号处理的目的，它可为分为三大类：盲辨识、盲反卷积和盲源分离。 盲辨识1 m 3 的主要目的是为求解传输通道的混合函数；盲反卷积1 m 1 的目的是仅利用系统输出对其输入进行重构；盲分离( b 1 i n ds o u r c e s e p a r a t i o n ，b s s ) n 3 1 的目的是求得源信号的最佳估计。 在当今的信号处理领域中，盲源分离已成为一个富有极大挑战性 的研究热点，吸引了国内外众多专家学者都不约而同的投入到盲源分 离问题的研究中来。“鸡尾酒会 问题h 胡最先引起了人们对盲分离 问题的深入研究。在一个多人同时说话并伴随着一些其他噪音的嘈杂 环境中，通常每个探测器接收到的信号都是混杂着多人声音以及噪声 的混合信号，怎样才能仅凭探测器检测到的混合语音信号分离出所需 要的声音信号，这就是盲源分离问题。 一般盲分离问题的基本模型可以分为：线性瞬时混合、线性卷积 混合和非线性混合。本文主要对线性瞬时混合模型进行研究。进行盲 分离的方法大多是一种无监督学习法，它根据一定的理论构造出合适 的目标函数，然后对其进行寻优求解。在确定了目标函数后，通过合 适的寻优算法就能够求解得到需要的解混矩阵。不同盲源分离算法， 硕士毕业论文 在目标函数的构造上是基本一致的，其主要不同之处在于优化算法的 选择。 1 2 盲源分离及独立分量分析研究现状 在盲源分离问题上，国外研究得比较早。1 9 8 6 年4 月1 3 1 6 日， 法国学者j e a n n yh e r a u l t 和c h r i s t i a nj u t t e n 6 1 在美国犹他州举行 的n e u r a ln e t w o r kf o rc o m p u ti n g 会议上作了一篇题为s p a c eo rti m e a d a p t i v es i g n a lp r o c e s s i n gb yn e u r a ln e t w o r km o d e l s 的研多芒报 告，提出了基于h e b b 学习率的学习算法和递归神经网络模型，它 能够分离两个独立信号的混合，从而在信号处理界翻开了崭新的一 页。在此后的2 0 多年中，盲源分离问题火速升温成为了信号处理领 域的追捧热点，随着研究工作越来越深入的展开，其在理论和实际应 用方面都取得了许多的成果，得到了相当大的发展。 1 9 9 1 年，j h e r a u l t 矛口c j u t t e n ，p c o m o n ，e s o r o u c h y a r i 在 s p r o c e s s i n g 上发表了关于盲信号分离的三篇经典文章n 8 9 | ，标志 。 着盲分离研究的重大进展。其中，j h e r a u l t 和c j u t t e n 最先将人 工神经网络引入盲源分离问题中，从而开辟了一个新的领域。1 9 9 4 年，p c 0 m o n 将数据处理与压缩的主分量分析( p c a ) 加以扩展而成 为独立分量分析( 工n d e p e n d e n tc o m p o n e n ta n a l y s i s ，简称i c a ) n 0 | 。 1 9 9 5 年，a j b e l l 矛口t j s e j n o w s k i n 提出了基于l i n s k e r 的信息 最大化准则( i n f o m a x ) 的最大熵法；后来，a m a r i 1 2 1 和c a r d o s o 1 3 3 提 出了基于黎曼空间的自然梯度概念，并将信息最大化学习规则进行了 简化。他们的工作为盲信号分离的研究做出了极大贡献。在随后的几 ， 基于独立分量分析的盲分离算法研究 年之中大量的有效盲分离算法相继涌现，使盲分离理论研究很好的向 实际应用中拓展。1 9 9 9 年，h y v a r i n e n 1 4 m 5 1 和0 j a n 6 3 提出了f a s t i c a 算法，该算法收敛速度极快，是一种非常具有代表性的批处理i c a 方 法。2 0 0 0 年，b i n g h a m 提出了能够处理复信号的f a s t i c a 算法，而后 a m a r i 等人针对带噪盲信号的分离，又提出了a m a r i - h o p f i e l d 神经 网络，它既能消除噪声，又能使信号分离。在高阶统计的基础上， c a r d o s o 又提出了联合对角化盲源分离方法( j a d e ) ，并在波束形成中 得到很好应用。总而言之，这些年盲源分离问题研究得到了很快速的 发展，同时取得了不菲的成果。 相对而言，在盲源分离问题的研究上国内起步比较晚，不过其发 展速度相当迅猛，近年来国内许多博士和硕士的论文都是结合盲信号 处理理论和应用开展的，也成立了一些研究小组，并有盲信号处理的 相关项目得到各基金的大力支持。总之，国内学者也越来越多的投入 到了盲源分离课题的研究中来，在理论研究和实际应用上也取得了不 可小觑的成绩。 在国内外众多专家学者的不懈努力下，独立分量分析方法无论在 理论还是在算法上都取得了卓越成绩，目前它已成为一种常用的盲源 分离方法。i c a 是根据从传感器监测到的观测信号来估计未知的源信 号和混合矩阵的。它从信号高阶统计特性出发，主要目的按是为了提 取信号的独立成分，与已有的主分量分析( p c a ) 方法n 7 1 8 1 相比，它 不仅可去除分量间的低阶相关性，而且还能够去除分量间的高阶相关 性，使之相互独立。因此，i c a 是一种有效的盲源分离方法，相对其 硕士毕业论文 他方法能更全面地体现数据问的本质结构。正因为如此，在信号处理 领域i c a 受到了的众多关注，最近十几年采用i c a 来实现的盲源分离 研究也得到了蓬勃发展。 虽然i c a 方法兴起比较晚，研究时间不很长，但是其成长速度却 非常快，在理论和应用上都取得了不菲的成绩。目前，i c a 在语音信 号处理、图像处理、生物医学信号处理、地震信号去噪、阵列信号处 理等相关领域都得到了成功的应用。不过，i c a 还处在不断成长的阶 段，还存在许多问题需要进一步研究并解决n9 | ，例如：信号源个数未 知且不稳定时的非平稳信号的分离问题；传感器个数不等于源信号个 数的超定问题和欠定问题；能够在奇异情况下工作的算法和各种算法 的全局收敛性、渐近稳定性以及鲁棒性研究；分离模型是非线性的问 题等。 1 3 论文的结构安排及创新点 1 3 1 论文的结构安排 本文的主要研究对象是基于独立分量分析的盲分离改进算法，其 具体安排如下： 第一章，绪论。本章主要讲述盲信号分离和独立分量分析的起源 和研究现状，以及独立分量分析方法在盲分离领域的应用。 第二章，独立分量分析的基本原理。介绍盲信号分离的基本模型、 假设限定条件、独立分量分析的概念，然后以i c a 方法进行盲源分离 基于独立分量分析的盲分离算法研究 问题的一般求解过程作为线索，介绍常用的预处理方法、目标函数、 优化算法以及分离性能评价函数。 第三章，基于小波i c a 的步长自适应改进算法。首先讲解小波变 换的概念，介绍连续小波变换和离散小波变换。然后，在重点讲述一 维离散小波分解和二维离散小波分解的概念，并详述小波i c a 方法的 基本思想。然后，在小波i c a 方法的基础上，针对恒定步长自然梯度 算法的不足，提出了改进的步长自适应自然梯度算法，并打算用小波 i c a 图像盲分离实验去验证改进的步长自适应方法的优越性。 第四章，基于混沌搜索思想的i c a 盲分离算法。由于考虑到自然 梯度算法的爬坡性能差，容易收到局部极值的影响，从而导致分离性 能变差。因此，打算利用混沌的随机性和遍历性的特点构造混沌i c a 算法，以期通过混沌的随机特性来避免局部极值的影响。 第五章，总结与展望。本章主要对论文所做工作进行总结，并对 i c a 盲分离的深入研究进行展望。 1 3 2 论文的创新点 本文主要创新点如下： 1 、在将小波变换和i c a 方法结合的基础上，加入了一个步长自 适应改变的函数，得到了一种改进的步长自适应小波i c a 盲分离方 法，该算法相对之前方法收敛速度较快，且稳定性更好。 2 、考虑到大多数i c a 算法都存在局部极值的问题，结合混沌的 遍历性，得到了一种全局收敛的i c a 算法混沌i c a 算法。 硕士毕业论文 第二章独立分量分析的基本原理 2 1 独立分量分析的概念 在2 0 世纪9 0 年代后期，一种新的信号处理方法在信号处理领域 迅速崛起，由于它的目的是将信号分解成为若干个相互统计独立的分 量，因此被称为独立分量分析( 工c a ) 。i c a 是一种利用各个源信号 之间相互统计独立的特性，仅根据己知的观测信号来对未知独立源进 行估计的方法。从理论上说，我们知道仅靠单一通道观测到的信号来 对独立源信号进行估计是行不通的，因此通常用多个监测器来进行多 通道同步观察，因此i c a 是一种多导信号处理方法。 i c a 的发展和b s s 是密切相关的，但是i c a 和b s s 并不能等同起 来。b s s 指仅从观测到的混合信号中恢复出各个原始信号的过程，它 不要求个源信号相互统计独立，b s s 中的“盲”是指n 删：1 、源信号 是不可观测的；2 、混合系统是未知的。“鸡尾酒会 问题就是b s s 的一个很好的例子，i c a 就是为了解决这一类问题而发展起来的，现 己成为数据分析及阵列信号处理的有效方法。因此，i c a 只是解决b s s 问题方法中的一种，实际上b s s 的范围要大于i c a 。 当各源信号满足相互统计独立的条件时，由于i c a 和b s s 具有相 同或类似的模型和求解过程，因此许多的文献常将两者混为一谈。b s s 是为了估计各原始信号，不论它们之间是否相互独立；而i c a 是为了 得到出某种变换，使得输出的各分量间最大程度的独立。同时在估计 基于独立分量分析的盲分离算法研究 算法上，b s s 方法通常仅用到二阶统计量，而i c a 方法则利用了高阶 统计量。由于高阶累积量算法更稳健，适应范围更广，因此i c a 方法 比普通的b s s 方法能够更好地分离出源信号。 2 2 独立分量分析的基本模型 未知信号噪声 接收信号 分离信号 s 一( f ) 卜 玎l 户x ( f ) 、 、! 少 j z ( 生 混合系统 聆2 丈x 2 ( f ) 卜 。u 分离系统i a j i w 薯 j 一( ，) 卜、 火石。0 ) 、 0 誉 、一 莎 图2 1 盲源分离原理图 如图2 1 所示为盲源分离的原理图，图中_ ( f ) ，s ：( f ) ，已( f ) 表示未 知源信号，混合系统a 主要指的是信号的传输通道，啊，也，表示 观测时接收到的噪声，五( f ) ，屯( f ) ，( f ) 表示观测到的混合信号，w 指 的是需要求解的分离系统，通过分离系统能够很好地得到未知源信号 的最佳估计，咒( f ) ，儿( f ) ，以( f ) 即为未知源信号的最佳估计。 根据未知源信号经过传输通道a 的混合方式的不同类型，可将盲 信号处理模型分成三类乜0 i ： 1 、线性瞬时混合模型：x = 彳s ，彳是肘维矩阵。 2 、线性卷积混合模型：x = 4 木s ( 七) ，4 是第q 个延迟上m 维 矩阵，术为线性卷积。 3 、非线性混合模型。 7 硕士毕业论文 从有无噪声信号的角度，又可以将其分为有噪模型和无噪模型。 由于有噪模型、线性卷积混合和非线性混合模型本身的混合方式和算 法较复杂，应用中存在很多局限性，所以本文选择线性瞬时混合无噪 模型作为研究对象。 i c a 进行盲源分离的基本模型的数学表述如下所示： x = 彳s ( 2 1 ) y = 工 ( 2 2 ) 式( 2 1 ) 中，s 表示一组由一个独立信号源组成的源信号： s = 瞰f ) ，s ：o ) ，( f ) 7 ，在经过未知传输通道彳后，通过传感器接收到 观测信号石= 【_ ( f ) ，屯( f ) ，( f ) 】r ，共有坍个观测信号。假设m 刀，式 中s 是一个由疗个独立源信号构成的矩阵，彳是一个未知的m 刀混合 矩阵，与信号通道密切相关。 式( 2 2 ) 中，x 是观测到了混合信号矩阵，w 是求解出的聊聊的 解混矩阵，y 则是通过i c a 方法得到的源信号j 的估计。因此说，运 用i c a 方法进行盲源分离的关键就在于如何求解出解混矩阵w 。 2 3 独立分量分析求解的限制条件及不确定性 为了简单起见，本文考虑的是无噪线性瞬时混合模型。在i c a 求 解问题中，由于源信号和混合矩阵的都是未知的，无任何先验知识， 只有观测信号的信息可以使用。从数学角度来说，类似这样的问题是 不能求解的，然而i c a 是一个既复杂又特殊的问题，当其满足如下所 示的假设条件时，这样的问题变得可解乜嵋乜2 | ： r 基于独立分量分析的盲分离算法研究 ( 1 ) 源信号各分量之间是瞬时相互独立的； ( 2 ) 待提取的源信号个数不得大于观测信号个数； ( 3 ) 源信号为非高斯信号或最多允许一个独立源满足高斯分布； ( 4 ) 没有噪声，或仅有一附加的低噪声，能量很小。 其中，条件( 1 ) 是求解i c a 问题的重要假设条件，一般说来各源 信号都是源自于不同的物理系统，由于不同的物理系统有着各自不同 的物理特性，因此能够保障所产生的信号是相互独立的，所以这个假 设具有一定的现实意义，实际应用中大多数信号都能满足这一假设。 条件( 3 ) 中要求最多只能有一个独立源满足高斯分布，是因为高斯信 号的混合信号也是满足高斯分布的，这样将会导致混合信号无法分 离。如果源信号中只有一个满足高斯分布，这样的i c a 问题是可以求 解的2 引。 在实际的求解过程中，i c a 问题的解并不是唯一的，i c a 存在一 个固有的解的不确定性问题乜朝心引，又称为解的等价性，即： ( 1 )分离出来的各源信号估计的次序的不确定性； ( 2 )分离出来的个源信号估计的幅度的不确定性。 不过，由于盲源分离的主要目的只是把源信号分离开，并要求按 照特定的次序，因此次序的不确定性是可以接受的。至于幅度，则只 需在信号前乘以一个适当的系数即可。所以，i c a 求解的不确定性对 于分离结果的影响并不太大，是完全可以接受的。 硕士毕业论文 2 4 独立分量分析的一般求解过程 i c a 的基本求解过程主要包括三个步骤：( 1 ) 预处理；( 2 ) 确立目 标函数；( 3 ) 选择优化算法。其中目标函数的选取决定了i c a 的一致 性、鲁棒性等。而目标函数的选取与收敛速度以及对计算机的内存要 求等息息相关。 2 4 1 预处理 通常，观测到的信号是不完全满足i c a 的假设条件。为了使观测 信号符合i c a 求解的假设，同时也为了简化问题的复杂性，因此在对 观测信号求解之前，先对其进行一些预处理。 预处理方法常用的有： ( 1 ) 去除信号的均值，也称为“零均值化或对中”( c e n t e r i n g ) ； 具体做法就是把每一个观测数据减去其均值，从而使得经过预处理后 的数据是一个零均值的数据。设x ( f ) = ( j c l ( f ) ，而( f ) ，( f ) ) 7 ，f _ 1 ，2 ， 为n 个信号样本，对其进行零均值化，如下所示： 酏h 一专善椭，2 ，一，甩 ( 2 3 ) ( 2 ) 白化处理，也称之为“圆整( s p h e r i n g ) ；对随机矢量x 进 行白化处理，就是利用某一确定的线性变换t ： j ：戤( 2 4 ) 使得经过处理后的随机矢量j 满足恐= e 【簌h 】_ j 。白化处理虽然不能 直接实现混合信号的盲分离，但是能够使分离算法变得简便，并能提 基于独立分量分析的盲分离算法研究 高算法性能。对协方差矩阵进行奇异值分解( s v d ) 是一种最常用的白 化处理方法汹1 。 ( 3 ) 降维；在某些盲分离问题中，降维预处理是一个至关重要的 步骤，对信号做降维预处理的优点是： 1 ) 对于观测信号数目大于源信号数目情况，必须首先通过降维处 理确定源信号个数，才能进行下一步的盲分离工作。 2 ) 使噪声减小，并能避免过度学习的问题。 2 4 2 目标函数的选择 i c a 方法是通过确定出某种变换，以保证输出的各分量尽可能的 相互独立，使它们的高斯性达到最大，从而将未知源信号恢复出来。 因此，需要选出一个能够表述信号各分量间的独立程度的量度。 随机变量的高斯性与统计独立在统计学的观点上是有着非常密 切联系的。对于i c a 来讲，由于观测信号是若干个独立源信号的混合， 因此，其观测信号的高斯性要强于独立源信号，也就是说各独立源信 号的非高斯性比观测信号更强。当各分离信号问的高斯性达到最小或 非高斯性达到最大时，就表明混合信号已经完成分离。因此，寻找信 号间独立性量度变成了寻找高斯性或非高斯性量度。各i c a 算法研究 的不同之处主要体现在独立性量度的选取以及目标函数的选择上乜6 j 。 常用的目标函数有：高阶累积量、负熵、互信息、最大似然估计， 下面分别介绍各种目标函数。 硕士毕业论文 2 4 2 1 高阶累积量( h i g h o r d e rc u m u l a n t ) 假设p ( 石) 为随机变量x 的概率密度分布函数，则x 的特征函数为： 矽( w ) = 阽( x 弦肚出= 目p 加】( 2 5 ) 对于多变量情况：设x = 玉，而，嘞，nw = w ，】r ，则 ( w ) = b ( z ) e w 7 。出= 研p 矿。】( 2 6 ) 对特征函数进行取对数运算，得到累积量生成函数为： 单变量情况：沙( 动= 1 1 1 ( 烈妫)( 2 7 ) 多变量隋况：、壬，( 动= l i l ( 西( 动) ( 2 8 ) 以单变量情况为例，将其特征函数( 2 5 ) 和累积量生成函数( 2 7 ) 按照泰勒级数展开，得到k 阶矩和k 阶累积量q 。 = 筹i 删= 卜。m 肛艄 ( 2 9 ) q = 篱l 埘 其中，一阶矩：蚋= e ( z ) 称为均值；二阶矩：= e ( z 2 ) 称为均方 值；三阶矩：= e ( x 3 ) 称为偏斜度( s k e w n e s s ) ：四阶矩：= e ( ) 称 为峰度( k u r t o s i s ) 。 对于累积量来说，一阶累积量c 。= e ( x ) = m 。，正好等于一阶矩，为 随机变量的数学期望，反映了概率分布的基本情况。当随机变量是零 均值时，即m 。= o ，其二阶累积量c ：= e ( x 2 ) 一e 2 ( x ) = m ：一嵋2 = m ：，表示 的是随机变量的方差，描述了随机变量概率分布的离散程度。三阶累 积量q = e ( 工3 ) 一3 e 2 ) e o ) + 2 e 3 ( 工) = 一3 m 2 m + 2 m 3 = 鸭，反映的是概率 基于独立分量分析的盲分离算法研究 分布的非对称性( 偏斜度) 。四阶累积量是c 4 = e ( x 4 ) 一3 e 2 ( x 2 ) = 豫一3 砖， 展现的是概率密度函数偏离高斯信号的程度。四阶累积量又称作“峭 度”，它可以用于表示一个信号的高斯性。采用高阶累积量作为目标 函数的优点在于：不会出现伪极大值。但是与基于信息论的目标函数 相比鲁棒性较差，不够稳定。 2 4 2 2 负熵( n e g e n t r o p y ) 熵( e n t r o p y ) 是指蕴含于信号中的平均信息量。假设一随机变量 的概率密度函数为p ( 石) ，则该信号的熵是： h = 一j p ( x ) 1 0 9 p ( x ) 出 ( 2 1 1 ) 由于概率密度函数o p ( 工) o 。 k u l l b a c k l e i b l e r 散度( 或“k l 熵”) ，它是衡量两个概率密度 函数相似程度的标准。假设随机变量x 的两种概率密度函数分别为 p ( x ) 、g ( x ) ，则两个概率密度函数之间的k u l l b a c k l e i b l e r 散度是： 卿( 洲瑚= 弘( 汕g 鬻出 ( 2 1 2 ) k u ll b a c k l e i b l e r 散度必定大于等于0 ，当且仅当p o ) = g o ) 时， 其值为o ，因为，p ( x ) l 。g p ( x ) 出，p ( x ) 1 0 9 9 ( 功出3 。 通常我们把任一概率密度函数p ( x ) 和与之具有相同协方差的高 斯分布如( x ) 之间的k l 熵称之负熵( n e g e n t r o p y ) ，用来描述概率密度 函数的非高斯性，用以p ( x ) 】表示。 m ( 瑚= 碰协) 以瑚= p ( 帕g 等皿 ( 2 1 3 ) 硕士毕业论文 根据熵的定义以及高斯分布的重要特性，将上式化简得： 以p ( 瑚= p ( 圳o g 罢苦弘= 一p ( x ) l o g 耽( x 胁一( 一p ( 圳。gp ( x 渺) ( 2 1 4 ) = 一j p g ( x ) l o g p g ( x ) 出一( 一j p ( x ) l o g p ( x k ) = 月g ( x ) 一日( x ) 负熵的取值总是大于等于o 的，仅仅当随机变量x 满足高斯分布 的时候才等于0 。将负熵最大化即是使随机变量z 的分布尽可能的原 理高斯分布，也就是使其具有最强的非高斯性，因此负熵可以作为判 别混合信号各分量间独立性的目标函数。 以上所述的熵、k l 散度、负熵都是单变量情况下的，它们也可 以推广之多变量情况，当上述的随机变量为一组信源x = z 。，屯，h 】 时，则得到了多变量情况下的描述，在多变量情况同样满足上述公式。 限于篇幅，在此不再对多变量情况进行介绍。 2 4 2 3 互信息( m u m a lh l f o 珊a t i o n ) 互信息的作用是衡量任意两个概率密度函数之间相互独立程度。 假设任意两个随机变量x ，少，各自的概率密度函数分布为p ( x ) ，p ( y ) ， 它们的联合概率密度函数分布为p ( x ，j ，) 。当它们相互独立时，有 p ( x ，y ) = p ( x ) p ( y ) ；一般说来z ，y 并不相互独立，因此可用k l 散度表 示它们之间的互信息，则有： ，【p ( x ，y ) ，p ( x ) p ( j ，) = k p ( z ，y ) ，p ( 石) p ( y ) = j p ( 五y ) l 。g 赭砂 2 1 5 根据熵的定义，上式又可以化简为： ， ，y ) = h ( x ) 一日 i y ) = 日( y ) 一日( y l x ) ( 2 1 6 ) = ，( y ，z ) = 日( x ) + h o ) 一日( 砂) 基于独立分量分析的盲分离算法研究 上式中日( x ) 是工的熵，日( y ) 是y 的熵，日( x i y ) 是在给定y 时x 条 件熵，日( 砂) 是x ，y 的联合熵。 互信息的性质有：( 1 ) 非负性：，( x ，y ) o ，当且仅当z ，y 相互 独立时为0 ；( 2 ) ，( x ，y ) 日( z ) ，( x ，y ) 日( y ) 。关于互信息与信息熵和 条件熵之间的关系，已经在公式( 2 1 6 ) 中得到了很好的诠释。 2 4 2 4 最大似然估计( m a x i m u ml i k e l i h o o de s t i m a t i o n ) 利用观测信号来估计源信号的概率密度分布函数是最大似然估 计的重要功能。它是统计学中一种非常有意义的参数估计方法。在 i c a 盲源分离问题当中，除观测信号外都是未知的，因此最大似然估 计顺理成章的成为了首选的目标函数。基于最大似然估计的盲分离方 法捌最先由g i r o l a m i 和f y f e 提出，在经过p e a r l m u t t e r 的改进之 后得到了通用的i c a 学习规则，最大似然已成为了解决i c a 问题的一 个常用方法乜9 i 。 如果随机抽样得到的样本观测值为五，艺，吒，则选取未知的参数 p 的值，使得该样本出现的可能性最大，即使得似然函数l ( d 取最大 值，从而求参数目的最大似然估计就变成了求似然函数( d 的极值。 工c a 的求解过程中关键就是要求得合适的解混矩阵w ，使得它与 混合矩阵a 的乘积为一单位矩阵i ，即w a = i 。只要求出解混矩阵w 就 可以完整的恢复出源信号，当然不考虑不确定性对于i c a 的影响。此 时有，y = 脓= 黝s = s ，可以看出观测信号x 的概率密度函数以( x ) 与源 信号的概率密度函数只( s ) 有如下关系： 硕士毕业论文 n ( z ) = f d e t 形i 以( j ) i ，：阮= f d e t 矿i 以( 耽) ( 2 1 7 ) 观测信号的的对数似然函数定义为概率密度函数以( z ) 取对数后 的期望值，则有最大似然目标函数： l 尬( ) = e l 。g ( 以( 石) ) ) = j 见( x ) l o g ( 几( 助f ) ) 出+ l 。g i d e t l ( 2 1 8 ) 在样本数有限时，上式可以近似简化为： 皿( ) 。导童( 1 。g ( n ( 脓) ) ) + l 。g i d e t i ( 2 1 9 ) 根据上式，采用求极值的方式，可以得到解混矩阵w 的最佳估计。 不过，采用最大似然估计这一目标函数的缺点在于，对数似然函数中 含有源信号的概率分布函数见( j ) ，这使得在采用此方法时需要知道有 关于源信号的概率密度函数分布，然而这一条件是非常难以满足的。 目前，针对这一缺陷常采用的方法是，通过假设估计来获取源信号的 概率密度函数。不过，如果对源信号概率密度函数的估计错误，将对 i c a 分离的正确性产生不可估量的后果口0 | 。 实际上，用来解决i c a 分离问题的目标函数远不止以上提到的这 几种，在这里主要描述了以上常用的几种目标函数，运用不同的目标 函数能够得到不同的分离算法。有研究表明，上述目标函数中的后三 种：负熵、互信息、最大似然估计是可以相互转化的，在信息论的角 度上是统一的，在一定条件下是等价的口1 j 。 基于独立分量分析的盲分离算法研究 2 4 3 优化算法的选择 对于i c a 问题的求解来说，在选取了合适的目标函数之后，卞一 步工作就是要选择合适的优化算法来对已经选好的目标函数进行学 习，使其达到最大值或最小值，从而求得合适的解混矩阵w ，使得分 离出的独立分量尽可能的等于各个源信号。优化算法从不同的角度可 以分成很多类别，在这里主要介绍几种常见的优化算法。 2 4 3 1 随机梯度算法( s t o 小a s t i cg r a d i e n t ) 随机梯度算法是用来求目标函数三( 形) 极值的一种常用方法，它的 主要原理是：首先选取一初始解混矩阵，将其带入目标函数求出( ) 在形( o ) 出的梯度，然后在负梯度方向( 如果求解最大值，则取正梯度 方向) 增加一个合适的步长计算出新的分离矩阵形( 1 ) ，然后重复上述 过程d 引。所以，求解形的随机梯度算法计算公式为： 吣+ 1 ) 川聃删等l 。， ( 2 2 。) 式( 2 2 0 ) 中，七表示迭代步数，烈七) 表示学习步长，也称为学习 率。令矿 + 1 ) 一形似) = 形，在不考虑步数七的情况下，上式可以表述 为： 形：口孥 ( 2 2 1 ) a 肜 、 式( 2 2 1 ) 是一种很常见的梯度下降法的迭代公式，当选取不同的 目标函数三( 矿) 时，将得到不同的迭代公式。本文中选用最大似然估计 作为目标函数，将少= 耽带入式( 2 1 9 ) 有： 硕士毕业论文 舰( ) = e l o g ( 以( z ) ) ) = f 以( 石) l o g ( 见( y ) ) 出+ i o g i d e t 形i ( 2 2 2 ) 对其求导得到： 等珂7 一e 工o ( 2 2 3 ) 将式( 2 2 3 ) 带入式( 2 2 0 ) 得到，解混矩阵w 的迭代公式为： ( 尼+ 1 ) = ( 尼) + 口 ) 一7 ( 七) 一e 烈j ，) x 7 ) ( 2 2 4 ) 这就是随机梯度算法的离线批处理迭代公式，如果将期望值 e 烈y ) x 1 用瞬时值替代，就得到了随机梯度算法的在线自适应迭代公 式口3 。： 形( 尼+ 1 ) = 形( 尼) + 似七) 形。( 尼) 一认y ) ， ( 2 2 5 ) 式中烈y ) 表示非线性函数，它是一个与源信号概率密度函数密切相关 的函数，然而事实上源信号的概率密度函数是未知的，所以一般都需 要对此进行假设估计。通常，对于亚高斯信号，烈y ) = y 3 ：对于超高 斯信号，烈y ) = t a l l h ( y ) 。 2 4 3 2 自然梯度算法( n a t u r a lg r a d i e n t ) 从公式( 2 2 5 ) 可以看出，在对解混矩阵求解的迭代过程中，出现 了矽。( 七) ，这说明每进行一步迭代都需要对上一轮迭代所得到的解混 矩阵进行求逆运算。当解混矩阵( 七) 的维数很大时，要对其进行求逆 运算，其运算复杂程度就变得相当大了。针对这一问题，a m a r i 4 m 胡6 1 提出了基于黎曼( r i e m a n n ) 空间的自然梯度算法。 对于在矩阵空间中讨论的i c a 问题来说，自然梯度与随机梯度之 间存在如下关系： 基于独立分量分析的盲分离算法研究 掣盟：掣坠形r 形 ( 2 2 6 ) a a 由式( 2 2 3 ) 知道，随机梯度的表达式为丝护= 形一e 灿) ，) ， 则由此可知，自然梯度可以表示成： 警= 旷一e ，) 妒形= m 删缈( 2 2 7 ) 将上式带入随机梯度算法迭代公式( 2 2 4 ) ，则可以得到自然梯度算法 求解解混矩阵w 的迭代公式： 吣+ 1 ) 堋哪) 哿 ( 2 2 8 ) = 形( 七