（信号与信息处理专业论文）欠定盲源分离问题及其在信号提取中的应用.pdf

大连理工大学硕士学位论文 摘要 在复杂的背景环境中所接收的信号往往是由不同信源产生的多路信号的混合。例 如：几个麦克同时收到多个人的语音信号；在声纳、阵列及通讯信号处理中，由于耦合 使数据混叠；多传感器检测生物电信号中也是多个未知信号的混合。从混合信号中提取 出某一信号是信号处理领域的一个传统的课题。但如果我们对信号的混合方式缺乏了 解，信源的分离问题则变成一个难题，即盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 问题。 目前，b s s 问题已成为信号处理学界和神经网络学界共同感兴趣的研究热点领域， 并获得了迅速的发展。b s s 的基本含义就是在对信源和混合方式等先验知识特别少的情 况下，仅由观测到的混合信号来推测或者恢复原始信号。但是许多b s s 经典算法，如独 立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 及其扩展算法，都是基于观测信号的数 目大于等于源信号数目，即非欠定情况，这一主要假设条件的。一方面这与分离的“盲” 性是冲突的；另一方面，在许多实际问题中该条件也是很难满足的。因此研究欠定情况 下的b s s 问题就更具普遍性了。 本文从两个不同方面深入研究了欠定情况下b s s 问题的解决办法。其一，研究经典 的盲源分离算法，主要利用了成熟的i c a 算法，通过经验模式分解( e m p i r i c a lm o d e l d e c o m p o s i t i o n ，e m d ) 来构造参考信号使之满足非欠定条件，在此基础上建立了一个新的 算法结构模型，并将其成功地应用于诱发电位( e v o k e dp o t e n t i a l ，e p ) 的单路少次提取当 中。其二，研究稀疏分量分析( s p a r s ec o m p o n e n ta n a l y s i s ，s c a ) 算法，利用信号的稀疏分 解，克服了非欠定性的要求，发展了一种基于期望最大( e x p e c t a t i o nm a x i m i z a t i o n ，e m ) 和主分量分析( p r i n c i p a lc o m p o n e n t sa n a l y s i s ，p c a ) 的s c a 新算法，并实现了欠定情况下 语音信号的盲分离。通过实验仿真证明了从两个不同方面都可以解决欠定情况下的b s s 难题，并在实际中有着广泛的应用空间。 另外，本文还尝试性的研究了非负矩阵分解( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ，n m f ) 及其在盲源分离问题中的应用。 关键词：盲源分离；欠定；独立分量分析；稀疏分量分析 大连理工大学硕士学位论文 u n d e r d e t e m i n e db l i n ds o u r c es e p a r a t i o na n d a p p l i c a t i o nf o rs i g n a le x t r a c t i o n a b s t r a c t t h es i g n a lr e c e i v e df r o mc o m p l e xb a c k g r o u n di so f t e nam i x t u r eo fm a n ys i g n a l s g e n e r a t e db yd i f f e r e n ts o u r c e s f o re x a m p l e ，a u d i os i g n a lr e c e i v e db ym i c r o p h o n e ；d a t ai n s o n a ra r r a ya n dc o m m u n i c a t i o ns i g n a lp r o c e s s i n g ；b i o e l e c t r i c a ls i g n a ld e t e c t e db ym u l t i s e n s o r s s e p a r a t i n go n es i g n a lf r o mt h em i x t u r e i sat r a d i t i o n a lt a s ki ns i g n a lp r o c e s s i n g ，b u ti f t h em i xm o d ei su n k n o w n ，t h i st a s kw i l lb e c o m eah a r dp r o b l e mt h a ti sg e n e r a l l yc a l l e db l i n d s o u r c es e p a r a t i o n ( b s s ) w i t haf a s td e v e l o p m e n t ，b s sp r o b l e mt u r n st ob ear e s e a r c hf o c u si ns i g n a lp r o c e s s i n g a n dn e u r a ln e t w o r ka r e a s b s sm e a n s ，w i t hl i t t l ep r i o rk n o w l e d g ea b o u ts i g n a ls o u r c e sa n d m i xm o d e ，百v e no n l yt h eo b s e r v es i g n a l s ，t oe s t i m a t eo rr e c o v e ro r i g i n a ls i g n a l s b u tm a n y c l a s s i c a lb s sa l g o r i t h m ss u c ha si n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) a n di t se x t e n d i n g a l g o r i t h m sa r ca l lb a s e do nam a i na s s u m p t i o nt h a tt h en u m b e ro fo b s e r v es i g n a l sm u s t b en o l e s st h a nt h a to fo r i g i n a ls i g n a l s o no n eh a n d ，t h i sa s s u m p t i o nd o e s n tm a t c ht h ew o r d b l i n d ， a n do nt h eo t h e rh a n d , i t sh a r dt ob es a t i s f i e di np r a c t i c e s ot h eu n d e r d 【e t e r m i n e ds i t u a t i o ni s s i g n i f i c a n ta n du n i v e r s a l i nt h i st h e s i s ，t w os o l u t i o n st ot h eu n d e r d e t e r m i n e db s sp r o b l e ma r ep r o p o s e df r o m d i f f e r e n ta s p e c t s f i r s t , b a s e do nc l a s s i c a lb s sa l g o r i t h m si c am e t h o d ，u s i n ge m p i r i c a l m o d e ld e c o m p o s i t i o n ( e m d ) t oc o n s t r u c tr e f e r e n c es i g n a lt oe n s u r et h ea s s u m p t i o n m e n t i o n e da b o v e an e wm o d e ls t r u c t u r ei sf o u n da n da p p l i e di ns i n g l ee v o k e dp o t e n t i a l ( e p ) s i g n a lf e w t r i a le x t r a c t i o ns u c c e s s f u l l y s e c o n d ，s p a r s ec o m p o n e n ta n a l y s i s ( s c a ) a l g o r i t h m i sw e l ls t u d i e d u s i n gs p a r s ed e c o m p o s i t i o n ，an e ws c aa l g o r i t h mb a s e do ne x p e c t a t i o n m a x i m i z a t i o n ( e m ) a n dp r i n c i p a lc o m p o n e n t sa n a l y s i s ( p c a ) i sp r o p o s e dt os o l v et h e p r o b l e mo fu n d e r d e t e r m i n e db s s t h e nt h ea l g o r i t h mi sa p p l i e df o rb l i n ds e p a r a t i o no fa u d i o s i g n a l s t h ep e r f o r m a n c e so ft h e s es o l u t i o n sa r ed e m o n s t r a t e db yl o t so fs i m u l a t i o n s ，a n dt h e n e w a l g o r i t h mc a l lb ew i d e l yu s e di np r a c t i c e f u r t h e r m o r e n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ( n m f ) a n da p p l i c a t i o nf o rb s sa r e s t u d i e d k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n ；u n d e r d e t e m i n e d ；i n d e p e n d e n tc o m p o n e n ta n a l y s i s ； s p a r s ec o m p o n e n ta n a l y s i s 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：毪受盘叠日期：递z ! 垒：丝 大避理工火学硕十研究生学位论文 大连理工犬学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连瑗王大学硕壬、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文戆复帮俘和电子版，兔许论文搜查阕和绩阕。本人授权大连蘧 工大学可以将本学位论文的全部或部分内容编入有关数据库谶行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 经害一垮嗡辱 俸考签名：芏：垒：鱼 导师签名： 墅至! 氐 卜l = - = 一 兰竺砗旦月翌臼 大连理工大学硕士学位论文 1绪论 盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 作为新兴的信号处理技术已成为信号处理学 界和神经网络学界共同感兴趣的研究热尉”。所谓b s s 就是在对信源和混合方式等先验 知识特别少的情况下，仅由观测到的混合信号来推测或者恢复原始信号。这里的“盲” 具体指的就是源信号不能被观测且混合方式未知。其数学模型如图1 1 所示： 图1 1 盲源分离数学模型 f 喀1 1 m a t h e m a t i c a lm o d e lo fb l i n ds o u r c es e p a r a t i o n 图中，源信号s 和混合矩阵a 是未知的。b s s 的目标是仅仅利用观测信号工，确定解混 矩阵，使得输出j ，是源信号s 的拷贝或者估计。数学表达式为： z = a s ，y = w x ( 1 1 ) 显然当从信源到传感器之间的传输很难建立起数学模型，或者无法获取传输的先验 知识时，b s s 是一种很自然的选择。因此在阵列处理、多用户通信、图像处理、生物医 学工程及经济领域，b s s 都有着广泛的应用和发展空间。 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是该领域经典算法之一，但是 i c a 及许多扩展算法都是基于观测信号的数目大于等于源信号数目这一主要假设条件 的，这与分离的“盲”性是冲突的，而且在许多实际问题中该条件也是很难满足的。因 此研究欠定情况下的盲源分离就更加重要和更具普遍性了。稀疏分量分析( s p a r s e c o m p o n e n ta n a l y s i s ，s c a ) 是解决欠定b s s 问题的有效方法之一。 由于本文主要涉及了i c a 和s c a 两种主要算法，因此下面主要介绍一下这两种算 法的国内外研究现状。 1 ，1 独立分量分析( i c a ) 国内外研究概况 i c a 是伴随着盲信源问题而发展起来的一项统计信号处理的新技术。i c a 处理的对 象是相互统计独立的信源经线性组合而产生的一组混合信号，该方法是基于信号高阶统 计特性的分析方法，最终目的是从混合信号中提取出各独立的信号分量。 i c a 最初是用来解决“鸡尾酒会”问题的。j u t t e n 和h e r a u l t 最早提出了i c a 的概 念【2 l ，但只是非常简单的描述。c o m o n 系统地分析了瞬时混和信号的盲源分离问题1 3 ， 欠定盲源分离问题及其在信号提取中的麻 l 并明确了i c a 的概念。s e j n o w s k i 和b e l l 基于信息理论h 1 ，通过最大化输出非线性节点 的熵，得出一种最大信息传输的准则函数并由此导出一种自适应盲源分离方法 ( i n f o m a x ) ，当该方法中非线性函数的选取逼近源信号的概率分布时可以较好地恢复源 信号。该算法只能用于源信号的峭度( k u r t o s i s ) 大于某一值的信号的盲分离，所以它对分 离线性混和的语音信号非常有效。a m a r i 和c i c h o c k 基于信息理论利用最小互信息 ( m i n i m u mm u t u a li n f o r m a t i o n ，m m i ) 准则函数p j ，得出一类前馈网络的训练算法，可以 有效分离亚高斯源信号。l e e 和g i r o l a m 基于前人的理论1 6 1 ，提出了能同时分离超高斯 和亚高斯信号的混和信号的算法，即扩展i n f o m a x 算法。h y v a r i n e n 基于源信号的非高 斯性测度( 峭度) 7 1 ，给出一类固定点训练算法( f i x e d p o i n t ) ，即f a s t l c a 算法，该类算法 可以提取单个高斯和亚高斯的源信号。 早期的i c a 算法是不具有目标函数的，主要有h - j 方法和利用四阶统计信息的方法 等。对于有目标函数的独立分量分析算法，又大体可以分为两类：一类是基于非高斯性 测度( 负熵、峭度) 的算法，属批处理算法；另一类是基于信息论的独立分量分析算法， 属自适应处理算法。 在基于非高斯性测度的算法中，为了减小计算的复杂度，对数据进行预处理是十分 重要的。数据的预处理主要包括白化和归一化。在这类方法中，近来较流行的是 h y v a r i n e n 提出采用批处理的固定点的快速算法( f a s t l c a ) 1 7 , 8 j ，可以以负熵为目标函数或 以峭度为目标函数。这类算法都是一个一个神经元计算的，所以是串行输出的。为了把 我们感兴趣的信号作为第一个分量提取出来，避免为提取所有独立分量而做的大量的多 余运算。b a r r o s 等人在f a s t l c a 算法的基础d ： 9 1 ，引入了周期性的参考信号，通过维纳 滤波对权值进行初始化，以提取源信号中的周期信号，我们把该算法记为f l c a 算法。 基于信息论的独立分量分析算法包括几种不同的目标函数：微分熵，最大似然估计， 最小互信息、最大输入输出互信息( 1 n f o m a x ) 等。熵是一个系统无序性的量度；互信息 是两个随机变量之间统计依存性的量度。熵和互信息都具有凸性，凸性使得二者都特别 适合作为优化问题中的目标函数，因为由此导出的极值总是全局极值。基于信息论的独 立分量分析算法一般不需要白化处理，可以在线学习，能应用于非平稳的情况。另外， 基于信息论的目标函数都含有概率密度函数，需要引入非线性函数，即激励函数，对概 率密度函数进行逼近。算法的性能在很大程度上依赖于激励函数的选取，多数算法都选 用单调函数作为激励函数。已经证明，基于信息理论的三个基本算法：互信息最小化算 法、i n f o m a x 算法和最大似然算法是等价的1 1 m 2 1 。 i c a 的其它算法还有非线性p c a 算法【1 3 , 1 4 ，联合对角化方法( j a d e ) 1 5 】等等。 大连理工大学硕士学位论文 1 2 稀疏分量分析( s c a ) 国内外研究概况 伴随着国内外对b s s 研究的日益深入，在i c a 等经典算法之外逐步发展出了许多 新的算法。其中，s c a 利用信号的稀疏分解，克服了i c a 非欠定性的要求，解决了欠 定情况下的b s s 问题。 稀疏分解一直都是信号处理领域的关注热点。1 9 9 8 年，c h e n 等利用基追踪方法实 现了信号的稀疏分解【1 6 1 。2 0 0 1 年，o l s h a u s e n 等提出了利用小波塔式结构对图像稀疏编 码的方法1 1 7 1 ，虽然该算法比较简单，但是它比较耗时，算法的收敛性还有待进一步的讨 论。2 0 0 3 年，d e l g a d o 等提出了几种基于欠定系统局灶解法( f o c a lu n d e r d e t e r m i n e ds y s t e m s o l v e r , f o c u s s ) 的改进算澍1 8 l ，在信源和信道未知的情况下解决了欠定系统线性求逆 问题，但是得到的往往是局部最优解；d o n o h o 和e l a d 利用l 范数最小实现了在一般( 非 正交) 基函数族( d i c t i o n a r y ) 中的信号的最优稀疏分解【1 9 1 。2 0 0 4 年，l i 等在假设源信号符 合拉普拉斯分布的前提条件下【加l ，对利用线性规划法实现稀疏分解做了总结和分析。 2 0 0 6 年，尹忠科等利用f f t 实现了基于m p 算法的信号稀疏分解【2 ”，并成功的应用于 图像压缩【捌；a s a r i 等分析总结了稀疏分解在鸡尾酒会问题中的应用1 ，e l a d 和a h a r o n 把稀疏分解与k - s v d 法结合i 川，提出了图像降噪的新方法；t h e i s 等在多通道表皮肌电 信号分析中引入了稀疏分解闭，取得了比较满意的结果。 利用s c a 来解决欠定情况下b s s 问题的研究在最近几年才逐步发展起来。1 9 9 9 年 至2 0 0 1 年，陆续提出了许多不同算法：l e e 和z i b u l e v s k y 等分别利用极大后验概率法或 极大似然法估计混合矩阵和源信号瞄, 2 7 1 ，但是这些算法往往陷入局部最小，收敛性得不 到保证。g k o l a m i 提出了期望最大算法实现稀疏分解闭，也可以应用到欠定的b s s 问题 中。b o f i l l 和z i b u l e v s k y 提出了先聚类再利用，1 范数优化的两步算法【驯，分别估计混合 矩阵和源信号，并用短时傅氏变换改善了时域信号不够稀疏的情况。2 0 0 3 年，t h e i s 等 人提出了线性几何i c a 概念，详细阐述了具体的原理和算法【刈，并于2 0 0 4 年结合文献 【2 9 】中两步法的思想，利用该算法和最短路径法成功估计出了混合矩阵和源信号1 3 l 】。2 0 0 4 年，u 等对文献【2 9 】提出的方法进行了系统的分析1 2 0 1 ，利用k 均值聚类估计混合矩阵， 并讨论了利用，1 范数和l 范数的等价性，指出1 1 范数在加性噪声情况下更具有韧性，进 而利用小波包变换解决了信号稀疏度不够的问题。y i l m a z d 等利用时频变换实现了语音 信号的盲分离【3 2 】，阐述了d u e t 法及其具体实现步骤，给出了6 路语音源信号，2 路混 合信号情况下的实验结果，并对算法的性能作了详细的对比分析。2 0 0 5 年，g e o r g i e v 等明确了s c a 在欠定b s s 中的应用1 3 3 1 。2 0 0 6 年，徐尚志等利用信号白j 的独立性提取源 信号的频谱，进而实现欠定条件下的盲分离。l i 等对两步法进行了更深入的研究1 3 5 】， 欠定盲源分离问题及其在信号提取中的戍_ e h 在d u e t 和t i f r o m 法的基础上提出了估计混合矩阵的新方法，并进一步讨论了文献 2 0 】 提出的利用线性规划算法得到的源信号估计与实际的源信号是否相符的条件问题。2 0 0 7 年，t h e i s 等又提出了一种基于广义h o u g h 变换的更具韧性的s c a 算法 3 6 1 。 1 3 本文的主要工作 本文的主要工作有以下4 个部分： ( 1 ) 深入研究了b s s 的经典算法i c a ，学习并掌握了i c a 的基本原理和应用。重 点学习了基于非高斯测度( 负熵、峭度) 的快速固定点算法f a s t l c a 和带参考信号的固定 点算法r l c a 以及这两种算法在e p 信号提取中的应用。 ( 2 ) 分析说明了利用i c a 提取e p 信号时存在的不确定性，指出该问题的实质就是 欠定情况下的b b s 问题。在学习经验模式分解( e m p i r i c a lm o d e ld e c o m p o s i t i o n ，e m d ) 和 自适应噪声抵消( a d a p t i v en o i s ec a n c e l l a t i o n ，a n c ) 等知识的基础上，建立了单路e p 信号 少次提取的新的算法结构模型。利用e m d 分解得到的基本模式分量来构造参考信号， 有效克服了单独利用i c a 时的不确定性，并结合a n c 系统，自适应地为r l c a 算法选 择参考信号，降低了r l c a 算法受先验知识的局限。 ( 3 ) 对比学习了解决欠定b s s 问题的多种方法，重点研究了f o c u s s 及其推广算 法和基于源信号稀疏条件的s c a 等算法。发展了一种基于e m 和p c a 的改进算法，利 用基于递归最小二乘的p c a 算法实现了对混合矩阵的动态在线估计，利用复杂度较低 的最短路径法估计源信号，修正了原算法中的权重和协方差阵的计算，并避免了每次迭 代对协方差矩阵和特征值等的计算，节省了计算量和运行时间。 ( 4 ) 初步研究了非负矩阵分解( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ，n m f ) 的基本原理， 利用实验仿真验证了n m f 在图像特征提取和盲源分离中的应用。 大连理工大学硕士学位论文 2 独立分量分析 独立分量分析( i c a ) 是信号处理领域在2 0 世纪9 0 年代后期发展起来的一项新处理 方法。顾名思义，它的含义是把信号分解成若干个互相独立的成分。如果信号本来就是 由若干个独立信源混合而成的，自然希望能恰好把这些信源分解开来。从原理上说，只 靠单一通道观察是不可能做这样的分解的，必须借助于一组把这些信源按不同混合比例 组合起来的多通道同步观察。换句话说，i c a 是属于多路信号处理的一种方法。本章将 详细介绍i c a 的相关知识和基本原理。 2 1主分量分析( p c a ) 在统计信号处理中，主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 也被称为k - l 变换，与独立分量分析、奇异值分解一样都是线性变换技术。其中主分量分析和奇异值 分解都是基于信号二阶统计特性的分析方法，其目的都是用于去除信号分量之间的相关 性，主要用于信号数据的压缩、分析，神经网络等领域。 在实际的应用中，我们经常把采集到的多维数据( 如脑电信号、阵列信号等) 看作是 一个随机向量的一系列采样点，以便于把随机向量的数值统计分析方法应用到原数据， 从而尽最大可能的利用信号间的统计特性。p c a 的任务是对这一随机向量作正交变换， 利用其一、二阶统计特性，寻求对原数据的一个恰当的描述。经过p c a 变换后得到的 随机向量的各分量之间是不相关的，而且各分量是按照能量的大小排序。这样，我们可 以通过只保留少数几个能量较大的分量( 即主分量) ，达到降低维数的目的，进而进行深 一步的数据分析处理。 换言之，主分量分析的目的是寻找任意统计分布的数据集合主要分量的子集。基向 量满足相互正交性，且由它定义的空间最优的考虑了数据的相关性。将原始数据集合变 换到主分量空间使单一数据样本的互相关性( c r o s s - c o r r e l a t i o n ) 降低到最低点。 p c a 可以通过特征值分解来实现。假设m 维随机观测向量为x ，且均值为零，若不 为零可以利用式( 2 1 ) 先去均值。 = e 【工】一n ，厶f n 1 而 ( 2 1 ) 计算工的协方差矩阵( 相关矩阵) ， r e x x 7 1 ( 2 2 ) 欠定盲源分离问题及其在信号提取中的应用 对协方差矩阵r 进行特征值分解， 1 p r q 一l 口，然后对所得到的特征值重新进 行排序， 太 a f ，丸 ( 2 3 ) 再把a ，对应的特征向量日，经过标准正交化( 施密特丁f 交化) 后也相应的重新进行排 序，得到正交矩阵q ， q h ，9 2 ，q j ，一，】 ( 2 4 ) 注意这里的口，必须是与a ，相对应的特征向量。最后估计源信号 j = q 7 工 ( 2 5 ) 经过p c a 处理后的信号量具有以下两个重要的特点：一是i 的均值为零：二是它的 协方差矩阵为各元素互不相关的对角阵。 另外，p c a 也可以通过神经网络来实现。 主分量分析是建立在协方差的基础之上的，只利用了信号的一、二阶统计特性，只 能做到各个主分量的互不相关，属于信号处理的经典范畴。但是实际应用中，不相关往 往是不够的。而i c a 突破了传统方法的局限，利用高阶统计特性，实现了各分量之间的 统计独立。在i c a 算法中p c a 经常被用来做数据的预处理( 白化处理) ，因而在此作了 详细介绍。 2 2 高阶矩和高阶累积量 许多的信号处理方法是以二阶累积量( 时域为相关函数、频域为功率谱) 作为数学分 析工具的。相关函数和功率谱存在一些缺点，例如他们具有等价性，不能辨识非最小相 位系统；又如，他们对加性噪声敏感，一般只能处理加性白噪声的观测数据。为了克服 这些缺点，就必须使用三阶或者更高阶数的累积量，他们统称高阶累积量。基于高阶累 积量的信号分析称为信号的高阶累积分析，也称非高斯信号处理。现在，高阶累积量已 成为信号处理领域一种强有力的数学工具【3 7 l 。 2 2 1高阶矩和高阶累积量的定义 特征函数方法是概率论与数理统计的主要分析工具之一。利用特征函数，很容易引 出高阶矩和高阶累计量的定义。 考察一连续的随机变量x ，若它的概率密度函数为f ( x ) ，而占 ) 是一任意函数，则 g ( x 1 的数学期望定义为 一6 大连理工大学硕士学位论文 研g ) 卜f 二f ( x ) g ( x ) d x ( 2 6 ) 特别地，当g ( x ) 一e 胁时，则有 西( ) = e e 7 “】2 l 厂 弦7 “出 ( 2 7 ) 称之为第一特征函数。换言之，第一特征函数是概率密度函数，( 力的傅立叶反变换。由 于概率密度函数f ( x ) z 0 ，所以第一特征函数m 扣) 在原点有最大值，即： l 中 ) f s 中( o ) = 1 。求第一特征函数的t 阶导数，得 中( ( 【，) ；d k 7 中了( c o 一) ；，e p e ，一】 ( 2 8 ) a 。 随机变：i x 的k 阶原点矩帆和中心矩以分别定义为 m k = e i x = j 二矿f ( x ) d x ( 2 9 ) 以一研。一，7 ) 卜；j 二。一，7 r ，o ) 出 ( 2 1 0 ) 式中叼一e m 是随机变量x 的期望。对于零均值的随机变量，它的t 阶原点矩和中心矩 等价。以下讨论均令随机变量和随机信号的均值为零。 显然，式( 2 8 ) 中令甜；0 ，即可求得石的k 阶矩为 = e 【】= ( 一，) 型d ! ! w ! k 盟l 揶= ( 一j ) 面( ( o ) ( 2 1 1 ) 由于随机变量x 的七阶矩可以由第一特征函数生成，故常将第一特征函数中 ) 称为 矩生成函数。第一特征函数的自然对数称为第二特征函数，记作、l ， ) = h a e a ( 6 0 ) 。与k 阶 矩的定义式( 2 1 1 ) 相似也可定义随机变量的k 阶累积量为 = ( 一扩生i 删n 币( w ) l 。；( 一扩掣( o ) ( 2 1 2 ) 同样，第二特征函数又称为累积量生成函数。 关于单个随机变量x 的上述讨论很容易推广到多个随机变量。令，是七个连续 随机变量，他们的联合概率密度函数为，瓴，气) ，则这t 个随机变量的第一特征函数 定义为 欠定盲源分离问题及其在信号提取中的j 每用 o ( 6 0 1 ，吨) = e e x p ( ，劬鼍) 】 ( 2 1 3 ) 这七个随机变量的r 一+ + r k 阶联合矩的定义为： 肺”。七裂。刚 ( 2 1 4 ) 类似地，第二特征函数定义为： 1 l ，( q ，魄) 一l n o ( q ，吐) ( 2 1 5 ) 因此_ ，黾的r 一+ + r k 阶联合累积量定义为： c r l r k m c u m 卅荆_ ( 艺鬻b 刚( 2 1 6 ) 在, 失3 阶- - 下位z 往z 取r k1 ，这样就可以得到t 个随机变量的t 阶矩和| 阶累积量 分别为： ”广帮k 刚 ( 2 1 7 ) c 1 = c u m “，鼍) = ( 一，r 旦三塑掣k 一q - o ( 2 1 8 ) 上式只是高阶累积量的一种形式上的定义，并没有给出累积量的具体表达式。事实 上，累积量完全可以用矩来表示，参照文献【3 7 】的5 1 3 节。下面给出单个随机变量的前 四阶累积量： c z 。m l c 2m m 2 一m ； c 3 一m 3 3 m 2 m l + 2 m ： c 4m m 4 一匀”；一4 ，n 1 + 1 2 m 2 m ? 一6 m ： 对于零均值的随机变量，即优。= 0 ，通过矩来计算累积量变得相对简单。此时一阶 累积量是x 的均值；二阶累积量c ：就是x 的方差卅：；三阶累积量c 3 就是三阶中心矩历， 即斜度。四阶累积量c 一所。一锄；称为峭度( k u r t o s i s ) ，是随机变量非高斯性衡量的指标， 大连理_ t 大学硕士学位论文 而非高斯性是独立分量分析( i c a ) 的一类主要判据，所以在此把四阶累积量再作详细阐 述。 零均值的随机变量x 的峭度为k u r t ( x ) 一c 4 一m 。一3 m ；。由中心极限定理可知，一般 情况下，m 个相互独立的随机变量s i 的线性和v ，比任何一个随机变量都更接近高斯分 布。将该理论应用到i c a 问题里可以得到这样的结论：观测信号是多个独立源信号的线 性组合，所以其高斯性比原信号的高斯性强，换句话说，源信号的非高斯性比观测信号 的非高斯性要强。简而言之，非高斯性愈强就愈独立。所以，我们可以通过峭度函数的 最大化或最小化串行提取各独立分量。 对高斯随机变量而言，其峭度为零。对于峭度值为正的随机变量，我们称其服从“超 高斯”分布；对于峭度值为负的随机变量，我们称其服从“亚高斯”分布。超高斯分布 与高斯分布相比峰更尖，拖尾更重，语音信号服从超高斯分布；而亚高斯分布的信号的 概率密度函数则比较平坦，均匀分布就是典型的亚高斯分布。图2 1 则给出了高斯分布、 超高斯分布和亚高斯分布的直方图。 jl 图2 1 不同概率分布的直方图 ( a ) 高斯分布；( b ) 超高斯分布；( c ) 亚高斯分布 f i g 2 1 h i s t o g r a m so fd i f f e r e n tp r o b a b i l i t yd i s t r i b u t i o n s ( a ) g a u s s i a nd i s t r i b u t i o n ；( b ) s u p e rg a u s s i a nd i s t r i b u t i o n ；( c ) s u bg a u s s i a nd i s t r i b u t i o n 2 2 2 矩和累积量的性质 为进一步的了解高阶累积量，在这里直接给出累积量的一些重要性质。相关证明从 略，有需要的读者可参照文献【3 7 】的相应章节。 为了叙述方便，用m o m “，) 和c a m “，) 分别表示七个随机变量鼍，吒的 矩和累积量。 性质1 ：设 为常数，五为随机变量，其中i l ，k ，则 欠定盲源分离问题及其在信号提取中的应用 m o m ( 柄，九) = 兀 n 1 0 m ( 而，戤) ( 2 1 9 ) k c i l m ( 鼍，九) = 兀 c u m “，以) ( 2 2 0 ) 性质2 ：矩和累积量关于它们的变元是对称的，即 m o m ( _ ，甄) = m o m ( ，矗) ( 2 2 1 ) c l l m ( 置，) = c i i m 瓴，) ( 2 2 2 ) 其中瓴c l k ) 是仉，k ) 的一个排列。 性质3 ：矩和累积量相对其变元具有可加性，即 m o m ( x l ，x i + 只，x k ) i m o 加0 1 ，x k ) + m o m ( x i ，y j ，t ) ( 2 2 3 ) c u m ( x i ，一，t + y f ，一，t ) - c i i m ( x 1 ，气) + c i l m ( ，y i ，吒) ( 2 2 4 ) 这一性质意味着，和的累积量等于累积量的和，术语“累积量”因此而得名。由性 质1 和性质3 可知，累积量相对其变元是线性的。 性质4 ：若随机变量“) 和随机变量饥 统计独立，则累积量具有“半不变性”即： c i i m ( + y l ，气+ y k ) 一e u m o z ，吒) + c i i m ( n ，m ) ( 2 2 5 ) 性质5 ：若随机变量协 中的一个子集与其余部分独立，则 c i l m 瓴，屯) = 0 ( 2 2 6 ) 性质6 ：若a 是常数，则 c l l m + ，屯，耳) ；c u m ( 五，石2 ，t ) ( 2 2 7 ) 注意，高阶矩并不具有性质4 、5 和6 。 另外，高斯随机变量的高阶( 三阶或三阶以上) 累积量为零。正是这一特点使得用高 阶累积量作数学工具在理论上可完全抑制高斯有色噪声的影响。高阶矩却无此优点，高 斯随机变量的奇数阶高阶矩等于零，而偶数阶高阶矩不等于零。这也是实际中我们使用 高阶累积量，而不是高阶矩作为非高斯信号处理的数学工具的原因之一。又由性质4 可 以得到一个非常重要的结论：如果一个非高斯信号是在与之独立的加性高斯有色噪声中 被观测的话，那么观测过程的高阶累积量将与非高斯信号过程的高阶累积量恒等。 大连理工大学硕士学位论文 在实际中，我们使用高阶累积量，而不是高阶矩作为非高斯信号处理的数学工具， 主要原因有以下几条： ( 1 ) 理论上，高阶累积量的使用可避免高斯有色观测的影响，而高阶矩不能。 ( 2 ) 如同白噪声的协方差函数是冲激函数，其谱是平坦的直线一样，白噪声的高阶 累积量是多维冲激函数，该噪声的多谱是多维平坦的。这使得我们很容易建立非高斯信 号与线性系统传递函数之间的关系。但是，白噪声的高阶矩及其谱却无此优点。 ( 3 ) 考虑矩问题解的唯一性问题。简言之，不同分布函数可能具有相同的矩。累积 量问题的解具有唯一性。 ( 4 ) 两个统计独立的随机过程的累积量等于各个随机过程的累积量之和，而这一结 论对高阶矩却不成立。这使得累积量非常适合于作为一种算子来使用。 此外，高阶累积量还具有以下特点： 首先，高阶累积量能够很好地克服二阶矩的“相盲”问题。可以根据线性系统输出 的高阶累积量识别非最小相位系统。其次，可用于分析由于“偏离高斯性”引起的各种 特性。最后，便于检测信号的非线性性质及便于识别非线性系统。 2 3 负熵 与2 2 1 节提到的峭度一样，负熵也是非高斯性的一个主要判据。在定义负熵之前 先给出信息论中的一个结论，即所谓的熵极大定理。 定理：在所有具有相同协方差矩阵的分布中，高斯分布的熵最大。简单运用k l 散 度的性质便可以证明这个定理。 证明：设p a o ) 是一高斯分布的联合概率密度函数，p ( x ) 是任意一个其它分布的联 合概率密度函数，且，o ) 和p 。 ) 具有相同的协方差矩阵。则两者之间的k - l 散度为： d ( p ) i l p 荆) 2 r p 刚。g 器出 一一r p ( x ) l o g p g ( 善) d x + f p ( x ) l o g p ( x ) a x ( 2 2 8 ) 并且有p ( x ) l o g p 。0 ) 血；f p 。( x ) l o g p 。( x ) a x ，并将其代入式( 2 2 8 ) 得： d q ( x ) i l p o ( x ) ) ；- f p g ( x ) l o g p 。( x ) d x + r p ( x ) l o g p ( x ) d x ( 2 2 9 ) 即： n ( p ( x ) l l p g o ) ) = 日。o ) 一h ( x ) ( 2 3 0 ) 再利用k - l 散度的非负性即可证明该定理。 欠定盲源分离问题及其在信号提取中的应用 这个定理说明：以高斯分布作参考，可以用信息熵来描述某个分布与高斯分布之间 的偏离程度，也即非高斯性。负熵的概念由此产生。 负熵， ) 定义为： ，0 ) 一日g ) - h ( x ) d ( p o ) 怕g ) ) ( 2 3 1 ) 其中p 。 ) 是一个l = j p ( x ) 具有相同协方差阵的高斯联合概率密度。 由于负熵的概念是基于k - l 散度的，所以负熵也具有凸性、非负性、可加性和对可 逆变换的不变性。 同样都是基于k - l 散度的概念，负熵和互信息之间有着密切的联系。对同一n 维 随机矢量工一k ，h 】r 而言，负熵和互信息存在着密切关系，从互信息的定义出发， 推导如下： m ) | d 似咱n 一删。8 翥著 2 f p ( 工) l o g p ( 工) 出一f p ( 工) l o g ( 兀n ) 渺 - 一日( 工) + 荟h ( x 3 i ，o ) 一h a ) + 荟【日。“) 一， ) 】 叫小渺n 咖骗 即。 m h 一薹n 碳2 b g q 襞x , - t - - - 眨3 2 ) ，( 工) = ，( 工) 一薹j ) + 三l oae i i 削x x 百 ( 2 式( 2 3 2 ) 清楚的说明了互信息与负熵之臼j 的关系。等式右边第三项是一个常数项， 它反映了各分量间的二阶冗余信息。如果用m 对工进行白化：y m x 为白化后的随机 矢量，则： m 嘶，一善n “1 。g 黑d e t ( e 。v v t ) 眨3 3 ) ，p ) = _ ，o ) 一，化) + o g 上l ( 2 大连理工大学硕士学位论文 又因为v 是空间白色矢量，故有兀e 砰，一d e t ( e v v 7 ) ，于是可得： r t ( v ) = ，o ) 一罗，( u ) ( 2 3 4 ) _ 这便定量的解释了白化的去二阶相关作用。剩下来的两项则称为高阶冗余信息。 2 4 独立分量分析原理