（测试计量技术及仪器专业论文）参考独立分量分析算法及应用研究.pdf

大连理工大学硕士研究生学位论文 摘要 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是近年来数字信号处理领域的 一个活跃分支。它能在不知道源信号的分布类型和混合参数的情况下，仅利用源信号的 混合信号去恢复源信号的各个独立成分，因此又被称作盲源分离( b l i n ds o u r c es e p a r a t i o n 。 b s s ) 。因其对先验知识要求低的突出优点，独立分量分析己广泛应用在无线通信、生物 医学、语音分离和图像消噪等许多领域。 传统的独立分量分析方法通常以分离所有的源信号为目标。然而，许多实际应用中 仅对一个或者几个源信号感兴趣。例如，在语音增强应用中，只需获得目标语音信号， 而无须得到噪声信号。为此，参考独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i sw i t h r e f e r e n c e ，i c a i t ) 将源信号的部分先验知识以参考信号形式引入到传统i c a 算法中，从 而在一定的量度下仅抽取与参考信号最为接近的某个或某些期望的源信号。该方法具有 需要先验知识少，运算速度快等优点，已有效地应用于f m r l ( f u n c t i o n a lm a g n e t i c r e s o n a n c ei m a g i n g ) 的数据分析中。 本文针对参考独立分量分析主要做了以下四方面工作：( 1 1 通过合理构建目标语音 信号的参考信号，将参考独立分量分析有效地应用于加性噪声下的语音增强。其中，通 过深入分析语音的特点及其与各类噪声的区别，基于语音基音周期和语音信号功率谱包 络两种方法构造了目标语音信号的参考信号，比较了在相关和均方误差两种距离函数下 参考独立分量分析算法对不同的入侵噪声污染的语音信号的分离性能。f 2 ) 通过适当构 建胎儿心电信号( f e t a le l e c t r o c a r d i o g r a m ，f e c g ) 的参考信号，应用参考独立分量分析方法 从孕妇的心电信号中有效地抽取了胎儿心电信号。这不但实现了胎儿心电信号的非入侵 性检测，而且也为参考独立分量分析算法在m e g 和e e g 等信号中的应用提供了有效解 决方案。( 3 ) 在应用参考独立分量分析的过程中，我们发现原始算法的目标函数复杂， 存在矩阵求逆、矩阵乘法等复杂运算，影响了算法的收敛速度和稳定性。为避免这些问 题出现，我们采用混合数据预白化和权矢量归一化的方法，有效地给出了原算法的改进 算法。( 4 ) 针对原有方法对初值敏感且需要人为选择步长的局限性，给出了参考独立分 量分析的定点算法。人量的计算机仿真实验和性能分析结果均表明了本文四方而工作的 有效性。本文关于参考独立分量分析的算法研究有助于提出新的半盲分离方法，在提取 感兴趣信号方面则比传统独立分量分析方法更为直接有效。 关键词：独立分量分析：参考独立分量分析；盲源分离；约束优化；语音增强；生物医 学信号： 郑永瑞：参考独立分量分析算法及应用研究 r e s e a r c ho na l g o r i t h ma n d a p p l i c a t i o n s o fi n d e p e n d e n t c o m p o n e n ta n a l y s i sw i t hr e f e r e n e e a b s t r a c t d u r i n gt h ep a s td e c a d e ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ，a l s oc a l l e db l i n ds o u r c e s e p a r a t i o nh a sb e c o m ea na c t i v eb r a n c ho fs i g n a lp r o c e s s i n g i tc a nr e c o v e ri n d e p e n d e n t s o u r c es i g n a l sf r o mt h e i ro b s e r v e dm i x t u r e sw i t h o u tk n o w i n gt h ed i s t r i b u t i o nt y p eo ft h e s o u m es i g n a l sa n dt h em i x i n gc o e f f i c i e n t s ，o w i n gt ot h es p e c i f i ca d v a n t a g eo fw e a kr e q u e s t f o rp r i o ri n f o r m a t i o n ，i c ah a sb e e na p p l i e dt om a n yf i e l d ss u c ha sw i r e l e s sc o m m u n i c a t i o n ， b i o m e d i c a ls i g n a l sp r o c e s s i n g ，i m a g e sa n ds p e e c hp r o c e s s i n g t r a d i t i o n a li c aa i m st or e c o v e ra l li n d e p e n d e n ts o u r c es i g n a l s h o w e v e r ，m a n yr e a l s i t u a t i o n so n l yn e e do n es o u r c es i g n a lo rs e v e r a ls o u r c es i g n a l so fi n t e r e s t f o re x a m p l e ，i ti s t h et a r g e ts p e e c hi n s t e a do fn o i s e st h a ti sd e s i r e df o rs p e e c he n h a n c e m e n t t h e r e f o r e ， i n d e p e n d e n tc o m p o n e n ta n a l ) r s i sw i t hr e f e r e n c e ( i c a r ) w a sp r o p o s e db yi n c o r p o r a t i n gs o m e p r i o ri n f o r m a t i o na b o u tt h es o u r c e si n t ot h ec o n v e n t i o n a li c at oe x t r a c tt h ed e s i r e ds o u r c e s u n d e rs o m em e a s u r e m e n t s c o m p a r e dw i t ht r a d i t i o n a l1 c a ，i c a rh a sf a s tc o n v e r g e n c y s p e e db yu s i n gal i t t l ep r i o ri n f o r m a t i o n i th a sb e e ne f f i c i e n t l ya p p l i e dt ot m r i ( f u n c t i o n a l m a g n e t i cr e s o n a n c ei m a g i n g ) d a t aa n a l y s i s t h i st h e s i sc o n t r i b u t e st oi c a ri nt h ef o l l o w i n gf o u ra s p e c t s ( 1 ) w ea p p l yi c a rt o s p e e c he n h a n c e m e n tb yp r o p e r l yc o n s t r u c t i n gt h er e f e r e n c es i g n a l so ft a r g e ts p e e c hs i g n a l w ea n a l y s i st h es p e e c hc h a r a c t e r i s t i c sa n dd i f f e r e n c e sb e t w e e nt h es p e e c hs i g n a la n dm a n y n o i s es i g n a l s t h ep i t c hp e r i o da n dt h ee n v e l o p e so ft h ep o w e rs p e c t r a lo fs p e e c ha r eu t i l i z e d t oc o n s t r u c tt w ok i n d so fr e f e r e n c es i g n a l s t h ep e r f o r m a n c e so fi c a ru n d e rc l o s e n e s s m e a s u r e m e n t so fm e a ns q u a r ee r r o ra n dc o r r e l a t i o na r ec o m p a r e df o rd i f f e r e n tn o i s ym i x t u r e s o fs p e e c h ( 2 ) w ea l s o a p p l y i c a rt oe x t r a c tf e t a l e l e c t r o c a r d i o g r a m ( f e c g ) f r o m m e a s u r e m e n t st a k e nf r o mp r e g n a n tw o m a nb yc o n s t r u c t i n gt h er e f e r e n c es i g n a lo ff e c g t h i si sa l s ou s e f u l f o ro t h e ri c a r a p p l i c a t i o n s s u c ha se e g m e g ( 3 ) d u r i n gt h e a p p l i c a t i o n so fi c a r ，w ef i n dt h a ti t s c o n t r a s tf u n c t i o ni s c o m p l e x ，t h ec o m p l i c a t e dm a t r i x c o m p u t a t i o ni si n v o l v e d ，a n dt h es t a b i l i t ya n dc o n v e r g e n c ea r et h u sa f f e c t e d t os o l v et h e s e p r o b l e m s ，w eg i v e a ni m p r o v e di c a rb yp r e w h i t e n i n gt h eo b s e r v e ds i g n a l sa n db y n o r m a l i z i n gt h ew e i g h tv e c t o r ( 4 ) s i n c et h eo r i g i n a li c a ra l g o r i t h mi ss e n s i t i v et ot h e i n i t i a lv a l u ea n di t s l e a r n i n gr a t ep a r a m e t e rn e e d st ob ed e f i n e db yu s e r s ，w ep r e s e n ta f i x e d p o i n t i c a - ra l g o r i t h mt oe l i m i n a t et h el i m i t a t i o n i ti s e a s y t ou s ea n dm o r e 大连理工大学硕士研究生学位论文 r e l i a b l e e x t e n s i v ec o m p u t e rs i m u l a t i o n sa n dp e r f o r m a n c ea n a l y s e sd e m o n s t r a t et h ee f f i c i e n c y o f a l lo u rw o r k t h er e s e a r c ho ni c a ri nt h i st h e s i si s h e l p f u l f o r p r o p o s i n gn o v e l s e m i - b l i n d a l g o r i t l _ l r n s b e s i d e s ，i th a sm o r ep r o m i s i n ga p p l i c a t i o n si ne x t r a t i n gs o u r c es i g n a l so fi n t e r e s t t h a n 也et r a d i t i o n a li c a k e yw o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ；i n d e p e n d e n tc o m p o n e n ta n a l y s i sw i t h r e f e r e n c e ；b l i n ds o u r c es e p a r a t i o n ；c o n s t r a i n e do p t i m i z a t i o n ：s p e e c he n h a n c e m e n t ； b i o m e d i c a ls i g n a l sp r o c e s s i n g ； 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：墓l 筮聋日期：兰! 垡：f 兰： 人连理1a 学硕十研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名 导师签名： 舞放碑 挚毯绰 鎏! 兰年土兰_ 月丛只 大连理工大学硕士研究生学位论文 1 绪论 1 1 研究背景与意义 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是指仅利用源信号的多个观测 ( 混合) 信号去恢复源信号的各个独立成分，又被称为盲源分离( b l i n ds o u r c es e p a r a t i o n ， b s s ) 。t 9 8 6 年4 月，在美国犹他州举行的计算机神经网络学术会议上，j e a n n yh e r a u l t 和 c h r i s t i a nj u t t e n 提交一篇题为“s p a c eo rt i m ea d a p t i v es i g n a lp r o c e s s i n gb yn e u r a ln e t w o r k m o d e l s ”的论文，介绍了一种简单前馈结构的自适应算法，能从混合信号中分离出几个 未知的源信号。从此，该文在信号处理领域中揭开了具有划时代意义的一页，为解决盲 信号处理提出了创造性思路。 此后，p c o r n o n 在他的经典文献“i n d e p e n d e n tc o m p o n e n ta n a l y s i s an e wc o n c e p t ? ” 中详细的论述了独立分量分析问题。他在数学框架内明确地定义了独立分量分析，提出 了一系列使输出信号之间互信息最小化的代价函数( 也称为差异函数) ，并给出了一种有 效的i c a 算法 1 】，为i c a 的迸一步研究和应用奠定了坚实的基础。至今已形成基于信 息论、统计学、神经网络等理论的几大类独立分量分析算法。例如，a m a r i 等人的最小 互信息法和自然梯度算法 2 】；b e l l 等人的信息最大化法 3 】；p e a r l m u t t e r 等人的最大似然 估计法 4 】；c a r d o s o 的高阶矩法 5 】；k a r h u n e n 等人的非线性主分量分析法 6 ；g i r o l a m i 等人的负熵最大化法 7 ；l a m b e r t 的b u s s g a n g 算法【8 ，等等。 独立分量分析方法的特有优势在于对先验知识的要求极低，所以从2 0 世纪9 0 年代 得到了迅速发展，己被广泛应用在无线通信【9 】、生物医学 1 0 】、地震勘探、图像 1 1 ，1 2 及语音消噪等许多领域。例如，在c d m a 通信系统中，独立分量分析方法可用来解决 多用户检测问题。将独立分量分析用于语音增强也可取得良好的效果 1 3 1 。另外，在生 物医学信号处理中，脑电信号是由大脑皮层的不同活动产生的生物电信号的混合信号， 仅由脑电图观测到的混合信号无法清楚地知道大脑皮层不同活动的确切信息。通过独立 分量分析的方法，对混合信号进行分解，就可以得到大脑皮层不同的活动信息。 独立分量分析方法通常以分离所有的源信号为目标，而且分离的多个输出信号存在 顺序不确定问题 1 。然而，许多实际应用中仅对一个或者几个源信号感兴趣。例如，在 语音增强应用中，只需获得目标语音信号，而无须得到噪声信号。但是，若应用i c a 分 离信号后，还需进行语音与噪声的特征检测后处理，从而从多个输出信号中选出目标语 音信号。为此，2 0 0 0 年w l u 和j c r a j a p a k s e 首先提出了带约束的独立分量分析 1 4 ， 利用先验知识解决了独立分量顺序置换问题。而后，他们又将源信号的部分先验知识以 参考信号形式引入到传统i c a 算法中，从而在一定的量度下只抽取与参考信号某种量度 郑永瑞：参考独立分量分析算法及应用研究 上最为接近的某个或某些期望的源信号，这就是参考独立分量分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i sv d t hr e f e r e n c e ，i c a - r ) 方法。该方法具有需要的先验知识少，运算速 度快等优点，在一定程度上有效解决了分离输出信号的顺序不确定性。目前，i c a r 已 有效用于f m r i ( f u n c t i o n a lm a g n e t i cr e s o n a n c ei m a g i n g ) 的数据分析中。类似这种利用一 定先验知识的i c a 广泛关注，许多类似的方法还在不断的涌现之中。例如：w e il u ，j c r a j a p a k s e 提出的利用源信号峭度、方差等的差异的信息的方法 1 5 ，1 6 】；a l l a n k a r d e c b a r r o s 等人提出的自相关的方法 1 7 ，1 8 1 ；贝叶斯的方法( 源信号的先验概率) 1 9 ， 2 0 ；对于语音t o r d i n i ，f 和p i a z z a ，f 提出的基音轮廓的方法 2 i 。 本课题为国家自然基金n o 6 0 4 0 2 0 1 3 和n o 6 0 1 7 2 0 7 3 资助项目。本课题的主要意 义在于：进一步发挥独立分量分析方法在语音增强应用领域的优势，使该方法更贴近于 实际的应用；我们对原始的参考独立元素分析算法的改进以及定点算法的提出，提高了 参考独立分析算法的效率和稳定性，避免了初值敏感、复杂的矩阵运算和需要人为设置 学习率的缺陷；我们将该算法应用于胎儿心电信号的提取，不仅为非入侵性检测胎儿心 电信号提供了新的方法，而且扩展了参考独立分量分析方法的应用领域。 1 2 论文主要研究内容 语音处理一直是国内外研究的热点。随着语音技术研究的深入和实际应用的增多， 各种语音处理系统都面临着进一步提高性能的问题。语音增强是其中关键技术之一，在 通信、多媒体、人机接口、语音识别、电话会议系统等许多领域具有广泛应用价值。从 2 0 世纪6 0 年代开始，语音增强的研究就一直没有停止。由于噪声特性各异，语音增强 的方法也各不相同。它们大体上可以分为四类：噪声对消法、谐波增强法、基于参数估 计的语音合成法和基于语音短时谱估计的增强算法。这四类方法或多或少均要求知道信 号或噪声的统计特性 2 2 1 。由于这些统计特性通常无法确切获得，因此在实际应用时只 能对这些参数进行假设或估计。结果，因假设常常不切实际，或语音间、语音与噪声间 频谱相近，造成增强性能下降，或者语音可懂度受到影响。相比之下，参考独立分量分 析对先验知识的要求很低，将其应用于语音增强可以获得优于传统方法的结果，而且， 参考独立分量分析仅输出目标语音信号，避免了后续处理问题。 另外，胎儿心电信号( f e t a le l e c t r o c a r d i o g r a m , f e c g ) 的非入侵性检测具有重要的实际 意义。从胎儿心电中不仅能提取胎儿心率的信息，而且可获得有关心律方面的更多信息， 反映j j 台j l , g , 脏的发育和生长情况。例如，在妇产科方面，产前借助胎儿心电信号的观测， 可以了解疑难胎位、单胎、双胎以及分娩期间心律是否正常等。但通常采集的心电信号 中包含母亲的心电信号、肌电信号、血流等信号，这些信号对婴儿的心率信号造成很大 大连理r 人学硕十研究生学位论文 的干扰。因此，应用参考独立分量分析方法从干扰心电信号中有效地抽取胎儿心电信号 也很有研究价值。显然，与传统i c a 方法相比，参考独立分量分析方法具有简单直接的 优点。 在上述应用背景下，本文主要做了以下四方面工作： 1 通过合理构建目标语音信号的参考信号，将参考独立分量分析有效地应用于加 性噪声下的语音增强。其中，构造含有语音信号先验信息的参考信号极为关键。因此， 本文深入分析了语音信号的特点及其与各类噪声的区别。众所周知，有声期的语音信号 是一种准周期信号。该特点意味着有声期的语音信号的频谱有着基音频率和共振峰频率 规则的分布结构。因此，我们构造了具有基音频率周期性的方波作为参考信号，并且比 较了对于含有不同类型噪声的含噪语音信号，在使用不同的参考信号和目标信号距离函 数的情况下，参考独立分量分析算法的分离性能。另外，因为语音的功率谱和噪声的功 率有很大的差异且具有相对的稳定性，我们还利用e m d 方法获取了语音信号功率谱包 络，进而作为先验信息构造参考信号。大量的计算机仿真实验和性能分析结果验远了本 文方法的有效性。 2 改进了原始的参考独立分量分析算法。我们在实现及应用参考独立分量分析的 过程中，发现原始算法存在以下问题。第一，目标函数比较复杂；第二，迭代公式较多， 矩阵运算复杂；第三，算法不够稳定。为此，我们给出了以下改进策略：首先，我们在 目标函数中舍弃对权值大小限制的等式约束，用权值的归一化来保证算法的稳定性。其 次，我们对观察信号做预白化，避免了矩阵求逆以及矩阵和观察信号的乘积。计算机仿 真实验结果表明，在分离性能近似不变的基础上，算法消耗的时问减少近半。 3 给出了参考独立分量分析的定点算法。原始参考独立分量分析算法( 牛顿方法) 对目标函数二次求导，算法复杂度高。而且，牛顿方法对初值敏感。为了消除这些局限 性，本文给出了参考独立分量分析的定点算法，得到了较为满意的结果。其中，就收敛 性而言，定点算法的迭代次数通常不超过l o 次，收敛速度快：就性能而言，定点算法 与上述改进算法或原始算法性能相近或稍好。大量的计算机仿真实验和性能分析结果均 表明了参考独立分量分析定点算法的有效性。 4 通过适当构建胎儿心电信号的参考信号，应用参考独立分量分析方法从孕妇的 心电信号中有效地抽取了胎儿心电信号。我们通过自相关方法对胎儿的心律进行大致估 计并用于构造参考信号，实现了胎儿心电信号的高精度提取。基于真实数据的计算机仿 真实验结果验证了参考独立分量分析算法的有效性。这不但实现了胎儿心电信号的非入 侵性检测，而且也为参考独立分量分析算法在m e g 和e e g 等信号中的应用提供了有效 解决方案。 一一塑壅型! 叁童丝宴坌量坌堑茎堡墨生里堑壅 2 独立分量分析概述 2 1 数学模型 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是指仅利用源信号的多个观 测( 混合) 信号去恢复源信号的各个独立成分，也称作盲源分离( b l i n ds o u r c es e p a r a t i o n b s s ) 。图2 1 用框图形式表示了独立分量分析问题。假设现有n 个源信号 s ( f ) = i s ( 吼，凡( f ) 】，经m n 维线性混合矩阵a 后，产生了7 个含加性噪声的观测信 号x ( t ) = 葺( f ) ，x 。( 明5 ，加性噪声信号为n ( t ) = h ( r ) ，n 。( f ) r 。其中，t 表示矩阵转 置。i c a 基本混台数学模型为： 写成矩阵形式，即 n x ，( r ) = s ，( f ) + 月mi = i ，2 ，肌( 2 1 ) 1 = 1 x ( t ) = a s ( t + n ( r ) 号噪声信号 信 图2 1i c a 方框图 f i g 2 1b l o c kd i a g r a mo f l c a 信 号 ( 2 2 ) 式( 2 ，1 ) 、( 2 2 ) 为线性瞬时混合i c a 模型。此外，在许多实际情况中，观测信号是源信号 与传输通道参数的卷积混合，可表示如下： 大连理一i 火：羊硕士研究生学位论文 x ) = a o s i ( f ) + _ ( f ) ，i = 1 ，2 ，m ( 2 3 ) j 1 其中，+ 表示卷积。上式若表示成矩阵形式，则有 x ( t ) = a + s ( t ) + a ( t )( 2 4 ) 式( 2 ，3 ) 、( 2 4 ) 为线性卷积混合i c a 模型。显然，瞬时混合i c a 模型是卷积混合i c a 模 型的一个特例。 对式( 2 4 ) 进行傅氏变换有， x ( w ) = a s ( w ) + n ( w )( 2 5 ) 对比( 2 2 ) 、( 2 5 ) 两式，不难发现，频域的卷积混合i c a 模型等价与时域的瞬时混合 i c a 模型，二者在不同的域内可作几乎等同的处理。因为瞬时混合i c a 模型既体现了盲 源分离的实质，又易于描述。因此，以下我们将主要介绍瞬时混合i c a 问题。并直接称 其为i c a 问题。另外，由于噪声分布是未知的，所以一般不考虑噪声的影响，或将噪声 看作源信号之一。至此，模型( 2 2 ) 可简化为： x ( t ) = a s ( t )( 2 6 ) 2 ，1 1i c a 假设 在i c a 模型( 2 6 ) 中，源信号s ( t ) 与混合矩阵a 都是未知的，如果没有进一步的假设， 仅由观测信号x ( t ) 恢复源信号s ( t ) 是不可能的，或者说i c a 问题无解。为此，i c a 难题 针对混合矩阵a 、源信号s ( t ) 和噪声信号n ( f ) 作了以下假设： a 1 混合矩阵a 为列满秩非奇异阵，一般要求m n ，即传感器数目大于源信号数 目： a 2 在每一时刻r ，源信号s ( f ) 的各成分之间互相统计独立； a 3 源信号s ( f ) 的各成分s 。( f ) 为零均值、单位方差的平稳随机过程，i = 1 ，2 ，n ； a 4 噪声信号n ( f ) 的各成h ，( r ) 为零均值平稳随机过程，i = 1 ，2 ，m ； a 5 在每一时刻r ，噪声信号n ( t ) 的各成分间互相统计独立，且与各源信号相互独立。 假设a 2 又称空间白化或空间不相关，是盲分离的关键所在。这一假设可弥补先验 知识的不足。它在统计意义上限制较强，但在实际应用中却切实可行，如两个说话人的 语音信号可以看作是互相独立的。 郑永瑞：参考独立分量分析算法及麻m 研究 2 1 2i c a 可识别性和不确定性 i c a 问题的可识别性，就是研究仅仅由观测向量x ( f ) ，能在多大程度上识别混合矩 阵a ，或恢复源信号s ( f ) 。为说明此问题，下面先介绍几个基本概念。 如果一个方阵在每一行及每一列中有且仅有个非零分量，则称此方阵为非混合 阵。若c 是一非混合阵，则称y ( f ) = c s ( t ) 是s ( f ) 的个拷贝。y ( t ) 与s ( f ) 的差异仅表现在 各成分的排列顺序及幅值上。 在许多实际应用( 如语音信号) 中，源信号的有效信息存储在其波形中，恢复信号 y ( r ) 与源信号s ( f ) 之间的幅度和顺序差异是可以接受的。所以，在i c a 问题中，如果得 到源信号的一个拷贝，则可以说完成了信号盲分离的工作，也就是说，y ( t ) 可作为盲分 离的最终结果。此时，又称y ( t ) 为i c a 的波形保持( w a v e f o r m p r e s e r v i n g ) 解。而恢复信 号y ( t ) 与源信号s ( f ) 之问的幅度和顺序差异。被称为i c a 问题的不确定性。如果己知源 信号的幅度等先验知识时，则可以通过一定的处理消除这种不确定性。 由图2 1 ，若输出为 y ( t ) = w x ( t ) = w a s ( t ) = p d s ( t ) ( 2 7 ) 其中p 为n 月的置换阵，d 为月n 的非奇异对角阵。则混合分离全局矩阵g = w a = p d 为非混合阵，y ( r ) 是s ( r ) 的一个拷贝。p 表征y f f ) 与s ( f ) 之间的顺序变化，d 表征y ( ，) 与 s f f ) 之间的幅度变化。 那么，能不能在已知观察信号x ( t ) 的情况下，仅仅根据“源信号之间是相互独立” 的假设，就能得到源信号的一个拷贝呢? 据d a r m o i s 定理 c o m o n1 9 9 4 1 的一个变形： 假设s ( f ) 为个各分量相互独立的矢量( 其中至多有一个高斯分量) c 为一任意的 可逆矩阵，如果y ( f ) = c s ( t ) 的各个分量之间也是相互独立的，那么y ( f ) 就是s ( f ) 的一个 拷贝( 即c 是一个非混合矩阵) 。 d a r m o i s 定理明确了b s s 的可识别性：对于至多只有一个高斯分量的独立源信号 s ( f ) ，只要设法使分离模型中的输出信号y ( f ) 的各分量相互统计独立，或全局矩阵g 为 非混合阵，便可以实现信号的盲分离。 之所以限定源信号s ( f ) 中至多只有一个高斯分量，是因为多个高斯分量的混合仍为 高斯分量。大部分i c a 分离方法仅仅利用了空间差异性，即不同传感器的输出信号为源 信号不同程度的混合信号，却忽略了信号的时间结构。这些i c a 算法将无法分离两个以 上的高斯混合信号。然而，如果利用信号的时问信息，分离则更具优势。例如，如果源 大连理工大学硕士研究生学位论文 信号具有不同的谱内容，那么仅仅利用观测信号的二阶统计量( 如不同时间延迟的相 关) ，就能完成盲分离任务，这将有助于简化运算量。事实上，i c a 的可识别性是许多 算法的基本出发点。算法的最终目的，是使经过分离矩阵w 之后的输出信号y ( r ) 的各分 量间独立性最大，以此为根据来调整分离矩阵w 的参数，从而实现信号的盲分离。，对 独立的不同测度，是i c a 不同分离方法的实质出发点。 2 2 独立性定义 独立性可由概率密度来定义 2 3 。如果定义两个随机变量y l 和y ，是独立的，当且仅当 联合概率密度可按下式分解：p ( y 。，m ) = p ( y 。) p ：( y 2 ) 。该定义可扩展到n 个随机变量，这 种情况下联合密度是m 个随机变量的乘积。该定义对独立的随机变量可衍生一个重要的 特性：e t h ( y ，) 坞( y ：) ) = e 啊( y ，) e ( 北) ) ，这里 和如为给定的函数，e 表示数学期望。 由于随机变量的概率密度一般都未知，从而从概率的角度来度量独立存在着一定的难 度。在文献 2 4 q b ，则是从另外一种角度来理解独立的概念对两个随机变量z 和y ，如 果c o v ( x ，y ) = e 叫) 一e 扛) e 乡) = 0 ，那么x 和y 不相关；如果e x ”y 9 卜- e x ) e 矿 = 0 ， 对于任何整数p ，q 等式均成立，那么x 和y 统计独立。从上面的推导可知，如果x 和y 相互独立，那么它们一定不相关i 相反，如果x 和y 不相关，则并不意味着它们是独立的。 因为独立即意味着不相关，因此总是给定独立成分的不相关估计。这样不仅减少了参数 数目，而且简化了问题。 2 3l c a 求解原理 非高斯性的量度是估计i c a 模型的关键，也是i c a 研究能够迅速发展起来的重要原 因。为简单起见，假设所有独立成分都有相同的分布。为了估计一个独立分量，我们先 考虑一个线性组合y = w 7 x = y ，t ，这里w 是待定的矢量。如果w 是a 的逆的一个行 向量，那么这个线性组合将等于一个独立分量。实际上，因为并不知道矩阵a ，所以不 能确切的确定w 。但是可以找到一个很接近的估计，这也就是i c a 估计的基本原理。我 们作个变量转换，定义z = a 。w 。有y = w 1 x = w 7 a s = z t $ ，因此y 是以z ，为权值的s 的 线性组合。根据中心极限定理，z t $ 比起任何一个s 更接近高斯分抑。实际上当z s 为一 个s 时，其高斯测度越小。显然这时向量z 仅有一个分量z ，是非零的。我们只要选取一 个矢量w 使得w 7 x 非高斯最大化，这就意味着w 1 x 对应一个独立分量。对于1 1 维空j 甸的 优化问题，每个独立分量对应两个最大值点，所以有2 个局部最大值点。因为独立分 量之间是不相关的，因此我们可以用去相关的方法得到所有的独立分量。 郑永瑞：参考独立分量分析算法及麻_ l ；j 研究 在i c a 估计里为了使用非高斯性，因此对随机变量的非高斯性必须有一个定量的 测量标准。为了简化起见，假定随机变量具有零均值，单位方差。实际上，在i c a 过程 中，往往有一个预处理步骤来实现此假定条件，在后面章节我们将会给出介绍。现将非 高斯性的测量方法综述如下。 1 k u r t o s i s 经典的测量非高斯性的方法是k u r t o s i s ，或称4 阶累计量 2 5 ，y 的k u r t o s i s 被定义为： k u r t ( y ) 2 e 钞4 ) 一3 ( e 0 2 ) 2( 2 , 8 ) 实际上，因为我们假设y 是单位方差，等式右边可简化为e 抄4 ) 一3 。对一个高斯分布的 随机变量y ，它的4 阶矩等于3 ( e t y 2 ) ) 2 。所以对一个高斯随机变量来说，它的k u r t o s i s 等 于零；但对大多数非高斯随机变量，它的k u r t o s i s 不等于零。k u r t o s i s 有f 也有负，亚 高斯随机变量具有负的k t t r t o s i s ，而超高斯随机变量则具有f 的k u r t o s i s 。非高斯性的 测量可以用k u r t o s i s 的绝对值或k u r t o s i s 的平方，值为零的是高斯变量，大于零的为非 高斯变量。存在k u r t o s i s 为零的非高斯变量，但这种情况相当的少。k u r t o s i s 或它的绝 对值，由于能从理论上用来作为解决i c a 问题时的最优化准则及计算和理论上的简单 性，因此已经广泛地用于i c a 的非高斯的测量及其相关领域。计算上简单，是由于 k u r t o s i s 能用采样数据的4 阶矩简单地进行估计；理论分析上简单，是由于下面的线性 特性，即如果五和而是两个独立的随机变量，那么 k u r t ( x , + t ) = k u r t ( x , ) + k u r t ( x 2 ) ( 2 9 ) 和 k u r t ( a x 】) 2 矿k u a ( x 1 )( 2 10 ) 成立。这里a 是一个标量，这些性质由定义很轻易地得到证明。 2 负熵州e g e n t r o p y ) 第二个非常重要的非高斯测量方法是负熵，它是基于信息理论上熵的概念。随机 变量的熵可解释为给定观察变量的信息度，随机性越大，熵越大。实际上，在一些简单 的假设条件下，熵就是指随机变量的代码长度，这在信息论 2 6 里有介绍。离散的随机 变量王，的负熵日被定义为： ( y ) = 一p ( y = a ，) l o g p ( y = q ) ( 2 1 1 ) ， 这里a ，指y 的可能的取值。这是个很好的定义，可扩展到连续的随机变量和向量，这种 情况下称为微熵。随机向量y 的密度函数f ( y ) 的微熵h 被定义为： 大连理工大学硕士研究生学位论文 ( y ) = 一少( ) 】。g f ( y ) d y ( 2 r 2 ) 信息理论一个基本的结论是，在所有具有等方差的随机变量中，高斯变量的熵最大。荽 意味着熵能作为非高斯性的测量，分布明显的集中于某个值的熵很小。非高斯性测量中， 高斯变量应该为零，而它总是非负。有人对熵的定义作了修改，称为负熵，定义如下： j ( y ) = 日( 。) 一h ( y ) ( 2 1 3 ) 这里) ，。是一个高斯随机向量，与y 有相同的协方差。由于上面提到的特性，负熵总是 非负的。它为零的条件是当且仅当一是高斯分布。使用负熵的问题是计算起来非常困难。 因此，采用负熵的近似是非常有用的。 3 负熵的近似 如上所述，负熵的估计是很困难的，因此必须采取一些近似。这罩介绍一些有较 好特性的近似，它将在i c a 方法中使用到。近似负熵古典的方法是使用高阶矩，如： 潦 m ) 4 西1e y 3 ) 2 + 去h m ( _ y ) 2 ( 2 1 4 ) 随机变量y 被假设为零均值、单位方差。然而，这种近似的有效性非常有限。特别是， 这种近似对非鲁棒性非常敏感。为了避免这种问题，采用另外一种近似，这种近似是基 于最大熵原理，下面给出一些性能较好的比较函数。一般来说，可得到如下的近似： j ( y ) “砖【e q ( y ) ) - e v ) 】2( 2 + 1 5 ) 这里置是一些正的常数，v 是零均值、单位方差的高斯变量。y 被假设为零均值、单位 方差的变量，函数g 是一些非二次函数。注意，即使在这种情况下，这种近似也是不精 确的。在我们仅用非二次函数g 的情况下，这种近似变成了： j ( y ) 。ct e g ( _ y ) ) 一e v 】2( 2 1 6 ) 在式( 2 1 4 ) 中明显的是基于矩的近似，如果y 是对称的，例如取g ( y ) = y 4 ，就能准确地 得到式( 2 1 4 ) ，即基于k u r t o s i s 的近似 1 q ( “) = - - 1l o g c o s a , u ，g l ( “) = e x p ( 一“2 2 )( 2 1 7 ) 口i 这里1 s 品s 2 为一些适合的常数。这样近似得到了负熵，它给出了古典的k u r t o s i s 和负 熵在非高斯性测量上的一种很好的折衷。它们概念上简单，计算起来快速，而且有很好 郑永瑞：参考独血分耸分析算法及席j = | j 研究 的统计特性，尤其是鲁棒性。因此，在i c a 方法中我们建议使用这些比较函数。 2 4 典型lc a 算法 一般认为，i c a 算法的研究始于1 9 9 1 年j u r e n 及h e r a u l t 的工作 2 7 。目前著名的 算法主要有：c o m o n 的独立分量分析理论及高阶累积量算法 1 ；a m a r i 等人的最小互信 息法和自然梯度【2 】；b e l l 等人的信息最大化法 3 】：p e a r l m u t t e r 等人的最大似然估计法 4 ： c a r d o s o 的高阶矩法【5 ；k a r h u n e n 等人的非线性主