（信号与信息处理专业论文）基于独立分量分析的信号盲分离算法研究.pdf

摘要 摘要 独立分量分析技术以非高斯源信号为研究对象，在统计独立的假设下，对多 路观测到的混合信号进行盲信号分离，已广泛应用于无线通讯、生物信号提取、 语音信号处理、图像处理和噪声抑制等领域。 本论文首先介绍了独立分量分析的基本原理。以此为基础，在盲信号分离的 瞬时线性混合模型和卷积混合模型下，对独立分量分析算法进行了研究，主要工 作如下： 1 在瞬时线性混合模型下，详细讨论了改进h j 算法。在h e r a u l t 和j u t t e n ( h j ) 算法的基础上，通过推导，并应用自然梯度，导出了改进的h j 算法，且讨论了 它们的等变化性。 2 结合上述模型，研究了快速固定点算法。先分析了一次分离出一个源信号 的单源定点算法，然后导出了分离多个源信号的算法。 3 在卷积混合模型下，从时域和频域对卷积混合信号i c a 算法进行了研究。 在时域，运用同时正交化多延时相关矩阵建立对比函数，用f r o b e n i u s 范数最小化 对比函数得分离算法。在频域，研究了卷积混合信号的频域盲分离算法，重点分 析了算法中存在的分离信号排序不确定性和幅度的不确定性问题。 4 结合上述卷积混合信号的频域分离算法，研究了一个改进单源算法，将复 数快速固定点算法应用到频域加速收敛，为了防止算法收敛于同一信号，利用一 种抽气技术，这样可一次分离出一个信号，实现卷积混合信号分离。 以上算法的有效性均以计算机仿真实验给予验证。 关键词：盲信号分离，独立分量分析，对比函数 a b s t r a c t a b s t r a c t t h ei n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) a d d r e s s e sn o n g a u s s i a ns o u r c e s i g n a l su n d e ra m u s i n gi n d e p e n d e n te a c ho t h e r ，i tp e r f o r m s b l i n ds e p a r a t i o nf o r m u l t i c h a r m e lo b s e r v e ds i g n a l s i th a sw i d e l ya p p l i e di nw i r e l e s sc o m m u n i c a t i o n ， b i o l o g i c a ls i g n a l se x t r a c t i o n ，a u d i os i g n a l sp r o c e s s i n g ，i m a g ep r o c e s s i n g ，n o i s er e d u c i n g a n ds oo n i n t h i sd i s s e r t a t i o n ，t h eb a s i cp r i n c i p l eo ft h ei c ah a sf i r s t l yb e e ni n t r o d u c e d b a s e do ni t ，t h ei c ai ss t u d i e du n d e ri n s t a n t a n e o u sm i x t u r e sa n dc o n v o l u t i v em i x t u r e s b l i n ds e p a r a t i o nm o d e l s t h em a i nw o r k sa r ea sf u l l o w s ： 1 b a s e do nh e r a u l t j u t t e na l g o r i t h ms e p a r a t i n gs i g n a l sb l i n d l y , w eo b t a i na n a l g o r i t h mu s i n gn a t u r a lg r a d i e n tu n d e ri n s t a n t a n e o u sm i x t u r e sm o d e l t h ee q u i v a r i a n c e p r o p e r t yh a sb e e nd i s c u s s e dt o o 2 t h ef a s tf i x e d p o i n ta l g o r i t h mh a sb e e ns t u d i e d w ef i r s t l yc o n s i d e ro n eu n i t a l g o r i t h m ，e x t r a c t i n go n eo r i g i n a ls i g n a le v e r yt i m eu n d e ri n s t a n t a n e o u sm i x t u r e sm o d e l s e v e r a lu n i ta l g o r i t h m sh a v eb e e nf u r t h e ro b t a i n e d 3 t h ei c a a l g o r i t h m sh a v eb e e ns t u d i e du n d e rc o n v o l u t i v em i x t u r e sm o d e li nt i m e a n df r e q u e n c yd o m a i n ac o n t r a s tf u n c t i o nh a sb e e nb u i l tu s i n go r t h o g o n a l i z a t i o n t i m e d e l a y e dc o r r e l a t i o nm a t r i c e si nt i m ed o m a i n ，t h es e p a r a t i o na l g o r i t h mh a sb e e n o b t a i n e db ym i n i m i z i n gi tw i t ht h ef r o b e n i u sn o r m t h e nt h eb l i n ds i g n a ls e p a r a t i o n a l g o r i t h mh a sb e e na l s od i s c u s s e di nf r e q u e n c yd o m a i n w ef o c u so nd i s c u s s i n gs c a l i n g a n dp e r m u t a t i o np r o b l e m s 4 f i n a l l yw es t u d yam o d i f i e da l g o r i t h m ，w h i c ha p p l i e st h ef a s tf i x e d - p o i n t a l g o r i t h mf o rc o m p l e xs i g n a l st ob l i n ds i g n a l se p a r a t i o ni nf r e q u e n c yd o m a i n i t s a o n e u n i ta l g o r i t h m t op r e v e n tc o n v e r g i n gt ot h es a m es i g n a l ，t h ed e f l a t i o na l g o r i t h mi s u s e dt os e p a r a t es i g n a l so n eb yo n e c o m p u t e rs i m u l a t i o n ss h o w st h ev a l i d i t yo nt h em e n t i o n e da l g o r i t h m s a b s t r a c t k e y w o r d s ：b l i n ds i g n a ls e p a r a t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，c o n t r a s tf u n c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 篾荚 日期：2 0 0 6 年争月2 ，广日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 导师签名： 灏拈 日期：工。0 6 年毕月。f 日 第一章绪论 第一章绪论 1 1 独立分量分析研究的目的和意义 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是近十多年发展起来 的一种非常有效的盲信号分离技术。通过国内外研究人员努力，无论是独立分量 分析技术，还是基于独立分量分析的盲信号分离技术目前均已有大量的研究成果 和较成熟的理论。事实上，诸如雷达、声呐、通信、电予对抗、生物医学和地球 物理等众多自然科学研究领域都需要进行盲信号分离，以实现对待分析的期望信 号进一步独立处理，获取期望信息与特征。原理上，独立分量分析就是利用多路 观测信号，从多个源信号的混合信号中分离出相互统计独立源信号的方法。 正因为如此，独立分量分析在军事和民用领域均备受关注。基于独立分量分 析技术发展起来的被动雷达，毋需发射信号就可探测到目标，克服了传统的主动 雷达为了探测目标必须发射电波信号，很容易暴露自己而遭到攻击的弱点，因而 被动雷达研究受到各国广泛重视。电子对抗领域中，为了获取敌方电台或雷达发 射信息，可以从传感器网络采集的信号中利用独立分量分析技术先对信号进行分 离，然后利用信号分析与处理技术获取待侦察信号的期望信息。因此，独立分量 分析目前在电子对抗领域中也受到广泛关注。声呐信号处理中，人们已采用对独 立分量分析技术从众多信号中提取期望信号。在生物医学领域，应用独立分量分 析可对脑电信号分析，提取脑电信号特征，确定人或动物的大脑活动情况和病理 状况，同时，还利用独立分量分析分离 台j l 心电信号等。在语音信号处理中，如 著名的“鸡尾酒会”问题，可以利用独立分量分析从传声器接收的人的混合声音 信号中，分离出每一人的声音。 可见，独立分量分析正越来越吸引众多研究人员开展理论和应用研究，因此 本文针对独立分量分析开展的研究工作具有一定的理论和实际参考价值。 电子科技大学硕士学位论文 1 2 独立分量分析的研究历史与现状 较早进行盲分离方法研究的是h e r a u l t 和j u t t e n t ”，他们用递归网络结构， 在1 9 9 1 年提出了一种神经网络算法，通常称为h j 算法。该算法成功地实现了两 个语音信号的分离，其学习算法己具备后来i c a 在线算法的雏形，开启了一个新 的领域。 1 9 9 4 年c o m o n l 2 1 开创性地建立了独立分量分析的理论框架。他阐述了独立分量 分析的定义，界定独立分量分析技术的基本假设条件，提出了对比函数( c o n t r a s t f u n c t i o n ) 的概念，进行了独立分量分析技术在恢复源信号时的可辨识性研究， 且指出必须借助高阶统计量的计算，才可能实现独立分量的盲分离。此外，还利 用互信息对高阶统计量进行近似展开，使用最小互信息准则实现了信号的独立分 量分析。 他们的工作推动了独立分量分析的研究，使得在短短几年内涌现了大量的有 效算法。b e l l 和s e j n o w s k i 【3 1 利用前馈网络结构和信息传输最大化原理，提出了一 神在线迭代学习算法一i n f o m a x 算法。该算法用信息最大化准则建立对比函数，并 指出了撮佳非线性函数与源信号的概率密度函数之间的关系。然而，该算法需要 对矩阵求逆，收敛速度慢，算法性能受到源信号的混合情况影响较大。因此i n f o m a x 算法的收敛性和稳定性有待进一步提高。 c a r d o s o 和l a h e l d 4 1 将等变化( g q u i v a r i a n c e ) 的概念引入独立分量分析，分 析出满足等变化的独立分量分析算法具有均匀性能( u n i f o r mp e r f o r m a n c e ) ，并 提出了相对梯度( r e l a t i v eg r a d i e n t ) 的概念。其算法由于采用了相对梯度，收 敛速度加快，且避免了矩阵求逆。a m a r i 5 】等人提出了自然梯度，从黎曼几何的角 度阐述了独立分量分析问题中的参数空间符合黎曼空间，而自然梯度是定义在黎 曼空间中的最佳下降方向，因此这类独立分量分析算法比采用标准梯度的独立分 量分析算法有更好性能。 实际上，信号在实际传播过程中，容易受到各种干扰和传输延迟等影响，传 感器采集到的信号往往不是信号的简单线性混合，而是具有诸如卷积等复杂混合 等形式。因此在研究瞬时线性混合信号独立分量分析算法的同时，人们也对卷积 2 第一章绪论 混合信号的i c a 分离方法进行了研究。p l a t t 和f a g g i n 6 】将h j 算法推广到具有时 间延迟和卷积混合情况。y e l l i n 和w e n s t e n h 】给出了基于高阶累计量和高阶谱的通 道盲反卷积方法，通过递归特征分解可以同时进行盲系统参数辨识和盲反卷积。 由于用到了高阶累积量和需计算高阶谱，该方法所需运算量极大。t h i 和j u t t e n 哺j 同样利用四阶累积量或四阶矩函数，给出了卷积混合信号盲分离的自适应训l 练法。 l e e 和b e l l l 9 将基于信息最大传输或最大似然算法得出的盲分离训练算法变换到 频率域，并利用f i r 多项式代数技术进行盲反卷积。 i c a 在最近几年已获得了长足的发展，丰富了若干理论和提出了大量算法，但 是还有许多问题有待进一步研究和解决：源信号个数未知且可能动态变化，其中 包括信号源个数的有效确定、当观测信号个数比源信号个数多的超定、观测信号 个数比源信号个数少的欠定等问题的研究；观测信号含噪声，尤其是色噪声情况 下信号i c a 分离问题的研究；按顺序输出以及只提取一个或多个感兴趣信号的i c a 分离问题研究；卷积混合模型和非线性混合模型下的信号i c a 问题研究等。 1 3 本文主要研究内容及内容安排 论文主要研究内容为在盲信号分离的瞬时线性混合模型和卷积混合模型下的 独立分量分析算法研究。 整个论文共分五章，安排如下： 第一章，绪论。首先介绍独立分量分析研究的目的和意义，然后对独立分量 分析的研究历史和现状作出比较详细叙述，最后介绍了本论文的主要研究内容。 第二章，独立分量分析的基本原理。首先介绍了盲信号分离的瞬时线性混合 的模型和卷积混合模型，并介绍了在此模型下独立分量分析的基本原理和基本概 念。最后介绍了信号的中心化和白化预处理。 第三章，瞬时线性混合信号i c a 算法。首先讨论了m h j 算法。从基本hj 算 法出发，引出改进的h j 算法。通过推导并应用自然梯度，一步一步得到逐渐 改进的h j 算法，讨论了他们的等变化性。其次我们讨论了快速固定点算法。我 们在讨论单源信号的快速固定点算法基础上，进一步推导出分离出多个独立信号 的快速固定点算法。以上算法的有效性均以计算机仿真实验验证。 3 电子科技大学硕士学位论文 第四章，卷积混合信号i c a 算法。本章分别从时域和频域对卷积混合信号i c a 算法进行了讨论。在时域，运用同时正交化多延时相关矩阵建立对比函数，用 f r o b e n i u s 范数最小化对比函数得分离算法，进行卷积混合信号分离。在频域，研 究了卷积混合信号的频域分离算法，重点分析了算法中存在的各频点分离信号排 序不确定性和幅度的不确定性问题。最后，研究了一个改进算法，将复数快速固 定点算法应用到频域分离算法，并利用一种抽气技术，这样可一次分离出一个信 号，实现卷积混合信号分离。以上算法的有效性均以计算机仿真实验验证。 第五章，结论和展望。对论文进行总结和展望。 第二章独立分量分析基本原理 2 1 盲信号分离 第二章独立分量分析基本原理 盲信号分离就是根据观测到的混合数据向量确定一变换，以恢复原始信号或 信源。通常，观测数据向量是一组传感器的输出，每个传感器接收到的是源信号 的不同组合。术语“盲”有两重含义：( 1 ) 源信号不能被观测；( 2 ) 源信号如何混 合是未知的。 2 1 1 盲信号分离模型 盲信号分离研究的信号模型主要有瞬时线性混合模型、卷积混合模型和非线 性混合模型。这里着重讨论瞬时线性混合模型和卷积混合模型。 一、瞬时线性混合模型 设有个未知的源信号 ( f ) ，5 ：( r ) ，如( f ) ，经过传输， 彳个传感器接收到的 观测信号为x ( f ) ，x ：( f ) ，h ( f ) 。忽略噪声情况下，瞬时线性混合模型为 或 n 以( f ) = j m 七= 1 ，2 ，m ( 2 1 ) ，= i 用矩阵可表示为 x ( 0 = a s ( t ) 矧 ( 2 2 ) lllj wq ； ； ； d 幻 加川；“ 电子科技大学硕士学位论文 其中矩阵a 称为混合矩阵，常常假设矩阵爿是列满秩的。 盲信号分离就是在混合矩阵a 和源信号s ( f ) 均未知的情况下，只通过观测信号 x ( t 1 来确定分离矩阵，使得变换后的输出信号为 r ( t ) = w x ( t ) ( 2 3 ) 是s ( t 、的一个估计。 二、卷积混合模型 设s 。( ，) ，屯( 吐，s 。( f ) 为n 个的未知源信号，x l ( t ) ，t ( f ) ，( f ) 为m 个传感器 的输出，由于实际信道环境对信号有普遍滤波效应，不同传感器的传输延迟和过 程干扰等均不同，因此，信号间的传输通道可以被认为是一种多通道环境，常以 有限脉冲响应f i r 混合形式描述。忽略噪声情况下，每个传感器的输出信号可表 示为 l l ( f ) = a j j ( k ) s ，( f t ) i = 1 ，2 一m ( 2 4 ) 1 = 1k = 0 或 x ( t ) = 爿( f ) s ( t ) ( 2 - 5 ) 其中a ( t 1 为未知的传输通道矩阵，常以用h r 模型描述，其最大延迟为l 。 假设n = m ，为了从x ( t ) 中恢复未知源信号，需寻找一分离滤波器w 使 得解卷积网络输出为 0 - 1 y j ( t ) = ( 6 ) 一( 卜6 ) j = 1 2 ，n ( 2 6 ) ，= ih = 0 或 r ( t ) = r e ( t ) x ( t ) ( 2 - 7 ) 为s ( ，) 的一个估计。其中q 为分离滤波器阶数。 盲信号分离已有许多的算法，这些算法大致可分为以下三类：( 1 ) 独立分量 分析；( 2 ) 熵最大化方法；( 3 ) 非线性主分量分析。 第二章独立分量分析基本原理 2 2 独立分量分析基本原理 2 2 1 独立分量分析 独立分量分析作为有效的盲信号分离技术，以非高斯源信号为研究对象，在它 们统计独立的假设下，对多路观测到的混合信号进行盲分离，从而分离出隐含在 混合信号中的独立源信号。与其它优化方法需要目标函数一样，独立分量分析也 需要目标函数。在独立分量分析中，常采用对比函数作目标函数。选择不同的对 比函数，可以得到不同的独立分量分析算法。 2 2 2 可辨识性 作为混合矩阵a 结构信息未知的一种补偿，必须有关于源信号的某些附加假 设。最基本的假设是源信号中至多只能有一个高斯信号，因为两个高斯信号是不 能盲分离的1 。 由于信号传输( 即信道) 以及源信号知识的缺乏，独立分量分析具有两种不确 定性或模糊性：分离后信号顺序排列和幅度的不确定性。i c a 的不确定性主要表现 为混合矩阵a 的非完全辨识。( 2 - 2 ) 式可写为 x ( 0 = a s ( t ) = a d 。1 d s ( t ) ( 2 - 8 ) 其中d 为一对角阵。 上式中可以把d s ( t 1 看作另一个新的独立源向量，把a d “看作另一个混合矩 阵，通过它们同样可以得到观测向量x ( t 1 。由于我们唯一获得的信息是观测信号 x ( t ) ，所咀很难确定由x ( t ) 恢复出来的信号究竟是s ( t ) 还是d s ( t ) 。虽然由i c a 技术估计出源信号具有幅度不确定性，但我们常常关心是源信号的波形，幅度信 息是非常次要的。不失一般性，假定源信号具有单位方差，即把源信号幅度的动 态变化归并到混合矩阵a 相应列的元素中。 归一化只是解决了混合矩阵a 各元素的幅值的不确定性，但其排列顺序仍然 具有不确定性。为了描述和解决混合矩阵a 的这些不确定性，c a r d o s o 4 等人将 两个矩阵的“本质相等”的概念引入到盲信号分离中。若两个矩阵m 和本质相 7 电子科技大学硕士学位论文 等，记作m 圭n ，则存在一广义交换矩阵g ，其元素具有单位模，使得m 兰n g 。 因此，亩信号分离问题也可叙述为：只根据传感器输出x ( f ) 辨识混合矩阵爿的本 质相等矩阵，恢复源信号。 由( 2 - 2 ) 式，有 x ( o = a s ( o = a p “p s ( t 、 ( 2 9 ) 其中p 为一置换矩阵，即p 的每一行每一列都只有一个元素不为零，其余元素为 零。 上式中可把p s ( f ) 看作一个新的独立源信号，4 尸。1 看作另一个混合矩阵。只要 分离矩阵是混合矩阵4 的本质相等矩阵，认为恢复源信号。至于恢复的是p s ( t ) 还 是s ( t ) ，仅从分离的角度考虑，影响不大，但对后续处理会有影响。 2 2 3 等变化性 设w ( t ) 为i c a 分离算法求得的分离矩阵，且c ( t ) = w ( t ) a 是分离与混合的合 成系统。若c 满足1 4 】 c ( t + 1 ) = c 0 ) 一叩( f ) h ( c ( f ) s o ) ) c ( f ) ( 2 - 1 0 ) 则算法是等变化的。其中h ( c ( r ) s ( f ) ) 是矩阵乘积c ( t ) s ( t ) 的矩阵函数，它与混合矩 阵4 和分离矩阵w ( t ) 无关。即是说，如果信号分离算法具有等变化性，则该算法 的信号分离性能与混合矩阵( 即信号传输的信道) 完全无关，只决定于原始信号， 这一性能称为均匀性能。显然，信号分离算法的性能与源信号如何混合无关，是 我们期望i c a 应该具有的基本性能。 2 3 统计独立性 源信号间的统计独立性是i c a 问题的关键条件。 统计独立性是指随机变量m 和y ：的联合概率密度为f ( y ，y 2 ) ， 边缘概率密度为彳( 咒) ，随机变量儿的边缘概率密度为f 2 ( y ：) ，即 _ ( m ) = f f ( y 。y ) d y ： 8 随机变量y 。的 ( 2 一1 1 ) 第二章独立分量分析基本原理 五( y ：) = l f ( y 1 ，y 2 ) d y l ( 2 1 2 ) 如果y 和y ：的联合概率密度f ( y ，y ：) 满足 f ( y ，y 2 ) = - ，：( 一) ( _ y 2 ) ( 2 - 1 3 ) 则称随机变量m 和乃是相互独立的。 对于多个随机变量的情况。如果”个随机变量的联合概率密度为 f ( y l ，y 2 ，虬) = z ( m ) ( y 2 ) z ( 乩) ( 21 4 ) 则称n 个随机变量是相互独立。这里f ( y 。，儿，儿) 是n 个随机变量的联合概率密 度，z ( 只) 第f 个随机变量的边缘概率密度。 统计独立性条件比不相关更严格，如果y i 之间是统计独立的，则对于任意的 非线性函数g 。( ) 和g ：( ) ，下式成立。 g g ，( y ) g ，( y ，) = e g ( y ，) ) g ：( 乃) v f ， ( 2 一1 5 ) 若儿之间相互统计独立，则它们肯定互不相关。m 之间仅互不相关，并不能 说明m 之间相互统计独立。当m ，y ：，虬具有联合高斯分布时，统计独立性与互不 相关等价。对于任意两个独立的高斯变量( 五，x ：) 的正交线性变换的分布与( _ ，x ：) 的分布完全相同。因此，对源信号中有两个或以上的信号是高斯分布，i c a 算法 无法辨识的。所以i c a 要求源信号中仅有一个是高斯分布的。 对于接收的观测信号，如果能通过一线性变换，使得变换后的信号彼此不包 含任何相关性，则可实现源信号分离。i c a 所采取的一般方案是用一种迭代算法 消除信号间的相关性，使变换后的信号彼此独立。 2 4 微分熵、互信息和负熵 微分熵、互信息和负熵在i c a 研究中相当重要。 2 4 1 微分熵 熵是随机变量不确定性的度量，也称为平均信息量或信息量。一个随机变量x 电子科技大学硕士学位论文 的微分熵为 h ( x ) = 一i f ( x ) l o g f ( x ) d x ( 2 - 1 6 ) 其中f ( x ) 是x 的概率密度函数。 对于两个连续随机变量z 和y ，它们各自的概率密度分别为f ( x ) 和f ( y ) ，联 合概率密度f ( x ，y ) ，条件概率密度分别为厂( y i z ) 和厂( x b ) ，则连续随机变量z 和y 的联合微分熵为 h ( x ，y ) = 一i j f ( x ，y ) l o g f ( x ，_ y ) 岔c 咖 ( 2 一1 7 ) 连续随机变量x 和y 的条件微分熵为 日( y l x ) = 一少( y 。g f ( y x ) d y h ( x i y ) = 一厂( x l y ) 1 。g f ( x y ) d x 两个连续随机变量的微分熵之间有如下关系式 h ( x ，y ) = 片 ) + h ( y k ) = 日( y ) + 日( x l y ) 日( y l z ) h ( y ) t 1 ( x ，y ) h ( x ) + h ( y ) x c n 维随机向量x = h ，x o ，联合概率密度函数为，皑) h ( x ) = 一i f ( x ) l o g f ( x ) d x 对作可逆的线性变换为 j ，= w x 其中为一可逆矩阵。 由概率论可知，y 的联合概率密度为 1 0 ( 2 一1 8 ) ( 2 1 9 ) ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) ( 2 - 2 3 ) 其联合微分熵为 ( 2 2 4 ) ( 2 2 5 ) 第二章独立分量分析基本原理 由( 2 - 2 4 ) 式，可得 刑，2 晶 h ( r ) = 一p ( ，r ) l 。gf ( y ) d y = 一胂1 0 s 品折 = ( ) + i o g l d e t ( w ) l 上式可看出，可逆线性变换对随机向量联合微分熵的影响是增加了 如果这个变换是正交的，满足d e t ( w ) = 1 ，则有 日( j ，) = ( x ) 这样，多维分布经过坐标系的平移和旋转后，联合微分熵保持不变。 2 4 2 负熵 ( 2 2 6 ) ( 2 2 7 ) 个常数项。 ( 2 2 8 ) 信息论告述我们，所有方差相同的随机变量中，高斯随机变量具有最大熵，这 意味着熵可以作为非高斯性的度量。对微分熵定义稍作修改，定义负熵为 j ( y ) = h ( y g 。) 一h ( y ) ( 2 - 2 9 ) 其中y 。是与y 有相同协方差矩阵的一个高斯随机变量。 负熵总是大于等于零的，当且仅当y 具有高斯分布时负熵为0 ，负熵对可逆线 性变换保持不变。负熵衡量了一个概率密度偏离高斯分布的程度。负熵越大，非 高斯性越强。 2 4 3 互信息 互信息是随机变量间独立性的一个自然度量，可以拙述为由于各随机变量之 间的相互依赖关系带来的信息冗余。互信息总为非负数，当且仅当变量为统计独 立时为0 。对于连续随机变量x 和y ，它们的互信息为 ，c x ，y ，= j 厂c x ，y ，。s 了! ；：；击击c a ( 2 - 3 0 ) 电子科技大学硕士学位论文 对”维随机向量x = 【一，k r ，联合概率密度为厶( z ) ，互信息为 姬) ：i f ( x ) 1 。g ；盟埘 ( 2 删) ，( x ，) 其中f a x , ) 为各分量的边缘概率密度函数。 同时可得 ( x ) = q ( t ) 一日( x ) ( 2 3 2 ) i = 1 其中耳“) 为各分量的边缘熵。 2 5自然梯度 设h ( x ，) 为一对比函数( 目标函数) ，我们采用标准梯度法对其进行优化， 求出关于分离矩阵w 的梯度，从而构造出自适应学习算法为 w ( k + l m + 哿( 2 - 3 3 ) 这是在自然梯度提出前，人们采用的优化对比函数的方法。a m a r i 5 1 论证了分离矩 阵w 具有r i e m a n n i a n 度量结构，在r i e m a r m i a n 度量结构中，( 2 3 3 ) 式中标准梯 度给出的不是最速下降方向，自然梯度给出的才是最速下降方向。将( 2 - 3 3 ) 式 修改为 w ( k + l m + l l g - 1 箐( 2 - 3 4 ) 其中 g - i 望坚：堂蚴：0 h ( x , w ( k ) ) w 7 w( 2 3 5 ) o w ( r )o w ( t ) 因此( 2 - 3 4 ) 式可改写为 ( 女+ 1 ) = ( t ) + 旦署渺7 ( 2 3 6 ) 第二章独立分量分析基本原理 相对于标准梯度鬻 ) ) o h ( 2 - 3 6 ) 式也称为自然梯度算法。 26 信号预处理 ( x ，( 七) ) o w ( k ) 7 矿称为自然梯度，所以上面 实际接收的数据是复杂而繁多的，其中包含有用信息和无用信息，特别是传 感器数量较多时，计算就很复杂，这时对观测数据进行预处理，能在一定条件下 降低数据维数，减少后面处理的计算量。在i c a 处理之前，通常先要对观测数据 进行预处理，预处理主要有信号的中心化和白化。 2 6 1 信号中心化 将观测信号减去其均值e x 1 ，有 2 = x - e x l ( 2 3 7 ) 这样e f j ：0 ，叫做信号x 的中心化。在解混合之后，还可以再将均值向量加回 到解混得到的信号中去。 2 6 2 白化处理 白化过程是对观测信号实施线性变换到v ，即v = m x ，且使得 e v v 7 = i ，其中m 为白化矩阵。对数据白化，经典的主分量分析( p c a ) 方法 就是其中之一。实现p c a 的方法有在线算法和离线算法。下面给出用特征分解实 现的离线算法。 设h 维0 均值的观测信号x = 【x i ，】。，其协方差矩阵为 c ：e 朋7 ( 23 8 ) lj 对协方差矩阵c 进行特征值分解，白化矩阵m 为 m = d2 e 。 1 3 ( 2 3 9 ) 电子科技大学硕士学位论文 其中d = d i a g 2 ( 1 ) ， ( n ) 】，a ( f ) 是协方差矩阵c 第f 个特征值。e = 【c ( 1 ) ，c ( ) 】 c ( f ) 为相应特征值对应的特征向量。 这样，观测信号x 的白化信号为v = m x 。p c a 的作用仅为白化，去掉观测 信号肖之间的相关性。若要达到降维的作用，可取协方差矩阵c 特征值分解中聊个 最大的特征值，m s n ，则d = 西昭阻( 1 ) ，a ( m ) 】，五( f ) 是协方差矩阵c 特征值分 解中排序第i 个最大特征值，e = c ( 1 ) ，c ( m ) 】，c ( f ) 为相应特征值对应的特征向 量。此时白化矩阵m 为 m=d2 e 使得v = 研为各分量彼此不相关的i f 维向量，起到降维作用。 ( 2 - 4 0 ) 首先给出了盲信号分离的瞬时线性混合的模型和卷积混合模型；接下来介绍 了在此模型下独立分量分析的基本原理和基本概念：最后给出了信号的中心化和 白化预处理方法。这些内容将在后续章节中应用。 1 4 第三章瞬日寸线性混合信号i c a 算法 第三章瞬时线性混合信号i c a 算法 本章将研究基于瞬时线性混合的改进h j 算法和快速固定点算法。 3 1 修改h - j ( m h - j ) 算法 h e r a u t 和j u t t e ri i 】在1 9 9 1 年提出了一种基于神经网络的学习算法，即著名 h j 算法。该算法成功地实现了两个语音信号的分离。c i c h o c k ii u 2 1 等人通过改变 网络结构，提出了改进的h j 算法，改善了稳定性和收敛速度。 3 1 1h - d 算法 由前所述，瞬时线性混合情况下，盲信号分离模型为 x ( t 、= a s ( t ) ( 3 - 1 ) 假设m = n 。根据观测信号x ( t ) 来确定分离矩阵，使变换后的输出信号 l ，( f ) = 【y l ( r ) ，y 。( f ) 】。= w x ( t ) ( 3 2 ) 为s ( t 1 的一个估计。分离矩阵是n n 的矩阵。 若厂( y ) 和g ( y ) 是不同的非线性函数，对于输出y ( f ) = m ( f ) ，y 。( f ) 7 ，n _ y ， 之间相互独立，则 e f ( y ) g ”( y ) 一 ，( y ) ) 9 7 ( y ) ) =，(，1)g(m)卜1厂yleg(h ；八，。， ( 3 - 3 ) 式是输出信号相互独立的有用标准，为了改善对某些信号如强弱相差 较大等处理，可附加规定所有e 厂( _ y ，) g ( y ，) ) e 厂( 乃) ) e g ( y 协项相等。 基于以上的瞬时线性混合模型，h e r a u l t 和j u t t e n 提出如图3 一l 的神经网络算 法。 )3 3( llll“ ( k e h厂1 0 e 电子科技大学硕士学位论文 1 l ( ” 图3 - 1 两个源信号的h e r a u l t 和j u t t e n 的神经网络算法 h e r a u l t 和j u t t e n 的神经网络算法可描述为 其中旷： 经过一定数学推导，有 其自适应学习算法为 y ( f ) = x ( t ) 一( ，) y ( ，) y ( ox ( ，) _ d w f ( t ) ：( f ) 厂阶) 矽【y ( ，) d f 。 。 1 6 h ( t ) y 2 ( t ) ( 3 4 ) ( 3 5 ) ( 3 6 ) 第三章瞬时线性混合信号i c a 算法 其中( f ) 0 是学习步长，典型地为指数递减至零，- 厂 y ( f ) 和烈y ( f ) 】是不同的非线 性奇函数 ，【】，( 明= 【，( f ) ，【蜘( ，) 】7 “r ( f ) = 【d m ( ，) 】，g y 。( f ) 矿 ( 3 7 ) ( 3 8 ) 从图3 - 1 可以看出，h - j 算法中，权向量啦，= 0 。这在处理弱信号强噪声情况 时，效果不佳。 3 1 2 改进i q - d 算法 首先，在矩阵中增加吨，0 ，改进的神经网络，见图3 - 2 。 一 、t 一澍 弋 _ j | ：w b o ) h 一 一 。：、 弋 二j 。柏 七 _ j ： 七立一 ：、 ”( f ) 一七 _ 二j ” w， 弋 | w 七二j 图3 - 2 改进的后溃网络结构 1 7 电子科技大学硕士学位论文 因此 网络输出信号仍可表示为 而自适应学习算法 】，( ) = x ( f ) 一旷( f ) y ( r ) ( 3 9 ) y ( f ) = i + 嘲 _ i x ( 玲 ( 3 1 0 ) 鱼刊州删9 7 【加籼 ( 3 _ 和 型d t = ( f ) m ( f ) 州圳 f ， ( 3 _ 1 2 ) 用矩阵形式表示为 一- d w ( t ) ：( ，) 厂【y ( f ) 】g r 【y ( f ) 】一刀 ( 3 一1 3 ) al。 对上式两边取数学期望，若e f y ( r ) 】g y ( f ) 卜， 趋进于零，则等式右边趋 进于零。e 【】，( r ) 】9 7 y ( f ) 一 趋迸于零，则意味着e 厂( m ) g ( _ y ，) ) = e + 厂( 卫) ) e ，( y ，) ) = o ，e 厂( m ) g ( _ y ) ) = l ，混合信号得以分离。实际上，对于 随机信号，e f ( y ，) g ( y m 的值可能是时变的。增加啦，反溃单源，可以改善网络 性能，尤其在信号强弱相差大或混合矩阵a 近似奇异时。 但是上面算法每次迭代需计算解混矩阵的逆，仍需大的计算量芹hu , j - i l l 。为了 育眠汶个缺点，可考虑如图3 - 3 网络结构。 1 8 第三章瞬时线性混合信号i c a 算法 h l p 网络中 图3 - 3等同的前溃网络结构 矿( ，) = + 驴( f ) 一或旷( ，) = 矿一( ，) 一 ( 3 1 4 ) 因此，图3 - 3 等同于图3 - 2 。 因此 对( 3 1 4 ) 式求导，有 d 出 i ) = - w a w r y 一1 ( 3 - 1 5 ) d t 一d d w fw - 1 = , u ( w 川酬一】( 3 - l 6 ) 1 9 电子科技大学硕士学位论文 或 警叫俐小m 酬卅即) ( 3 - 1 7 ) 选取迭代初始值w ( o ) = ，利用上述分析，就得到了一个新的前溃网络学习算法。 从实验可知，这一算法与( 31 3 ) 式有同样的收敛性，但( 3 一1 7 ) 式仍较复杂。 分析( 3 一1 7 ) 式，可以进一步的改进。研究表明，( 3 1 7 ) 式右边g o ( t ) 项对收 敛平衡点没有影响，只影响收敛的轨迹。而一( f ) ，【y ( ，) 】g 1 ，( f ) 卜，】这部分对收 敛起到关键作用，只要其均值趋于零，则算法收敛。将( 3 一1 7 ) 式修改为 百d w ( t ) = 刖 ，一他( 叫9 7 y ( f ) 】( 3 - 1 8 ) 这样，该算法在较少计算量和网络复杂度情况下，收敛性较好，且能分离某些病 态情况【1 2 1 。 对( 3 一1 7 ) 式另一个有用的修改是，假设( r ) 不是常量，而是一个学习矩阵， 且定义为 ( ，) = p o ( t ) w “( f ) ( 3 一1 9 ) 其中风( f ) 是常量。 用m ( t ) w “( f ) 代替( 3 1 7 ) 式的( ，) ，有 警讪( f ) 【巾( f ) 】g r 【酬- q w ( o ( 3 - 2 0 ) ( 3 2 0 ) 式的算法相对于( 3 1 7 ) 式、( 3 1 8 ) 式算法，具有好的收敛性，且尤其 适合某些特别病态问题。 此外，对( 3 一1 7 ) 式还可进一步修改，以适当的常量或时变矩阵，替换其中一 个w ( t ) 项或同时替换，可得 望叫( f ) 删【y ( f ) m y ( ) 】一， w a 。 ( 3 _ 2 1 ) 其中彬( ，) 和( r ) 可以是适当选择的矩阵，而不必一定等于w ( t ) 。 3 1 3 改进h j 算法分析 2 0 第三章瞬时线性混合信号i c a 算法 由对角化协方差矩阵推出了( 3 一1 8 ) 和( 3 2 0 ) 式算法。( 3 1 8 ) 和( 3 - 2 0 ) 式算法 还可由a m a r ii 1 3 1 提出最小化kl 散度或b e l l 和s e j n o w s k li 【3 】提出的最大化输出 熵准则严格推出。对0 均值信号用标准梯度最小化k l 散度，可得 百d w ( t ) 叫( f ) 笔笋刊叭沪巾( f ) m 纠( 3 - 2 2 ) 其中l ，( 缈) 是合适的对比函数。 若用a m a r ii 3 1 提出自然梯度或c a r d o s o 4 1 提出的相对梯度代替上面的标准梯 度，可得 掣= 删笋咖脚舭腆) ( 3 - 2 3 ) 可以看出( 3 - 2 3 ) 式与( 32 0 ) 相同。 ( 3 - 1 8 ) 式用自然梯度，可导出 百a w ( t ) 叫( f ) 笋旷( f ) 训卜m m ) ( 3 - 2 4 ) 进一步分析( 3 - 2 0 ) 和( 3 - 2 3 ) 式，在它们等式两