（电工理论与新技术专业论文）盲源分离算法及其应用研究.pdf

西北工业大学硕士学位论文a b s t r a c t a b s t r a c t b l i n ds o u r c es e p a r a t i o n ( b s s ) i san e wr e s e a r c hf i e l do f t h es i g n a lp r o c e s s i n ga n d n e u r a ln e 细o r k b e c a u s ei tc a nr e c o v e rt h es o u r c es i g n a l sf r o mt h eo b s e r v e ds i g n a l s w i t h o u ta n yp r i o rk n o w l e d g eo f t h em i x i n gs y s t e ma n ds o u r c es i g n a l s s oi th a sv e r y i m p o r t a n tt h e o r ys i g n i f i c a n c ea n du t i l i t yv a l u ei na u d i os i g n a lp r o c e s s i n g ，w i r e l e s s s j 班1 a 1p r o c e s s i n g , b i o m e d i c a ls i g n a lp r o c e s s i n g ，e a r t h q u a k es i g n a lp r o c e s s i n g , i m a g e e n h a n c e m e n ta n ds oo n i nt h i sd i s s e r t a t i o n ，w ei n v e s t i g a t et h el i n e a ri n s t a n t a n e o u sm i x t u r em o d e la n dg i v e t w on g va l g o r i t h m s ，a n dd i s c u s sb s sa p p l yi nr e a lw o r l da u d i os e p a r a t i o na a db l i n d m u l t i u s e rd e t e c t i o n r e s e a r c hw o r k si nt h i sd i s s e r t a t i o na r ea sf o l l o w s ： 1 a n a l y z i n gi n f o r m a t i o nm a x i m i z a t i o na l g o r i t h ma n d e x t e n d e di n f o r m a t i o n m a x i m i s a d o na l g o r i t h m ，a i ma tp r o b l e mo f l o wc o n v e r g e n tr a t eo f e x t e n d e di n f o r m a t i o n m a x i m i s a t i o na l g o r i t h m ，p m p o s e da ni m p r o v e de x t e n d e di n f o r m a t i o nm a x i m i s a t i o n a l g o r i t h m 2 a i ma tt h ep r o b l e mt h a tt h ec h o i c eo f n o n l i n e a rf u n c t i o na n ds t e pi n f l u e n c e c o n v e r g e n tr a t ea n ds t a b i l i t yo f m o s to f b s sa l g o r i t h m s p r o p o s e da na l g o r i t h mo f b l i n d s o u r c es e p a r a t i o nb a s e do nm a x i m u ms i g n a lt on o i s er a t i o t h em e r i to f t h i sn e w a l g o r i t h mi sv e r yl o wc o m p u t a t i o n a lc o m p l e x i t ya n d w i t h o u ta n yi t e r a t i v e 3 i n v e s t i g a t i o nc h a r a c t e r i s t i co f r e a lw o r l da u d i o ，c o m b i n es t a t i o n a r yf o rs h o r t t i m e s c a l ea n dn o n s t a t i o n a r yf o rl o n g e rt i m e s c a l e s ，p r o p o s e dat i m ef r e q u e n c yd o m a i n b l i n ds o u r c es e p a r a t i o na l g o r i t h m 4 i n t r o d u c es o m ea l g o r i t h m sf o rb l i n dm u l t i u s e ra n dg i v i n gr e s u l to f c o m p u t e r s i m u l a t i o n k e y w o r d s ：b l i n ds o u r c es e p a r a t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i n f o r m a t i o n m a x i m i s a 垃o n ，m a x i m u ms i g n a lt on o i s er a t i o ，s h o r tt i m ef o u r i e rt r a n s f o r m ， b l i n dm u l t i n s e rd e t e c t i o n 2 西北工业大学硕士学位论文第一章绪论 第一章绪论 1 1 盲源分离研究背景与意义 在信号处理中经常遇到这样的问题，如何从一组未知随机信号经过一混合系 统得到的观测信号中恢复出这些原始信号，如果恢复过程中没有混合系统和原始 信号的先验知识，就称该过程为“盲源分离”。盲源分离是信号处理领域中的一 个重要研究方向，在近些年来得到了飞速的发展，已经成为了神经网络和信号处 理的研究熟点。 在很多的实际应用场合，通常会碰到一些相似的问题。有多个独立信号源， 通过传输网络达到接接收端，源信号与传输网络对于我们来说都是未知的，然而 却要从接收到的混合信号中提取出一个或是多个源信号。 在语音信号处理领域，由多个说话人构成的声音环境下( 所谓的鸡尾酒会问 题) ，从多个话筒接收到声音信号中分离出某个人或多个人的说话声音。 在无源声纳系统、雷达系统中，通常也是利用传感器阵列接收多个信号源发 出的信号，这些源信号可能是完全未知的，而传输信道的特性同样也是未知的。 系统需要仅从这些混合信号中提取出独立源信号的信息。 在生物医学信号处理领域，利用体表电极探测肌点、心电及脑电信号具有非 常重要的意义。这些生物信号与体表电极间的传输介质通常因人而异。通常的胎 ) b d 电提取，及脑电信号分析等问题，都是盲源分离问题的应用实例。 在声控系统中，通常面临着嘈杂的环境中辨识及跟踪某个音源信号的问题。 而实际中，几乎无法预先知道源信号与接收器之间的相对位置。这也是一个典型 的盲源分离问题。 在图像增强和恢复中，需要从已经产生变形的结果中恢复出原有的图像。而 原始图像及变形的方式通常是不能够预先知道的。同时，变形的形式可能是多方 面的。 由上面的分析可知，盲源分离在无线通信、语音识别、阵列信号处理、生物 医学信号处理及图像增强等方面都有着重要的应用前景。 西北工业大学硕士学位论文 第一章绪论 1 2 盲源分离的发展现状 1 9 8 6 年，法国学者h e r a u l tj 和j u t t e nc 在美国举行的神经网络计算会议上， 提出了递归神经网络模型和基于h e b b 学习律的学习算法l ”，声称可以富分离独 立源信号的混合，并展示了两信源的分离。从此，对于盲源分离问题的研究受到 了国内外广泛的重视，现在的研究也越来越广泛和深入，理论和实际应用都得到 了很大的发展。对于这个领域，每年都有相当多数量的很有价值的文章发表。 国际上，对于盲源分离问题研究的主要机构和学者有：美国的s a l ki n s t i t u e s 神经计算实验室( h t t p ：t w w w e n l s a l k e d u ) 的学者s e j n o w s k i 和b e l l ，日本的学者 a m a r i 和c i c h o w s k i ，芬兰的o j a ，法国的c o m o n 和c a r d o s o 等。在他们的个人 主页1 2 7 1 上有他们发表的关于盲分离以及相关的文章和m a t l a b 代码以及所使 用的信号。最近几年的国际声学、语音和信号处理大会上，每次都有关于盲源分 离的专题，而且信号处理界的权威刊物i e e et a n s a c f i o no ns i g n a lp r o c e s s i n g 以及 s i g n a lp r o c e s s i n g 中，盲源分离的文章也频繁出现。从1 9 9 9 年开始，国际上已经 成功地举办了五次独立分量分析( i c a ) 和盲源分离( b s s ) 国际会议，1 9 9 9 年 1 月1 1 1 5 日在法国的a u s s o i s ，2 0 0 0 年6 月1 9 2 2 日在芬兰的首都赫尔辛基 ( h e l s i n k i ) ，2 0 0 1 年1 2 月9 1 2 日在美国的圣地亚哥。2 0 0 3 年4 月1 4 日在 日本的奈良( n a r a ) 。2 0 0 4 年1 2 月2 2 2 4 在西班牙的g r a n a d a 。2 0 0 6 年3 月5 8 日将在美国的南卡罗来纳洲查尔斯顿举行第六届独立分量分析和盲源分离国际 会议，相关信息可在网站【刚查询。可见对于这个领域的研究，越来越受到人们的 重视。 盲分离问题发展至今，基本的用于解决线性瞬时混合问题的算法发展较为迅 速，些成熟的b s s 算法具有良好的性能，已经被应用于信号处理领域、语音 识别系统、生物医学信号处理等很多领域，同时在通信和地震信号处理、金融数 据分析等方面也都具有广泛的应用前景。盲源分离问题的相关书籍 9 - - t o l 也陆续出 版。近几年，非线性盲分离问题同样得到了极大的发展。由于解决非线性问题具 有一些结构和先验信息的限制，因此对于非线性育分离问题针对不同的模型具有 不同的算法，其中后非线性( p o s tn o n - l i n e a rp n l ) 混合模型的算法发展最为全 面和迅速，j u t t e nc 、z i e h ea 等人提出了很多算法d 1 1 8 解决p n l 模型的盲分离 问题，并且p n l 模型算法在传感器阵列处理、卫星和微波通信以及很多生物系 统中具有实际的应用价值，但是这仍然属于特定的非线性混合的情况。在通常的 非线性模型中b a y e s i a n 方法是当前的研究热点之一。b a y e s i a n 方法最早用于线性 2 两北工业人学硕士学位论文 第一章绪论 b s s 问题中。而自组织映射方法则通过提取非线性特性直接分离混合信号。另外 基于核的非线性b s s 算法也是新近的一个发展方向之一。虽然非线性盲分离方 法已经得到长足的发展，但是仍然具有模型结构和先验知识是否充足等限制而使 其难于解决，因此局部线性b s s 作为线性b s s 和非线性b s s 的一个折中正受到 越来越多的关注。随着盲分离的各种算法的研究，其应用范围也越来越广，可用 于无损图像编码、自动控制工程、数据挖掘以及文件检索等。 国内对于盲源分离问题的研究相对较晚，但在短短的时间里，对其理论和应 用研究也取得了很大的进展。清华大学的张贤达在其1 9 9 6 年出版的时间序列 分析一高阶统计量方法一书中，介绍了有关盲分离的理论基础，并且给出了相 关的算法，其后关于盲分离的研究才逐渐多起来。张贤达和保铮综述了盲源分离 的理论、方法以及应用，并作了有关的展望f 1 9 。参考文献【2 0 】研究了盲源分离在 语音分离与识别领域的应用，并分析了频域盲分离的解排列何尺度模糊问题，新 的算法对于解决实际环境中的语音盲分离闻题，具有良好的分离性能，参考文献 【2 1 】提出了基于最小互信息的分离准则，应用随机梯度算法确定分离滤波器的系 数，给出了卷积混合信号的盲分离算法，理论分析和实验仿真证明了算法有效性。 在无线通信领域，参考文献【2 2 】提出的基于高阶谱的信号盲分离，利用三阶和四 阶累积量研究了瞬时混合信号的盲分离问题。参考文献( 2 3 】利用反馈神经网络 h e b b i a n 学习算法，实现近场情况下一般信号的盲分离问题，同时对算法的渐近 收敛行以及稳定性进行了讨论。参考文献【2 4 】从信息理论出发得基于递归神经网 络的盲分离，对传输中的信息损失引入反h e b b 项，该算法在保证最大化信息传 输的同时也最小化输出互信息，从而使网络的输出相互独立。考虑到实际应用， 参考文献【2 s 】提出一种新的b s s 算法能够有效地分离非平稳信号。在参考文献【2 6 】 将b s s 算法用于盲水印提取，获得较好的图像分离效果。参考文献【2 7 将复数盲 分离算法用于水声信号的分离得到了理想的效果。文献【2 8 】提出一种新的实时线 性混合信号盲分离算法一基于旋转变换的最小互信息算法减少了分离时间。参考 文献【2 9 提出一种用于独立分量分析的迭代算法并成功用在脑电信号的分离之 中。 2 0 0 5 年3 月2 0 日，成都电子科技大学在以博士生张智林为领导的盲分离研 究小组成立，这是中国第一个盲源分离的研究小组，也意味着中国的盲源分离的 研究向前迈进了一大步。2 0 0 5 年1 1 月2 6 日，在研学论坛( h t t p ：b b s m a t w a v c o m ) 也成立了盲信号处理专版，大大地方便了中国的盲源分离研究的学者。 西北工业大学硕士学位论文 第章绪论 = 目- i i i i _ _ 目 1 3 盲源分离的应用 近年来随着数字信号处理理论和技术的发展及相关学科的不断深入，盲源 分离逐渐成为当今信息处理领域中最热门的课题之一，并且已经在语音信号处 理、生物医学信号处理、地震勘探、移动通信及阵列信号处理等领域中显示出诱 人的应用前景。下面介绍几种盲处理方法的主要应用。 1 语音信号处理 鸡尾酒会问题是盲源分离的最经典的应用。在这个应用中，观测信号是由几 个甚至几十个语音信号混合在一起的，从这些观测信号中得到感兴趣的一个语音 信号，而将其他语音信号看作噪声。为了分离出感兴趣的语音信号，可以利用多 个麦克风来收集更多的数据，用于语音信号的盲处理。 1 9 9 5 年b e l l 和s e j n o s k i 提出了最大熵法【3 0 】，并且给出了语音信号分离的实 验，证实了该方法的可行性和有效性。在一个实际的语音识别系统中，观察到的 信号是源语音信号与传感器以及周围环境共同作用产生的冲击响应的卷积结果。 因此，简单的用于瞬时混合模型的盲分离算法无法分离实际的语音信号。l e e 和 b e l l 于1 9 9 7 年将基于自然梯度的信息最大传输盲源分离算法进行盲反卷积f 3 1 1 ， 并用于实际环境的语音信号分离，实验证实分离后，可以提高语音的识别率。 2 生物医学信号处理 由于生理信号常常是由若干独立成分的加权( 例如，诱发脑电总是被自发脑 电所淹没。且常常伴随有心电、眼动、头皮肌电等干扰) ，用独立分量分析技术 来分解，所得到的结果更具有生理意义，并有利于去除干扰等。目前已经有一些 学者将盲分离技术成功地应用于脑电图( e e g ) 等信号的数据处理 3 2 3 5 1 。再如对 孕妇心电图( e c g ) 信号的处理，由于从孕妇身上测得的e c g 信号实际上包含了 孕妇自己和腹中婴儿各自的e c g 信号( 是两者的混合信号) ，且传输介质参数未 知，因此这同样又是一个盲源分离的典型实例。通过使用盲源分离方法，可将孕 妇和婴儿各自的e c o 信号分离开来，从而为诊断提供准确数据。 3 阵列信号处理领域 在阵列信号处理中，传感器从各个信号源处接收到信号，而源信号完全未知。 例如在海洋声纳探测中就存在这种情况，而且信号的传输介质( 海洋) 同样也是 未知的，并且是时变的。 在军事领域，雷达的作用越来越重要。但是随着现代电子侦察技术的发展， 传统的主动雷达为了探测目标必须发出电波信号，很容易因暴露自己而遭到攻 4 西北1 业人学硕士学位论文 第一章绪论 击，所以使用受到很大限制。相反，近年来发展起来的被动“雷达”( 暂且称其 为雷达) 由于只接收信号而不发出任何信号就可以探测到目标，因而受到各国的 广泛重视。实际上，这种被动雷达工作的基本原理就是盲源分离技术。我国这几 年来对隐形飞机探测研究所取得的成就也正是将盲源分离领域的最新研究成果 应用于上述这类被动雷达的一个具体生动的例子。 4 图象处理领域 盲源分离同样可以用于对二维数据，如图象的处理。在图象恢复和重构问题 中，主要任务就是从被污染的图象中恢复出图象原本的面目。有各种可能造成图 象的污染，如相机抖动、镜头变形、传输噪声迭加等等，这些因素都是未知的。 到目前为止，盲源分离方法已在图象处理领域取得了很大的成功。 盲源分离在其它诸如地球物理信号处理、回波抵消、数据挖掘、机械故障检 测等方面的应用也方兴未艾。还有学者成功地将盲分离方法应用于脸部特征识别 和嘴唇运动的阅读等任务中。实际上，盲源分离技术的应用远远不局限于上述几 个方面，而且甚至已经超越了信号处理的范畴，例如财政金融领域中的预测、半 导体生产过程中某些关键过程参数状态的确定等等。 因此，可以得出结论：盲源分离方法的确具有很高的实用性和研究价值。 1 4 本文主要研究内容及章节安排 本文的研究了瞬时线性混合情形下的盲分离算法，提出了改进的超高斯和亚 高斯分布的混合信号的盲分离和基于最大信噪比的盲分离算法。在实际环境的语 音混合的情况下，分析了语音混合特性以及语音本身的一些特性，结合语音信号 短时平稳和长时非平稳的特征，导出了一种时频域的实际语音分离算法，实验证 明了算法的能有效地分离房间环境中采集的语音信号。在线性同步c d m a 系统中， 研究了现有的部分线性同步盲多用户检测算法，并对它们进行了计算机模拟仿 真。 全文共分七章，具体安排和组织如下： 第一章：介绍了盲分离的研究意义和发展现状以及应用。 第二章：详细介绍了盲分离的理论基础知识一盲分离问题的混合模型以及基 本的假设条件。给出了常见的盲源分离算法的目标函数、优化方法。 第三章：研究了信息最大化算法以及扩展信息最大化算法，针对扩展信息最 大化收敛慢的问题，提出了改进的信息最大化算法。 e 两北 业大学硕士学位论文 第一章绪论 第四章：在广义特征值分解的基础上，提出了一种基于最大信噪比的盲源分 离算法，给出了该算法的推导以及可分离性的证明。 第血章：研究了实际环境中语音信号混合过程以及语音信号的特性，将一种 时频域盲分离算法用于了实际语音信号的分离，给出了它的实现算法和计算机模 拟仿真。 第六章：分析了多用户检测在c d 姒系统中的作用，研究了部分线性盲多用户 检测算法，并对它们进行了计算机模拟。 第七章：对本论文的工作进行了总结，同时指出了盲源分离及其应用的研究 和发展方向。 6 西北工业大学硕士学位论文第二章盲源分离基础 第二章盲源分离基础 本章介绍了盲源分离的基本理论知识盲源分离混合模型、基本假设、分 离模型以及常见的目标函数和典型的学习算法。 2 1 盲源分离的混合模型 在盲源分离问题中，源信号的混合可分为线性瞬时混合、非线性混合以及卷 积混合等方式。所谓卷积棍合是指考虑时间的延迟，观察到的信号应该是源信号 和通道的卷积，对这样的卷积混合信号进行盲分离通常称为盲反卷积或盲解卷 ( b 1 i n dd e c o n v o l u t i o n - b d ) 。非线性混合盲分离问题相对于线性混合而言是比 较复杂的，没有一种普遍的方法能解决这个问题，不同的具体问题其非线性混合 模型是不同的，因而无法用一种数学模型来描述。以下将介绍线性瞬时混合和卷 积混合情况下的混合模型。 ( 1 ) 线性瞬时混合模型 由于有噪声存在盲分离实现起来比较困难，所以一般情况下不考虑噪声的影 响或者把噪声当作一个源信号处理。假设一个来自信号源的统计独立信号5 。o ) ( i = 1 阿) 经线性瞬时混合，得到，价混合信号( 或称观测信号) ： o ) = a o s j ( t ) ( 2 1 1 ) j - i 其中a ，为混合系数。式( 2 1 1 ) 可用矢量表示为 x ( t ) = a s ( t ) ( 2 1 2 ) 式中：s ( f ) = h ( f ) ，是( f ) ，( f ) r 为n l 阶未知源信号矢量； x ( f ) = 【_ ( f ) ，x 2 ( t ) ，( f ) r 为m x l 阶已知混合信号矢量；a 是聊”阶未知混合矩 阵。 ( 2 ) 卷积混合模型 卷积混合模型是和实际环境更为接近的混合模型。不考虑环境噪声的影响， 7 西北工业大学硕士学位论文 第二章盲源分离基础 卷积混合模型可以表示为： l - i 葺( r ) = a 口( k ) s j ( t 一后)( 2 1 - 3 ) j = lk = o 这里的表示第f 个源信号在第，个通道中的冲击响应，对于每一个通道都可以 用一个l 阶的f i r 滤波器来表示。因此，卷积混合系统可以采用l a m b e r t 提出的矩 阵代数技术中的f i r 矩阵来表示： 工= 一+ j ( 2 1 4 ) 爿是一f i r 矩阵，其形式为： j 靠l = l i ；l ( 2 1 5 ) j 靠 其中口。是l 维的列向量，表示一个l 阶的f i r 滤波器。 2 2 盲源分离的假设条件 为了使盲源分离问题可解，必须对源信号和混合矩阵作某些假设。这些基本 的假设条件包括：源信号向量s 的各分量相互独立；最多只有一个源信号分 量服从高斯分布；混合矩阵列满秩，m 刀。 记第i 个源信号分量s ，的概率密度函数为p ( j 。) ，则独立性假设意味着源信 号向量s 的联合概率密度函数可表示成各分量的概率密度函数的乘积： 上 烈s ) = i l p ( 墨) ( 2 2 1 ) 名i 独立性假设是盲源分离的立足点，在很多实际应用中，这也是一条合理的假 设。盲源分离的基本假设一方面是因为多个高斯信号的线性混合仍然服从正态 分布，从而是不可惟一再分的：另一方面是因为盲源分离算法的局部稳定性要求 所致。在实际的自然环境中，真正的纯高斯信号很少，所以假设是合理的也是 可以满足的。为确保所有的源信号分量都是可以分离或提取的，盲源分离的约定 混合矩阵4 列满秩。换句话说，若混合矩阵一是列亏损的，则只有部分源信号分 量能够被提取。不失一般性，通常假定各个源信号分量具有单位功率，从而把 源信号幅值的动态变化归并到混合矩阵4 的相应列的元素中。盲源分离得到的分 离信号具有排列和幅值的不确定性。为描述上述两种不确定性，c a r d o s o 等人将 西北工业大学硕士学位论文 第二章盲源分离基础 两个矩阵的“本质相等”概念引入到盲源分离中。 定义2 1 若存在一个矩阵g 使得m = g n ，其中g 是一个广义交换矩阵，其任意 行任意列有且仅有一个非零元素，且非零元素的模等于l ，则矩阵膳和称为本 质相等。 借助于定义2 1 ，盲源分离问题可叙述为：根据观测信号向量x 以及上述假设 一辨识混合矩阵a 的本质相等矩阵与或恢复源信号向量s 。 2 3 盲源分离的分离模型 为实现盲源分离，通常用 m 维的矩阵作用于观测信号向量z ( f ) ，得到 系统输出向量： j ( f ) = w x ( t )( 2 3 1 ) 式中y ( t ) 是源信号向量j ( ，) 的某个估计，是分离矩阵。 由于存在两种不确定性，实现盲源分离的最优分离矩阵应满足： w o a = d e ( 2 _ 3 2 ) 式中，d 表示任意的非奇异对角矩阵，_ p 表示任意的交换矩阵。换句话说，合成 的全局矩阵g = w a 是一个广义交换矩阵。 分离矩阵矽的求解算法多种多样，既有批处理算法也有自适应在线算法。算 法的形式虽多，推导思路却大同小异。首先选择恰当的目标函数( c o n t r a s t f u n c t i o n ) ，然后采用某种优化算法来搜索目标函数的极值点，即构造过程可以统 一表示为： 盲源分离算法= 目标函数+ 优化算法( 2 3 3 ) 因此，盲源分离算法的性能取决于两个方面。其中，目标函数决定算法的统 计性能，包括一致性、渐近方差和稳健性等；优化算法决定b s s 的算法性能，包 括收敛速度、运算量、需要的内存量和数值稳定性等。 2 4 盲源分离的常用目标函数 由中心极限定理可知，一随机量如由许多相互独立的随机量之和组成，只要 各独立的随机量具有有限的均值和方差，则不论各独立随机量为何种分布，则该 9 西北工业大学硕士学位论文 第二章盲源分离基础 随机量必接近高斯分布。因此我们可以在分离过程中，通过对分离结果非高斯性 的度量来监测分离结果间的相互独立性。当非高斯性度量达到最大时，则表明已 完成对各独立分量的分离。下面列出部分常用的目标函数。为简单起见，省略时 间下标t 。 1 极大似然目标函数汹”1 j ( y ，) = 1 1 1 l d e t ( ) j + e l o g p i ( y i ， ( 2 4 1 ) 其中a ( ) 表示第f 个源信号的概率密度函数。 2 最小互信息日标函数随3 钔 j ( y ，) = l i l i d e t ( 矿) | + 日o ) 一何( m ) ( 2 4 2 ) 业已证明，若非线性函数取作源信号的概率密度函数，即岛( ) = p f ( ) ， i = 1 ，抑，贝口上述两种目标函数是等价的。 3 恒模目标函数呻1 利用通信系统中的b p s k 和q p s k 调制信号的恒模特性，得到盲源分离可使用下 面的目标函数t m - _ 1 。e m2 _ 1 1 2 一嘻，妻e t 蚓2 亿。 式中p 是一个正的实常数，以调整第一项恒模代价函数与第二项去相关代价函数 之间的比重。上标 表示复共扼运算，而e ( ) 表示对变量求数学期望。 4 高阶累积量目标函数l “”： j ( y ，) = 宝【c u r n 4 ( 咒) 】2 ( 2 4 4 ) 1 = 0 其中c ”( 咒) 表示咒的四阶累积量，m o r e a u 等人m 1 已经证明，上式中的平方运算 可以简化用绝对值运算代替，从而得到高阶累积量目标函数2 。 5 高阶累积量目标函数2 嘲 j ( y ，) = i f 慨( 咒) ( 2 4 5 ) f 0 如果所有源信号的四阶累积量具有相同的符号占= s g n c u m a s ，) 】，则对比函数 ( 2 4 5 ) 可进一步简化，得高阶矩目标函数。 6 高阶矩目标函数矾” 1 0 西北工业大学硕士学位论文 第二章盲源分离基础 j ( y ，) = s 蚓 ( 2 4 6 ) j = o 累积量匹配目标函数： j ( y ，) = 脚m ( y i ) - c u m ( s , ) 2 ( 2 4 7 ) 忙o 7 负熵目标函数“” 把向量y 的微分熵与高斯分布熵之间的偏差称之为负熵： ，( j ，w ) = 日( j l g h 。) 一h ( y ) ( 2 , 4 8 ) 式中y 。是一与y 具有相同方差的高斯分布的随机量，h ( ) 为随机变量的信息 熵。 在单位方差( 或给定方差) 的条件下，高斯熵最大，因此，负熵是非负值，当 且仅当y 的分布也为高斯分布时负熵为零。如果所估计的向量y 的各个分量是原 始信号的的估计的话，那么式( 2 4 9 ) 应该具有最大值，因为各个原始分量具有 最大的非高斯性，这就是最大负熵估计原理。 2 5 盲源分离的优化算法 目标函数确定之后，就需要使用一定的算法将其优化，以实现相互独立的要 求。优化算法大致可以分为两类：批处理算法和自适应处理算法。 1 批处理算法 批处理算法中较为成熟的方法有两种：成对旋转法和g i v e n s 旋转。成对旋转 法是较早提出的一种方法，特点在于优化过程分为两个步骤：首先对混合信号进 行预处理，使得到的各个分量不相关且方差为1 ，然后再寻找合适的正交归一化 矩阵，使得各个分量独立。g i v e n s 旋转是根据目标函数将求得z 中各个分量两两 成对反复旋转直到收敛，这种方法的计算量比较大。1 9 9 9 年，c a r d o s o 提出了几 种改进方法，包括m a x k u r t 法、j a d e 法、s h i b b s 法等。 2 自适应算法 自适应算法一般是与神经网络相结合。自1 9 9 4 年c i c h o c k i 提出经验性的调节 算法后，研究学者们在理论上沿着这个方向进行了深入探索。a m a r i 等引入了自 然梯度方法，极大地提高了训练效率，显著地改善了算法的收敛性能。下面就对 1 1 西北工业大学硕士学位论文 第二章盲源分离基础 几种梯度算法做一简单介绍。 一般的按照最陡下降的随机梯度算法中系数调节公式的形式为： a w ( k ) = 以【矿。( k ) 一f ( y k ) x ；( 2 5 1 ) 这里f ( y k ) 在各种算法中的形式不同。观察上式可以发现存在对矩阵求逆再 转置的运算，这样就增加了计算量。而自然梯度法则将原先的最陡梯度做一变换， 得到下面的形式： z x w ( k ) = 雎【形。( 七) 一厂( 以) 】7 ( i ) 矽( _ i ) = 以 j r f o 咯) 以】( 七)( 2 5 。2 ) 这样就避免了矩阵的求逆，使得计算量明显降低，加快了收敛速度。相对于一般 的梯度o h ( z ，w ) o w ，梯度o h ( z ，w ) l a w w 7 w 称为自然梯度，这种算法就被称 为自然梯度算法。这种学习规则不仅容易计算，而且很有效，a m a r i 和c i c h o c k i 证实了这种学习规则的有效性。由于自然梯度具有如此有效的性能，因此受到广 泛重视和应用。 2 6 常见盲源分离自适应迭代算法 1 随机梯度算法 用瞬时或随机梯度代替式( 2 5 1 ) 的实际梯度，即得到由b e l l 和s e j n o e s k i 啪1 提出的随机梯度算法为： w ( t + 1 ) = 降7 ( f ) + 0 ) ( ，r 一7 ( ，) 一厂( j ，o ) ) x r ( f ) )( 2 6 1 ) 式中( f ) 为学习速率或学习步长。这一算法的主要缺点是收敛速度慢，同时由于 涉及分离矩阵的求逆，一旦( r ) 在更新过程中条件数变差，算法就可能发 散。 2 自然梯度算法 当式( 2 6 1 ) 中的随机梯度皇铬掣用自然梯度垦2 w 7 代替后，得 到自然梯度算法： w ( t + 1 ) = 阡7 ( f ) + j u ( t ) ( i r 一，( j ，( r ) ) y 1 ( f ” y o )( 2 6 2 ) 自然梯度算法避免了矩阵求逆，计算复杂度降低且收敛速度快。非线性函数f ( y ) 一般取为： 碴北1 二业大学硕士学位论文 第二章盲源分离基础 z ( y 。) = 口，( ，) + 属( 削，) y ? ( 2 6 3 ) 上式中= e 芘，及= e 以。，一3 分别表示只的偏度和峰度，而 呸( ，七三) = 一吉+ 云联 屈( ，) = 一吉e + 吾( 聪) 2 + 言( 础) 2 偏度和峰度用下面的公式更新： 瞄肌j = 聪一r ( ，i 一彬t ) ( 2 6 4 ) ( 2 6 5 ) ( 2 6 6 ) 聪h l = k 厂u t ( k 4 ，t 一兄一3 ) ( 2 6 7 ) 3 、基于独立性的等变自适应分离( e q u i v a d a n t a d a p t i v es e p a r a t i o nv i a i n d e p e n d e n c ee s i ) 算法 e a s i 算法是一种借助独立性的等变化自适应分离算法： ，0 + 1 ) = o ) + o ) ( j r 一厂( j ，( ) ) j ，7 0 ) + ，( f ) 厂7 ( j ，o ) ) 一j ，( r ) j ，7 ( r ) ) ，y ( f ) ( 2 6 8 ) 相对于一般的随机梯度垦3 警堕，c a r d o s 。和l a h e l d 将梯度重坚；岳2 7 称为相 对梯度。 4 、迭代求逆算法 与自然梯度算法和e a s i 算法不同，若取两个非线性变换函数 厂( j ，) = f l ( y 1 ) ，工( 此) 】7 和g ( j ) = 【岛( m ) ，g 。( n ) r ，则有迭代求逆算法： w ( t + 1 ) = w ( t ) + o ) 【，一，( y ( f ) ) g ( j ，o ) ) 7 】h 7 ( r ) ( 2 6 9 ) 式中，非线性变换函数f ( y , ) n l 毋( 咒) 根据源信号的概率密度函数选取。 5 、固定点算法 h y v a r i n e n t ”3 的固定点算法是一种快速和数值稳定的盲源分离算法。这种算法 的目标函数函数定义为： j ( w ) = 【e g ( w 7 x ) - e g ( v ) ) 2 ( 2 6 1 0 ) 式中g 是一任意非二次型函数，v 是一零均值和单位方差的高斯随机变量，l 是一权向量，满足e ( ( ，7 x ) 2 = 1 。基于“逐个分离”的原则，h 个源信号的独立分 量分析变成了，1 个优化问题的求解： dq l l 缈 扫。b n 蟊 曜 = 峨 西北工业大学硕士学位论文第二章百源分离基础 约束条件为： 以( 醒j ) ( 一曲 = 颤 ( 2 6 1 2 ) 上述优化问题的解可以使用下面的固定点算法获得： w p + l - w 川一，p + 1 tc w j w j ( 2 6 1 3 ) 1 = 1 w p + 1 = l ，川吆i c “ ( 2 6 1 4 ) 式中c = e x x 7 是观测数据的协方差矩阵。以上两式需要迭代计算，直到w p + ，收 敛。注意，固定点算法需要先对观测数据j 进行白化处理。 下面是固定点算法中采用的对比函数g ( u ) 的三种选择，g ( u ) 为其一阶导数： g 1 ( “) ：上l 。g c 。s h ( a l u ) ( 2 6 1 5 ) a i 蜀( “) = m n h ( a , u ) ( 2 6 1 6 ) g 2 ( “) = 一l 唧( 一a 2 u 2 2 ) ( 2 6 1 7 ) 9 2 ( ) = u e x p ( 一q 2 ) g 3 ( “) = i i 4 岛 ) = 矿 其中g 1 适合于亚高斯和超高斯信号并存的一般情况 况；q 适合分离亚高斯信号。 4 ( 2 6 1 8 ) ( 2 6 1 9 ) ( 2 6 2 0 ) g 2 适合于超高斯信号的情 西北工业大学硕士学位论文 第三章改进的扩展信息最大化盲源分离算法 第三章改进的扩展信息最大化盲源分离算法 本章首先给出了信息最大化盲源分离算法，并进行了仿真，说明传统信息最 大化算法能够有效地分离语音信号的瞬肘混合，但是不能分离超高斯信号( 如语 音信号) 和亚高斯信号( 如正弦信号) 的混合。然后介绍扩展信息最大化算法， 对同时存在超高斯信号和亚高斯信号的混合信号进行了仿真，针对扩展信息最大 化算法的收敛速度慢的问题，提出了改进的扩展信息最大化盲源分离算法。 3 1 传统的信息最大化盲源分离算法 l i n s k e r i 删指出，生物系统对信息的处理可能遵循信息传输最大化准则，并由 此导出了一类神经网络自组织算法一一信息最大化( i n f o m a ) 【一i n f o r m a t i o n m a x i m a t i o n ) 算法，即最大化一个由非线性单元组成的网络的输入到输出间的信 息传输。1 9 9 5 年b e l l 和s c j n o w s k i 3 0 i 使用信息最大化理论提出了一种盲源分离的 自适应学习算法。他们最大化神经处理单元的输出所含的输入信息，而且证明了 对于可逆和连续确定的映射，输入和输出间的互信息可通过最大化输出熵来达到 最大化。 3 1 1 算法原理 信息最大化的基本原理是使输入信号x 与输出信号y 之间的互信息最大。互 信息定义如下： ( 1 ，x ) = 日( y ) 一h ( y i x ) ( 3 1 1 ) 其中h ( y ) 表示输出的熵，h ( y i x ) 表示输出信号中“不是从输入的不确定性而 产生”的熵，在没有噪声的情况下( 或者说不知道什么是噪声，什么是输入的信 号) ，输入x 和输出l ，的映射是确定的，并且h ( y l x ) 发散到最小值：一m 。这 个发散是由于把熵的概念从离散变量推广到连续变量造成的。 设是变换g 中的一个参数，为了使互信息，( 1 r ，x ) 最大，在式( 3 1 1 ) 中 对w 求偏导数。由于h ( y i x ) 与矿无关，即8 h ( y l x ) o w = 0 ，得到下式： 1s 西北工业大学硕士学位论文 第三章改进的扩展信息最大化盲源分离算法 旯匀 斋7 ( y ，x ) 2 斋日( y ) 2 ) 由式( 3 1 2 ) 可以得到以下结论：对于可逆的确定性变换，对输入和输出之 间的互信息l ( r ，x ) 求极值等同于单独对变换的输出熵日( 1 ，) 求极值。下面的问题 是如何来使得输出信号的联合熵最大。 由最大熵原理可知，当输出熵最大时，互熵也最大，也就是有最多的信息通 过可逆变换岔从输入端传到了输出端。这时输入变量的概率密度函数和可逆交换 譬之间的关系由l i n s k e r 的最大信息原理( i n f o m a xp r i n t i p l e ) 描述：输入通过一 s i g m o i d 函数，当函数g 的最陡峭部分与输入变量的最大概率部分相重合时，最 多的信息从输入端传到了输出端。 3 1 2 准则函数的介绍 考虑一个输入和输出的系统，输入x = ( 五，屯，工。) 7 ，输出为： y = g ( 帕+ 1 ，( 3 1 3 ) 其中= w x + w o ，w 为权矩阵，为偏置向量，g 为一单调函数，v 为输入噪 声。系统框图见图3 1 。由最大熵原理可知，信息最大化相当于求系统的最大输 出熵，因此信息最大化的目的是从系统中得到最大的互熵。 图3 - 1i n f o r m a x 算法的系统框图 由熵的定义，系统的输出熵为： 符( 力；一e l n p y ( y ) 】) ( 3 1 4 ) 设输入x 的多变量概率密度函数为p a x ) ，输出向量j ，的多变量概率密度函 数n ( y ) 为： 啪) = 眢 ( 3 1 5 ) 其中m 是系统变换函数的j a c o b i a n 的绝对值，j a c o b i a n 矩阵是一个由输入对 输出的偏导数组成的矩阵： 1 6 西北t 业大学硕士学位论文第三苹改进的扩展信息最大化盲源分离算法 l 钆x l a y l x i j = d o t l ；。j l ( 3 1 6 ) l 印x 1 饥x j 将式( 3 1 5 ) 代入式( 3 1 4 ) 中，得到： h 0 ) = 耳1 n i 巾一日( x ) ( 3 1 7 ) 显然，输入熵日( x ) 是与系统中的参数( w ，) 无关的。因此，由随机梯度方 法知，对输出熵日( r ) 的最大化又可以近似对l n f ，f 的最大化。即算法的准则函数 为： f = 1 1 1 川 ( 3 1 8 ) 3 1 3 算法推导 本节将具体推导式( 3 1 8 ) 取极大值的学习算法。取非线性函数为l o g i s t i c 函 数，即： y 2 寿 3 1 9 ) 式中= 黻+ ，对于式( 3 1 9 ) 这样的由一个线性变换加一个非线性函数 组成的系统有： j = ( d e t w ) 兀m ( 3 1 1 0 ) 其导数为： 一= 咒( 1 一咒) ( 3 1 1 1 ) 使用非线性优化中的梯度算法： 罢：旦1 n i j i ( 3 1 1 2 ) a wa w 2 嘉m | d e t 卜旦l n l - ，- y ；i(3113)wa wa ， 式( 3 1