（信号与信息处理专业论文）盲源分离算法及其在语音分离中的应用研究.pdf

五邑大学硕士学位论文 摘要 盲信号分离是指在信号源和传输信道完全或部分未知的情况下，只利用传感器 阵或天线阵的观测来分离、提取源信号的信号处理理论。近年来，它已成为信号处 理领域的一个研究热点。盲分离技术在无线通信、雷达、声纳、语音信号处理、医 学信号处理、图像增强等方面有着广泛的应用。 混合语音信号的分离是盲分离的重要内容，也是信号处理领域中的一个难题。 它在回波对消和电视会议领域有重要应用。本文正是以盲分离技术在语音分离中的 实际应用为目标而进行研究的。 本文以矩阵理论和随机过程为理论基础，研究了语音盲源分离的多种算法，通 过大量的实验，分析它们的分离特性，得出了一些在实际应用中有用的结果。综合 起来，本文所做的主要工作有： 1 较详细地介绍了盲信号处理的基本概念，盲源分离的数学模型；同时介绍了 盲源分离的基本理论，其中包括盲源分离的基本假设，盲源分离的可分性，信息论 的相关理论和信号的预处理等问题；较系统地介绍语音信号盲分离的独立性判据： 互信息极小化判据、负熵最大化判据和极大似然判据等；还介绍了分离效果评价准 则，包括相似系数、性能指数以及s n r 、s a r 和s d r 参数等。这为算法的介绍、 实现与分析奠定了基础； 2 深入研究了5 种语音信号盲分离的批处理方法：极大峰度算法( m a x k u r t ) 、 四阶盲辨识算法( f o b i ) 、扩展联合对角化算法( j a d e ) 、基于实信号的i c a 分离算法 ( s h i b b s ) 和多个未知信号抽取算法( a m u s e ) 。通过实验说明这些算法具有较好的分 离效果，而j a d e 算法和s h i b b s 算法更具发展潜力。 3 将自适应算法应用于语音信号的盲分离，形成了自然梯度算法、基于最大信 噪比的盲源分离算法、基于峭度的b s s 开关算法。实验表明，自适应算法具有更好 的分离效果。 4 通过综合实验，从分离前后的信号波形、频谱图形和各种评价参数出发，对 各种分离算法进行比较。特别将自适应算法和批处理算法进行比较，表明白适应算 法比批处理算法具有更好的分离效果，更具发展潜力。 关键词：盲信号处理；盲源分离；独立分量分析；批处理算法；自适应算法 五邑大学硕士学位论文 a bs t r a c t b l i n ds i g n a ls e p a r a t i o ni so n ek i n do fs i g n a lp r o c e s s i n gt h a tu s i n go b s e r v a t i o n sf r o ms e n s o ra r r y o ra n t e n n aa r r a yt os e p a r a t eo re x t r a c ts i g n a l sw h e nt h es o u r c es i g n a la n dt h et r a n s m i s s i o na r r a yi si n w h o l eo ri n p a r tu n k n o w n i nr e c e n ty e a r s ，i th a sb e c o m ear e s e a r c hh o t s p o to fs i g n a lp r o c e s s i n g b l i n ds o u r c es e p a r a t i o nt e c h n o l o g yh a saw i d er a n g eo fa p p l i c a t i o ni nw i r e l e s sc o m m u n i c a t i o n s ， r a d a r , s o n a r , s p e e c hs i g n a lp r o c e s s i n g ，m e d i c a ls i g n a lp r o c e s s i n g ，i m a g ee n h a n c e m e n ta n ds oo n b s sf o rs p e e c hs i n g a li sa ni m p o r t a n tp a r to fb s st e c h n i q u e ，a n da l s oi sad i f f i c u l tp r o b l e mi n s i g n a lp r o c e s s i n gr e a l m i n t h i s p a p e r , t h eb l i n d s o u r c es e p a r a t i o n t e c h n o l o g y i nt h es p e e c h s e p a r a t i o nf o rt h ep r a c t i c a la p p l i c a t i o ni ss t u d i e d i nt h i s p a p e r u s i n gm a t r i xt h e o r ya n ds t o c h a s t i cp r o c e s s e sa st h et h e o r e t i c a lf o u n d a t i o n ，w e s t u d y av a r i e t yo fb l i n ds o u r c es e p a r a t i o n a l g o r i t h mf o rs p e e c hs e p a r a t i o n t h r o u g hm a n y e x p e r i m e n t sa n dt h ea n a l y s i so ft h e s ea l g o r i t h m ss e p a r a t i o nc h a r a c t e r i s t i c s ，w ea l s oo b t a i n e ds o m e u s e f u lr e s u l t s t a k e nt o g e t h e r , t h i sp a p e rh a sd o n et h em a i nj o b ： 1 w eh a v eam o r ed e t a i l e di n t r o d u c t i o no ft h eb a s i cc o n c e p t so ft h eb l i n ds i g n a lp r o c e s s i n ga n d t h em a t h e m a t i c a lm o d e lo ft h eb l i n ds o u r c es e p a r a t i o n ；s i m u l t a n e o u s l yh a v ea ni n t r o d u c t i o no nt h e b a s i ct h e o r y , b a s i ca s s u m p t i o n s ，s e p a r a b i l i t y , i n f o r m a t i o nt h e o r y , s i n g a lp r e p r o c e s s i n ga n do t h e r i s s u e s w ea l s oh a v eam o r es y s t e m a t i ci n t r o d u c t i o no ft h ec r i t e r i o nf o ri n d e p e n d e n c e ，i n c l u d i n g m l 。n l m l z a l o no fm u t u a li n f o r m a t i o nc r i t e r i o n ，n e g a t i v ee n t r o p ym a x i m i z a i o nc r i t e r i o na n dm a x i m u m 1 i k e l i h o o dc r i t e r i o na n ds oo i l a n dt h e nw eh a v es o m ei n t r o d u c t i o no nt h ee v a l u a t i o nc r i t e r i ao ft h e s e p a r a t i o ne f f e c t ，s u c ha ss i m i l a r i t yc o e f f i c i e n t ，p e r o f f m a n c ei n d e x ，a sw e l la ss n r ，s a ra d ns d r p a r a m e t e r s 2 w es t u d yf i v eb a t c hm e t h o d so fb li n ds e p a r a t i o nf o rs p e e c hs i g n a l s ，i n c l u d i n gg r e a tk u r t o s i s a l g o r i t h m ( m a x k u r t ) ，f o u r t h o r d e rb l i n d i d e n t i f i c a t i o na l g o r i t h m ( f o b i ) ，t h ee x p a n s i o no fj o i n t d i a g o n a l i z a t i o na l g o r i t h m ( j a d e ) ，b a s e do nr e a li c as i g n a ls e p a r a t i o na l g o r i t h m ( s h i b b s ) a n da n u m b e ro fu n k n o w ns i g n a le x t r a c t i o na l g o r i t h m ( a m u s e ) t h r o u g he x p e r i m e n t sw ef i n dt h a ta l lo f t h e s ea l g o r i t h m sh a v eb e t t e rs e p a r a t i o ne f f i c i e n c y ，a n da l s on o t i c et h a tt h ej a d ea l g o r i t h ma n dt h e s h i b i 赘3a l g o r i t h ma r em o r ep o t e n t i a lf o rd e v e l o p m e n t 3 a d a p t i v ea l g o r i t h mi sa l s oa p p l i e dt ot h eb l i n ds o u r c es e p a r a t i o nf o rs p e e c hs i g n a l sa n df o r m s s o m ea l g o r i t h m ，s u c ha st h en a t u r a lg r a d i e n ta l g o r i t h m ，t h ea l g o r i t h mb a s e do ns n rm a x i m u m ， l i 五邑大学硕士学位论文 t h es w i t c ha l g o r i t h mb a s e do nk u r t o s i sa n ds oo n e x p e r i m e n t ss h o wt h a tt h ea d a p t i v ea l g o r i t h mh a s b e t t e rs e p a r a t i o ne f f i c i e n c y 4 i nt h es y n t h e t i c a le x p e r i m e n t s ，w ec o m p a r et h ev a r i o u ss e p a r a t i o na l g o r i t h m st h r o u g ht h e s i g n a lw a v e f o r m sa n ds p e c t r u m sb e f o r ea n da f t e rs e p a r a t i o n ，av a r i e t yo fe v a l u a t i o np a r a m e t e r s ，a n d p a r t i c u l a r l yc o m p a r et h er e s u l t sf r o mb a t c ha l g o r i t h ma n da d a p t i v ea l g o r i t h m t h ee x p e r i m e n t ss h o w t h a tt h e a d a p i t v ea l g o r i t h m h a sb e t t e r s e p a r a t i o ne f f i c i e n c y a n da l s ob em o r ep o t e n t i a lf o r d e v e l o p m e n tt h a nb a t c ha l g o r i t h m k e y w o r d s ：b l i n ds i g n a lp r o c e s s i n g ；b l i n ds o u r c es e p a r a t i o n ；i n d e p e n d e n tc o m p o n e n ta n a l y s i s ； b a t c ha g o r i t h m ；a d a p t i v ea g o r i t h m 本人声明 我声明，本论文及其研究工作由本人在导师指导下独立完成，完成论文所用的 一切资料均已在参考文献中列出。 作者： 江 川i 签字：、j 乙叫 2 0 0 9 年3 月2 0 同 五邑大学硕士学位论文 1 1 研究背景 第1 章绪论 盲信号处理1 1 】是2 0 世纪9 0 年代迅速发展起来的一个全新的研究领域，也是计 算智能学的核心研究内容。它把人工神经网络、统计信号处理、信息理论三者结合 起来，渐渐的成为一些领域研究与发展的重要课题，如在生物医学、医疗图像、语 音分离、雷达与通信系统、地震勘探、地球物理、数据采掘等方面均发挥了重要的 作用。 盲源分离是指在未知信源和传递信道模型的条件下，仅利用传感器阵列的输 出信号恢复出源信号的波形。这罩“盲”的含义包括传递信道模型未知和源信号未 知两方面的含义【2 5 1 语音信号的盲分离是盲信号处理在语音信号研究与应用中的热点之一，它是由 对“鸡尾酒会( c o c k t a i lp a r t y ) ”问题的研究引申而来的。其主要内容是：人的听觉系 统能够在嘈杂的环境中发现、识别并跟踪自己感兴趣的声音信号而忽略其它的声音， 即人具有语音分离的能力。语音信号盲分离技术模仿人的这种能力，用于解决多个 说话人环境下对特定说话人语音的分离提取，同时对其语音进行增强。该项技术可 以应用于噪声抑制、语音识别及通信等领域中。因此，近年来由于实际应用的需求 使得语音信号盲分离成为了众多领域的研究热点问题。 1 2 盲源分离问题概述 在现实生活及自然界中存在着大量的信息，人们通过传感器检测获取自己所需 的信号，并通过对这些信号的处理来获取相关的信息。然而，传感器检测到的信号 往往由多个成分混合在一起，如噪声、有用信号和无用信号，而且这些成分都是未 知的。又因为信号传输过程中传输通道的特性复杂多变，因此，要得到准确的原始 信号非常困难，给人们的工作生活带来了很大的不便。盲信号处理( b l i n ds i g n a l p r o c e s s ) 技术的出现从定程度上解决了这些问题，它是对源信号和传输通道几乎没 有i 玎利用信息的情况下，仅从观测到的混合信号中提取或恢复源信号的一种信号处 理方法。 五邑大学硕士学位论文 1 2 1 盲源分离( b s s ) f 口1 题的数学模型 b s s 问题的基本数学模型如图l - 1 所示，其中s ( t ) = b ( f ) ，晶( ，) r 是n 维未知的 源信号向量，矩阵爿是信号传输过程中的混合系统矩阵，它也是未知的。 n ( t ) = 啊( f ) ，( ，) 】r 是刀维噪声向量，x ( t ) = 五o ) ，( f ) r 是传感器得到的观测信号向 量，是b s s 问题所要寻求的分离矩阵，y ( t ) = 叭( ，) ，( 明r 是经过分离后得到的 分离信号向量。 灰l t l f l l 广 ： i ： l ： i 。 l t 】 图1 - 1 盲源分离问题数学模型 根据图1 1 ，我们可以得到b s s 数学模型的数学表达式： x = a s + n ( 1 - 1 ) ；= y = w x = w a s = g s( 1 - 2 ) 其中g = w a ，是个玎”维矩阵，称为混合一分离矩阵，也称为相似矩阵，又称全局传 输矩阵。 盲源分离的目的就是在源信号s 和混合系统4 均未知的情况下，仅由观测数 据向量x 通过调整分离系统，使得输出y 是源信号s 的估计i 。 1 2 2 盲源分离的处理方法 b s s 问题的处理方法有很多，根据它们的原理可以把这些方法归纳为下列四种 方法【6 1 ： ( 1 ) 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) ：当假设源信号各分 量间彼此统计独立，且没有时间结构时，在某一分离准则下通过对神经网络权值 的反馈调整，使得变换后信号的不同分量之间的相依性最小，也即输出达到尽可 1 能的独立。这种方法对多于一个高斯分布的源信号不适用( 因为高斯信号的线性叠 加仍是高斯信号) ，这是近年来盲源分离的主要解决方法。 ( 2 ) - - 阶统计量( s e c o n do r d e rs t a t i s t i c ，s o s ) 的方法：假设源信号具有时序结 构，则其有非零的时序相关数，从而可以降低对统计独立性的限制条件，用s o s 的方法就足以估计混合矩阵和源信号。然而这种s o s 方法不允许分离功率谱形状 相同或独立同分布的源信号。 2 五邑大学硕士学位论文 ( 3 ) 二阶非平稳性：即采用非平稳性和二阶统计量。由于源信号随时间有不 同的变化，所以可以考虑利用二阶非平稳性，应用简单的解相关技术实现盲源分 离。与其它方法相比，它能够分离具有相同功率谱形状的有色高斯源，然而却不 能分离具有相同非平稳特性的源信号。 ( 4 ) 运用信号的不同多样性，典型的是时域多样性、频域多样性或时频域多 样性，更一般的，即联合空间一时间一频率多样性，如果源信号具有不同的时频域多 样性，信号的时频域特征不完全重叠，那么可以通过屏蔽时频域的单个源信号 或干扰信号，并从一个( 或多个) 传感器信号中提取源信号，然后再在时频域中合 成，然而这些情况下，通常需要一些源信号的先验知识，所以这种分离只能是一 种半盲分离。 1 2 3 盲源分离的分类【7 l 盲源分离问题根据源信号经过传输通道的混合方式，其处理方法可以分为为线 性瞬时混合信号盲分离、线性卷积混合信号盲分离和非线性混合信号盲分离三类。 根据通道传输特性中是否含有噪声、噪声特性( 白噪声、有色噪声) 、噪声混合形式， 可以分为有噪声混合信号盲分离、无噪声混合信号盲分离、含加性噪声混合信号盲 分离和含乘性噪声混合信号盲分离等。目前的盲分离算法大部分集中在源信号线性 瞬时混合问题的盲分离，考虑噪声情况的盲源分离问题研究主要针对加性白色或有 色高斯噪声等问题。 1 3b s s 国内外研究动态及现存问题 b s s 问题的研究最早是从国外开始的，早在1 9 8 6 年4 月1 3 1 6 日，法国学者 j e a n n y h e r a u l t 和c h r i s t i a nj u t t e n 在美国犹他州举行的“n e u r a ln e t w o r kf o r c o m p u t i n g ”会议上作了一篇题为“s p a c eo rt i m ea d a p t i v es i g n a lp r o c e s s i n gb yn e u r a l n e t w o r km o d e l s ”的研究报告，提出了递归神经网络模型和基于h e b b 学习律的学习 算法，以实现两个独立源信号混合的分离。这一丌创性的论文在信号处理领域中揭 开了新的一章，即盲源分离问题的研究。在此之后，该问题的研究成果大量涌现： 19 91 年，j h e r a u l t 和c j u t t e n i 8 1 ，e s o r o u c h y a r i l 9 1 ，p c o m o n l l0 1 在s p r o c e s s i n g 上发表了关于盲信号分离的三篇经典文章文章，标志着盲源分离研究的重大进展。 1 9 9 4 年，p c o m o n i 1 将数据处理与压缩的主分量分析( p c a ) 加以扩展而成为 i c a ，阐述了独立分量分析这一概念，界定了解决b s s 问题的i c a 方法的基本假设 五邑大学硕士学位论文 条件。 1 9 9 5 年，a j b e l l 和t j s e j n o w s k i l l 2 】发表了i c a 发展史中的里程碑文献。他 们利用神经网络的非线性特性来消除观测信号中的高阶统计关联，并把盲分离问题 归入信息论框架，用信息最大化准则建立目标函数，从而将信息论方法与i c a 结合 起来。 1 9 9 9 年1 月1 1 日1 5 日在法国的a u s s o i s 成功召开了首届“独立分量分析与盲 信号分离”国际学术会议。 最近几年的国际声学、语音和信号处理大全上，每次都有关于盲信号处理的专 题，而且信号处理届的权威刊物“i e e et r a n s a c t i o no ns i g n a lp r o c e s s i n g ”以及“s i g n a l p r o c e s s i n g ”中，盲信号处理的文章也频繁的出现。 国内对盲信号分离问题的研究，在理论和应用方面也取得了很大的进展。近年 来国内各类基金支持了盲信号处理理论和应用的项目，国内也成了许多研究小组， 2 0 0 5 年1 1 月2 6 日，“研学论坛”成了盲信号处理专版。同时，在各类信号处理的 刊物上，也有大量盲信号处理的文章发表【2 - 4 , 7 , 1 9 1 。 虽然盲处理理论方法在最近几年己经获得了长足的发展，但是还有许多问题有 待进一步的研究和解决。首先是理论体系待完善，实际中采用的处理算法或多或少 都带有一定经验知识，对于算法的稳定性和收敛性的证明不够充分，同时，可分离 性的问题也是一个值得深入研究的方面。盲处理尚有大量的理论和实际问题有待解 决，如有效的求解传感器数少于源信号数的分离和辨识问题、非线性混合信号的盲 辨识和盲分离、源信号的数目大于观测信号的数目时i c a 方法研究等。 同时，盲分离可同其它学科有机结合，如盲分离技术和遗传算法相结合，可以 减少计算复杂度，提高收敛速度。在硬件实现上，盲分离问题也存在很大的发展空 间，例如用f p g a 实现等。 1 4 论文内容安排 全文共分六章，组织结构如下： 第l 章绪论部分介绍了盲源分离技术的研究背景和意义，介绍了盲源分离问题 的基本概念，建立了盲源分离问题的基本数学模型，同时阐述了国内外对该问题的 研究动态及还存在的一些问题。 4 五邑大学硕士学位论文 第2 章研究了语音信号盲分离的一些基本理论，包括两个基本假设、信号的可 分离性、信息论的相关知识等。最后在此基础上详细介绍了两种在盲分离问题中常 见的信号预处理方法。 第3 章主要研究了盲源分离问题的独立性判据，即优化准则。从信号通过线性 系统前后信息特征的变化入手，引出了三种重要的独立性判据，同时证明了这三种 判据的等价性。最后介绍了3 种评价算法分离效果的准则。 第4 章重点研究了五种语音信号盲分离的批处理算法，即m a x k u r t 算法、f o b i 算法、j a d e 算法、s h i b b s 算法和a m u s e 算法的实现原理和步骤，并在m a t l a b 平台下编写算法程序进行了简单的语音分离实验，给出了分离信号和相应的全局传 输矩阵。 第5 章重点研究了四种语音信号盲分离的自适应处理算法，即自然梯度算法、 基于最大信噪比b s s 算法、基于峭度的盲源分离开关算法和固定点算法( f a s t i c a ) 的实验原理和步骤，并在m a t l a b 平台下编写算法程序进行了简单的语音分离实 验，给出了分离信号和相应的全局传输矩阵。 第6 章分别利用前面编写的八种b s s 算法程序对同一段四阶混合语音信号进行 语音分离实验，给出了分离信号的时域和频域图形、形变波形、相应的全局传输矩 阵、s d r 参数、p i 参数和相似系数矩阵等相关结果。最后对比分析了这些结果数据， 对算法的有效性、抗干扰性和分离效果进行评判，得到了较好的结果。第4 - 6 章是 本文的重点。 1 5 本章小结 本章主要介绍了盲源分离问题的研究背景，研究方法和目前国内外发展动态， 同时建立了盲源分离问题的基本数学模型，为以后各章的研究和学习奠定了理论基 础，最后介绍了本文的内容安排。 五邑大学硕士学位论文 第2 章语音信号盲分离的基本理论 2 1盲源分离问题的基本假设 盲分离问题通常是基于独立分量分析( i c a ) 技术的求解，所以它的假设条件 基本相同于i c a ，即 ( 1 ) 混合矩阵a r 删”是列满秩方阵，即r a n k ( a ) = 疗； ( 2 ) 源信号之间统计独立，且为均值为零的随机变量；并且最多只能有一个源 信号服从高斯分布； ( 3 ) 噪声信号为零均值的随机信号，并且与源信号相互统计独立；或者假设噪 声很小可以忽略不计。 在无噪声的情况下，混合模型x = a s 实际上是对源信号矢量s 的线性变换，假 设条件( 1 ) 保证了混合矩阵4 可逆。当随机信号矢量的均值不为零时，可以预先将 均值减去，得到零均值的随机变量。因此，零均值的假设不影响盲分离理论的适用 范围。因为高斯随机信号矢量的线性混合仍是高斯分布【1 3 】，而高斯分布是完全对称 的，不包含混合矩阵4 的列方向的任何信息，当源信号中服从高斯分布的分量多于 一个时，盲分离算法失效，所以假设( 2 ) 对此做出限制。噪声存在的假设是大多数 统计信号处理方法所采用的，但在盲分离算法的现有研究阶段中，通常假设噪声可 以忽略不计。 2 2 盲源分离问题的可分离性 在盲信号分离问题中，y 是对源信号矢量5 的恢复或估计，但实际上并不是总能 得到源信号的理想估计，人们可以接受以下的源信号的估计： ( 1 ) 因为更多的有用信息包含在信号波形中，而不是信号的幅度中，所以可以 接受信号的幅度失真，即允许y = a s ，a 是非奇异的对角矩阵； ( 2 ) 对于盲分离问题，估计信号与源信号排列顺序不同也是可以接受的，即允 许y = p s ，p 是置换矩阵。 这也是盲分离的两个不确定性问题，即幅度不确定和顺序不确定。也就是说， 当得到的 ，满足y = p as 时，就可以认为完成了盲分离任务。 6 五邑大学硕士学位论文 由式( 1 2 ) 和以上的讨论中可以看出，盲分离的问题主要是找到一个，z m 维的满 秩矩阵矽，使全局传输矩阵g 能够分解成为g = p a ，g 非奇异，且每一行只包含 一个非零元素。是否可以找到这样的，依赖于混合矩阵4 的特性。要找到这样的 ，就要满足w a = p a 。式( 1 2 ) 表示的是一组含有聆个未知数的m 个线性等式，不 可能只用m 个观测信号分离出多于m 个的原始信号，因此把研究对象限制在m n 的 情况，因为为? i xm 矩阵，g 是? i x ”维矩阵，且非奇异，所以只要矩阵么是列满秩 的，即维数是甩，就能够找到所需的满秩矩阵，也就是说，观测到的混合信号x 是 可分离的。而且，矩阵彳列满秩是可分离的充分必要条件。 实际上通常还会存在少量的干扰噪声，要处理的是源信号多于观测信号的情况。 如果噪声相对于源信号来说是很弱的，在分离过程中噪声的影响可以忽略，在m 门( , 已知) 时，矩阵q 的白化处理将同时具有降维作用。另外，对矩阵q 左 乘任意一个正交矩阵，式( 2 1 9 ) 保持不变，因此矩阵q r 雕朋并不唯一。 零均值传感器检测信号x ( k ) 的协方差矩阵如通常对称正定，由矩阵理论可对其 进行分解为 如= k a 曙= v , a i 2 x a l a y ( 2 2 0 ) 式中：k 为正交矩阵；a = d i a g ；h ，九 为对角矩阵， 疋九 0 为特征值。 若协方差矩阵如正定，则可以得到白化矩阵为 q = a - 1 v = c 矗a g 告，告) 曙 ( 2 21 ) 、1 利用q 进行白化预处理使x 变为x ，其各分量互不相关，从而达到了空域解相关的 目的。当x 为有色高斯噪声时，白化预处理会将其转化为白噪声。 2 5 本章小结 本章首先介绍了语音信号盲分离必须满足的两个基本假设和与之相关的信息论 理论，接着我们说明了信号的可分离性，最后给出了对信号进行预处理的两种具体 方法。 1 2 五邑大学硕士学位论文 第3 章语音信号盲分离独立性判据和分离效果评价准则 由前面的讨论可知，b s s 问题的处理过程实际上是使分离出的独立分量最大程 度的逼近各个源信号，即建立目标函数以寻求最优来实现逼近。因此，b s s 包括两 个主要方面：建立目标函数( 优化判据) 和寻求最优算法。优化判据可以是对比函 数( c o n t r a s tf u n c i t o n ，首先由p c o m o n 提出【1 1 1 ) 、代价函数、目标函数、损失函数 以及风险函数等，这几种函数紧密相关，甚至可以相互替代，但是在某些情况下它 们仍有区别。也就是说盲源分离实际上是一个优化问题，因此问题没有唯一解，只 能够在某衡量独立性的判据最优的意义下寻求其近似解答，即使式( 1 2 ) 中源信号 s 的估计y 各分量尽可能相互独立，且y 与s 不但只是近似，其各个分量在排列次序 和幅度上都允许不同。 从原理上说，最根本的独立性判据应该是统计学的定义：联合概率密度函数 ( p d f ) 是否可以表示成各边缘p d f 的乘积。即判断( 3 1 ) 式是否成立。 p ( y ) = 兀p ( 只) ( 3 1 ) 其中，y 是分离后的信号矩阵，少i 是其中的第f 个分量，f - 1 ，玎。 因此最直接的判据就是互信息量l ( y ) ，由式( 2 - 8 ) 可知 地) ：k l p ( y ) ，兀r lp(只)】：f(y)log【掣dy(3-2)p(y)log 八炉，珥烈m 卜j 。镐 忙l 。 ll 。，、 但由于各p ( 只) 和p ( y ) 是未知的，因此就需要对它们作出估计，但估计p d f 既繁 琐，又不易准确。实际做法是通过把p d f 展开成高阶统计量的级数，或者是通过输 出端引入某种非线性环节，来自动引入高阶统计量。下面在引入独立性判据之前， 首先讨论一下信号通过线性系统前后有关信息特征的变化。 3 1 信号通过线性系统前后信息特征的变化 为了便于讨论，把图1 1 分为混合系统和解混系统重画如下，这里不考虑噪声 的影响，见图3 。l 和图3 2 。 五邑大学硕士学位论文 s ( c )x ( 1 产缸( t ) h混合系统 a x ( t )+ y ( t ) = w x ( t ) h ： 解混系统 r w 图3 - 1b s s 问题的混合系统图3 2b s s 问题的解混系统 b s s 问题的一般提法如图3 - 1 和图3 2 所示。s ( f ) = 【_ ( f ) ，( ，) r 是n 维未知的 源信号向量，它通过混合系统矩阵4 线性混合成传感器检测信号或称为观测信号的 x ( t ) = h ( f ) ，( ，) 】7 。b s s 的目的就是寻求一个矩阵形，在仅仅依据x o ) 的情况下， 把s ( f ) 估计出来，即j ，( r ) = 【m ( r ) ，( f ) r ，同时要求y ) 尽可能的逼近s ( f ) ，但容许 两者中各分量排序不一定相同，比例尺度也不一定相同。 下面，我们讨论y ( t ) 和x ( f ) 在信息特征上有什么关系。 3 1 1 熵的关系 由图3 2 可知 y = w x 而且h(y)=一eoogp(y)】 但是由于 p ( 力= p ( x ) w 所以得到h ( y 1 = 一e 1 0 9 p ( x ) + e 1 0 9 w i 即 h ( y ) = h ( x ) + l o g l i 1 0 9 i i 是确定性量】 ( 3 3 ) 由式( 3 3 ) 可知，只有当l w l - 1 ，也就是解混系统是正交归一( 形7 w = 厶) 时才有 h ( y ) = h ( x ) ，即：只有在正交归一变换前后，系统的熵才具有不变性。 3 1 2k l 散度的关系 根据k l 散度的定义，设p ( y ) 和p ( x ) 分别为y o ) 和x ( f ) 的概率密度函数，则有 k l p ( n 础) 】= p ( 训0 9 铬 d x 但是由于p ( y ) = p ( x ) w 所以得到 k l p ( x ) ，p ( y ) 】_ p ( x ) l o g l i 出= l o g i 矽i ( 3 4 ) 且对正交归一系统，有 k l p ( x ) ，p ( ，) 】- 0 还可以证明【5 l ，在线性处理前后，两组输入信号x 和x 间的k l 散度和相应的 输出y 和y 间的k l 散度是相等的，也就是说：线性处理前后k l 散度具有不变性， 并不要求解混矩阵形必须f 交归一。 1 4 五邑大学硕士学位论文 3 1 3 互信息的关系 首先来看经线性处理j ，= w x 后输出的互信息，( j ，) 和输入的互信息i ( x ) 问的关 系，由2 3 节的介绍不难证明5 】 ，( j ，) = ， ) 一1 。g i i + 蔷h ( 咒) 一再( 薯) ( 3 - 5 ) 对正交归一的系统l 形l = l ，如果j ，各分量信息熵的总和与x 各分量信息熵的总和 相等，则有i ( y ) = l ( x ) 。 其次，再看系统输出y 与输入x 之间的互信息l ( x ，y ) 。l ( x ，y ) 的定义为 又因为 舷= 胍y ) 1 0 9 嘿苏】螂( 3 - 6 ) p ( x ，j ，) = p ( x ) p ( yj x ) ( 3 7 ) 把式( 3 7 ) 代入式( 3 6 ) 可得 i ( x ，j ，) = 日( y ) 一h ( y l x ) = ( x ) 一g ( x l y ) ( 3 8 ) 3 1 4 负熵的关系 由式( 2 1 2 ) 可知，输出y 的负熵为 j ( y ) = ( j ，) 一h ( y ) ( 3 - 9 ) 可以证明【5 l ，【p ( y ) 】= j 【p ( x ) + 主1 。g 胃i w c x w r i 】一l 。g i l ( 3 1 。) 其中c x 是x 的协方差矩阵。 当y 中各分量相互独立时，日( y ) = 日( ) 。此时式( 3 1 0 ) y , n - i 以记为 i = 1 m ( 州= 2 1 。9 2 叫+ 1 。g 例一喜h ( ”) ( 3 - 1 1 ) 式( 3 1 0 ) 证明了在线性变换前后负熵具有不变性。即， p ( j ，) 】= p ( x ) 】，不论系 统是否正交归一。 这是因为l w c x w 7 i = wc xw ， 因此式( 3 - lo ) 中 互1 - u 若。w 可c x w r 卜l 。g i l = 。，得到 p ( j ，) = p ( x ) 】的结论。 五邑大学硕士学位论文 3 2 信号盲分离的独立性判据 通过3 1 节的讨论可知，在解混矩阵是正交归一的情况下，信号通过线性系统 前后期熵，k l 散度和负熵均具有不变性，也就是说分离出来的信号保持了源信号所 带有的信息，这正是我们对语音信号盲分离所期望的结果之一，也是我们在信息论 框架下为b s s 问题建立独立性判据的原因。在此基础上，下面将介绍三种重要的 b s s 独立性判据 1 5 3 6 1 。 3 2 1 互信息极小化判据( m m i ) 互信息极小化判据i i7 j ( m i n i m a i z a t i o no f m u t u a li n f o r m a t i o n ，m m i ) 的定义是： 选择矩阵，由x 求y = w x ，使( 3 1 2 ) 式达到极小。 nr l j ( y ) = j z 【p ( j ，) ，兀p ( 乃) 】- h ( 咒) 一日( j ，) ( 3 1 2 ) _ lf _ l 其中，w 是解混矩阵，x 是观测信号矩阵，y 是分离后的信号矩阵，日( 咒) 是y 中各 分量咒的熵，h ( y ) 是各分量只的联合熵。 然而h ( y ) 和( m ) 的估计仍涉及到p d f 的估计，因此需要把p d f 用高阶统计量来 近似。最简单且基本的逼近途径如下： 由图3 2 可知，y = w x ，而日( y ) = 一e 1 0 9 p ( y ) ，p ( j ，) = p ( x ) i w i ，所以得到 ( j ，) = 一e 1 0 9 p ( x ) 】+ e 【1 0 9 i 形| 】= h ( x ) + 1 0 9 i l ( 3 - 1 3 ) 其中l o g i w l 是确定性的量。把式( 3 1 3 ) 代入式( 3 1 2 j ，得： ，( y ) = h ( 片) 一 ) 一l o g w i ( 3 - 1 4 ) ( x ) 是输入信号x 的熵，它与w 的选择无关，所以使式( 3 1 2 ) 极小等效于： 选择矩阵，使 耻f f ” h ( y i ) _ 1 0 9 吲 s = 一1 0 9 吲 极小。 3 2 2 负熵最大化判据( m n ) 负熵是从熵的概念中引申而来的，经过3 1 节的讨论可知，在分离矩阵j f 交归 一的情况下，分离信号与源信号的负熵是相等的，只有当分离信号y 服从高斯分布 时负熵才为零。基于这一特点，负熵可以作为一个很好的目标函数。 1 6 五邑大学硕士学位论文 由式( 2 1 2 ) 可知，分离信号少的负熵为 j ( y ) = ( j ，) 一h ( y )( 3 1 5 ) 又由式( 2 9 ) 可知分离信号y 的互信息量，( y ) 与负熵( j ，) 的关系为 三1 兀勺 “炉以小吾以m + 抛惭 f = 1 i l ，i ( 3 - 1 6 ) 式中：q 是y 的协方差矩阵，c i r 是其对角元素，i q l 是其行列式。当y 的各分量不 相关时，式( 3 1 6 ) 右边第三项为零，则 ，( j ，) = ( y ) 一( 乃) ( 3 - 1 7 ) i = 1 由式( 3 17 ) 可以看出，最小化分离信号j ，各分量之间的互信息量，( y ) 等价于最大化各 分量的负熵之和j ( y i ) 。因此基于负熵的目标函数可以写为 i = 1 p ( y ) = ，( 乃) i = i ( 3 1 8 ) 由此可知，负熵最大化判据( m a x i m i z a t i o no f n e g e n t r o p y ) 可以定义为 选择解混矩阵，使分离信号y 各个分量的负熵之和达到最大，即使式( 3 1 8 ) 取极大值。 3 2 3 极大似然判据( m l ) 极大似然估计是估计理论中一种应用得比较厂4 泛的方法。下面先说明它的原始 含义。 设观察信号矩阵x 由信号5 经线性映射a 所产生，即x = a s ，选择a 使l o g p ( xj a ) 达到最大便称为极大似然估计。而它的期望值 e 1 0 9 p ( xa ) = i p ( x ) l o g p ( xa ) d x = l ( a )( 3 1 9 ) 是工作时的目标函数。因此极大似然估计( m a x i m u ml i k e l i h o o de s t i m a t i o n ，m l e ) 的含义是：选择a 使l ( a ) 极大。 在b s s 问题中m l e 的提法有很多种，这里采用k h t 的定义【18 1 ： 设某时刻解混过程y = w x 的输入、输出分别是工和y 。在给定且y 各分量 独立的条件下x 的对数似然函数是l o g p ( xj w ) 。 五邑大学硕士学位论文 又因为y = w x ，p ( y ) = p ( x ) w i ，p ( j ，) = n ( 弗) 。因此 f = l 1 。g p ( x i ) = 1 。g l i + 善n1 。g 易) ( 3 2 0 ) 实际估计时要对x 和y 采样得到x ( t ) 和y ( t ) ，( t = 1 ，2 ，丁) ，再估计( 3 2 0 ) 式