（通信与信息系统专业论文）通信信号的盲源分离算法研究.pdf

通信信i ，的肖源分高算法研究 摘要 通信信号的盲源分离算法研究 摘要 随着计算机技术的飞速发展，数字信号处理技术在通信、医学等领域得到了广泛 的应用。盲源分离技术作为一种尖端的信号处理方法成为众多学者竞相研究的对象。 盲源分离技术是指在未知原始信号和信号传输信道的情况下，只根据原始信号 独立的统计特征，通过传感器的输出信号将原始信号恢复出来的过程。按未知信号 传输信道的传输模式可以将盲源分离分为线性盲源分离和非线性盲源分离。线性映 射下盲源分离可以只利用源信号的独立条件解决，而非线性映射下的盲源分离则是 一个棘手的病态问题，需要大量的工作对它进行研究。 本文分别对线性盲源分离问题与非线性盲源分离问题进行了研究。 对于线性映射下的盲源分离问题，本文系统地研究了基于信息论、联合近似对 角化及负熵的盲源分离算法，其中基于负熵的f a s t l c a 算法具有收敛速度快的优势， 可以实时地应用于工程环境中，但它的求解依赖于初始分离矩阵的设置。本文对 f a s t l c a 算法进行了改进，提出将牛顿下降法与s h a m a r s k i i 法结合以改变原来的迭 代方式，降低算法对随机初始分离矩阵的敏感性。利用实信号及复信号分别对改进 后的f a s t i c a 算法进行仿真，结果表明改进后的f a s t i c a 算法不再敏感于随机分离 矩阵的初始设置且提高了分离效果及收敛速度，与基于信息论、联合近似对角化的 盲源分离算法相比分离效果及收敛速度更优。 对于非线性映射的情况，本文针对后非线性混合研究了马尔可夫的盲源分离 ( m a r k o v p n l ) 平i - 0 - _ 信息的盲源分离( m i m p n l ) 算法。本文在研究m a r k o v p n l 算法基 础上探讨了马尔可夫阶对算法性能的影响；传统的m i m p n l 与m a r k o v p n l 算法因 计算评分函数使收敛速度较慢，本文在评分函数参数化的基础上，利用多层感知器进 行后非线性盲源分离，并对算法迭代式增加阻尼项，使算法更快地达到收敛。仿真结 果表明改进的m i m p n l 算法提高了分离效果及收敛速度。 关键字：盲源分离；f a s t i c a ；后非线性；评分函数；马尔可夫 作者：李睿 指导教师：黄旭朱灿焰 a b s t r a c t b l i n ds o u r c es e p a r a t i o na l g o r i t h mr e s e a r c hw i t hc o m m u n i c a t i o ns i g n a l s b l i n ds o u r c es e p a r a t i o na l g o r i t h mr e s e a r c hw i t h c o m m u n i c a t i o ns i g n a l s a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , d i g i t a ls i g n a lp r o c e s s i n g t e c h n o l o g yi nc o m m u n i c a t i o n ，m e d i c i n ea n do t h e rf i e l d sh a sb e e nw i d e l yu s e d b l i n d s o u r c es e p a r a t i o n ( b s s ) t e c h n i q u ea sas o p h i s t i c a t e d s i g n a lp r o c e s s i n gm e t h o d i s r e s e a r c h e db ym a n ys c h o l a r s b s sr e c o v e ru n k n o w ns i g n a l so n l yb a s e do ni n d e p e n d e n ts t a t i s t i c a lc h a r a c t e r so ft h e o r i g i n a ls i g n a l sw i t h o u ta n yp r i o rk n o w l e d g eo ft h es i g n a lt r a n s m i s s i o nc h a n n e la n ds o u r c e s i g n a l s t h eb s s c a nb ed i v i d e di n t ol i n e a rb l i n ds o u r c es e p a r a t i o na n dn o n l i n e a rb l i n d s o u r c es e p a r a t i o nb yt r a n s m i s s i o nm o d e u n d e rl i n e a rm a p ，b s sc a nb er e s o l v e do n l yu s e t h ei n d e p e n d e n ts t a t i s t i c a lc h a r a c t e rb e t w e e nt h es o u r c es i g n a l s n o n l i n e a rm a pi sas i c k p r o b l e ma n dh a r dt om a k e i tn e e dm o r ew o r ko nt h i ss u b je c t t h i s p a p e rr e s e a r c h e dt h el i n e a ra n dn o n l i n e a rb l i n ds o u r c es e p a r a t i o n f o rt h el i n e a rm a p p i n gb s sp r o b l e m ，w es y s t e m a t i c a l l ys t u d i e dt h ea l g o r i t h m sb a s e d o ni n f o r m a t i o nt h e o r y , j o i n ta p p r o x i m a t ed i a g o n a l i z a t i o na n dt h en e g a t i v e - e n t r o p y , i n w h i c hn e g a t i v e - e n t r o p y - b a s e df a s t l c aa l g o r i t h mh a st h ea d v a n t a g eo ff a s tc o n v e r g e n c e ， s u i t a b l ya p p l i e di nt h ee n g i n e e r i n ge n v i r o n m e n t ，b u ti t sd r a w b a c ki sa l s oe x i s t t h ea n s w e r i ss e n s i t i v et ot h ei n i t i a lo f s e p a r a t i n gm a t r i x ，i n a p p r o p r i a t ei n i t i a l i z a t i o no ft h es e p a r a t i n g m a t r i xw i l lc o m et ow r o n gs o l u t i o n s i nt h i sp a p e r , f a s t l c aa l g o r i t h mi si m p r o v e db y c o m b i n gn e w t o n sm e t h o da n ds h a m a r s k i im e t h o dt oc h a n g et h ei t e r a t i o nm o d e t h i sw i l l r e d u c et h es e n s i t i v i t yo nt h ei n i t i a l i z a t i o no fs e p a r a t i n gm a t r i x r e a ls i g n a ls i m u l a t i o n a n dc o m p l e xs i g n a ls i m u l a t i o ns h o w e dt h a tt h e i m p r o v e df a s t l c aa l g o r i t h mi s n o t s e n s i t i v et ot h es e p a r a t i n gm a t r i xw h i c hr a n d o m l yi n i t i a l e d ，a n dt h es e p a r a t i o ne f f i c i e n c y a n dc o n v e r g e n c er a t ea r ea l s oi m p r o v e d c o m p a r e dw i t ha l g o r i t h m sb a s e do ni n f o r m a t i o n t h e o r y , j o i n ta p p r o x i m a t ed i a g o n a l i z a t i o n ，i m p r o v e df a s t l c ai sb e t t e r f o rt h ec a s eo fn o n 1 i n e a rm a p p i n g ，t h i sp a p e rs t u d i e dm a r k o vp o s t n o n l i n e a r s e p a r a t i o n ( m a r k o v p n l ) a l g o r i t h ma n dt h em u t u a li n f o r m a t i o np o s t - n o n l i n e a rs e p a r a t i o n ( m i m p n l ) f i r s t l yf o rt h em a r k o v p n l ，t h i sp a p e rd i s c u s s e dt h ee f f e c tw h i c hm a r k o v o r d e rm a k eo n t h es t i m u l a t i o ns h o w st h ew e a ki n s t a n c eo ft h em a r k o v p n la l g o r i t h m ；a s t r a d i t i o n a lm i m p n la n dm a r k o v p n lb o t hc a l c u l a t et h es c o r ef u n c t i o n ，t h ec o n v e r g e n c e s p e e d i ss l o w b a s eo np a r a m e t r i co ft h es c o r ef u n c t i o n ，t h i sp a p e ru s em u l t i l a y e r p e r c e p t i o nf o rn o n l i n e a rb l i n ds o u r c es e p a r a t i o na n da d dad a m p i n gt e r mt ot h e i t e r a t i o n w h i c hs p e e du pt h ec o n v e r g e n c e s i m u l a t i o nr e s u l ts h o w st h a tt h ei m p r o v e dm i m - p n l a l g o r i t h mi n c r e a s e ds e p a r a t i n ge f f i c i e n c ya n dc o n v e r g e n ts p e e di ns o m ee x t e n d k e y w o r d s ：b s s ；f a s t l c a ；p o s tn o n - l i n e a r ；s c o r ef u n c t i o n ；m a r k o v 1 1 1 w r i t t e nb yr u i l i s u p e r v i s e db yx u nh u a n g ，c a n y a nz h u 通信倍0 的旨源分离算法研究第一章绪论 第一章绪论 1 1 盲源分离的研究背景及意义 从人们走进数字时代以来，各个领域都不可避免地应用到信号处理技术，其中盲 信号处理是当今研究的热点之一。 对盲信号处理的研究始于1 9 8 5 年j h e r a u l t 和c j u t t e n 的关于生物体中枢神经 运动时可分离出不同运动信息的h j 算法i ，虽然他们没有给出h j 算法的收敛和 稳定性分析，而且h j 算法存在着无全局收敛性、当混合矩阵是奇异的情况下分离 效果不好的问题，但激起了学者们的极大兴趣并投身于盲源分离方面的研究。 1 9 9 1 年，t o n g 等学者对盲源分离的可辨识性进行了细致的研列2 】【3 】，指出盲源分 离其实是一个多解性问题，而且他还证明当源信号的各分量相互之间统计独立时，混 合信号的各分量进行矩阵变换后得到的分量仍然是统计独立的，这样的矩阵变换可分 解为一个满秩矩阵与一个排列矩阵的乘积。 1 9 9 4 年，c o m o n 提出对混合信号进行矩阵变换，使变换后的各个分量相互之间 尽可能地统计独立实现盲源分离的思路，而且给出了独立分量分析严格的数学定义 1 4 1 。c o m o n 和之前的t o n g 都只考虑了信号源数目与混合信号数日相等的情况，对于 假设的前提条件，他们也只规定了源信号的条件却没有对未知的混合系统做深入的研 究。不过，c o m o n 的工作给以后的算法设计提供了举实的理论依据。 1 9 9 5 年，b e l l 和s e j n o w s k i 提出了一种通过自组织学习方法的梯度算法1 5j ，这种 算法可以最大化非线性网络传输的信息，等同于将网络输出信号问的互信息量进行最 小化，因此信息量最大化算法可恢复信号各分量之间的统计独立性，进而实现信号的 盲源分离。他们的工作对盲源算法分离的研究起了巨大的推动作用。 1 9 9 8 年，同本学者a m a r i 提出了在自然梯度下利用神经网络进行盲源分离的算 法f 6 】【7 】1 8 】【9 1 。a m a r i 从信息几何的角度出发提出了自然梯度算法，该算法使目标函数 不再按随机梯度算法那样在欧式空问确定最陡下降方向，而在黎曼空问确定最陡下降 的方向。自然梯度算法与随机梯度算法相比更具收敛性【l0 1 。 国内对盲源分离的研究起步较晚，张贤达于1 9 9 6 年最先介绍了盲源分离的相关 第一章绪论通信信 的旨源分高算法研究 理论并给出了一些算法1 。从此以后，各院校科研单位都丌始对盲源分离进行研究。 国内第一本对专门介绍盲源分离相关研究的著作是杨福生、洪波在2 0 0 6 出版的独 立分量分析的原理及应用1 1 2 】，这本专著为国内立志于盲源分离研究的人们提供了极 大的帮助。何振亚等人在i n f o r m a x 原理的基础上，提出了一种能分离超高斯、亚高 斯混合信号的新算法，并将i n f o r m a x 原理推广到了非线性情况【1 3 】。朱孝龙、保铮、 张贤达提出基于分阶段学习的盲信号分离l l4 1 ，该算法比使用固定步长因子和自适应学 习速率的算法相比，具有更快的收敛速度、更好的稳态性能和更高的数值稳定性。冶 继民、金海红、楼顺天和张贤达在自然梯度算法的基础上，提出了投影自然梯度算法， 该算法具有与自然梯度算法相同的收敛速度，而且克服了已有算法不能稳定收敛的缺 点【15 1 。 由于盲源分离技术是在源信号与混合信道未知的情况下进行的信号处理技术，它 的唯一假设条件就是源信号之间的统计独立性，这是相当宽泛的假设条件，使得它的 应用领域极广。 经过多年的努力，盲源分离技术有了长足的进步，但若干难题仍有待于解决。如 欠定问趔16 1 、含噪信号的盲源分离问题【”1 等都无法得到解决。其中非线性盲源分离 问剧豫j 十分地引人注目，因为非线性盲源分离问题是更加接近实际情况的问题，现实 环境对源信号的混合往往都不是简单的线性混合，非线性给问题的解决带来了更大的 分离难点。它的难点主要集中在解的不确定性，仅利用源信号问的统计独立性会得到 无穷个满足条件却无意义的解。现在研究多集中在后非线一 生( p o s t n o l i n e a rp n l ) 1 1 9 1 的 情况并且已经被证实可以得到很好的分离效果。 1 2 盲源分离研究的应用 由于盲源分离涉足领域的广泛性。来自不同领域的许多学者都对这一理论进行了 深入研究，使得盲源分离的理论得以在许多领域发挥出耀眼的光芒。 ( 1 ) 脑成像中的应用【2 i j 【2 2 】随着新型脑成像技术的出现，我们可以从活体人脑 中采集出大量的脑电波数据。盲源分离在脑成像领域的应用具有不可估量的 价值，许多类型的脑成像数据非常适合用盲源分离的模型描述。通过盲源分 离的方法可以从e e g 和m e g 数据中提取各种不同的伪迹信号，另外盲源分 2 通信信i j 的旨源分离算法h 玎究第一一章绪论 离还可以分解诱发电位及诱发场。 ( 2 ) 人脸图像的特征提取【2 3 】由于人脸图像模式的维数特别高，利用p c a i 2 4 1 1 2 5 】 技术对其降维是一种非常有效的手段，它的过程一般首先对人脸的图像进行 归一化处理，然后提取人脸特征，之后在特征空间内设计一个分类器，此分 类器可用于识别新的人脸样本。 ( 3 ) 数据压缩数据压缩技术1 2 6 】【2 7 1 的本质是去掉数据中的相关成分，而盲源分离 的目的恰恰就是去除高阶相关，正是由于这一点使得i c a 方法成为了数据压 缩的有效工具。基于i c a 的i a i 数据压缩算法主要包括图像r g b 到y i q 的 变换、y i q 图像的i c a 分解、独立基图像的小波压缩编码三步。 除了上述的应用还有雷达、声纳、通信等多个方面，随着盲源分离技术理论的成 熟，人们可以享受更多盲源分离技术带来的好处。 1 3 课题的研究内容 盲源分离技术只利用观测信号对原始信号进行估计的特点很适用于未知通信发 射信号的恢复。对于简单的通信环境，接收信号被看成源信号的线性叠加，利用线性 的盲源分离算法可以得到较高的分离效果，但随着科技的进步，现在的电磁环境十分 复杂，接收信号往往是源信号的非线性映射，对非线性盲源分离算法的研究有利于使 这项技术更适于当今的需求。 本文主要对线性盲源分离问题与非线性盲源分离问题进行研究。 本文首先研究线性盲源分离算法，包括信息量最大化的盲源分离算法、极大似然 算法、基于高阶累积量的联合对角化算法以及基于负熵的f a s t l c a 算法。主要针对 f a s t l c a 算法对初始矩阵的敏感问题进行改进，提出将下降牛顿下降法与s h a m a r s k i i 方法结合改变迭代方式，以降低算法对初始点的依赖性并加速算法的收敛速度，利用 实信号及复信号分别对改进后的f a s t l c a 算法进行仿真，以验证改进后的f a s t l c a 算 法不再敏感于随机分离矩阵的初始设置且能提高分离效果及收敛速度。最后对几种线 性盲源分离算法进行对比与分析。 其次，对非线性盲源分离算法进行研究。本文在研究基于马尔可夫的后非线性 ( m a r k o v p n l ) 盲源分离算法基础上，利用仿真实验探讨m a r k o v p n l 算法中马尔可夫 3 第一章绪论 通f 吉信，的目源分离算法研究 阶数设定对算法性能的影响。然后对基于互信息最小的后非线性( m i m p n l ) 盲源分 离算法进行研究，并对m i m p n l 算法进行改进，在将评分函数参数化的基础上对迭 代式增加阻尼项，有效提高算法的收敛速度及稳定性，并利用仿真验证这种改进的有 效性。 1 4 论文内容安排 论文的结构安排分为以下几章： 第一章为绪论，简要介绍了盲源分离的研究背景及意义，盲源分离研究的应用以 及论文的主要研究内容。 第二章主要阐述了盲源分离技术的基本模型、盲源分离技术中涉及的基础知识， 给出了衡量算法分离混合信号效果的两种评价指标。 第三章首先对线性混合盲源分离技术进行了系统的研究，针对f a s t l c a 算法敏感 于初始分离矩阵的问题提出了改进算法，并利用仿真验证了改进的有效性。 第四章主要研究了两种后非线性模型的盲源分离，即基于马尔可夫的后非线性 f m a r k o v p n l ) 盲源分离与基于互信息最小的后非线性( m i m - p n l ) 盲源分离。在研究 m i m p n l 时对算法进行阻尼改进，提高算法的收敛速度。并将本章所提到的后非线 性盲源分离算法应用到通信信号中，对算法在通信信号分离的有效性进行了仿真，通 过对比证实了改进m i m p n l 的优化效果。 第五章是对工作的总结以及展望。 4 通信信l j 的奇源分离算法纠f 究 第二章卣源分高的链本理论 第二章盲源分离的基本理论 2 1 盲源分离的基本模型 盲源分离技术就是从多个原始信号的混合信号中将这些无法直接观测的原始信 号的重构技术2 8 1 。通常情况下，所能提供的只有一组由传感器接收并输出的观测信号， 每个传感器输出的观测信号是由多个原始信号按不同方式的映射，如图2 1 所示。 s lx 1 r s 2lx 2 r f r g s n k x m r 。 图2 - 1 盲源分离的一般模型 在图2 1 中，s l , s 2 ，s n 分别为n 维源信号矢量s 中的各个分量；x l ，x 2 ，x m 为相应 向量源信号s 中的各个分量按某种映射关系f 作用后由传感器输出的观测数据，它 们是观测向量x 的各个分量，s 与x 的关系可记为： x = f ( s ，n )( 2 1 ) 式( 2 1 ) 中1 1 为噪声向量，它是区别于源信号与观测信号的另一个矢量，可以是由源信 号或传感器引起的，也可以是其他原因造成的。为了分析的简便，这晕假设不同源信 号被各个传感器接收的时问是相同的，即不存在延时，而且各个传感器接收后的输出 均为各个源信号的线性叠加。模型如图2 2 所示。 由图2 2 可见，第i 个传感器的输出为： x t ( t ) = e a 。s ，( ，) + 啊( ，) i = 1 ，2 ，m( 2 2 ) 户l x - 式( 2 2 ) 中，口为传输系数，玛( f ) 为第i 个传感器自身所产生的噪声干扰。写成向量形 式为： x ( f ) = a s ( t ) + n ( t ) 其中，爹( t ) 为m 1 的混合信号向量；a 为m n 混合矩阵，它的元素分别是；s ( t ) 是 ： 5 第二章盲源分离的皋奉理论通信信0 的茸源分离算泫饲f 究 n l 的源信号向量；n ( t ) 是m x l 的噪声向量。图2 3 给出了两个平均分布变量经线性 混合后的分布及添加噪声后的分布图。 s l s 2 图2 2 线性混合与盲源分离模型 0 2 0 0 0 51 两个均匀变量分布图 一一 1 一 y 1 3 2 y n o0 511 50 0 511 5 线性混合后的分布 添加高斯噪卢后的分布 图2 - 3 两个平均分布信号混合的联合分布 在不考虑噪声的情况下，即传感器没有噪声干扰，式( 2 3 ) 写为 x ( 矿) = a s ( t ) ( 2 4 ) 气 6 通f 信q 的茸源分高算法研究第：章肖源分离的皋奉理论 这样简化考虑的好处在于更容易的分析问题的解，假设该解为一个线性变换w ， 那么w 对x ( t ) 线性变换后，估计信号向量y ( t ) 的数学表达式为： y ( t ) = w x ( t ) ( 2 5 ) 将( 2 4 ) 式代入( 2 5 ) 中，得到： 、 y ( ，) = w x ( t ) = w a s ( t ) ( 2 6 ) = c s ( t ) 式( 2 6 ) 中，c = w a 是一个n n 的矩阵，它是信号分离矩阵和混合矩阵的乘积。关于 分离一混合的复合矩阵c 有如下定理。 定理1 设混合一分离复合矩阵c 为n x n 的满秩矩阵，y = c s 。其中s = 【s l ，s 2 ，s 1 1 】t ， 为n 维的随机向量，其分量都是相互统计独立的随机变量，并且均值为零，方差均为 l 。y = y l ，y 2 ，y 。】1 的各分量也是方差为l 的随机变量。若y 的分量两两统计独立，即 对所有的f ，= l ，2 ，聆，f _ ，y i 与y j 的概率密度函数都满足等式 厶( 只，y j ) = f y ( y , ) f ，( y j ) ，则有： ( 1 ) 通过重新排列矩阵s 和y 的各个分量，矩阵c 可以变成分场对角矩阵的形式， 即c = u i a g c ，c 2 ，c 女，i ，其中每一分块c ，f - 1 ，2 ，k 都是维数大于1 的正交 矩阵，而单位矩阵i 的维数可能为零； ( 2 ) 随机向量s 中对应于单位分块矩阵i 的分量可以足高斯或非高斯的任何分布； ( 3 ) 随机向量s 中对应于分块c ，f = l ，2 ，七的分量服从高斯分布。 事实上，盲源分离问题是一个多解性问题，对式( 2 5 ) 或( 2 6 ) 而言，会有许多组不 同的解，这里必须事先做出一些假设，使最终得到的解是我们所期望的。这些假设分 别为1 2 9 】： 假设1 源信号s ( t ) 足零均值平稳随机向量，各分量间相互统计独立，其中高斯分 布的分量不能超过1 个。 假设2 混合矩阵为列满秩矩阵，即上述的观测信号的数目应不少于源信号数。 假设3 噪声向量n ( t ) 与源信号之i 目j 统计独立且各分量均值为零；也可以假设n ( t ) 为零，忽略不计。 第一二幸茸源分离的桀奉理论 通信信，的肓源分离算泫研究 满足上述3 个假设条件的盲源分离模型被称为是可辨识的，综上所述，盲源分离 中的“盲”是指关于混合矩阵的知识是未知的或知道的甚少，“源”是指原始的独立 信号。 另外要指出的是，盲源分离技术是可以将源信号估计出来，但估计分量y i 并不与 源分量s i 完全相同，它在幅度与次序上与源信号都是不同的。 2 2 统计知识 1 统计独立性 统计独立性是盲源分离中一个十分重要的概念，为了简单起见，对于两个标量的 随机变量x 和y ，它们的统计独立性在数学上以概率密度定义为： ( x ，y ) = p x ( x ) p y ( y ) ( 2 7 ) 式( 2 7 ) 意味着x 与y 的联合概率密度可分解为x 与y 的概率之积时则它们的关系为统 计独立。独立随机变量具有以下的性质： e g ( x ) 办( y ) = e g ( x ) e j l z ( y ) ( 2 8 ) 我们也可以把二维的独立性定义扩展到高维，对于x , y , z ，的独立性定义为： 岛以”( x ，y ，z ，) = 以( x ) 丹( y ) 见( z ) ( 2 9 ) 高维下统计独立的性质为： e ( x ) g 。( y ) g ：( z ) ) = e & ( x ) ) e g ，( y ) ) e g ：( z ) ( 2 1 0 ) 2 高阶统计量 对于给定的一组实随机变量 x l ，x 2 ，x n ，阶为f k l + k 2 + + k n 的联合矩阵定义为： m o r n i x l k , t “，“- e x i k , 恐“，k ) ：(一)7旦二兰王!差辜芋兰兰未iq；吐一 2 j1 这罩e ) 为求期望运算。另定义 西( q ，哆，) 三e e x p ( ( 劬五+ 哆而+ 毛) ) ) ( 2 1 2 ) 为联合特征函数。 8 通信信o j 的卣源分离算注州究 第一i 章宣源分离的基本胖论 联合累积量定义为 c甜m五“，k兰(一)芝：嬲lq：咣一峨。c2。3， ( 2 1 3 ) s - e p ：孓( q ，哆，) 三l n ( q ，哆，) 矩与累积量之间存在密切的关系，对于随机变量 t ，它各阶矩为 = m o m i x 。】= e x 聊：= m o r n i x l “i - 。i l j = e 砰 ：砌，五曲西 2 j 4 m 4 = m - d 所【一，而，x 。，西】= e 而累积量为 q = c u m x 。】- 铂 耄=cumx,，,玉xt，而=】m：2脚-，m12=curext3 m 2 m a + 2 稿 ( 2 - 5 ) 岛 ，玉，而】= 脚3 一+ 2 稿 、 q = c u m i x l ，五，五，一】= m 4 - 4 m 3 现一3 聊；+ 1 2 m 2 ，彳- 6 ，彳 3 峭度 由中心极限定理可知，随机变量和的分布是趋于高斯分布的，可以说随机变量 和的分布是趋于高斯分布的，可以说两个独立随机变量之和的分布比其中任一个更 接近于高斯分布。非高斯性的度量是盲源分离的统计基础。 一种有效的衡量随机变量非高斯性的方法就是峭度，它的定义为： k u ，f ( 少) = e j ，4 e y 2 ) 2 - 3 ( 2 1 6 ) 不过，需要注意y 是零均值的随机变量，如果y 是经过标准化的，即将y 的方差 约束为1 ，那么表达式将更加简单，即 k u r t ( y ) = e y 4 - 3 ( 2 1 7 ) 因为高斯变量的四阶矩就是3 ( e y 2 ) 2 ，代入式( 2 1 7 ) 可得高斯变量的峭度为0 。如果 变量的峭度为正，那么称它为超高斯变量，i 如果峭度为负，那么该变量称为次高斯变 量，它们的概率函数分布情况如图2 4 所示。 9 第二章自源分离的暴奉理论通信信吁的旨源分离算法研究 r 一 一 一。 0 r 。一一一。一 1 i ! 一次高斯分布p d f 1 1”高斯分布p d f 一一 超高斯分布p d r 图2 - 4 信号的三种冒厘分布 图2 4 所示的次高斯随机变量是典型的均匀分布，概率密度表达式为： 如) ：岛i y i 洲( 2 1 8 ) 1 0 其他 高斯分布为标准正态分布。 超高斯随机变量为拉普拉斯分布，拉普拉斯分布的表达式为： p ( y ) = 万1 e x p ( 一别) ( 2 1 9 ) 峭度在计算上十分的方便快速，只需要计算变量的四阶矩就能得到该变量的峭 度，峭度还具有如下重要性质： k u r t ( y l + 耽) = k u r t ( y 1 ) + k u r t ( y 2 ) ( 2 2 0 ) k u r t ( a y l ) = 口4 k u r t ( y 1 ) ( 2 21 ) 式( 2 2 1 ) 中a 为常量值。 4 似然度 对于式( 2 4 ) ，令线性混合信号向量x = a s = x l ，x 2 ，x 。 t ，其中a 为n x m 维的随 机混合矩阵，s = s l ，s 2 ，s m l t ，为了进一步简化似然度的推导，令m = i i ，根据线性变 一 一 7 6 5 o o 0 通f 膏f 膏j 。的肖源分离算法研究 第二章茸源分高的攘奉理论 换下x 与s 的概率密度相等可得到观测向量的概率密度表达式为： 见( x ) = i d e ta 一1 | 凤( s ) = i d e t a l 兀p 、( ) ( 2 2 2 ) 若记b = a 1 = 【b l ，b 2 ，b 。】t ，那么式( 2 2 2 ) 还可以写为： p , ( x ) = d e t b 兀见( b ( 2 2 3 ) 当x 的样本容量为t ，所有的样本为x ( 1 ) ，x ( 2 ) ，x ( t ) ，则似然度可定义为b 的函数 z ( m - - 兀兀只( b j x ( t ) ) l d e t b l ( 2 2 4 ) 观察式( 2 2 4 ) 可见，似然度是很多项的乘积，其计算量是相当大的，所以一般进行对 数运算，对数似然度是由许多项相加而成，在进行代数运算时十分的简洁。 l o g l ( b ) = l o g p ，( b l x ( t ) ) + t l o gd e t b l ( 2 2 5 ) 式( 2 2 5 ) 可进一步简化，在等号两边同除以t 1 ，1 0 9 l ( b ) = e l o g p 。, ( b j x ( f ) ) + 1 0 9 i d e t b ( 2 2 6 ) 1 【，_ 1j 2 3 信息论基础知识 2 3 1 熵 熵作为信息论中的一个基本概念有着十分重要的作用，它是许多盲源分离算法的 理论基础。对于一个离散的随机变量x ，熵的定义为： 日( x ) = 一，p ( x = q ) 1 0 9 尸( x = 口，) ( 2 2 7 ) 事实上，熵是一种有效的度量随机性的方法，由式( 2 2 7 ) 可以看到，熵的取值总是非 负的；当p ( x = 口，) 为0 或1 时，h ( x ) i * j 值为0 ，而当所有a t 的概率都相等时，日( x ) 的 值是最大的。 熵除了具有非负性外，还具有对称性、扩展性、可加性、极值性、上凸性等性质。 第一二章茸源分离的堆奉理论 通信信蛩的茸源分离算法研究 对于连续随机变量和连续随机向量，同样可以用熵来表征它的随机性，这罩，可以引 出连续随机变量或连续随机向量微分熵的概念。 微分熵的定义如下式： x 2 _ = j p ，( f ) l o g p y 善j 孝 ( 2 2 8 ) = i 厂( p ，( 孝) ) d 孝 其中f ( x ) 函数的定义为： ( x ) = 一x l o g x ，0 x s l( 2 2 9 ) 注意：微分熵可以为负。 微分熵的定义可推广至多维向量，令x 是密度为p “) 的随机向量，则向量微分熵 的定义为： 日( x ) = 一i n ( 芎) l o g p 。( 亏) 武 ( 2 3 0 ) 将随机向量x 做可逆变换f ，得到 y = f ( x )( 2 3 1 ) y 的概率密度函数可以写为： 岛( f ) = p 。( f 。1 ( f ) ) d e t 月( f 。1 ( f ) ) i ( 2 3 2 ) 由y 的概率密度函数得到y 的微分熵： h ( y ) = - e l o g p y ( y ) 川 l o g n ( 一( y ) ) 阳( 一( y ) ) 门 = 一e i 。g 巾) i d e tj r ( x ) 唧 ( 2 3 3 ) = e l o g i d e t 沂( x ) i 一e l o g 以( x ) ) = 日( x ) + e l o g i d e t 沂( x ) i 当变换为线性变换时，即y = m x 。 此时的变换熵为： 日( y ) = ( x ) + l o gd e t m i ( 2 3 4 ) 通f 矗信0 的茸源分离算法研究第_ 二章肓源分离的堆奉理论 2 3 2 互信息量 互信息量为两组随机变量之问的信息量度量。 随机变量x l 和x 2 的联合熵定义为 h ( x l ，镌) = 一p ( j c l = 口，x 2 = 匆) l g p ( 五= a i ，= 6 ，) ( 2 3 5 ) 对于独立的变量，当且仅当p ( x l ，x 2 ) = p ( x 1 ) p ( x 2 ) 时， - ( x 。，x 2 ) = ( 而) + 日( x ：) ( 2 3 6 ) 给定x 2 = b k ，x i 的条件熵是条件概率p ( x l l x 2 = b k ) 的熵 h ( 五ix 2 = = 一p ( x ，lx 2 = b k ) l g p ( x l x 2 = 晚) ( 2 3 7 ) 给定x 2 ，x l 的条件熵是给定x 2 时x l 的条件熵就是x 2 的平均，它是对平均不确定 性的测度。 i - i ( x , i 而) = 一p ( x l ，x 2 ) l g p ( x , ix 2 = 仇) ( 2 3 8 ) x l 和x 2 之间的互信息是边缘熵之和减去联合熵 如，x 2 ) = 日( 五) + i - i ( x 2 ) 一日( 而, x 2 ) ( 2 3 9 ) = 日( 五) 一日( 五i 恐) 、。 还可以用k u l l b a c k l e i b l e r 散度相对熵的距离来表征互信息量，定义为： 砌，g ) 2 军p l g 器 ( 2 4 。) 式( 2 4 0 ) 中：p ( x ) 和q ( x ) 分别是两个n 维概率密度函数。d ( p ，q ) 总是非负的，当且 仅当p = q 时d ( p ，q ) v 1 1 为零。 根据互信息量的定义，随机变量x ，和x 2 之问的互信息量以及它们概率密度函数 的k u l l b a c k l e i b e r 散度之间有着这样的关系： ，( 而；x 2 ) = d ( p ( x l ，x 2 ) ，p ( 五) p ( 如) ) ( 2 4 1 ) 当p ( x 1 ，x 2 ) = p ( x 1 ) p ( x 2 ) 时，i ( x i ，x 2 ) = o 即x l 与x 2 相互统计独立的情况下，它们之间 的互信息量取得最小值0 。 由此可以推广到由多个元素组成向量的情况，写成数学表达式为： ，( 五；恐；矗) = d ( p ( x i ，x 2 ，吒) ，p ( 五) p ( x 2 ) p ( ) ) ( 2 4 2 ) 第一二章肓源分离的早奉理论 通信信譬的高源分离算法研究 x 2 x l ，x 2 9 o*o g x 。) ，它们的概率密度分别为p ( x 1 ) ，p ( x 2 ) ，p ( x 。) ，联合概率密度为 p ( x l ，x 2 ，x n ) ，当p ( x l ，x 2 ，x 。) = p ( x 1 ) p ( x 2 ) p ( x 。) 时有 2 3 3 负熵 i ( x l ；x 2 ；x 。) 2 0 ( 2 4 3 ) 负熵的概念是由微分熵扩展而来，因为在单位方差的情况下，高斯变量具有最大 的不确定性，所以此时高斯变量拥有极大的熵。高斯变量的负熵为0 ，而且永远为非 负值，它的定义为： ，( x ) = h ( x 脚。) 一h ( x ) ( 2 4 4 ) 式( 2 4 4 ) 中：x 一是与x 具有相同协方差矩阵的某个n 维高斯随机向量，计算式为： h ( x 删) = l l o gd e t i + 瓢l + l 。9 2 万】 ( 2 4 5 ) 负熵在可逆线性变换下具有不变性，假设对x 做可逆线性变换得y = m x ，那么 、 e y y 0 = m z m r ( 2 4 6 ) j ( y ) = j ( m x ) = 吉l 。g i d e t ( m 彬) | + 争l + l 0 9 2 万卜( h ( x ) + l 。g m 1 ) = 丢l 。g i d e t l + 2 1 + l 0 9 2 n 一日( x ) = h ( x 删) 一h ( x ) = j ( x 、 ( 2 4 7 ) 根据式( 2 4 7 ) ，当x 为标量时，有 s ( y ) = j ( a x ) ( 2 4 8 ) 式( 2 4 8 ) n - 以看到负熵具有尺度不变的性质，即改变变量x 的幅度时它的负熵值不变， 而熵却不具有这样的性质。 负熵可作为非高斯性的度量，因此将它直接作为盲源分离的一个目标函数。 1 4 通信信吁的茸源分离算法研究 第二章白源分离的壤本理论 2 4 信号预处理 2 4 1 零均值化 在绝大多数的盲源分离算法中，都要假设信号的各个分量都是零均值的随机变 量，因此为了使实际的盲源分离问题能够符合所提出的数学模型，必须在分离之前 预先去除信号的均值。 如果x 为均值不为零的随机变量，只需要用x o = x e ( x ) 代替x 就可以了。在 实际的计算中则用算术平均代替其数学期望来对随机变量的样本去除均值。设 x ( ，) = 一( ，) ，恐( ，) ，_ ( f ) 7 ，t = l ，2 ，n 为向量x 的n 个样本，则零均值化 的数学表达式为： x o ，( ，) = t ( ，) 一寺t ( f ) ，t = l 州2 ，n ( 2 4 9 ) v i = l 2 4 2 白化 白化处理在盲源分离中常用于对观测数