（模式识别与智能系统专业论文）基于网络分量分析的盲源分离技术研究及应用.pdf

南京邮电大学硕士研究生学位论文 j 两要 摘要 盲信号处理( b l i n ds i g n a lp r o c e s s i n g ，b s p ) 是二十世纪九十年代发展起来的一个研究领 域。盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 是盲信号处理的一个重要的研究课题，它具有 坚实的理论基础和广泛的应用前景。独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是一种重要的盲源分离的方法，它是从统计学角度使得分离出来的信号尽可能独立。但是， 在大多数生物和基因环境下，信号相互统计独立这个假设通常是不成立的。于是，需要把 研究扩展到更加符合实际的情况中去，例如在信号统计独立性假设不成立的条件下，也能 实现对源信号的分离。 本文的主要内容为介绍盲源分离的研究背景、研究现状和意义，阐述i c a 方法的原 理及实现过程，概括i c a 和p c a 及b s s 的关系，在此基础上重点介绍f a s t i c a 算法和j a d e 算法。针对现有算法的不足，引入网络分量分析( n e t w o r kc o m p o n e n ta n a l y s i s ，n c a ) 的 方法，建立系统模型，给出n c a 的可辨识性标准，包括可辨识性的各个特性和可辨识子 网的选择，证明由n c a 得出的解满足最大似然准则； 将n c a 方法应用到盲源分离中， 提出具体的算法并给出新的更为直观和有效的可辨识性证明：用m a t l a b 仿真对算法 进行性能分析，主要是将n c a 的分离结果与i c a 的f a s t i c a 算法和j a d e 算法进行比较， 证实了在无统计独立性的假设下，n c a 具有更理想的盲源分离效果，它所使用的最小二乘 法不需要任何迭代过程，因此收敛更快，避免了采用迭代算法而陷入局部最优的问题。 对盲信号处理的应用前景进行总结和展望。 关键词：盲信号处理；盲源分离；独立分量分析：网络分量分析； 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t b l i n ds i g n mp r o c e s s i n g ( b s p ) i sm e n t i o n e dm o r ea n dm o r ei nt h el a t e s td e c a d eo fl a s t c e n t u r y b l i n ds o u r c es e p a r a t i o n ( b s s ) i sav e r yi m p o r t a n tt o p i co fb s e i th a ss o l i dt h e o r e t i c a l f o u n d a t i o n sa n dm a n yp o t e n t i a la p p l i c a t i o n s i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i sa s i g n i f i c a n tm e t h o do fb s s ，w h i c hi sa i m e dt os e p a r a t es i g n a l si nas t a t i s t i c a lw a y a si n d e p e n d e m a sp o s s i b l e h o w e v e r , i nm o s tb i o l o g i c a la n dg e n e t i cc i r c u m s t a n c e s ，t h e a s s u m p t i o no f i n d e p e n d e n c eu s u a l l yc a nn o tb es a t i s f i e d t h e r e f o r ew es h o u l de x p a n dt h er e s e a r c ht ot h e c i r c u m s t a n c ew h i c hi sm o r ec o m p l i a n tt or e a l i t y , s ot h a tb l i n ds o u r c es e p a r a t i o nc a l lb ea c h i e v e d w i t h o u tt h ea s s u m p t i o no fs t a t i s t i c a li n d e p e n d e n c e t h em a i nc o n t r i b u t i o n so ft h ed i s s e r t a t i o n 黜a sf o l l o w s ：i n t r o d u c e st h er e s e a r c h b a c k g r o u n da n dm e a n i n go fb s s ，t h e ns h o w st h ed e v e l o p m e mo fl c a ，a n dt h er e l a t i o n sb e t w e e n p c aa n db s s ，p a r t i c u l a r l ys t u d i e st h ef a s t l c a a l g o r i t h ma n dj a d ea l g o r i t h m c o n s i d e r i n g t h es h o r t c o m i n go fl c a a l g o r i t h m ，w ei n t r o d u c et h em e t h o do f n e t w o r kc o m p o n e n ta n a l y s i s 州c a ) ，b u i l dn c as y s t e mm o d e l ，a n dt h e ns p e c i f yt h en e t w o r ki d e n t i f i a b i l i t yc r i t e r i a , i n c l u d i n g c o n v e n t i o n a ln c a i d e n t i f i a b i l i t yp r o p e r t i e sa n dt h es e l e c t i o no fm u l t i p l ei d e n t i f i a b l er e g u l a t o r y s u b n e t w o r k s ，p r o v et h a tt h er e s u l tb yn c a s a t i s f i e st h ep r i n c i p l eo fm a x i m u ml i k e l i h o o d e s t i m a t i o n a p p l i e st h em e t h o do fn c a i n t ob l i n ds o u r c es e p a r a t i o n ，p r o p o s e sa s p e c i f i c a l g o r i t h ma n dg i v e st h en o v e lp r o o fo fi d e n t i f i a b i l i t y , w h i c hi sm o r ei n t u i t i v ea n dc o n s t r u c t i v e p r o o fo ft h i sm e t h o da n da l g o r i t h mh a v eb e e nv e r i f i e db yc o m p u t e rs i m u l a t i o nc o m p a r i n gt o t h es e p a r a t i o nu s i n gf a s t l c aa l g o r i t h ma n dj a d e a l g o r i t h m t h es u p e r i o r i t yo f n c a i s v a l i d a t e dw i t h o u tt h ea s s u m p t i o no fs t a t i s t i c a li n d e p e n d e n c e t h el e a s ts q u a r e sm e t h o du s e db y n c ad o e sn o tr e q u i r ea n yi t e r a t i v ep r o c e s s ，s oi tc o n v e r g e sf a s t e ra n da v o i dt h ep r o b l e mo fl o c a l o p t i m a ls o l u t i o n g i v e ss o m ec o n c l u s i o n sa n dp r o s p e c t s t ot h ea p p l i c a t i o no fb s s k e yw o r d s ：b l i n ds i g n a lp r o c e s s i n g ( b s p ) ；b l i n ds o u r c es e p a r a t i o n0 3 s s ) ；i n d e p e n d e n t c o m p o n e n ta n a l y s i s ( i c a ) ；n e t w o r kc o m p o n e n ta n a l y s i s0 q c a ) ； i l 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 日期：上掣 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：导师签名： 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 课题研究背景和意义 第一章绪论 随着近一个世纪的发展，信号处理领域的研究水平不断提高，人们研究的焦点从传统 的统计信号处理转向现代信号处理。与此同时，各种新的研究手段也不断涌现出来，如小 波分析、混沌与分形理论、高阶时频分析、高阶统计量及神经网络等等。传统的信号有三 个基本假设：线性、高斯分布和平稳性。而现代信号处理则以非线性、非平稳和非高斯的 复杂信号作为分析和处理的对象。这种复杂信号的处理研究，不仅有着很高的实用价值， 而且有着重大的理论意义。 盲信号处理是一种功能强大的信号处理方法，已经成为国际上信号处理和人工神经网 络等学科领域的一个研究和应用的热点，是一种在信号的理论模型或参考信号不能实际精 确利用的前提下，为逼近原始参数或信号、模型，而采取的新技术。盲信号处理包括信号 源盲分离和盲反卷积。盲源分离通常是对观测到的源信号的线性瞬时混合信号进行分离， 可以表述为：当传输信道未知时，从一个传感器阵列或转换器的输出信号中分离或估计源 信号；盲反卷积是考虑到在时间延迟的情况下，对观测到的源信号与通道的卷积混叠信号 进行盲分离。这里的“盲 有两层含义：一是所要恢复的源信号不能直接被观测，二是所 接收的观测数据向量是如何由源信号进行混合而成也是未知的【1 】。 盲源分离方法作为盲信号处理领域的一个主要研究方向，具有坚实的理论基础，尤其 在生物医学工程、医学图像、语音增强、遥感、通信系统、地震探测、地球物理学、计量 经济学和数据挖掘等领域【1 2 】有着广泛的应用。 1 2 盲源分离的原理和研究现状 盲源分离的研究起源于鸡尾酒问题【3 】。在多个说话人同时讲话的语音环境中，通常每 个麦克风接收到是多个说话者的混合声音，如何仅仅从话筒接收到的语音信号中分离出所 需要的说话者的声音? 这便是盲分离问题。 盲分离问题的主要特征就是在未知混叠参数的情况下，仅仅根据观测到的混叠信号恢 复出原始源信号，通常观测信号来自一组传感器的输出，其中每一个传感器接收到多个原 始信号的一组组合，如图1 1 所示。这是一个无需训练数据、“自学或者说“无监督 堕皇坚皇查堂垦主塑塞皇堂些堡三 曼二! 丝堡 的求逆过程，我们不知道有关原始输入信号与信道结构的先验知识。由于许多盲分离方法 都假设原始输入信号相互统计独立，因此这一过程有时候可以归结为独立元分析。当从信 源到传感器之间的传输系统很难建立数学模型，或者关于传输的先验知识无法获得时盲 分离是一种自然而且比较理想的选择。盲分离的核心问题是对分离( 或混叠) 矩阵的学习， 它属于无监督的学习，其基本思想是抽取源信号的某些特征( 比如独立性、稀疏性等等) 作 为输入的表示，而又不丢失信息。 彝信号s 稠e t 信号x ( t ) 分离信号蚋 图l l 盲分离示意图 总的来说，盲分离问题的研究内容大体上可以划分为瞬时线性混叠盲分离、卷积混叠 盲分离非线性混叠盲分离以及盲分离的应用四部分。当混叠模型为非线性时，很难从混 叠数据中恢复源信号t 除非对信号和混叠模型有进一步的先验知识。到目前为止，在大多 数的研究中，讨论得最多的是瞬时线性混叠盲分离和卷积混叠盲分离。 从二十世纪八十年代中后期到现在短短的十几年里，有关盲分离理论和算法研究得到 了鞍快的发展，包括盲分离问题本身的可解性以及求解原理等方面的基本理论问题已经在 一定的程度上部分得到了解决，并提出了一些在分离能力、内存需求、计算量等方面性能 各异的盲分离算法。一般认为，对盲分离问题的最早研究是由法国的h e r a l l l t 和j u 曲于1 9 8 5 年左右开始的【4 】。1 9 9 1 年发表论文【5 】，现在通常称他们的方法为h - j 算法。h j 算法中提 出了一种针对两个源信号和两个挹叠信号的递归连接人工神经网络，利用梯度下降算法调 整网络权值对网络输出信号的残差最小化实现盲分离。h c r a u l 国j u t t e n 之后，不少学者对 h j 算法的收敛性进行了系统的研究，在只存在两个源信号和两个混叠信号的最倚单情况 下，收敛性问题得到了完满的解决。此后盲分离问题引起了神经网络领域和信号处理领域 的广泛研究趣，盛况空前。 南京邮电大学硕士研霓至学位论文 第一章绪论 瞬时线性混叠盲分离相对而言最为简单，到目前为止， 性混叠数学模型如下： x ( t ) = g s ( t ) 研究成果也最为丰富。瞬时线 y ( t ) = w x ( t )( 1 2 ) 其中( 1 1 ) 式为混叠模型，( 1 2 ) 式为分离模型：s ( r ) = ( s ( ，) ，s ：( ，) ，s 。( f ) ) t 为源信号矢量， x ( r ) = ( x ( r ) ，x 2 ( ，) ，x 。( f ) ) t 为观测信号矢量y ( f ) - ( y 。( ，) ，y 2 ( f ) ，y 。( ，) ) t 为分离信号矢量；a 为未知的m n 的混叠矩阵，源信号s p ) 也是未知的，w 为分离矩阵。瞬时线性混叠盲分离 的目的就是通过调节分离矩阵w ( 或混叠矩阵a ) ，使得分离信号与对应的源信号的波形保 持一致，即： y ( f ) = p d s ( t )( 1 3 ) 其中p 为置换矩阵，d 为对角矩阵。y ( t ) 是对源信号s ( f ) 的估计，瞬时线性混叠盲分离问题 允许存在两个方面的不确定性：一个是排列顺序的不确定性，无法了解所抽取的信号应为 源信号s ( r ) 的哪一个分量；另一个是信号幅度的不确定性，即无法知道源信号的真实幅值。 由于信号的信息很大一部分隐含在波形中，所以很多时候这两种不确定性并不影响盲分离 技术的应用。瞬时线性盲分离实现的具体过程如图1 2 所示，其中l a 表示学习算法 ( l e a r n i n ga l g o d t h r a ) 。 图1 2 瞬时线性混叠盲分离示意图 瞬时线性混叠盲分离代表性的算法主要有：b e l l s e j n o w s k i 最大信息量( i n f o m a x ) 方法 6 1 、a m a r i 自然梯度( n a t u r a lg - r a d i c n t ) 方法【7 】、c a r d o s o 等变化自适应方法( e a s i ) 8 、 h y v a r i n e n 快速独立元分析算法( f a s t i c a ) 9 、矩阵特征值分解方法( j a d e ) i o 等。其它算法 很多都是在这些算法的基础上推广或者补充发展起来的，当然盲分离并不仅仅局限于这些 算法。盲分离中经常要用到优化运算，就优化手段而然，i n f o m a x 算法、自然梯度算法、和 e a s i 算法属于梯度下降( 上升) 寻优算法，收敛速度是线性的，速度略慢一些，但属于自适 3 南京邮电大学硕壬研究生学位论文第一章绪论 应方法、具有实时在线处理能力：f a s t l c a 算法是一种快速而数值稳定的方法，采用拟牛顿 算法实现寻优，具有超线性收敛速度，通常收敛速度较梯度下降寻优算法快得多；矩阵特 征值分解盲分离方法通过对矩阵进行特征分解或者广义特征分解估计分离矩阵，是一种解 析方法，可直接找到闭形式解( c l o s e df o r ms o l u t i o n s ) ，没有迭代寻优过程，因此运行速度 最快。其中前面四种算法梯度如表1 1 所示。 表1 1 几种代表性的盲分离算法及其梯度公式 算法梯度公式 l n f o r m a x a w = 川( 矽t ) 川- g ( y ) x t 】 n a t u r a lg r a d i e n t a w = a 1 一g ( y ) y t 矽 e a s i a w = a 1 - y y t - g ( y ) y t + y g ( y t ) 】形 f a s t l c a a w = d i a g ( o t , ) d i a g ( f 1 1 ) + e g ( y ) y t l w 其中是学习步长，g ( ) 为事先给定的非线性函数。g ( j ，) = ( g ( 乃) ，g ( m ) ) t 。对于 f a s t l c a ，局= 一e ”g ( 咒) ，嘶= 一l ( 屈+ e g ( 儿) ) ，其中蜀( x ) = t a n h ( a x ) 和 9 2 ( 工) = x e x p ( - x 21 2 ) 分别用于超高斯信号和亚高斯信号。 相比瞬时线性混叠和卷积混叠盲分离，非线性混叠盲分离难度非常大，到目前为止只 有少数学者研究了非线性混叠盲分离。t a l e b 和j u 他i l 研究了独立源信号非线性混叠的可分 离性【1 1 】，他们指出一般意义下的非线性混叠盲分离不具备唯一解，其中后非线性( p n l ， p o s t - n o n l i n e a r ) 混叠具有较好的可分离性，并且针对后非线性混叠盲分离模型提出了盲分离 算法。后非线性混叠模型如下： i x ( f ) = 厂( 彳s ( f ) ) 伽) 嗍窆州嘞，i = 1 ，2 ，m 0 4 l j * j 其中z ( ) 表示可逆可导非线性函数，x ( ，) = ( x 。( r ) ，x ：( ，) ，x 橱( ，) ) t 表示观测信号向量。后 非线性混叠盲分离模型如下： iy ( t ) = 豫( x ( f ) ) 伽) ：n l w o g , ( x f l t ) ) ，渊，2 ，玎 ( 1 5 ) 1 乃( f ) = ，渊，2 ，玎 u j 4 南京邮电大学硕士研究生学位论文 第一章绪论 其中j ，( f ) = ( 儿( ，) ，款( ，) ，( ，) ) t 为源信号的估计。后非线性混叠盲分离过程如图1 3 所示： j 7 一豫 ，v 2 哮 ，荔 寥 a7 霭 秀秀 iwi h ，谚 赫；。二。霪 ；j j ? 7。镄 。e “镐 y 1 0 ) 儿 图1 3 后非线性混叠盲分离示意图 非线性混叠盲分离主要有以下几类方法： ( 1 ) 自组织映射( s o m ，s e l f - o r g a n i z a t i o nm a p ) 网络方法：该方法不考虑非线性混叠的具体 形式，p a j t m e n 、h y v a r i n e n 和k a r h u n e n 使用k o h o n e n 自组织映射从非线性混叠观测信号中抽 取独立信号 1 2 】。这类方法网络复杂性呈指数增长，分离连续源时插值误差非常严重。 ( 2 ) 感知器模型法：b u r e l 用一个两层感知器和基于b p 思想的无监督训练算法，使用梯度 下降法最小化互信息量，得到一种盲分离算法 1 3 1 ，可以用于非线性混叠的盲分离。y a n g 和a m a r i 利用两层感知器网络结构，通过最大化熵和最小化互信息量准则测量独立性，提 出了b p 网络训练算法【1 4 】，当合理选取非线性函数时，该算法可以分离出特定非线性混叠 的源信号。 ( 3 ) 径向基函数网络法：t a n 等使用径向基函数神经网络逼近非线性混叠的逆映射，以此 达到去非线性的目的，进而分离源信号。 ( 4 ) 后非线性混叠盲分离：t a l e b 和j u t t e n 首先提出了后非线性混叠模型，他们指出这类模 型具有可分离性，同时他们指出这类模型有许多应用场合，针对这类模型提出了一种非线 性混叠盲分离算法。s o l a z z i 和u n c i n i 也针对后非线性混叠，基于信息量最大准则，利用自 适应b 一样条函数，提出了样条神经网络( s p l i n en e u r a ln e t w o r k ) 后非线性盲分离算法【1 5 】。 现实生活中很多问题都可以归结为盲分离。如：上面提到的鸡尾酒问题【1 3 】，从多个 话筒接收到的声音中确认出每个说话者的内容( 通常语音识别之前，首先需要分离出识别对 象的声音：c d m a 盲多用户检测【1 6 】，在存在用户间干扰和码间干扰的情况下，从与多个 发射器相对应的天线观测到的接收信号中恢复出通信信号；信号去噪，在对噪声先验信息 一无所知的情况下进行信号去噪 1 7 】( 如图1 4 所示) ；声纳问题 1 8 】，在多个船舶的马达噪声 构成的水下声音环境中，从多个声音传感器接收到的信号里，分离出所需的信号：光纤通 信中光频分复用器的设计【1 9 】，利用了一根光纤可以同时传输多个不同波长的光载波的特 点，把光纤可能应用的波长范围划分成若干个波段，每个波段用作一个独立的通道传输一 s 堕塞型皇查兰堡主竺基皇兰些堡苎蔓二皇塑笙 种预定波长的光信号，在接收端采用复用器分离出不同波长的光信号，从而大大提高光纤 容量；医学遥感图像处理，斯华龄教授提出一种多通道、单蒙素无监督学习盲分离方法， 将其应用于医学和遥感图像处理，获得巨大成功【2 0 】。此外，盲分离在语音增强，图像增 强( 如图15 所示) 图像识别( 如图1 6 所示) ，脑电( e e g ，e l e c t r o e n c 2p h a l o g r a p h y ) 信号、脑磁 记录( m e g ，m a g n e t o e n c e p h a l o g r a p h y ) 信号、心电( e c g ，e l c t r o c a r d i o g c a p h y ) 信号、核磁其 振成像口m r j ，f u n c t i o n a lm a g n e t i cr e s o n a n c ei m a g i n g ) 信号之类医学信号处理等方面有着 广泛的应用前景( 如图l7 所示) 。由于盲信号处理需要的先验信息很少，使得其具有极强的 适应性和广阔的应用领域。在这样的背景之下，有关盲信号处理的研究一直是信号处理领 域和神经网络领域的研究热点。 藤膝。曛! 麟j 图14 图像去噪 羹l 鬻纛纛l 霾麟 图1 5 图像增强 图i 6 二值图文字识别 篓鬻 南京邮屯太学i 研究生学位t 女 镕一十镕镕 图17 医学信号处：辟e e g - 与m e g 1 3 本文的主要创新和组织结构 本文对盲信号处理的研究历史以及研究现状进行了简要的回顾和阐述，介绍了盲信号 处理的基本思想、数学模型、数学原理和算法以及盲信号处理的应用领域，在总结了b s s 的研究现状和难点问题之后，针对传统的盲源分离数学描述模型如著名的独立分量分析 方法，它以非高斯源信号为研究对象，在它们统计独立的假设下，对多路观测到的混合信 号进行盲分离从而较完好地分离出隐含在混合信号中的独立信源信号。但是，在大多数 生物和基因环境下t 信号相互统计独立这个假设通常是不成立的 2 1 。另外，如果源信号 与各个时延统计无关 2 2 】，基于二阶统计的方法也可队用来解决盲源分离问题，但无论是 独立性假设或是无关性假设都是很强的假设，对自然发生的信号，比如生物信号和基因信 号都是很难满足的，不是很切合实际情况。于是，需要把研究扩展到一些更加符合实际的 情况中去，例如在信号统计独立性假设不成立的条件下，也能实现对源信号的分离。由此 引入了网络分量分析的方法，给出网络模型及算法的可辨识性证明随之将网络分量分析 方法应用到盲源分离中，提出改进的算法并给出新的可辨识性证明，还对生物信号和基因 信号等的某些盲信号处理问题进行了仿真分析。 本文的主要工作可归纳如下： 第一章绪论部分，阐述了课题研究背景和意义、发展现状，并给出了本文的结构安排。 第二章介绍了盲信号处理的理论基础，主要讨论了盲分离处理中涉及到的一些基本知 识。给出了盲分离算法的基本假设条件和信号盲分离的评价标准。 第三章针对盲信号分离的i c a 算法展开论述。首先介绍了j c a 的定义和算法步骤，接 着重点分析了f a s f l c a 和j a d e 算法，为新方法的引入以及下文的算法仿真做好准备。 第四章引入了盲源分离新方法网络分量分析方法建立该方法的理论模型，讨论 7 南京邮电大学硕士研究生学位论文 第一章绪论 了n c a 可辨识特性以及多重可辨识调节子网的选择，并对系统可辨识性做出理论证明。 第五章将网络分量分析方法应用到盲源分离中，从新的角度再次对可辨识性进行证 明，并改进了算法。通过计算机仿真与f a s t i c a 和j a d e 算法进行了性能比较分析，证实 了在无统计独立性的假设下，n c a 具有更理想的盲源分离效果。 最后一章，对全文进行总结，并展望今后所要做的进一步研究工作。 8 南京邮电大学硕士研究生学位论文第二章盲源分离的理论基础 第二章盲源分离的理论基础 2 1 盲源分离的约束条件 盲信号处理的约束条件和模糊性在许多文献中都有详细的说明，这里简要的加以介 绍。盲信号的约束可以概括为【2 3 】： ( 1 ) 各个源信号是统计独立的； ( 2 ) 混合矩阵是列满秩的： ( 3 ) 源信号中最多只含有一个高斯信号。 对于瞬时混合模型的信号，盲分离存在着模糊性信号幅度和排列顺序的不确定 性。分离信号的各个向量的排列顺序和源信号的各个向量可能不完全一致；分离信号的幅 度和源信号的幅度也存在不一致的情况。对于卷积混合模型的信号，除了排列顺序和信号 幅值不确定外，还存在着信号时延的不确定。 2 2 盲源分离的系统模型 一般的盲源分离问题，可以假设有一个统计独立的未知信号( 源信号，可以是声音、雷 达信号、生物电信号或图像信号等) s = ( 而( f ) ，s 2 ( t ) ，( ，) ) t ，经过未知信道日的传输后由 m 个传感器检测获得m 个观测信号( 混合信号) ：x = ( 五( ，) ，x , c t ) ，( ，) ) t 。假定肌n ，s 、 a 和x 分别表示源信号矩阵、混合矩阵和混合信号矩阵。观测信号通过信号分离器，获得 对源信号的估计y = ( m ( f ) ，奶( f ) ，儿( r ) ) t ，如图2 1 所示： 气( r ) 毛0 ) ( f ) - 一 足一”。 v 未知混合系统 1 1 而 信号分离器 v _ 7 w a 土乏( f ) 1 未知信号接收信号 图2 1 一般的盲源分离系统模型 定义两个函数厂( ) 和g ( ) 来描述相应的混合过程和分离过程， 9 估计信号 即x c k ) 之厂( s ( 七) ) 南京邮电大学硕士研究生学位论文 第= 章盲源分离的理论基础 y ( k ) - g ( 七) ) 。这里并没有考虑噪声的影响。盲分离的最终目标就是找出合适的分离函数 g ( ) ，使得输出信号j ，( 七) = g ( 厂( s ( 七) ) ) 仅仅是源信号s ( 七) 的一些简单变换，如幅度、排序、 和时延，我们把得到的y ( k ) 与s ( k ) 在排列次序、幅度大小和时延的不同称之为盲分离的模 糊性。从直观上很容易理解这种模糊性，在“盲处理中，信道和源信号的信息都是未知 的，源信号的幅度信息可以认为包含在信道中，很难区分这两者。因此我们一般假定源信 号的方差为单位方差以消除幅度上的模糊性。另外，源信号的排列顺序本身就是人们为了 描述问题的方便而规定的，因此信号的排列顺序就显得并不重要。对卷积混合而言，时延 的模糊性是由信道的时间特性所引起的，可通过对分离系统进行加以适当的约束条件来消 除。 依据混合函数( ) 的不同形式，混合信号可分为三类： 、 ( 1 ) 瞬时混合：f ( s ) = a s ，a 是m x n 维的矩阵，第i 行、第列的元素为a ，； ( 2 ) 卷积混合：厂( s ( 七) ) = a p s ( 七) a p 是第p 个延迟上m x n 维的混合矩阵，第f 行、 第- ，列的元素为a 伽，定义为线性卷积； ( 3 ) 非线性混合：厂( ) 是非线性函数，可能包含延迟环节。 对应这三种混合模型有相应的盲分离方法。当混合模型为非线性时，一般是无法从混 合数据中恢复源信号的，除非对源信号和混合模型有进一步的先验知识可利用。因此，在 大多数的研究中只讨论线性混合模型。瞬时线性混合b s s 的数学模型可表示为： x = a s( 2 1 ) 当源信号之间是相互统计独立的，这时b s s 就是独立分量分析( i c a ) 。在许多文献中瞬 时线性b s s 和i c a 的概念是等价的，因为它们通常具有同样的数学模型、相同的算法并 且通常都假设源信号相互统计独立。但从定义上讲它们的目的有所区别：b s s 的目的是尽 可能地估计出源信号，不论源信号之间是否统计独立：然而i c a 的目的则是确定一变换矩 阵使得输出信号间相互统计独立。所以b s s 的研究范围更广一些。 2 3 盲信号分离的分离准则 源信号的分离是通过最优化一个准则或目标函数( 有时也称为对比函数或代价函数) 来 获得的。在不含噪声时，估计的最佳分离系统参数与真实混合系统参数之间，或分离矩阵 l o 南京邮电大学硕士研究生学位论文第二章盲源分离的理论基础 与混合矩阵的乘积的关系应满足是一个排列阵和对角阵的乘积。下面介绍一下常用的一些 目标函数。 2 3 1 最大似然估计 最大似然估计是一种基本的统计估计方法。在盲信号处理中，惟一知道的信息是观测 数据，因此最大似然估计是比较自然的选择。对于给定的模型，观测数据的似然函数是模 型参数的函数。若假定源信号的概率密度函数为p ( j ) ，观测数据x 的概率密度函数p ( x ) 与 源信号的概率密度函数p ( s ) 之间满足： 舯留 住2 ， 则观测数据的对数似然函数定义为 地= e l n p o ) ) = f p ( x ) i n p ( a - l x ) , - i n l a s t a l ( 2 3 ) 我们感兴趣的参数是混合矩阵a 或a 一，以参数w 代替a 一。当仅获得数据的n 个独 立同分布的样本时，对数似然函数近似为 2 亩善m 删x ) + l n d e t w ( 2 4 ) 最大化对数似然( 2 4 ) 可以获得关于参数w 的最佳估计。 2 3 2 基于信息论的准则 l 、最大化非高斯性 i c a 估计的另一个非常直观和重要的准则是最大化变量的非高斯性。由中心极限定理 可知，多个非高斯随机变量和的分布趋近于高斯分布。因此我们取混合的观测变量x 的线 性组合j ，= ，w ，如果j ，等于某个独立分量i ，那么这将最大化非高斯性。这是因为， 如果y 是两个或者多个独立分量的组合，根据中心极限定理，它将更加趋近于高斯分布。 实际中，使用峰度的概念描述高斯性。峰度是一种高阶累积量，它使用高阶多项式对 变量进行某种程度的标准化，在i c a 及其相关领域的研究中峰度是一个非常重要的概念， 下面讨论其定义及性质。 峰度是一个无量纲的量，是信号概率分布的峰态( p e a k e d n e s s ) g l 平坦度( f l a t n e s s ) 的度量。 l l 南京邮电大学硕士研究生学位论文第二章盲源分离的理论基础 其归一化定义为： 七( 毋) = 磊m 4 3 ( 2 5 ) 其中鸭和弛分别指信号岛的二阶矩和四阶矩。 七( q ) 取决于只p ( 墨) 的特性，可以分成以下三种情况： ( 1 ) 如果p ( ) 为高斯分布时，则k = - o 。高斯函数如图2 2 中的曲线所示。有许多噪声 具有此特性。当墨为多个随机变量之和且变量数目很多时，p ( 毋) 也趋于高斯分布函数。 ( 2 ) 如果p ( 毋) 为超高斯函数，则k o 。这种分布函数中心部分又窄又高，而尾部拖得很 长，如图2 2 中的曲线所示。自然界的语音和某些音乐信号具有此特性。 ( 3 ) 如果p ( ) 为次高斯函数，则k o 。这种分布函数中心部分较宽，尾部较短，如图2 2 中的曲线所示。自然界的图像具有此特性。 p v t ，| 巢 3 210123 勺 图2 2p ( 岛) 的高斯分布函数图 2 、互信息最小化和负熵最大化 i c a 估计的另一个重要方法就是输出变量之间的互信息最小化和负熵最少。实际上这 两种方法都是非高斯性最大化的一种更加严格的表述。在信息理论中，“熵”是一个很重 要的概念，它描述了随机变量所携带的信息量，通常是用来衡量信源发出每一个消息的平 均不确定度，概率越小的消息带来的信息量越大，熵也就越大，反之，信息量越小，熵也 就越小。 对于连续随机变量y 密度函数为p ( y ) ，则它的微分熵( d i 毹r e n t i a le n t r o p y ) 为： i t ( y ) = 一 p ( y ) l o gp ( y ) d y ( 2 6 ) 信息理论的一个基本结论是高斯分布在所有具有相同均值和方差的分布中对应的熵最 1 2 南京邮电大学硕士研究生学位论文第二蕈| 盲源分离的理论基础 大，因此熵可以用来描述随机变量的非高斯性。我们知道，即负熵总是负的，只有当j ，也 为高斯分布时，负熵才为零，且对任何可逆的线性变换保持不变。 g i r o l a m i 指出最大化输出负熵等价于最小化输出变量的互信息 2 4 1 ，当观测数据的模型 是独立变量的和时，它与i c a 是等同的。负熵最大化将执行一个包含超高斯或亚高斯源的 广义的i c a 。输出信息的负熵的随机最大化可以通过使他们的分布远离高斯分布而获得。 2 3 3 联合对角化 联合对角化方法最早起源于对信号高阶累积量的研究，对相互独立的信号，它们的协 方差阵一定为对角阵，协方差是信号的二阶统计量。对于四阶统计量，引入累积量张量 ( c u m u l a n tt e 璐o r s ) 。累积量张量是一个线性算子，一个广义下的协方差阵。在i c a 中有一 个很重要的步骤是预白化( s p h e r eo rp r e w h i t e n i n g ) 。它的作用是将信号向量的协方差阵进行 特征值分解，从而达到信号之间不相关( 协方差阵为对角矩阵) ，联合对角化法就是这种原 理在高阶累积量矩阵下的推广。 这类方法中最具代表性的有：j a d e ( j o i n t a p p r o x i m a t ed i a g o n a l i z a t i o no f e i g e n m a t r i c e s ) 、 f o b i ( f o u r t ho r d e rb l i n di d e n t i f i c a t i o n ) 、s o b i ( s e c o n do r d e rb l i n di d e n t i f i c a t i o n ) 。 此外还可以结合系统盲辨识的方法来解决盲信号分离的问题。如果输入输出之间的瞬 时相关混合阵可逆，则可以很容易的导出状态空间的逆描述。结合状态空间方法从一个全 新的角度为b s s 的进一步研究提出了新的思路。但此方法仍有许多问题有待解决，比如由 于b s s 的前提是对源信号和混合结构的一无所知，目前尚没有统一的方法来确定状态变量 的个数以及变量选取对应的物理意义。 前面介绍了各种目标函数，这些目标函数在一定的条件下都能获得相互统计独立的输 出。事实上，这些准则或目标函数之间存在着等价性，即在一定的条件下他们之间是等价 的。 2 4 盲信号分离的性能评价指标 我们需要比较不同的算法，对于不同类型信号的分离结果，我们可以给出主观的评价， 此外还需要对分离的结果给出客观的评价。我们给出了以下两个参数评价分离性能的优劣： 分离误差是由a m a r i 最先提出来的，是指分离矩阵w 的逆矩阵和混合矩阵a 的偏离程 度，我们定义分离误差为： 1 3 南京邮电大学硕士研究生学位论文第二章盲源分离的理论基础 e = 嘉c 善nc 善n 尚叫芬善瑞叫， 其中p = w a ，n 为p 矩阵的维数。 信噪比是指估计出来的源信号，即分离信号和源信号的比较，定义如下： 册删。g 晶 其e pj 是源信号，j 是源信号的估计值。 2 5 本章小结 ( 2 7 ) ( 2 8 ) 本章为盲源分离的理论基础，主要概括了盲源分离的约束条件，给出了一般的盲源分 离系统模型，并说明了b s s 和i c a 之间的关系。接着讨论了盲信号分离的分离准则，分 别为最大似然估计准则、基于信息论的准则和联合对角化准则。最后提出了盲信号分离的 性能评价指标。 1 4 南京由百百大学硕士研究生学位论文 第三章盲源分离的i c a 算法 第三章盲源分离的i c a 算法 3 1 独立分量分析( i c a ) 独立分量分析是近年发展起来的一种信号分解技术。该方法以非高斯源信号为研究对 象，在它们统计独立的假设下，对多路观测到的混合信号进行盲分离，从而较完好地分离 出隐含在混合信号中的独立信源信号。 i c a 是进行b s s 的方法之一，其目标是使由混合信号分离出的独立信号尽可能与各源 信号相同。尽管目前有许多不同的盲源分离方法，但根据其原理的不同大致可分为以下四 种： ( 1 ) 大多数主流方法利用信号的独立性、非高斯性或稀疏性( s p a r s i t y ) 作为代价函数。 当假设各原始源信号不具有时序结构且统计独立时，( 隐或显) 高阶统计量方法是解决b s s 问题的基本方法。但这种方法不允许源信号中有超过一个的高斯信号。 ( 2 ) 若源信号具有时序结构，则每一个源信号自身都存在非零的时间相关性，其限制 条件比统计独立性更少，即只需二阶统计量方法就可估计出混合矩阵和源信号。沿袭该思 路，现已出现了若干种二阶统计量方法。与高阶统计量方法相比，所有基于二阶统计量的 b s s 方法都不必推断源信号的概率分布或者非线性激活函数。而高阶统计量方法不能用于 分离具有相同功率谱或独立同分布( i n d e p e n d e n ti d e n t i c a ld i s t r i b u t i o n ，l i d ) 的源信号。 ( 3 ) 第三类方法利用了信号的非平稳性和二阶统计量，主要关注了源信号方差随时间 改变的二阶非平稳特性。且已经证明，这类方法只需简单的解相关技术就能完成b s s 任务。 与其它方法相比，这种基于信号非平稳先验信息的方法可以分离具有相同功率谱的有色高 斯源信号，但却不能分离具有相同非平稳特性的源信号。 ( 4 ) 第四类方法利用了信号的各种分集( 不同的特征) ，例如时间分集、频率分集、时 频分集或更一般的空时频( s t f ) 联合分集。 为了分离或抽取具有各种统计特性的源信号，并减少噪声的影响和干扰，必须使用更 加复杂或高级的方法，而这些方法通常是上述四类方法的组合与集成。 通过这样一个例子来更好的说明i c a 分析方法的出发点。假设在一个空静的房间里面 有三个人同时讲话( 人数可以是任意的，只要多于一个人) ，同时在三个不同位置安装有三 个麦克风，用于录取声音并记录下来。强调是空的屋子是因为我们目前想让问题简单一些， 1 5 雨京邮电大学硕士研究生学位论文第三章盲源分离的i c a 算法 排除噪声混入的可能，以便我们能突出