（信号与信息处理专业论文）基于神经网络盲源分离算法的研究.pdf

太原理，：大学硕+ 研究生学位论文 基于神经网络盲源分离算法的研究 摘要 盲源分离是神经网络领域与信号处理领域相结合的产物，它是最 近十年发展起来的一个新的研究领域。盲源分离要解决的问题是当源 信号和混合信道的特征均未知的情况下，分离出原始信号的算法。它 具有非常重要的理论意义和实用价值，被广泛应用于无线通信领域、 生物医学信号分析与处理、图像识别、数据挖掘、语音增强以及地球 物理数据处理方面，有着非常广阔的发展前景。 本文所做的主要工作： ( 1 ) 介绍了盲源分离算法的研究目的和意义，阐述了盲源分离问 题的起源及发展动态。分析了盲源分离的基础理论，总结并证明了高 阶累积量、负熵、熵、互信息、似然函数等常用的目标函数，以及各 种优化算法。给出了评判盲源分离算法性能的标准。 ( 2 ) 分析了基于神经网络盲源分离算法的原理和结构。针对基于 最小互信息前馈神经网络盲源分离算法，提出了加入动量项的改进前 馈神经网络盲源分离算法。该算法把前一时刻权值的调节量用于当前 权值的调节过程中，可以有效地抑制网络陷入局部极小，防止了振荡， 加快了权值的收敛速度。通过计算机仿真实验验证了该算法的优良性 能。 ( 3 ) 分析了基于最大熵递归神经网络的盲源分离算法原理及结 构，针对m a t s u o k a 等人提出的递归神经网络盲源分离算法基础上，提 太原理一t ：大学硕士研究生学位论文 出了一种基于全递归神经网络的盲源分离算法，该算法在分离网络结 构和优化算法上对原算法进行改进，特别是当信号被严重伸缩，即混 合矩阵a 近似奇异的时候，分离效果良好。计算机仿真实验证明了该算 法的良好分离性能。 ( 4 ) 对盲源分离算法在各领域的应用作了介绍，尤其是对在图像 处理和生物医学信号处理中的应用作了初步的探讨。 关键词：盲源分离，神经网络，代价函数，动量项 i i 太原理工大学硕十研究生学位论文 as t u d yo fb l i n ds o u r c es e p a ra t i o n a l g o r i t h mb a s e d0 nn e u r a ln e t w o r k s a b s t r a c t b l i n ds o u r c es e p a r a t i o n ( b s s ) i san e ws t u d y i n gc o m m u n i t y ，w h i c hi s ac o m b i n a t i o nb e t w e e nt h es i g n a lp r o c e s s i n gc o m m u n i t ya n dt h en e u r a l n e t w o r kc o m m u n i t y i ta i m e dt os e p a r a t eu n k n o w ns o u r c e sf r o mt h e o b s e r v e ds i g n a l sw h i c ha r em i x e dw i t hu n k n o w nc h a n n e l b s sb e c o m e s m o r ea n dm o r ei m p o r t a n tw h i l eu s e di nw i d e l ym a n yf i e l d ss u c ha s b i o m e d i c a ls i g n a la n a l y s i sa n dp r o c e s s i n g ( e e g , m e g , e c g ) ，g e o t h y 7 s i c a l d a t ap r o c e s s i n g , d a t am i n i n g ，s p e e c he n h a n c e m e n t ，i m a g er e c o g n i t i o na n d w i r e l e s sc o m m u n i c a t i o n s t h em a j o rc o n t r i b u t i o no f t h i sp a p e ri ss u m m a r i z e da sf o l l o w ： ( 1 ) t h ep a p e ri n t r o d u c e sp u r p o s ea n ds i g n i f i c a n c eo fr e s e a r c ho nb l i n d s o u r c es e p a r a t i o n ，a n da n a l y z e si t s p r o s p e c t a n dd e r i v a t i o n ，a n di t s u m m a r i z e sa n dp r o v e st h ec o m m o no b j e c t i v ef u n c t i o no fh i 曲一o r d e r c u m u l a n t s ，t h en e g a t i v ee n t r o p y , t h ee n t r o p y , m u t u a li n f o r m a t i o na n dt h e l i k e l i h o o df u n c t i o n ，a sw e l la se v e r yk i n do fo p t i m i z e da l g o r i t h m a n di t f i n a l l yp r e s 即t ss t a n d a r do f j u d g i n g b l i n ds o u s es e p a r a t i o na l g o r i t h m ( 2 ) t h ep a p e ra n a l y z e st h ep r i n c i p l e a n ds t m c t u r eo fb l i n ds o u r c e s e p a r a t i o na l g o r i t h mb a s e do nn e u r a ln e t w o r k i nv i e wo fb l i n ds o u r c e s e p a r a t i o na l g o r i t h m b a s e do nt h em i n i m u mm u t u a li n f o r m a t i o n f e e d f o r w a r dn e u r a ln e t w o r k , t h ep a p e rp r o p o s e sa ni m p r o v e df e e d f o r w a r d n e u r a ln e t w o r kb l i n ds o u r c e s e p a r a t i o na l g o r i t h m w h i c hj o i n st h e i i i 太原理工大学硕士研究生学位论文 m o m e n t u m t h ep r e v i o u st i m ep o w e rv a l u ea d j u s t m e n tq u a n t i t yi sa p p l i e d i nt h ec u r r e n tw e i g h t sv a l u ea d j u s t m e n tp r o c e s s ；i tc a ne f f e c t i v e l yp r e v e n t t h en e t w o r kf r o mf a l l i n gi n t ol o c a lm i n i m u ma n dv i b r a t i o n ，a n dt h e ns p e e d u pt h ec o n v e r g e n c er a t eo fw e i l g h t s t h es u p e rp e r f o r m a n c eo ft h i s a l g o r i t h mi sp r o v e db yc o m p u t e rs i m u l a t i o n ( 3 ) i n t r o d u c e sp r i n c i p l ea n dt h es t r u c t u r eo fb l i n ds o u r c es e p a r a t i o n a l g o r i t h mb a s e do nt h eb i g g e s te n t r o p yr e c u r s i o nn e u r a ln e t w o r k , t h ep a p e r p r o p o s e so n ek i n do fb l i n ds o u r c es e p a r a t i o na l g o r i t h mb a s e do nr e c u r s i o n n e u r a ln e t w o r ki nt h ev i e wo fr e c u r s i o nn e r v en e t w o r kb l i n ds o u r c e s e p a r a t i o na l g o r i t h mp r o p o s e db ym a t s u o k aa n ds oo n ，t h ea l g o r i t h mm a k e s t h ei m p r o v e m e n ti nt h es e p a r a t i o nn e t w o r ka r c h i t e c t u r ea n dt h eo p t i m i z e d a l g o r i t h mt ot h eo r i g i n a la l g o r i t h m ，a n de s p e c i a l l yw h e nt h es i g n a l i s s e r i o u s l ye x p a n d e da n dc o n t r a c t e d n a m e l yh y b r i dm a t r i xi sa p p r o x i m a t e s t r a n g e ，t h es e p a r a t i o ne f f e c ti ss u p e r b t h eg o o ds e p a r a t i o np e r f o r m a n c ei s p r o v e d b yc o m p u t e rs i m u l a t i o n ( 4 ) i n t r o d u c e st h ea p p l i c a t i o no fb l i n ds o u r c es e p a r a t i o na l g o r i t h mi n v a r i o u sf i e l d s ，i np a r t i c u l a ri tp r e s e n t sp r e l i m i n a r yd i s c u s s i o ni np i c t u r e p r o c e s s i n ga n di nt h eb i o m e d i c i n es i g n a lp r o c e s s i n g k e yw o r d s ：b l i n ds i g n a ls e p a r a t i o n ，n e u r a ln e t w o r k s ，c o s tf u n c t i o n ， m o m e n t u m i v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下。 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体己经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：宝盘日期：型：坐型 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) o 签名：叠壹日期： 太原理工大学硕士研究生学位论文 1 1 引言 第一章绪论 盲信号处理是神经网络与统计信号处理以及信息论相结合的产物，它是二十 世纪最后十年发展起来的一个新的研究领域。作为上述几门学科相渗透和相互融 合而产生的新学科，盲信号处理具有典型意义。盲源分离产生的背景是，在现实 世界中所得到的信号往往是不“纯”的信号。早期信号处理研究中所涉及的不纯信号 只是在原始纯信号上迭加如高斯噪声这种筒单情况，并针对这种情况采取各种线 型滤波算法尽量去除加性噪声以恢复原始的纯信号。但是实际世界的不纯信号较 此要复杂得多，在实际应用中般可以用多个接收器来接收多个不纯信号，而每 个不纯信号是多个原始信号的某种线性加权组合。现在提出的问题是：在这些组 合关系未知的条件下，是否能找到一种算法，可以恢复各个原始纯信号。这就是 盲源分离( b l i n ds o u r c es e p a r a t i o n ，简记b s s ) ，也称盲信号分离( b l i n ds i g n a l s e p a r a t i o n ，简记b s p ) ，它是盲信号处理的重要组成部分，被广泛的应用于通讯、 生物医学图像处理、语音识别等众多的领域。与它相关的盲信号处理技术还有多 信道盲解卷( m u l t i c h a n n e lb l i n dd e - c o n v o l u t i o n ，简记m b d ) ，独立分量分析 ( i n d e p e n d e n t c o m p o n e n t a n a l y s i s ，筒记i c a ) ，盲信号提取( b l i n ds i g n a le x t r a c t i o n ， 简记b s e ) 等。 1 2 研究盲源分离技术的意义 盲源分离问题研究的是如何从一组观测数据中分离出源信号，这个过程中 “盲”的地方主要体现在： 1 ) 源信号是未知的 2 ) 混合过程( 信道) 也是未知的 缺少了这些先验的信息，使得盲分离问题成为一个具有挑战性的问题，但是 同时也正是因为这个“盲”的原因，使得盲分离问题有着广阔的应用空闻。 太原理工大学硕士研究生学位论文 在现实生活中，常常会遇到这样的情景，在公共场所环境嘈杂，但人的听力 系统却可以使人在众多的声音中毫不费劲地听到他们所关心的和感兴趣的声音， 这就是著名的“鸡尾酒会效应( c o c k t a i lp a r t y e f f e c t ) ”问题。所谓“盲”是指对源 信号及混合过程知之甚少，可利用的信息只有观测到的混合信号，但这并不排除 可以对源信号及混合过程做一些基本假设，诸如源信号相互间的统计独立性、不 相关性，源信号本身的统计分布特性、平稳与非平稳性，混合矩阵的非奇异性等， 从而使盲源分离成为可能。假设源信号是相互统计独立的，就可以应用独立成分 分析( i c a ) 这一工具很好的解决这个问题。在大量的实际问题中，这个假设是合 理的，符合实际的情况，这样，独立成分分析被广泛地应用于解决实际问题。独 立成分分析需要的另一个假设是信号的非高斯性，现实世界的许多信号，诸如绝 大多数的语音信号和图像信号是服从非高斯分布的。这个假设的可应用性，使得 独立成分分析成为解决盲源分离问题的重要方法。 对盲源分离的研究不同颁域的研究者有着不同的兴趣所在。例如，数学家的 兴趣在于研究算法的机理、特征和功能，并将之推广。工程师们则注重所有计算 方法和模型的硬件实现，使理论最终运用于工程，造福人类。神经科学家和生物 学家对神经网络模型产生兴趣，使之最大可能的从大量噪声中分离并提取有用信 息。不同的研究侧重点之间相互促进，使得盲源分离理论具有可靠的理论基础以 及广泛的应用。 1 3 盲源分离技术的发展及研究现状 较早进行盲源分离方法研究的是j u t t e n 和h e r a u l ti l l ，1 9 8 6 年他们提出了一种盲 源分离方法，该方法基于反馈神经网络，通过选取奇次的非线性函数构成h c b b 训 练，从而达到盲源分离的目的。但该方法不能完成多于两个源信号的分离，非线 性函数的选取具有随意性，并且缺乏理论解释。 盲源分离的开拓性研究起源于1 9 9 1 年j u t t e n 等【】在杂恚s i g n a lp r o c e s s i n g 上发表了关于盲信号分离的三篇经典文章，他们第一次将人工神经网络与盲信号 分离问题相结合，标志着盲源分离问题研究的重大进展，从而开启了一个新的信 2 太原理工大学硕+ 研究生学位论文 号处理领域。c a r d o s o 5 】提出了基于高阶统计的联合对角化盲源分离方法，并应用 于波束形成。c o m o n 6 1 9 9 4 年系统地分析了瞬时混合信号的盲源分离问题，第一 次提出了盲源分离的独立分量分析的方法，他的思想是把神经网络中的主分量分 析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，简记p c a ) 加以扩展，明确指出可以利用一些 成为对比函数的目标函数极小化方法消除观测信号中的各阶统计相关性，从而实 现源信号分离。可以说，c o m o n 的工作使得对盲信号分离算法的研究变成了对独 立分量分析的代价函数以及其优化算法的研究。 b e l l 和s e j n o w s k i t r l l 9 9 5 年发表的文章成为盲源分离发展史上的里程碑。他们 的主要工作是【s l ：第一，利用神经网络的非线性来消除观测信号中的高阶统计相关 性：第二，用信息最大化准则建立目标函数，从而将信息论与独立分量分析相结 合；第三，给出了神经网络式的最优迭代学习算法，成为以后各种算法的基础； 第四，成功地对具有1 0 个人说话的鸡尾酒会问题给出了很好的分离效果。正是他 们的工作极大的推动了盲信号分离的研究，使得在短短的几年内涌现出大量的盲 源分离算法。 自1 9 9 6 年至1 9 9 9 年，人们对盲源分离问题的研究从多方面展开。c a r d o s o 和 l a h e l d 9 1 9 9 6 年提出了著名的基于独立分量分析思想的快速独立分量分析 ( e q u i v a r i a n t a d a p t i v es e p a r a t i o n v i a i n d e p e n d e n c e ，简记e a s i ) 算法，并且在这篇 文献里首次提出了算法的“等变化性”概念，算法在快速性和稳定性上都较随机 梯度算法有所改善。e a s i 算法的收敛速率和稳定性条件只和源信号的概率密度分 布有关，和源信号如何混合无关，因而它是等变化的。a m a r i 、c i c h o c k i 和 y a i l 9 1 川1 9 9 6 年基于信息理论的概率密度的g r a m - c h a r l i e r 展开，利用最小互信息 ( m i n i m u mm u t u a li n f o r m a t i o n ，简记m m i ) 代价函数，得出一类前馈网络的训练 算法即首次提出自然梯度算法( n a t u r a lg r a d i e n ta l g o r i t h m ，简记n g a ) ，该算法可 以有效分离出具有负峭度的源信号，有着更快的收敛速度和更好的稳定性能。 h y v a r i n e n 等l 1 1 9 9 7 年基于源信号非高斯性测度( 或峭度) ，给出一类定点训练算法 ( f i x e d - p o i n t ) ，该类算法可以提取单个具有正或负峰度的源信号。1 9 9 9 年，l e e 、 g i r o l a m i 和s e j n o w s k i 1 2 1 将信息最大化原则的独立分量分析作了进一步的扩展，实现 3 太原理工大学硕士研究生学位论文 了超高斯源信号和亚高斯源信号的盲源分离。 在对线性瞬时混迭信号盲源分离方法进行研究后，人们对卷积混迭信号盲分 离即盲反卷积和非线性混合信号的盲源分离问题也展开了研究。卷积混和信号的 盲源分离考虑了通道中各个信号的延时叠加和信号之间的延时混合，这与实际应 用中的信道更为接近。p l a t t 和f a g g i n d l 3 1 9 9 3 年将h - j 算法推广到具有时间延迟和 卷积混迭的情况中。k t o l ( 1 【o la 【1 4 , 1 5 1 1 9 9 6 年提出了一个反馈网络结构，将i n f o r m a x 算法推广到具有时间延迟的卷积混和信号的盲源分离。l e e 和b e l l 1 6 1 1 9 9 7 年将基 于信息最大传输或最大似然算法得出的盲源分离训练算法变换到频率域，并利用 f i r 多项式技术进行卷积混和信号的盲源分离。 较早涉及非线性混合信号盲源分离的是b u r e l 1 7 1 ，1 9 9 2 年他用一个两层感知器 和基于误差后向传输思想的无监督训练算法通过梯度下降算法优化统计独立的测 度函数，得到一种可以用于非线性混合信号的盲源分离算法。p 撇l 【1 8 1 1 9 9 6 提出一 类前向信息保持非线性结构映射网络，通过最小化输出互信息，减小输出各个分 量之间的剩余度，从而得到非线性独立分量。y a n g 和a m a r i 等【1 9 1 9 9 7 年利用两层 感知器网络结构，通过最大熵( m i n i m u me n t r o p y ，简记m e ) 和最小互信息 ( m i n i m u m m u t u a li n f o r m a t i o n ，简记m m i ) 作为代价函数，提出了反向学习算法， 当合理选择非线性函数时该算法可以分离出一些特定非线性混合的源信号。1 9 9 8 年，t a l e b 和j u t t e n 2 0 2 l l 提出了一种非线性混合信号盲源分离算法，可以对一种特 定非线性迭代即后非线性迭代( p o s tn o n l i n e a rm i x t u r e s ) 的信号进行盲源分离。 t a n 和w a n 9 2 2 1 2 0 0 1 年提出了基于遗传算法( g e n e t i c a l g o r i t h m ) 的盲源分离方法， 该算法利用遗传算法使信号非线性混合度最小化，然后对去除非线性后的数据进 行线性分离，从而实现盲源分离。 国内关于盲源分离理论的研究几乎与国际上是同步的。虞晓和胡光锐【2 3 2 4 1 在 分析了最大熵算法和最小互信息算法基础上，提出了一种利用反馈结构的输出信 号概率密度函数估计的增强最大熵算法，新的算法对于解决卷积混合输入的盲信 号分离问题有很好的分离性能。谭丽丽和韦岗1 2 司基于最小互信息的分离准则，应 用随机梯度算法确定分离滤波器的系数，给出了卷积混迭信号的盲分离算法，理 4 太原理工大学硕士研究生学位论文 论分析和试验仿真证明了算法的有效性。凌燮亭【2 6 】利用反馈式神经网络h e b b i a n 学习算法，实现了近场情况下一般信号的盲源分离，并对算法的渐进收敛性以及 稳定性进行了讨论。汪军和何振亚【2 7 】在无线通信领域提出基于高阶谱的信号盲分 离，利用三阶和四阶累积量研究了瞬时混迭信号的盲源分离问题。刘琚【2 8 】等从信 息理论出发的基于递归神经网络的盲分离，对传输中信息的损失引入反h e b b 项， 该算法在保证最大化信息传输的同时也最小化输出互信息，从而使网络的输出相 互独立。 盲源分离的理论研究取得一定进展之后，盲源分离实际应用就十分重要了。 l e e 和b e l l l 2 9 1 将基于信息最大传输或最大似然算法得出的盲源分离算法用于真实 的语音信号分离。k a r h u n e n 和h y a r i n e n 圳等将神经网络盲分离算法用于提取图像 的特征和分离医学脑电信号。m c k e o w n t ”】等将独立分量分析用于分析核磁共振成 像数据集。s a h l i n 和b r o m a n 3 2 l 在移动通信的手机中增加了一个麦克风，用盲源分 离的算法来改善信噪比。 1 4 本论文的主要内容和结构安排 本文主要研究基于神经网络的盲源分离算法的结构及原理。针对基于前馈神 经网络的盲源分离算法，利用了在神经网络中增加动量项可以使权值迭代避免陷 入局部极小值的原理，提出了一种基于动量项的前馈神经网络盲源分离算法。针 对基于递归神经网络的盲源分离算法，在m a t s u o k a 等人提出的递归神经网络盲源 分离算法基础上对分离网络结构和优化算法上进行改进得到了新的算法。 全文共分成六章，结构安排如下： 第一章介绍了盲源分离算法的研究目的和意义，阐述了盲源分离问题的起源， 并综述了国内外的研究动态。 第二章介绍了盲源分离的基础理论。分析了盲源分离的不确定性和可辨识性 以及多个高斯源的不可分性。总结并证明了高阶累积量、负熵、熵、互信息、似 然函数等常用的目标函数，以及各种优化算法。给出了评判盲源分离算法性能的 标准。 5 太原理工大学硕士研究生学位论文 第三章介绍了基于神经网络盲源分离算法的原理和结构。针对基于最小互信 息前馈神经网络盲源分离算法，提出了加入动量项的改进前馈神经网络盲源分离 算法。该算法把前一时刻权值的调节量用于当前权值的调节过程中，可以有效地 抑制网络陷入局部极小，防止了振荡，加快了权值的收敛速度。通过计算机仿真 实验验证了该算法的优良性能。 第四章介绍了基于最大熵递归神经网络的盲源分离算法原理及结构，针对 m a t s u o l 【a 等人提出的递归神经网络盲源分离算法基础上，提出了一种基于全递归 神经网络的盲源分离算法，该算法在分离网络结构和优化算法上对原算法进行改 进，特别是当信号被严重伸缩，即混合矩阵a 近似奇异的时候，分离效果良好。 计算机仿真实验证明了该算法的良好分离性能。 第五章对盲源分离算法在各领域的应用作了介绍，尤其是对在图像处理和生 物医学信号处理中的应用作了初步的探讨。 第六章对全文工作进行了总结，提出了今后进一步研究的方向。 6 太原理工大学硕士研究生学位论文 第二章盲源分离的基础理论 2 1 盲源分离的数学模型 根据信号混合方式的不同，盲源分离分为瞬时线性混合、卷积混合以及非线 性混合，不同的混合方式有不同的模型以及分离方法。 2 1 1 瞬时线性混合信号的盲源分离 盲源分离( b l i n ds o u r c es e p a r a t i o n ，简记b s s ) ，是指在既不知道源信号s ( f ) 的 分布，又不知道源信号的混合模型a 的情况下，恢复和提取独立的源信号。设向 i s ( t ) = e s , ( f ) , s 2 ( f ) ，s 。( f ) 7 q n 个相互独立的源信号s ，( f ) ( f = l ，2 ，n ) 组成，其 中“t ”表示向量的转置，经过混合用m 个传感器对这些信号进行采样，得到观测信 号向量x ( f ) = b ( f ) ，恐( f ) ，( f ) r 。忽略延迟等影响，观测信号和原始信号之 间可以表示为以下线性组合形式 x ( f ) = a s ( f ) + n ( f ) ( 2 1 式中，a 称为坍n 维瞬时线性混合矩阵，n ( t ) = e n l ( t ) , n 2 ( t ) ，( f ) 1 为m 个附 加噪声。通常情况下，如果信噪比较大，可以忽略附加噪声，混合模型信号可简 化为 x ( t ) = a s ( t ) ( 2 - 2 ) 瞬时线性混合信号的分离模型如图2 1 所示。 7 太原理，l ：大学硕士研究生学位论文 图2 - 1 瞬时线性混合盲源分离原理图 f i g 2 1t h ea r c h i t e c t u r eo f l i n e ri n s t a n t a n e o u sm i x e db l i n ds o u r c ：es e p a r a t i o n 瞬时线性混合信号盲分离的目的是寻找一个分离矩阵b ，使得分离后的信号 y ( f ) = b x 0 ) = s ( f ) ，为原始信号s ( f ) 的最佳估计。如果分离矩阵能够满足 b a = g ，其中g 为广义置换矩阵，则v ( o = g s 0 1 。因此瞬时混合信号的盲分离 实际上是在允许一定尺度变换的基础上寻找混合矩阵a 的逆矩阵过程。 2 1 2 卷积混合信号的盲源分离 瞬时线性混合信号盲分离是忽略信号混合过程中的延迟现象的简单模型，但 实际情况中，观测信号x ( t ) 不仅与当前时刻的源信号s ( f ) 有关，与以前时刻的源 信号s ( f f ) ( f = l ，2 ，月) 也有关。如果考虑信号的传输延迟等影响，原始信号与观 测信号之间可以表达为卷积关系 4 - o o x ( f ) = a t s ( f ) + n ( f ) = a ( p ) s ( t p ) + n ( f ) ( 2 3 ) f o 其中，一表示卷积运算，n ( t ) 为白噪声。此时a 是一个m n 维脉冲响应滤波器 结构的矩阵，为了方便，可用z 变换表示上式为 x ( z ) = a ( z ) s ( z ) + n ( z ) ( 2 - 4 ) 卷积混合信号盲分离目的是寻找一个分离滤波器b ( z ) ，使得输出信号 y ( z ) = b ( z ) x ( z ) = ( f ) ，可以恢复为源信号s ( z ) 。卷积混合信号盲分离又称为盲 解卷积，模型如图2 2 所示。 8 太原理：【入学硕士研究生学位论文 图2 - 2 卷积混合盲源分离原理图 f i g 2 - 2t h ea r c h i t e c t u r eo f c o n v o l u t i o n a lm i 】【n 】r eb l i n ds o u i - s e p a r a t i o n 2 1 3 非线性混合信号的盲源分离 对于非线性信号混合方式则更符合实际生活，分离难度也是最大的。此时， 观测信号x ( f ) = h ( ，) ，恐( f ) ，矗( f ) r 是非线性混合信号模型 x ( f ) = ，( s ( f ) ) 的输出矢量。式中，厂表示未知的可逆非线性函数。系统输出模型为 y ( r ) = g ( x ( f ) ) = ( f ) ( 2 5 ) ( 2 6 ) 由于完全非线性混叠盲分离问题的复杂性，现有的非线性混叠信号盲分离算 法研究的都是所谓的后非线性混叠( p o s t - n o n l i n e a r m i x t u r e ，简称p n l ) 的情况， 即对源信号线性混叠后再加以非线性的情况。分离系统的每一个通道先通过一个 g i ( ) 对后非线性求z 1 0 叶( t ) ，然后通过分离矩阵w 进行分离得到乃( t ) 。如果 g i ( ) 和w 恰好分别是z ( ) 和a 的逆，则源信号得以恢熨3 3 】。非线性混合信号盲 分离模型如图2 3 所示。 s ( f )“( f ) x ( f ) 匹旧 图2 - 3 非线性混合盲源分离原理图 f i g 2 3t h ea r c h i t e c t u r eo f n o n l i n e a rm i x e db l i n ds o u ms e p a r a t i o n 9 太原理工大学硕士研究生学位论文 2 2 盲源分离的假设及不确定性 2 2 1 实现盲源分离的假设条件 所谓盲源分离，就是在没有关于混合矩阵a 的任何信息的情况下，恢复所有 源信号。因此，作为混合矩阵a 信息缺乏的一种补偿，必须要有关于源信号的某 些附加假设，通常作以下假设【3 4 1 ： 假设l ：肌t 混合矩阵a 为可逆的或满秩，并且源信号的数目小于等于观测 信号数目即 m 。 假设2 ：s o ) 中的信号分量s ，( t ) 是零均值的随机信号，或者通过预处理使其 均值为零。 假设3 ：在每个时刻 ，信号s ( f ) 的各分量相互统计独立，其中至多只能有一 个高斯信号源。 假设4 ：s o ) 的各分量s ，( t ) 都具有单位方差。 首先，假设1 和假设2 都是很自然的假设。假设3 虽然是很严格的统计假设， 但在物理上是非常合理的，任何信号通常都是从分离的物理系统中发出的，将在 2 2 2 小节解释。假设4 与信号分离的不确定性有关，将在2 2 3 小节解释。 2 2 2 多个高斯源的不可分离性 在上- - + 节中，假设3 要求源信号中最多只能有个高斯分布的信号，如果 高斯信号源的数目超过两个以上，则不能从混合信号中分离出原始信号。下面进 行分析。 考虑一个零均值高斯分布变量x ，其概率密度函数( p d f ) 分布 p ( x ) = 去 协， 式中，盯2 为工的方差( 二阶矩) 。高斯变量x 的n 阶矩为 当n = 奇数时，g i n = l ，3 ，f ”一1 ) o - ”； f i n = 偶数时，m n = 0 。 1 0 太原理工大学硕士研究生学位论文 相比，高斯变量的高阶矩中不含有信号的其他信息。 现假设，1 个信号源s ( f ) = ( f ) ，f - 1 ，2 ， 为零均值、单位方差、相互独立且 同为高斯分布的变量，则源信号的联合p d f 分布 舯冉比，= 冉去唧( 一务协，一e x p ( 一t s r s s ， 设混合矩阵为a ，则观测信号x = a s 的联合p d f 分布 p ( x ) = i d e t a - l p ( s ) = i d e t a r l ( z 万) - ；e x p ( 一t x r a - r a - i x = i d e t a r ( z 万) e x p 一三：! ! f ：! 竽 c z 一， 式中，e x x 7 为x 的协方差矩阵，d c t a 为a 的行列式。设白化矩阵为d ，白化 信号z = d x 的协方差矩阵满足层 z z 7 = i ，则白化信号的p d f 值 町z z l = p ( z ) = l d c t d i p ( x ) 邛州削- 1 ( 2 ) - - ：e x p ( 一芈 = i d e t d 。阳a i _ i ( z 万) - ；c x p ( 一丁z r z = d e t d 1 叫1 垂去唧( 一訇 协 忽略尺度项l d e t d r d e t a 一，可以发现白化信号z 也是统计独立的高斯分布信号 对白化信号进行旋转变换y = m z ，m 为任意的单位旋转矩阵则输出信号的协 方差矩阵 哑y y 7 = e m z z 7 m 7 = i ( 2 - 1 1 ) 由p ( y ) ：i d e t m i p ( z 1 ，得到输出信号y 的联合p d f 分布 太原理1 ：大学硕十研究生学位论文 m ) = | a e t i 呲e t d r j | d e t i a i 。珥n 面1e x p ( 善 协 式( 2 1 2 ) 说明，不论取怎样的旋转矩阵m ，都能够满足输出信号y 的统计独立 性条件。这说明当原始信号为高斯分布变量时，由任意旋转变化得到的结果都满 足分离条件，但实际上不可能每一次输出的信号都与原始信号相一致：由于高斯 变量的p d f 只涉及到二阶统计特征，没有高阶统计特征可以利用，因此盲分离不能 得到正确的分离结果。 2 2 3 盲源分离的不确定性 在盲的范畴里，是不可能实现混合矩阵a 的完全辨识的，在这过程中存在两 类不确定性：复振幅( 幅度和相位) 不确定性和分离信号顺序的不确定性。 1 ) 复振幅不确定性 分析：对矩阵a 的第列除以某一个因子，相应的第j 个原始信号乘以相同的 因子，则得到的观测信号保持不变，表达式如下。 蕾( f ) = 勺8 ( f ) = ( 丘一勺) ( 缸( f ) ) f = l ，2 ， ( 2 - 1 3 ) 式中，铅是矩阵a 的第l 彳亍，第列的元素，兄为任意非零系数。式( 2 7 ) 表明观 测信号x ( f ) 是源信号s ( f ) 和混合矩阵a 在各种不同幅度下混合的结果，因此对观 测信号x 0 1 进行分离时，由于没有任何理论依据对分离矩阵b 进行幅度调节，因 此造成分离信号y ( f ) 与源信号s ( f ) 之间存在幅度上的差异。 通常在不失一般性的情况下，将源信号s ( f ) 设为单位方差信号，这就是上一 小节讨论的假设4 。即r ，= e s ( t ) s 7 ( f ) = i ，其中r ，为源信号的零时延协方差矩 阵，这样观测信号x f f ) 的协方差矩阵为 r 。= e x ( f ) x 7 ( ，) = a r ，a 日 ( 2 - 1 4 ) 式中，e 【】表示数学期望，“t ”表示向量的共轭转置，“h ”表示矩阵的共轭转置a 1 2 太原理工大学硕士研究生学位论文 2 ) 分离信号顺序的不确定性 盲分离信号y ( f ) 除了在幅度上与源信号s ( f ) 有差异外，在信号的排列顺序上 也不相同。即分离信号咒( f ) 不一定正好对应着源信号墨( t ) 。由图2 - 1 可以看出， 实际情况下如果b a = g ，g 为广义交换矩阵( 每行和每列只有一个非零元素) ， 则可分离信号。独立信号源输入广义交换矩阵g ，输出是这些信号的重新排列， 但不会发生混合。在实际应用中，只要保持波形不变，这两个不确定性是可以接 受的。 2 3 盲源分离的目标函数 独立分量分析是盲源分离理论的重要组成部分，它是以瞬态线性混合模型为 框架，利用信号的概率密度分布( p d f ) 等统计理论和信息论知识，以最大化输出 信号的统计独立性为原则实现盲信号分离。 在盲分离问题中，假设原始信号相互统计独立，经过混合矩阵a 变换后，混 合信号一般会失去统计独立性而变得线性相关。由于混合矩阵a 未知，因此盲分 离通常以恢复输出信号的最大统计独立性为原刚，这与独立分量分析的基本思想 是一致的。 独立分量分析的主要方法是首先建立一个以分离矩阵b 为变量的目标函数 j ( b ) ，如果某个矩阵b 能够使j ( b ) 达到极大或极小值，则该矩阵b 即为所需的分 离矩阵。根据最大化输出信号的线性独立性原则建立相应的目标函数j ( b 1 ，是i c a 的一个重要组成部分。按照j f b ) 定义的不同以及求解b 的不同方法，可以构成多 种独立分量分析算法。 2 3 1 统计独立性 分离信号间的统计独立性是盲源分离问题的关键。那么如何来评判信号问的 统计独立性，本节将介绍信号的联合概率密度函数( p d f ) 分布和k l 散度两种准 则。 1 3 太原理：火学硕+ 研究生学位论文 1 ) 信号的联合概率密度函数( p d f ) 分布 设两个随机变量y 。y 2 ，用p ( y 。，y ：) 表示它们的联合概率密度函数( p d f ) ， p ) 和p ( 儿) 分别表示变量各自的概率密度函数( p d f ) ，称为边界概率密度函数 ( p d f ) 。如果已知联合概率密度函数( p d f ) 值p ( m ，y z ) ，则信号的边界概率密度 函数( p d f ) 可以由以下算式得到 a ( 乃) = p ( 咒，儿) 呶，p 2 ( y 2 ) = p ( m ，y 2 ) d y , ( 2 一1 5 ) 如果乃和儿相互独立，y l 中不包含儿的任何信息，y 2 中也不包含y ，的任何信息， 则它们的联合概率密度函数( p d f ) 分布等于信号边界概率密度函数( p d f ) 的乘积， 即 。 p “，y ：) = p ( y t ) p ( y ：) ( 2 一1 6 ) 同样，多个相互独立的变量的联合概率密度函数( p d f ) 等于变量各自的边界概率 密度函数( p d f ) 的乘积，表示为 p ( m ，y 2 ，) = 兀只( 咒) ( 2 - 1 7 ) i - i 设月维向量x 到y 的线性变换为y = b x ，其中b 为n x n 维满秩线性变换矩 阵，若x 的联合p d f 值为p ( x ) ，y 的联合p d f t 苣为p ( y ) ，则二者满足以下等式 p ( y ) = l d e t b 一p ( x ) ( 2 - 1 8 ) 式中，d e t b 表示矩阵b 的行列式。在盲分离中如果已知原始信号的概率密度函数 ( p d f ) 分布，则可以利用式( 2 1 8 ) 求得混合信号或分离信号的概率密度函数( p d f ) 分布，反之亦然。 2 ) k l 散度 k l ( k u l l b a e k - l e i b l e r ) 散度是测量信号概率密度函数( 1 x l f ) 分布的差异程度 ( 距离) 的另一种度量方式。现在用k l 散度来衡量输出信号y 的各个分量之间的 相依性。设输出信号y 的p d f l 劂岛( y ) ，各分量的概率密度函数( p d f ) 值表 示为多，( y ) = 丌魏( 咒) ，则它们之间的差值可以用k l 散度表示为 1 4 太原理工大学硕士研究生学位论文 甩m ) 峨( y ) = 协( y ) i n 瓣 协1 9 ) 由式( 2