（控制理论与控制工程专业论文）基于信息最大化的盲解卷算法研究.pdf

基于信息最大化的盲解卷算法研究 学科：控制理论与控制工程 研究生签字： 指导教师签字： 摘要 盲源分离问题就是从一组传感器端的观测信号中分离或提取出源信号的一个过 程，对源信号我们完全未知或知之甚少，仅有源信号间相互独立的假设。本文基于信 息最大化算法，在盲源分离数学模型的基础上，研究、分析了瞬时混合模型和卷积混 合模型下盲分离的两类算法，并对其结果用模拟信号在计算机m a u a b 环境下进行了 仿真实验。主要研究工作和取得的成果如下： ( 1 ) 分析了信号盲源分离的概念、数学模型及其自适应迭代算法的一般推导方 法，在查阅、研究了国内外众多研究成果的基础上，对其发展和应用作了比较详细的 归纳和总结。研究和分析了盲源分离的一些基本理论，包括高阶累积量理论和信息理 论，并对判决信号类型的k u r t o r s e 概念作了介绍。 ( 2 ) 针对线性瞬时混合情况下的盲分离算法，从高阶统计量和信息论两个方面展 开研究。对基于信息理论方面的瞬时盲分离，先从整体上阐述了信息理论用于盲分离 的可行性，然后详细介绍了最大熵原理、信息最大化算法和最大似然估计，并指出在 信息理论框架下信息最大化传输、最大似然估计和输出互信息最小化是统一的。最后， 对基于信息理论的瞬时混合亩源分离算法给出了m a t l a b 仿真。 f 3 ) 对卷积混合模型的盲分离算法，先从简单理想化的时延模型入手，研究了算 法的一般推导过程。对基于信息理论的卷积混合模型下的信息最大化盲解卷积算法从 前向分离结构和反馈分离结构两种情况进行了详细推导，并对它们对实际分离过程中 遇到的问题作了分析，指出反馈型分离结构优于前向分离结构。最后，在计算机上设 计了仿真试验，用模拟信号验证了算法的可行性和收敛性。 关键词：肓源分离；信息最大化；自然梯度：盲解卷积 毛荔、_酊蛭 易彳， a l g o r i t h ms t u d yo fb l i n dd e c o n v o l u t i o nb a s e do ni n f o r m a t i o n m a x i m i z a t i o n d i s c i p l i n e ：c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g s t u d e n ts i g n a t u r e ： 队轨盎；“a 1 5 s u p e i 5 。埘g n a t 吣无以了l 叩- 吁 a b s t r a e t i nb l i n ds o u r c es e p a r a t i o n ( b s s ) ，t h eg o a li st or e c o v e rm u t u a l l yi n d e p e n d e n tb u t o t h e r w i s eu n k n o w ns o u r c es i g n a l sf r o mt h e i rl i n e a rm i x t u r e sw i t h o u tk n o w i n gt h em i x i n g c o e f f i c i e n t s t h es t a n d a r ds i g n a lm o d e l sa r es t u d i e db a s e do ni n f o r m a t i o nm a x i m i z a t i o n ， a n dt h ea l g o r i t h m sa b o u ti n s t a n t a n e o u sm i x t u r ea r c h i t e c t u r ea n dc o n v o l u t i v em i x t u r e a r c h i t e c t u r ea r es e p a r a t e l ys t u d i e d 1 1 1 ee x p e r i m e n t s ，u s i n gt h em a t l a bl a n g u a g e ，、v i t l l a n a l o gs i g n a l sd e m o n s t r a t ef e a s i b l ea n dc o n v e r g e n c e n 圮m a i nc o n t r i b u t i o n sa r ea sf o l l o w ： ( 1 ) mc o n c e p t i o n s ，m a t h e m a t i cm o d e l sa n da d a p t i v ea l g o r i t h m sa r ed i s c u s s e da n d s t u d i e di nb s s a n dt h ep a p e rs u m m a r i z e st h ed e v e l o p m e n t sa n da p p l i c a t i o n sa b o u tb s s o nm a n yd o c u m e n t sa n dr e s e a r c hs t u d i e d s o m eb a s i ct h e o r i e s ，i n c l u d i n gh i g ho r d e r s t a t i s t i c s ( h o s ) a n di n f o r m a t i o nt h e o r y , a r es t u d i e da n da n a l y z e d ( 2 ) t h es e p a r a t i o na l g o r i t h m sa b o u tl i n e a ri n s t a n t a n e o u sm i x t u r ea r es e p a r a t e l y d i s c u s s e da n ds t u d i e df r o mh o sa n di n f o r m a t i o nt h e o r y t h ep a p e rs h o w st h a ta l g o r i t h m o fb s si sf e a s i b l e ，a n di n t r o d u c e sm a x i m i z a t i o ne n t r o p y , i n f o m a x ，m a x i m u ml i k e l i h o o d e s t i m a t i o na n dn o n l i n e a rl m sa l g o r i t h m a n dt h e np o i n t i n go u tt h a ti n f o m a x ，m a x i m u m l i k e l i h o o de s t i m a t i o na n dm i n i m u mm u t u a li n f o r m a t i o ni su n i f o r mu n d e rt h ei n f o r m a t i o n t h e o r e t i cf r a m e w o r k a tl a s t t h ee x p e r i m e n tu s i n gm a t l a bl a n g u a g ed e m o n s t r a t e st h e a l g o r i t h mo ni n f o m a xi sv a l i d ( 3 ) f i r s t l y , s i m p l ei d e a lm o d e lo fd e l a y e ds o u r c e si si n t r o d u c e d a n dt h e nb l i n d s e p a r a t i o no fc o n v o l v e ds o u r c e sb a s e do ni n f o m a xi s s t u d i e di n d e t a i lf r o mt h e f e e d f o r w a r dn e t w o r ka r c h i 把c t u r ea n df e e d b a c kn e t w o r ka r c h i t e c t u r e ，a n ds o m ep r o b l e m s i n r e a l s e p a r a t i o np r o c e s sa r ea n a l y z e d 1 1 1 ec o n c l u s i o nt h a tt h ea r c h i t e c t u r ew i t h f e e d b a c ki sp r i o rt oa n o t h e ra r c h i t e c t u r ei s & a w n a tl a s t ，t h ea l g o r i t h mi sd e m o n s t r a t e d w i t hs o m ea n a l o gs i g n a l si nc o m p u t e r k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n ；i n f o r m a t i o nm a x i m i z a t i o n ；n a t u r a lg r a d i e n t ；b l i n d d e c o n v o l u t i o n j 绪论 l 绪论 近几年来，盲源分离和盲解卷积方法的研究已成为信号处迥学界和神经网络学 器一个弓1 人洼霜的热点闷题，劳取德v 逡速的发展。蛮信号处理技术研究的内容是 根据一组传蒋器( 或倍感器阵) 观渊到的混合数据向基以确定变换，来恢复源始 信号和传播通道参数。所谓“盲”，就是不知道源信母和传播通道参数的先验信息或 知之甚少。本文主要研究基于信息最大优的盲解卷积算法。 1 1 盲源分离问题的描述 将若予髂声器放甏霞同一房闯戆不同位置，每一个绩声嚣接牧弱的是痔闻内不 同入声音的混合声音，我们对房阐肉人的声音特征及所处位置无所知，目的怒根 据多个传声器观测的声啻信号，分离出每一个人的声音。这就是著名的“鸡尾酒会” 问题。抉匈话说，不知道源信号及其传播通道参数，在假设源信号之闻相互统计独 立豹条 孛下，汉凭借传戆器薛或换熊瓣黪熬褒铡数攒，分离或绩诗最秘源信号豹波 形以及传播通道参数，遮就是盲信号处理( b s s ，b l i n ds i g n a ls e p a r a t i o n ) ，有的文献 也称为盲源分离( b s s ，b l i n ds o u r c es e p a r a t i o n ) i l l 。所谓“盲”就是指：( 1 ) 源信号 凭法理测；( 2 ) 没有任煎裔关混合的倍感。源信号帮源信号豹混合是影响誊德尊处 理特性的两个决定因素。 当从信源( 或原始信号) 到传感器之间的传输很难建立其数学模型，或者关于 传输的先验知浚无法获褥对，盲源分褒是一种缀自然的选择。蠢源努离，燕攒在不 知道源信号籀绩输遥遵参数豹情况一f ，疆据输入源傣号静统计姆经，纹由观测信号 恢复出源信号各个独立成分的过程，这一过程又称为独立分量分析( i c a ， i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 【2 l 。 假定香个独立瓣源售号毛p ) ，岛( f ) ，s n ，通过膨个传感器焉得到混合信 号，即观测信号为一( ，) ，( f ) ，x m ( ，) 。盲源分离的目的就是设计1 一个滤波器，滤波 器的输入为鼹测蓿号誓f ) ，( f ) ，x m ( t ) ，徐趱为y l ( t ) ，y 2 ( r ) ，g ) ，使褥 m ( r ) = 鱼( f ) ，y 2 ( f ) = s ：( 1 ) ，y 。( ，) = s ( d 。分离过程中，除了n 个源信号统计独立 的缓设外，褥无其他锻设。_ y ( f ) 与s ) 在螟蕊帮掩硼次序上不要求完全一致，只要 保持了波形基本致就认为完成了膏源分离。 现在所指的盲源分离通常是对观测到的源信号的线性瞬时混迭信号进行分离。 l 西安工业大学硕十学位论文 当考虑到时间延迟的情况下，观测到的信号应该是源信号和通道的卷积3 1 ，对卷积 混迭信号进行盲分离通常称为盲解卷( b l i n dd e c o n v o l u t i o n ) e 4 。对源信号的算法研究 归为盲源分离部分，而对传输通道的理论算法研究则归结到茸解卷部分。盲源分离 和盲解卷方法的研究在语音识别、无线通信、生物医学信号处理、图像处理和地震 等各个领域具有非常重要的理论价值和实际意义。 1 2 盲源分离的数学模型 在详细讨论信号的盲解卷积算法之前，我们先介绍一下线性瞬时混合状态下的 信号盲源分离数学模型。 1 2 1 线性辑时混合模型 假设有个相互独立的源信号s ，( i = l ，2 ，n ) 经过一个未知参数的混和矩阵 爿传输到m 个传感器，m 个传感器的观测信号为x ，( i ：1 ，2 ，m ) ，z ，是个源信 号在同一时刻的不同的线性组合，也称瞬时混合。不失一般性，假设x 的均值为零( 以 下除了特别说明，传感器的观测信号的均值为零) 。写成矩阵形式 x ( f ) = a s ( t ) 式中s ( r ) = i s l ( f ) ，s 2 ( f ) ，s ( ，) r ，s ( f ) r “1 ( ，) = i x l ( f ) ，x 2 ，x ，( ，) 】7 ，爿r ”1 ，爿r ”是混合矩阵( 通道参数矩 阵) 。 盲源分离的目的是在s ( t ) 和4 未知的情况下( 仅有s ( t ) 各元素相互独立的假 设) ，利用x ( t ) 中包含的信息，辩识出s ( t ) 和4 。分离过程是寻找一个分离矩阵矿， 使 y = w x = w a s = c s ，c = w a ( 1 2 ) 上式中为了简便将时间变量f 省去不写( 下文中一样，不再酷明) 。如果确实可以 找到这样一个，使得c 成为一个单位对角阵( = n ) ，则有r = s ，( i = 1 ，2 ， n ) ；更进一步，如果c 成为一个广义置换矩阵( 每一行和每一列仅有一个非零元素) 和一个单位对角阵之积，这时所得到的r ，( i = l ，2 ，n ) 与s ，( i - 1 ，2 ，n ) 鞲安l 二照大学颟士学位、论史 妻鞫一画丘= y d t ) 1 , 2 2 绞镶豢禳潺舍搂整 程嚣贻讨论盲解卷瑕黧法之前，我嚣j 先慕分瓣葵数学模整。绫穗卷欷盼溅念模 型我们分时域和频域两种，霹法分离结构图如图1 , 2 ，图l ，3 示。 扶榭令传黪器孛褥猁鞠个源僖譬s 。( i = l ，2 。，k ) 静澎合蕊浏瞧苫，0 = l ， 2 ，瓢) ，霹成踅簿形凌森 z = a4 s 十q ( 1 ，5 ) 式巾十代寝卷积，q 最批为搂感器上的加憾噤声，a = f a j j j 。，群，邈第歹个 源剩繁f 个传感器熊融洚瓣应。下蘑我锻淤频域横邀缭梅魏铡，麓袋势镑蕊数学雄 器过程。 蹿( 4 。1 ) 戴褥瓣嗣畦联z 炎换窍 x ( ) = 4 z ) s ( z ) + 霸( g ) ( 1 。6 ) 蹬讨“”个滤波嚣嚣0 ) ，使 r ( z ) = 嚣( z ) 4 z ) s ( 2 ) 式中y ( z ) 为1 矩阵，b ( z ) 为n m 矩阵。 矿( z ) = 露( o ) q ( ：) ( 1 7 ) ( 1 8 1 令，( z 净嚣( ) 4 ( ：) ，强暴r ( z ) = p d ( z ) ，其中p 为甏换矩薄，o ( z ) 的对焦元素为1 或者c 。e “，c ；为非零比例因子，f 怒积分延迟时间值，则认为完成源信号的分离。 有的文献认为只要r ( z ，的每一行释每一列畜一矮j # 零元素，则认为完成了蠢源分 离。 s ( 七) s ( 膏) 图1 2 盲解卷分离算法时域结构图 图1 3 盲解溢分离算法频域结构图 “七) y ( 幻 上蠢分褥的是窘螓条传下信号豹寓髂卷算法的慧本模型，报显然，无嗓酌情提 比含噪的情况要简单，假他们基本的结构模型差别不大。 1 3 言源分离技术斡发展 目前，国内外对窗信号处理技术的研究主要集中在以下三个方面：盲源分离或 盲信号分离( 有的文献也叫独立分量分析) ，官信邋均衡( 通道参数盲辨识) 以及盲 波束形成。实甄上，螯波束形成编羹应用，其羔簧理论摹醚色含在盲源分离秘蠢均 衡中。盲信道均衡在通讯领域豹研究魄较深入，硐来解决无线通讯中的码字间的干 扰和信道问干扰。已有弘 ：多有关茸波束形成解决多途信号辨识问题的文献，所取得 4 撕安下业大学硕士学位论文 的成果已在无线通讯领域得到了应用。盲源分离的研究虽然比盲均衡起步晚，但近 几年来也得到了飞速发展，在语音识别、生物医学信号处理等方面取得了初步应用 成果；在地质勘探、图像增强和识别方面也具有潜在的应用前景。 在1 9 8 6 年举行的计算神经网络会议上，h e r a u l tj 和j u t t e n c 提出了一种循环 神经网络模型和基于h e b b i a n 类学习的算法 5 】，可以实现独立分量的盲分离。该方 法基于反馈神经网络，通过选取奇次的非线性函数构成h e b b i a n 训练，从而达到盲 源分离的目的。该方法不能完成多于两个混迭源信号的分离，非线性函数的选取具 有随意性，并且缺乏理论解释。t o n g 和l i u 6 1 分析了盲源分离问题的可分离性和不 确定性，并给出一类基于高阶统计的矩阵代数特征分解方法。1 9 9 4 年，c o m o ne 1 7 在s i g n a lp r o c e s s i n g 杂志上发表了论文“i n d e p e n d e n tc o m p o n e n ta n a l y s i s ”系统地分 析了瞬时混迭信号盲源分离问题，明确了独立分量分析的概念，并提出了一种近似 最小化两个传感器互信息的代价函数。自此以后在信号处理领域，涌现出很多基于 累积量的算法，这些算法可以认为是h e r a u l t 和j u t t e n 首次使用的三阶非线性的推广。 1 9 9 5 年，b e l lt 和s e j n o w s k i 叫s j 针对盲源分离闯题在n e u r a lc o m p u t a t i o n 杂志 上发表了基于信息最大化方法( i n f o m a x ) ，通过最大化输出非线性节点的熵，得出 一种最大信息传输的准则函数并由此导出一种自适应盲源分离和盲解卷算法，当该 方法中非线性函数的选取逼近源信号的概率分布时可以较好地恢复出源信号。该算 法只能用于源信号峭度( k u r t o s i s ) 大于某一值的信号的蠢分离，所以它对分离线性混 迭的语音信号非常有效。1 9 9 7 年，a m a r is 和y a n gh 等人【9 ，1 0 】用自然梯度( n e u r a l g r a d i e n t ) 方法完善了i n f o m a x 算法，并被证明基本理论与最大似然估计方法以及 c i c h o c k ia 和u n b e h a u e nr 的算法联系密切。由b e l l 和s e j n o w s k i 提出的最初的 i n f o m a x 学习规律只适应于超高斯源，l e e 和他的合作者】推广了i n f o m a x 算法，提 出的算法可以分离亚超高斯源韵混合信号。同年，h y v a r i n e n a a p o 将定点算法( f i x e d p o i n t ) 弓i 入求解基于高斯矩的准则函数，推导出f a s t l c a 算法1 1 2 , 1 3 】，得到i c a 算法非 常快的收敛速度，但该算法不是自适应处理算法，且工程实现难度较大。 在对线性瞬时混迭信号盲源分离方法进行研究的同时，人们对卷积混迭信号盲 分离( 亩解卷) 方法也进行了研究。p l a t t 和f a g g i n 【”j 将h - j 算法推广到具有时间延迟 和卷积混迭情况。y e l l i n 和w e n s t e n 1 5 】给出了基于高阶累积量和高阶谱多通道盲解卷 方法，通过递归特征分解可以同时进行盲系统参数辨识和盲解卷，由于用到高阶累 积量和需计算高阶谱，该方法所需运算量极大。t h i 和j u t t e n 【l 6 j 同样利用四阶累积量 或四阶矩函数，给出了卷积混迭信号盲分离的自适应训练方法。k t o k k o l a 7 j 提出了 一个反馈网络结构，将i n f o m a x 算法推广到更广泛的情况，即具有时间延迟的源的 混迭或卷积混迭信号的肓分离。l e e 和b e l l 将基于信息最大传输或最大似然算法得 m 的肓源分离算法变换到频率域，并利用f i r 多项式代数技术进行茸解卷。 两安c 业大学硕士学位论文 最近人们已经开始研究存在噪声的混迭和非线性混迭信号的盲分离问题。非线 性宣分藤魄线性情况的分离难度受犬。较擎涉及的菲线链漉送信号盲分离的是 b u r e l l l ”，他用一个两层感知器和罄予误差后向传输思想的无监督算法通过梯度一f 降 算法优化统计独立的测度函数，得到一种盲分离算法，可以用于非线性混迭信号的 盲分离。1 9 9 6 年p a r r a t 9 1 提出一类魏肉信患保持非线性结构睃射网络，通遗最小化 输出互信惑，减小输出各个分量澜的剩余度，从瓣可以褥到非线性独立成分。 国内商信号处理近几年来也取得了很大的成就，但主要还是分布在高等院校和 科研院所，如西北工她大学、东南大学、上海交通大学、蘸安电予科技大学、山东 大学等。稳 f 3 静疆究熬本上还多在瓣隧帮线性穷镬，在菲线梭磷啦q 和盲解卷方蘑也 有接触。何振噩等人攀予i n f o m a x 原理，提出了一种能分离趑豫商斯混合信号的新 算法2 2 1 ；刘琚 2 3 2 5 1 、冯大政【2 6 】等结台神经网络与信息论原理，也提出了自己的算法。 1 4 富源分离技术的应用 信号寓源分离技术在现实世界中有着广泛的应用。现蠢的蛮信号分离技术主 要碍在数据遥信、语裔游别、墨像羧笈、承声信譬处理、生物医学藏电蓓鼍簸理、 地震信母处理等方面。避方面的例予有： ( 1 ) 语音识别 “鸡惩滔会”楚这方瑟翦典燮例子。在滔会上，会有缀多入同时说话，经并 不是每个人的谈话都鼹我们所感* 趣的，我 j 也许只需要其中莱一个或凡个入的谈 话内容，将这些嘈杂的语音信号最大可能的分离出来是盲信号处理的一个獯器研究 内容。b e l l 和s e j n o w s k i f l 麟对此阕鼹绘出了其在信怠理论方螽研究的一个爨程磷式 豹算法。他们的算法冒以分离赉l o 个久说话的语鬻信号，戴磊缀多a 豹算涟都是班 此为基础发展而来的。 ( 2 ) 图像恢复 畜信号分离在对天文、遥感帮医学躅像的图像诙复中餐藩广泛静痰孀。引起 图像模糊的原因很多，例如模糊曝光过程中相机的移动、透镜聚焦的不精确铸。原 始图像作为一系统输入，而原始图像的模糊版本则为该系统的输出，可以将该模糊 系统豹传输添数建模为个点扩震函数。在很多姆定装况下，我 f 】慰于模糊系统的 点扩展瀚数的信息和爨始冱豫豹信息都几乎是完全来知豹。要求只根据禳獭图像来 恢复原始信号，就必颁进行亩信号分离。 ( 3 ) 雷达、水声信号等的处理 在军事领域，鬈达的作塌不小簸。转绞的雷达为了敬褥探溺强栋，通常都 会发出一定频率的电波信号，因此很密易暴露自身目标而受到攻击。随着飙代电子 6 两安工业大学硕士学位论文 技术的发展，种“被动式”的雷达越来越受到重视，这种雷达只接收信号丽不发 射饪 珂信号就可以探测到基檬。其实际工幸# 原理就是剥髑了蠹| 信号处理技术。姥井， 在阵列信号处理过程中，比如声纳探测，传感器接收各个信号源豹信号，但信号却 完全处于未知状态，并且信号的传输介质海洋环境也是完全未知时变的， 这种搽测过程也是肖分离的个瘦用实铡。 以上仅大致举出了富信号分离方西豹一照应用，其潜在的应用前景一赢极大躐 引了更多的科技：c 作者。 1 5 零论文主要王作 论文整体工作安排如下： 第一章，挺菇倍号盲濒分离静概念、般撼述及其数学模型，并对国蠹外畜信 号处疆技术的应用和发震作了概逐。 第二章，讨论和分析盲信号分离算法中涉及到的一蝗錾本理论和概念，包括数 学模烈建立、盲源分离的基本条件，推导了露源分离算法常用的基本概念，如统计 独立馁分辑、统诗理论、信息理论以及算法性髓评价静准瓣等。 第三章，针对线性瞬时混合横型，研究麓予统计理论和信息最大他的分离算法， 分析了信息最大化、最大似然估计、互信息最小化之间的相互关系，在计算机上用 模数铸号仿真了算法，验证了算法豹有效_ l 耋秘僚能。 第四章，针对线性卷积混合模型，磅究蕊于信息最大纯的盲解卷辣法，分简单 时延混合和卷积混合两种情况，以前馈和反馈型网络结构为旗础详细推导了算法， 并对算法在m a t l a b 平台上进行了仿真。 第五章，总结论文戆醑究工 乍，并对下一渗的研究工 乍做出了震登。 2 蕾源分离的基础理论 2 盲源分离的基础理论 信号离源分离的工作基本上都是建立在对随机髂号统计分析的基础之上的，所以 绕计论、僚感论中的有关知识是信号富潺分离技术酌基磷。由子本文所研究静内容均 耩于信息理论框架之下的，敌信息论的知识是本章麓点介绍豹内裕。 2 1 盲源分离斡建模 假设肖一维零均值源信号墨( ，) ，s ：( r ) ，j ( r ) ，各分量相互独立，经过一混合 矩阵a 后教材个传感嚣接收，褥到鼹测信号x d t ) ，戈：( f ) ， ，x 。一般建，源结号s 秘) 、 混合矩阵一和观测信号x ( f ) 之间有如下* 系： x 9 ) = a 善) + 抖f )( 2 。1 ) 其中爿是个m n 的矩薄，n ( t ) 为加性噪声。 盲源分离的目的裁怒设计一个滤波器，通过适当的变换从接收到的这材个戏测 僖号x 中恢复出个涿绥号s 螃，褒帮寻找一个分离矩薄舻，其中： y ( t ) = w x ( t ) = l v a s ( t )( 2 2 ) 使得到鳃绪果y ( f ) = s ( t ) ，豫了深信号统计独立魏假设岁 荐无其它缀设。y ) 与5 ) 在 幅值和排列次序上并不鬟求完全一致，只要保持了波形基本一致就认为完成了宵源分 离。 为了镁源信号缝褥雯g 有效分离，这整垂新幸# 如以下骰设： ( 1 ) 传感器豹个数大于或等予源信号的个数，即有m2n ； ( 2 ) 源信号j ( r ) 相互统计独立； ( 3 ) 滚馆号s f ) 中最多只有一个是离额信号； ( 4 ) 系统中没有或只有较小的加性噪声。 为了便于分丰斥和讨论，本谍题的研究一般是在假设m = n 姻基础之上的，并矗 不考虑噪声的祷况( 也可以褥噪声认为是一独立豹源信号) 。在分离过程中，对源信 号问相互统计独立这条件的要求比较苛刻，但这怒膏源分离的耩础。 8 西安i ：业大学硕士学位论文 2 2 统计独立性 盲源分离的实质是从未知信号的线性混合观测信号中重新恢复出各个源信号。一 藏说来，观测信号是遭过传感嚣采集褥到懿，两每个传感器接收至l 的疆测僚号均为 各个源信号的混和迭加信号。褥加上信号传输过程中时间延迟和信道干扰等问题，因 芘，霹戬说麓测信蛩不可能跫我稍理想中豹“予净”僚号。裔源分离中，漾傣号的类 型非常关键，但大多情况下我们对源信号的类型仍一无所知，即我们没有源信号的先 验知谖或者谎对箕翱之甚少。貌外，对混合铸号是懿俺建立驰，我们氇是未知貔，毽 而无法建立趋原始信号到传感器的传递函数和相应的数学模型。可以说对盲渊分离问 题，只有建立在对疆测信号静分辑基礁之上，对源信号俸出相应静假设( 即滚足上节 所提出的条件) 方可实现信号的有效分离。 蛮源分离戆最基本愚戆就是缎设掰有滚傣号之闽蔗彼北耀互统计独立豹，这连楚 盲源分离的关键条件。 统诗独立周数学语言撰述如下； 用y 。，y 2 ，y 。表示一组随机变缀，其联合概率密度用f y ，y 2 ，y 。】袋示，假 设y ，熟有零均值和单位方羞，且相曩独立，氯h 有下式成立： j l y l ，玛，】。z 【懿】五【娓】i ；厶隗】 ( 2 + 3 ) 式中【y f 】表示y ，的边缘概率密度。如果式( 2 ，3 ) 成立，则称咒统计独立。 如果下式成立： 嚣，y 一协 露协；= 0 ，i j 0 ；如果p ( s ) 戈亚高赣 ( s u b g a u s s i a n ) 分布函数，剐素 0 。 在已知y 的条件下，z 的平均条件熵定义为： h ( x y ) = 一f p ( x ，y ) l n p ( x ，y ) d x d y ( 2 _ 4 0 ) 其中求和遍及，r 的有限值域。通常称h ( x y ) 为条件熵。 2 4 2k l 散度和互信息 两个概率分布p ( x ) ，g ( x ) 之间的k l ( k u l l b a c k l e i b l e r ) 散度 3 0 j 为 砌小p - 。文鬻p 亿4 ， 显然，k l 散度是衡量两个概率分布之间的相似程度。当且仅当p ( x ) = q ( x ) 时， 上式为零。k l 散度具有比例不变性，即当随机变量x 值发生比例变化，其k l 散度 不变。推而广之，对于可逆的线性系统，输入和输出的k l 散度具有不变性，即有： d ( p ( x ) 1 ig ( x ) ) = d ( p ( y ) l ig ( y ) ) ( 2 4 2 ) 在自组织系统设计中，一个主要的目的就是使得算法能够单独学习输入模式柬确 定输入输出之间的关系。对于一个随机系统，输入为x ，输出为y ，我们定义给定l ， 后的的条件熵为： 西安工业大学硕士学位论文 h ( x y ) = h ( x ，y ) 一h ( y )f 2 4 3 ) 其中h ( x ，y ) 是联合熵，条件熵h ( x 】，) 表示接收到输出符号集y 后关于输入符 号集工的不确定性。由于熵h ( x ) 表示在观察系统输出符号集y 以前的平均不确定 性，那么( x ) 和h ( x y ) 的差就一定代表接收到的符号集y 后平均每个符号获得的 关于x 的信息量，这个量就是互信息，记作： ，( x ；j ，) = 日( x ) 一h ( x 】，) = 萎驴州叫需渤j q 4 4 熵是互信息的特例，这是因为总有h ( x ) = i ( x ；x ) 成立，当两个随机变量互相独立时， 互信息最小，而熵却最大。它们之间的关系如下图2 1 。 h h ( x ，y ) 图2 1 互信息与熵的关系 对于连续随机变量x 和l ，类似离散情况，我们可以得出连续随机变量的互信 息定义式： 删；驴胁圳。g ( 与等p 口。s ， 其中正。( x ，y ) 是x 和y 的联合概率密度函数，l ( x i y ) 是条件概率密度函数，假定y 的 概率密度函数为 ( y ) ，则有： 六，( x ，y ) = l ( x i y ) f y ( y ) ( 2 4 6 ) 所以互信息也可以写为下式： = 似朋- 。文筹篙卜咖 亿。， 翻i 粜y 巾各个元素相互独立，那么也就是满足联合概率密度函数是各个边缘概 疆安工、监大学顼 学位逢文 率密度函数积的形式，那么要衡量联合概率密度函数和各个边缘概率密度函数积之问 的差，就是要考虑整个系统之间的关系，这儿我们利用k l 散度关系来表示。考虑到 正，y ) = ；，j ( y lx ) 正( x ) 情况下，比较式( 2 3 6 ) 和( 2 ，4 1 ) 则可得： 瑶￥；y ) = d 扳| l f , ； f 2 ，4 8 ) 即，一对矢量x 和r 间的互信息i ( x ；y ) 等于联合概率密度函数工。( x ，y ) 和概率 密度函数正( x ) 和无( y ) 乘积的k - l 散度。 考虑一个多输入多输爨( m i m o ) 的辛牵经网络系统，对于这个系统翡酲标f 如建 模、提取统计上突出熬特征、信号分离等) 可以通过选择系统中一定麓变量滴蘸互信 息作为目标函数的优化来实现。这是因为互信息有一些独特的特性，对于无监督自适 应信号的自组织系统，互信息怒自然的选择。这样问题就变成对系统中权矩阵进行适 当的调搂就可达到对系统源信号的提取。 在拇缀潮络处理系统中，设计一个襻经元处瑷器来最大纯互信患1 ( x ；y 在统计 信号处璎中是一个令入感兴趣的闻题。优纯髂方法就是最大互信怠琢理( 黝x i m u m m u t u a li n f o r m a t i o n ，i n f o m a x ) ，l i n s k e r 阐述如下： 巍一个神经系统中，将输入层的观察信号随机矢量x 变换到输出层随机矢量】， 变换过摇鹰该是这样选择的：输出层神经元的活动皮该使得输出层得至4 辕入层的最大 联合信惠。强标函数懿簸大纯魏是灸量x 帮y 越的互嵇惠j 皿；j ，最大纯。 从甄信息j z ；y ) 的定义我们知道， x ；y ) 魁系统输出y 的不确定性的测度， i n f o m a x 原理通过最大化互信息l ( x ；y l 来完成，结果是我们通过对观察系统的输入肖 对系绫酌输墩更加确定，因此氇可戳说i n f o m a x 鞭壤罨致输出y 对输入的冗余度降 低，实鼯上最大化输入输出阍的互信惑实际上藏楚冗余度洚低。驮嵇憨理论蹩度看， 要将相甄独立的信号分离，则分离的结栗信号也疲该相互独立，用输出的互信息来表 示则输出各个分量之间的曩信息应该是最小化；在理想情况下，应趋于0 。因此可以 从神经网络系统的输出互信息的最小化来推导网络权值的学习公式，缚出的学习算法 霹为爨小豆信息盲分离箕法。 2 5 算法性能评价准则 信号是否得到有效分离，需要。定的标准来评价。我们可以把算法处理后得到混 台矩眸 源信号的估计序列，已知的混台矩阵嚣j 源信号数据序列相比较，来评价饽 瞧安工业大学硕士学位论文 法的j 睫能。常用的量化评价准则4 6 ，4 3 分为基于混合矩阵和基于信号波形两类。 2 5 1 蒸千混合矩阵的评价准则 离豹程度。文献f 1 给出了实数算法收敛特往豹译价方法，该准则黼样适用复数信号。 假设混合矩阵为a ，估计的混合矩阵为j ，则两个矩阵间的距离可按下式来定义： s e 砖叠，= 莩障陂卜，1 2 + 莩障b | _ t 1 2 + ；陲l 臻1 2 一t l + 莩障l 巩1 2 一t l e z 4 9 ， 式中i 表示矩阵元素行痔譬，_ ，表示列序号，d = j 。吾，i = 一：，吾= 叠， a a ( k ，膏) 。0 如a j ( k ，) = 忙。卜a a 和j 为对角方阵，矩阵的范数可以任意选取。 对任意鼹个矩阵a 謦珏b ，均有e ( a ，鳓0 。如果a = b 豉b = p d a ，则有 s ( 爿，b ) = 0 ；如果a 帮b 鹚蒺大，则e ( a ，国趣瓣越大；反之，剩越小。式( 2 。4 9 ) 仅 用了复数的模，并未考虑相位信息，因此用w a 和单位阵1 间的躐离来度量复数盲源 分离算法的分离程度，称为收敛标志量，即： 仿真实魏耩重范数采壤矩薄麴2 范数。若包 辫) = 0 ，剐量= p d a ，躜说明实瑷了完全 分离；该值越大，说明二与a 相差较大，分离稳奄误差大。 式( 2 5 0 ) 的准则形式还有以下变形。由于w a = p d ，d 的模为单位阵，将广义 置换矩簿魉一他，然后与单位阵进行比较，采用以下三种形式来计算p d 与单位眸的 纵耻莩障鼎* 障鳊一l 亿s ， 咚( 掰) = e ：( ) ( 2 ，5 2 ) 州耻莩障器* 障蒜一，| 暖s ， 吒和e ，、p 。紧密相关，通过计算极仿真发现口：和气是官源分离簿法中比较理想 西安工业大学硕士学位论文 的评价准则。 以上槛剜在评价元密添分离算法时，当考虑到复数信号的摇便时，颂侔良下修 正。对一个信号源采用( 2 5 4 ) 式，对两个以上的信号源则采用( 2 5 5 ) 式： e ( p i 。) 一| 群一 | 2 5 4 ) 峨，= 善n 盏蕊2 乩靠= 蚓 2 5 2 基予傣等波彩羽详价潍刘 锓设分离输出嚣的信号为苁( f * l ，乏，m ) ，源蔼号为s ，( 歹= l ，2 , - - - , n ) 。把只 和s ，之间斡榴关系数作为度量； 岛2 l e y ， 1 2 ，i = l ，乏，m ；- ，= 1 , 2 ，n 热采或；静值等予l ，说明第f 个分离瓣趱与第，个信号源完全搬同，鑫j 予绩诗谖 差不可避免，当分裹完成后，岛的锻接近l ；岛趋予零，说明不相关；如果赝有黪凡 值距1 较远，说明分离未完成。可以根据风的曲线判断算法的分离特性。我们定义p 。 超过0 5 ，就认为完成了分离。 在实现( 2 5 6 ) 式时，期望值按有限序列样本做计僮。对自适应算法来说，算法 迭代次，估计期黧镳的净翔移动次。依次褥到三一个估计点，为分离数据的 长度，为估计期塑债采用的样本长度。 2 6 本章小结 本章在消化国内外大擞盲源分离文献的基础一匕，着重分析了商源分离的基础理 论，包括数学模型建立、统计独立性、高除绞计理论、信恳理论秘分离算法的性戆评 价准则。在亩源分离中，使用较多的是高阶矩和高阶累积量，文中分析了它们之间的 辖甄转换关系：对蒸予菝怠论的概念妇熵、互信息秘l _ - l 教瘦等，鬟点阐述了熵帮亘 信息之间的关系。针对m i m o 网络神经系统，研究了盲源分离的自适应迭代算法， 戳互信惑作为嚣括鼹数，求鞲标函数的最大化推导嚣法。最蠡提凄了毫源分离算法的 一般性能评价准则。 3 瞬时混合盲源分离算法 3 瞬时混合盲源分离算法 在盲棱弩分离瓣题中，| 三要随舔就是如侮从一倦感器 接l 芟副的观测信号尽 可能完整的分离出具有一定统计独立的源信号。除了知道源信号问的相互统计独立 矫，其他的淹验知识一无所知，即使对由传慧嚣阵缀减的传耩遥遒或混台矩阵4 亦燕 “盲”的。遮一章我们主要讨论线性瞬时混合模型下的盲源分离算法。 3 1 基于高阶统计量的瞬时混合分离 目前大多数信号处理方法都是纂于二阶统计的。对于高斯信号，不相关和独立是 等价鹃。毽辩非离袈痿号，独立蹩魄不相关夏强的蘩终，它意昧着在毽含二阶统计在 内的所有更高阶统计上相互独立。如果没有镊何其他约束条件，仅通过二阶统计不足 瑷解决盲源分离这一随题。所以获研究蛮源分离闯熬豹开始除段，入靠j 裁试图寻求掰 熟悉的二阶统计之外的方法高阶统计的方法。这种基于黼阶统计的盲源分离方法 霹苏分为鼹耱：隐繁积量箕法秘显累积量算法。 3 1 1 隐累积爨算法 隐累积最算法是准则函数或训练算法中不明确宙有高阶累计量，这种方法中较典 型躲楚由h e r a u l t 和j u t t e n 较晕提密鹊享枣经网络算法哆通常称为h - j 算法。拖稻选翅 递归网络结构，逐一调整权德矿，擐终达到分离目的。其原理图如图3 1 所示。整个 过程中，权魏既设鬟为t 。 x l x 2 图3 。lh _ j 网络绩构原理图 出图3 1 可得分离网络的输出为： y 2 y , ( m t ) = x i ( m t ) - w , 2 y 2 ( m t ) ( 3 1 ) l y 2 ( f ) = x 2 ( ，) 一w 2 l y l ( f ) ” 上式又可改写为如下的向量形式： r ( t ) = x ( ，) 一w y ( t ) ( 3 2 ) 在不考虑时间延迟的情况下，上式又可变为下式： y ( f ) = ( + ) 。x ( r ) ( 3 3 ) 运用梯度下降法，h e r a u l t 和j u t t e n 提出了如下的学习规则： 警= ( ，) k 眈( o ) ，对任意的f ，有f ， ( 3 4 ) 其中，( ) 和g ( ) 是非线性奇函数，是学习速率。当i = ，时，= 1 ，不进行 学习。 对式( 3 4 ) 的学习规则可重新写为如下的权系数更新训练公式： ( 七+ 1 ) = ( _ j ) + ( 七) ) g ( 七) ) ( 3 5 ) 实际上，用非线性函数代替线性函数就是在算法中隐含地引入了高阶统计量。 3 1 2 显累积基算法 显累积量算法是一类以高阶统计量中的峰度( k u r t o s i s ) 作为对比函数，利用随机 梯度算法来得到分离阵的自适应训练算法，通常称为基于峰度极值的算法。 亩分离的性能在很大程度上与信号的随机性质有关，这些性质由信号的高阶累积 量决定。特别地，称为峰度的四阶累积量起着重要的作用。有关峰度的内容可以参见 2 3 2 节有关内容。 定义峰度作为对比函数，也就是用它来衡量信号的分布与高斯分布之间的距离。 对该对比函数的最大化( 对正峰度源) 或最小化( 对负峰度源) 可求得分离阵，但不能同 时分离出超高斯信号( 正峰度值) 和亚高斯信号( 负峰度值) ，而且需预先知道信号 属于哪类性质。 3 2 基于信息理论的瞬时混合分离 盲源分离在神经网络学界也得到了广泛的关注，盲源分离就是发展一个自适应权 更新规则以使网络输出尽可能独立，所以这类网络又称独立成分分析( i c a ， i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 。j u t t e n 和h e r a u l t ( 1 9 9 1 ) 就较早地提出了用神经网络