（信号与信息处理专业论文）基于负熵和高斯矩的有噪ica盲源分离算法的研究.pdf

太原理：i ：大学硕十研究生学位论文 基于负熵和高斯矩的有噪i c a 盲源分离算法的研究 摘要 盲源分离是指在没有任何先验知识的前提下，从观测到的若干个 源信号的混合信号中提取、分离出无法观测到的源信号。目前，解决 盲源分离的主要方法是独立分量分析法。独立分量分析法的主要思路 是求一个分离矩阵，使其分离后的信号统计独立。目前广泛应用于语 音信号处理、图象识别、医学信号处理和通信等领域，有着广阔的应 用前景，己成为盲信号处理、人工神经网络等研究领域的前沿研究课 题。 本文所做的主要工作： ( 1 ) 分析了盲源分离的起源、目的意义和国内外研究动态，阐述 了盲源分离的基本原理，列举了盲源分离技术在众多领域的应用情况， 并讨论了三种常见的盲源分离数学模型，评判了其分离效果。 ( 2 ) 讨论了独立分量分析研究中的主要问题，介绍和推导了基于 独立分量分析的盲源分离算法的几种典型代价函数和学习算法，并对 信息理论框架下的几种代价函数作了统一。 ( 3 ) 分析研究了基于峭度的固定点盲源分离算法，针对该算法鲁 棒性差、收敛速度慢的缺点，提出了一种基于负熵最大化的定点算法， 太原理一 ：大学硕士研究生学位论文 计算机仿真表明，新算法收敛速度加快。 ( 4 ) 分析了定点盲源分离算法，使用偏差消除方法，以高斯矩为 代价函数，提出了一种夹杂观测噪声的盲源分离新算法。通过计算机 仿真证明了新算法的有效性。 关键词：盲源分离；独立分量分析；代价函数；负熵；高斯矩 太原理_ i ：大学硕十研究生学位论文 t h er e s e a r c ho fb l i n ds o u r c es e p a r a t i o n a l g o r i t h mb a s e do nn e g e n t r o p ya n d g a u s s i a nm o m e n t sn o i s yi c a a b s t r a c t b l i n ds o u r c es e p a r a t i o n ( b s s ) m e a n st h a ti tc a nr e c o n s t r u c tt h eo r i g i n a l s i g n a l sf r o ms o m eo b s e r v e ds i g n a l sw i t h o u ta n yp r i o rk n o w l e d g eo ft h e m i x i n gs y s t e ma n ds o u r c es i g n a l s n o w ，t h em a i nm e t h o dt os o l v et h e p r o b l e mo f b s si si n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) t h ep u r p o s eo f i c ai st or e a c has e p a r a t em a t r i xw h i c ha l l o w st h es e p a r a t e ds i g n a l st ob e s t a t i s t i c a l l yi n d e p e n d e n te a c ho t h e r w i t ht h ed e e p l yr e s e a r c h ，t h ei c a i s w i d e l yu s e di nm a n yf i e l d ss u c h a s s p e e c hs i g n a lp r o c e s s ，i m a g e r e c o g n i t i o n ，b i o l o g i c a lm e d i c i n es i g n a lp r o c e s s ，c o m m u n i c a t i o na n d s oo n i nr e c e n ty e a r s ，i c ah a sb e e nr e c e i v e dc o n s i d e r a b l ea t t e n t i o nf r o mt h e m i n ds i g n a lp r o c e s s i n gc o m m u n i t ya n dt h en e u r a ln e t w o r kc o m m u n i t y t h em a j o rc o n t r i b u t i o no f t h i sp a p e ri ss u m m a r i z e da sf o l l o w 1 t h i sp a p e ra n a l y z e ss y s t e m a t i c a l l yt h er e s e a r c hp r o p o s ea n d t e n d e n c yo fb s sa l g o r i t h m s ，e x p a t i a t e so nt h ef o u n d a t i o n a lp r i n c i p l e so f b s s ，d i s c u s s e ss e v e r a la p p l i c a t i o n so fb s sa l g o r i t h m si ns o m ef i e l d s ， d i s c u s s e st h r e em a t h e m a t i c a lm o d e l so fb s sa n dt h et y p i c a lp e r f o r m a n c e 太原理工大学硕士研究生学位论文 i n d e x e se v a l u a t i n gt h ee f f e c to f i t sa l g o r i t h m s 2 m a i np r o b l e m so ft h er e s e a r c ho fi c aa r ed i s c u s s e d s e v e r a l c l a s s i c a lc o s tf u n c t i o n so fb s s a l g o r i t h m sb a s e do ni c aa n dt h e i r d e r i v a t i o n sa r ei n t r o d u c e d t h i s p a p e r u n i f i e st h e mi nt h e i n f o r m a t i o n t h e o r e t i cf r a m e w o r k 3 i nt h ep a p e r ，w ea n a l y z et h ef i x e d p o i n ta l g o r i t h mb a s e do nk u r t o s i s o fb s s ，w ei n t r o d u c ea f i x e d p o i n ta l g o r i t h mb a s e do nm a x i m i z e n e g e n t r o p y ，w h i c hi sr o b u s ta n dc o n v e r g e sr a p i d l y i t sp r o v e dt h a tt h en e w a l g o r i t h mi se f f e c t i v eo nt h ec o m p u t e r 4 t h i sp a p e re x p a t i a t e so nt h ef o u n d a t i o n a lp r i n c i p l e so fb s so n n o i s e ，a n a l y z e st h ef i x e d - p o i n ta l g o r i t h m ，u s e st h em e t h o do f b i a s - d e l e t e d a n di n t r o d u c e san e wa l g o r i t h mc a l l e d n o i s y - i c aw h i c hi sb a s e do n g a u s s i a nm o m e n t so ff u n c t i o n i t sp r o v e dt h a tt h en e w a l g o r i t h mi sc o r r e c t o nt h ec o m p u t e r k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n ，i n d e p e n d e n tc o m p o n e n t a n a l y s i s ， n e g e n t r o p y ，g a u s s i a nm o m e n t s ，n o i s y l c a i v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体。均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：丞塑日期：塑2 ：垒2 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定l o 签名： 导师签名：兹主主至e t l t t l ：2 翌z ：生坌盘 太原理1 ：人学硕士研究生学位论文 第一章绪论 随着网络、通信及多媒体技术的飞速发展，人类社会迈进了数字化时代，而 数字信号处理技术是其中的一个关键环节。盲源分离技术( b l i n ds o u r c es e p a r a t i o n ， 简称b s s ) 则是数字信号处理领域中用于阵列处理及数据分析方面的一种新兴技 术，广泛应用于通讯、生物医学、图象增强、雷达等众多领域，具有重要的理论 意义和实用价值，已成为信号处理学界和神经网络学界的一个研究热点。 1 1 盲源分离的起源 在现实生活中，人们被各种各样的信号( 如电信号、光信号、声信号、生物 信号等等) 所包围，信号中往往携带有用的信息，这些信息可能是预先已知的、 部分已知的或完全未知的。人们需要从这些纷繁复杂的信号中去提取对自己有用 的信息。但是信息往往被其它虚假或无用的信息所掩盖和污染，使人们很难保证 直接从信号中得到的信息的准确性和真实性。信号和信息处理的主要任务就是对 接收到的信号进行分析，从大量的数据中提取人们想要的信息，提供给信息的接 受者以形成判断。 当信号中携带的信息对于观测者来讲是己知或部分己知的时候，人们可以利 用这些已知的信息对信号进行适当的数学变换( 如对信号进行滤波或傅立叶变换) 来尽可能准确地提取信息，这一过程称为盲源分离。但实际中更为普遍的情况是 对要分离的信号没有任何先验知识，这里的“盲”是指相对于其它大部分信号处理算 法而言，对源信号及信号传输通道的信息知道很少，但并不代表其中没有一点先 验知识，例如在盲源分离算法中，往往假设源信号是统计独立的。 在现实生活中，人们常常会遇到这样的情景：在一个嘈杂的会议大厅里，人 耳能够准确地提取人们所关心和感兴趣的声音。例如人们往往在众多人的声音中 可以分辨出某个人的声音；然而，现有的仪器却很难做到这一点。这种问题就是 典型的盲源分离。正是这个无时不有、无处不在的例子，使得人们对盲源分离充 满了无限的想象空间，坚定了人们对盲源分离解决的信心。 太原理 大学硕士研究生学位论文 盲信号理论包含的内容很多，可以分成两大类：盲源分离( b l i n ds o u r c e s e p a r a t i o n ，简称b s s ) 和盲系统识别( b l i n ds y s t e mi d e n t i f i c a t i o n ，简称b s i ) 。 b s s 的主要任务是从观测信号中恢复源信号，而b s i 的主要任务则是根据输出信 号预测系统的信息。这两种技术存在很多相似之处，在一定的假设条件下，当通 过b s i 估计出系统的相关信息时，也就可以恢复出源信号；如果估计出了源信号， 再加上已有的系统输出信号，可以得到系统的信息。 根据不同的分类标准，盲源分离主要分为以下几种类型心】。 ( 1 ) 从混合通道的个数划分，盲源分离分为单通道和多通道信号盲源分离。 多路源信号经过混合以后只得到一路混合信号，从这一路混合信号中分离出多路 源信号的过程称为单通道信号盲源分离。一维源信号经过混合后得到m 路混合信号 ( 通常情况下m = 押) ，从这m 路混合信号中恢复出玎路源信号的过程则称为多通 道信号盲源分离。 ( 2 ) 从源信号的混合方式划分，盲源分离分为瞬时混合( i n s t a n t a n e o u s m i x t u r e ) 和卷积混合( c o n v o l u t i v em i x t u r e s ) ，以及线性混合( l i n e a rm i x t u r e ) 和 非线性混合( n o n l i n e a rm i x t u r e ) 等方式。所谓瞬时混合是指在不计信号的传输延 时情况下，依据信号的常模量性质和循环平稳性直接估计出所有的权矢量，分离 出源信号。卷积混合是指考虑时间的延迟，观测到的信号是源信号和通道的卷积， 对这样的卷积混合信号进行盲源分离通常称为盲反卷积( b l i n dd e e o n v o l u t i o n ，简 称b d ) 。线性混合与非线性混合的主要区别在于前者假设源信号之间是相互独立 的，而后者无此要求。目前的研究绝大多数集中在对线性瞬时混合信号的盲源分 离，非线性卷积混合方式的盲源分离在理论上还不很成熟，本课题的研究也主要 是针对线性瞬时混合信号的盲源分离。 1 2 盲源分离的发展动态 1 2 1 线性瞬时混合信号的盲源分离 1 9 8 6 年，j u t t e n 和h e r a u l t 3 1 提出了一种盲源分离方法。该方法基于反馈神经 2 太原理i ：大学硕士研究生学位论文 网络，通过选取奇次的非线性函数构成h e b b 训练，从而达到盲源分离的目的。他 们是较早提出此方法的科学家。但不能完成多于两个源信号的分离，因为非线性 函数选取的随意性和理论上的合理解释。 1 9 9 1 年，j u t t e n 、h e r a u l t 和c o m o n 等人【“】发表了三篇关于盲源分离的经典文 章。提出了盲源分离中著名的h j 学习算法，而且设计了专门的c m o s 集成芯片 来实现算法，这标志着盲源分离的研究取得了重大进展。h j 方法后来由j u t t e n 、 h e r a u l t 、c o m o n 和c i c h o c k 柙以及其他研究者解释并发展。t o n g 和l i u 嘲分析了盲 源分离的可分离性和不确定，并给出了一类基于高阶统计量的矩阵代数分解方法。 1 9 9 3 年，c a r d o s o 9 】提出了基于高阶统计的联合对角化盲源分离方法，并应用 于波束形成。 1 9 9 4 年，c o m o n f l o 】系统地分析了瞬时混合信号的盲源分离，把神经网络中的 主分量分析( p r i n c i p l e c o m p o n e n t a n a l y s i s ，简称p c a ) 加以扩展并提出了最小化 输出传感器间的互信息的代价函数，通过对概率密度函数的高阶近似以提取出线 性混合量中的独立分量，引出了独立分量分析的概念。从此之后，对盲源分离算 法的研究就变成了对独立分量分析的代价函数以及其优化算法的研究。 1 9 9 5 年，b e l l 和s 翻n o w s k j 通过最大化输出非线性节点的熵，得出一种信息 最大化( i n f o r m a t i o nm a x i m i z a t i o n ，简称i n f o m a x ) 传输的准则函数，并由此导出 一种自适应盲源分离和盲反卷积方法，当该方法中非线性函数的概率分布与选取 源信号相近时，可以较好地恢复出源信号。该算法虽有其局限性，但在分离线性 混合的语音信号方面非常有效。 1 9 9 6 年，c a r d o 一1 2 1 提出了著名的基于独立分量分析思想的e a s i ( e q u i v a r i a n t a d a p t i v es e p a r a t i o nv i ai n d e p e n d e n c e ) 算法，并且在这篇文献里首次提出了算法的 “等变化性”概念，使算法在快速性和稳定性上都较随机梯度算法有所改善。称之等 变性是因为e a s i 算法的收敛速率和稳定性条件只和源信号的概率密度分布有关， 和源信号如何混合无关。a m a r i 、c i c h o c k i 君l l y a n g i n 】以互信息( m u t u a li n f o r m a t i o n ， 简称m i ) 为代价函数，首次提出自然梯度算法( n a t u r a lg r a d i e n ta l g o r i t h m ) 。它是 一类前馈网络的训练算法，自然梯度算法相对于随机梯度算法有着更快的收敛速 3 太原理_ 1 ：大学硕士研究生学位论文 度和更好的稳定性能【l l 】，文献 1 4 ，1 5 】已经证明了自然梯度算法的有效性。 1 9 9 7 年，h y v a r i n e n 等人【1 6 1 基于源信号非高斯性测度，给出一类定点训练算法 ( f i x e d p o i n t ) ，该类算法可以提取单个具有正或负峭度的源信号。 1 9 9 9 年，l e e 、g i r o l a m i 和s e j n o w s k i t l 7 】扩展了以信息最大化为原则的独立分 量分析，实现了超高斯源信号和亚高斯源信号的盲源分离，具体方法是选取两个 不同的非线性函数，分别实现超高斯信号和亚高斯信号的盲源分离。但此法只限 于实现标准的独立分量分析，不能解决当源信号维数大于混合信号维数时的盲源 分离向题，也不能实现具有噪音的独立分量分析。 2 0 0 0 年，p a t - r a t l 8 】提出了基于频域去输出信号相关性的算法，不仅得到了好的 分离效果，而且收敛速度明显加快。 2 0 0 1 、2 0 0 2 年间，文献【l9 也o 】中已将盲源分离技术很好地应用于地震信号处 理、金融数据分析等方面。 2 0 0 3 年，y u n x i nz h a o 等人i 2 1 】利用卷积混合很好地分离出了混合语音信号，而 且分析了加有高斯白噪声的混合信号。 2 0 0 4 年，y i l m a z 2 2 在d u t e 算法的基础上，假设各源信号在时频域不重叠， 提出利用时频掩码从单个混合语音信号中分离多个源信号。 1 2 2 非线性瞬时混合信号的盲源分离 目前，人们已经开始研究有噪和非线性混合信号的盲源分离。非线性盲源分离 比线性情况的分离难度更大，目前基本还处在摸索阶段。较早涉及非线性混合信 号盲源分离的是b u r e l l 2 3 1 ，1 9 9 2 年他用一个两层感知器和基于误差后向传输思想的 无监督训练算法，得到一种盲源分离算法，可以用于非线性混合信号的盲源分离。 1 9 9 4 年，k r o b 和b e n i d i r l 2 4 研究了利用高阶统计量解决多项式结构的非线性混 合问题。 1 9 9 5 年，d e c o 和b e n i d i r t 2 5 1 研究了一个基于v b l u m c c o n s e n ，i n g 结构的非线性变 换的盲源分离。 1 9 9 6 年，p a r r a l 2 6 】提出一类非线性结构映射网络。通过最小化输出互信息，增 4 太原理工大学硕十研究生学位论文 强输出信号各个分量间的独立性，从而可以得到非线性独立分量。p a j u n e n 、 h y v a r i n e n 和k a r h u n e n 2 7 】使用自组织映射( s e l f - o r g a n i z a t i o nm a p ，简称s o m ) 从非 线性混合数据中抽取独立信号。该算法可以不考虑非线性混合的形式，但是为了 使计算精度达到要求，它需要对大量的神经元进行计算，网络结构的复杂度呈指 数增加，且在分离连续源时存在严重的误差。 1 9 9 7 年，y a n g 、a m a r i 和c i c h o c l 【i 【2 8 】基于对于源信号各分量统计独立的假设， 利用话层感知器网络结构得出基于最大熵( m i n i m u me n t r o p y ，简称m e ) 和最小 互信息思想( m i n i m u mm u t u a li n f o r m a t i o n ，简称m m i ) 的代价函数，并提出了反 向学习算法，当合理选择非线性函数时该算法可以分离出一些特定非线性混合的 源信号。 1 9 9 8 年，t a l e b 和j u t t e l l 2 9 1 提出了一种基于负熵的非线性混合信号盲源分离算 法，该算法对于分离某些盲混合信号具有良好性能。 1 9 9 9 年，t a l e b 和j u t t e n 3 0 - 3 1 1 又提出了一种后非线性混合( p o s tn o n l i n e a r m i x t u r e s ) 结构，该结构是线性混合经过非线性失真后产生的一种特殊的非线性混 合结构。也就是说，源信号在传输过程中是被线性混合的，但由于接收端的非线 性才使信号被非线性混合。 2 0 0 1 年，v a l p o l a 、h o n k e l 瘌k a r h u n e n l 3 2 1 提出了贝叶斯集合学习算法( b a y e s i a n e n s e m b l el e a r n i n ga l g o r i t h m ) ，该算法采用多层感知器神经元网络，能够对非线 性静态和动态过程实现盲源分离。t a i l 和w 柚g 驺1 提出了基于遗传算法( g e n e t i c a l g o r i t h m ) 的盲源分离方法，该算法利用遗传算法使信号非线性混合度最小化， 然后对去除非线性后的数据进行线性分离，从而实现盲源分离。与传统的梯度算 法相比，基于遗传算法的盲源分离方法有着更快的收敛速度和稳定性，能够在全 局范围内寻找最优解。t a n 、w a n g 和z u r a d a l 3 4 l 提出了径向基网络算法( r a d i a l b a s i s f u n c t i o nn e t w o r ka l g o r i t h m ) ，通过使用径向基函数神经网络来逼近非线性混合的 逆映射实现盲源分离。 2 0 0 3 年、2 0 0 4 年之间，l l i n a 、a c h a r ds 和j u t t e n c 等人【3 7 1 提出了很多解决后 非线性模型的盲源分离问题，并且将后非线性模型算法成功地应用于传感器阵列 5 太原理f ：大学硕士研究生学位论文 处理、卫星和微波通信以及很多生物系统中，但这仍然属于特定的非线性混合的 情况。 1 2 3 国内盲源分离的研究 2 0 0 1 年刘琚、聂开宝和何振亚基于超高斯与亚高斯混合信号模型，提出一 种新的信号瞬时混合盲分离算法，改进了信息传输最大化盲分离准则，选择了两 个固定的非线性函数近似超高斯与亚高斯信号的概率密度函数。实验表明，改进 算法减少了复杂性和计算量，可以有效对各种源信号的线性瞬时混合进行分离。 同年，他们( ”1 又基于源信号统计独立的假设，提出一种基于四阶累积量的分离判 据，由此得出一种可以顺序逐个盲提取独立源信号的i c a 算法，算法中利用去冗 余技术剔除先前已经提取的信号。 2 0 0 2 年，李小军、张贤达和保铮 4 0 l 基于盲源分离的思想，利用通过非线性最 小均方准则获得独立矢量基，并且根据其所具有的特性，将其应用于均匀线阵的 信号叠代方向估计。 2 0 0 3 年，杨俊安、庄镇泉等在深入分析独立分量分析技术的基础上，针对 常规数值求解方法容易陷入局部最优解的问题，提出了一种基于遗传算法和独立 分量分析相结合的盲源分离新算法。通过对图象信号分离仿真试验表明，采用最 佳保留机制和转移方式的动态补充子代个体操作，在一定的群体规模和遗传代数 的情况下，该方法能实现信号的盲分离，并可获得全局最优解。对超高斯信号和 亚高斯信号的混合信号，与扩展信息最大化方法相比，可获得更好的分离效果。 同年，杨俊安、李斌等1 4 2 1 在改进遗传量子算法的基础上，提出了一种新的量子遗 传算法并从理论上证明了算法的全局收剑性。他们提出了基于量子遗传算法和独 立分量分析算法相结合的盲源分离新算法。计算机仿真结果表明，新方法比采用 常规遗传算法的盲源分离方法具有明显的高效性。刘琚、杜正锋和梅良模i t 3 1 基于 时频分析，通过利用信号的w i g n e r - v i l l e 分布，得出一种新的盲源分离方法，能够 有效地分离非平稳信号。 2 0 0 4 年，张玲、何培宇和刘开文畔】研究了在噪声环境中进行语音信号盲分离 6 太原理 ：大学硕十研究生学位论文 的问题。为了解决由于噪声导致解混合系统性能发生严重恶化的问题，在不增加 传感器数目的前提下，利用语音源信号的短时平稳特性和噪声信号的长时间平稳 特性，采用差分方法可以抵消噪声信号的影响，使得解混合系统的权仍能够收敛。 输入真实语音，通过计算机仿真验证了该算法的有效性。谢胜利和章晋龙1 4 5 噪取 白化混叠信号，将混叠矩阵转换为正交矩阵，然后基于q r 分解理论，并结合源信 号相互独立时负熵最大的特点，提出了一种毅的实时线性混叠信号盲分离算法。 该方法避免了目前许多学习算法中矩阵逆的计算，从而大大减少了分离的计算量。 理论分析与仿真结果表明该算法不仅具有很好的分离效果，而且也减少了分离时 问。张道信、吴小培等 4 6 】探讨了在线i c a 算法，并将其应用于脑电信号伪迹消除 中，实验结果表明，在线i c a 算法具有良好的稳健性和盲源分离性能。 2 0 0 5 年，潘丽丽、史振威、唐焕文等1 4 ”建立了i c a 的个优化模型，给出了 一个新的梯度算法，称为o r t h - e x t l 3 s 算法。该算法结合了e x t b s 算法和f a s t - i c a 算法，兼顾两者的优点，形式简单，易于应用，能有效地盲分离具有超高斯和亚 高斯分布源的混合信号，获得更准确的分离效果和较快的收敛速度。刘海林和谢 胜利1 4 s 】针对在非线性混叠盲源分离中代价函数往往具有许多局部最优解、求解其 全局最优解非常困难的问题，设计了多目标进化算法来求解代价函数的全局最优 解，提出了非线性盲源分离的多目标进化算法。该算法根据加权极小极大策略构 造了一个同进化代数有关的变适应值函数，使种群中的容许解逐渐增多和保持个 体的多样性，避免算法陷于局部最优，仿真表明算法是有效的。姜卫东、张宏滔 等【4 9 】针对语音信号邻近频点间信号幅度相关性能良好这一特点，提出基于相邻频 点问幅度相关的盲源分离算法，用以消除卷积信号盲源分离过程中排序不确定性。 该算法理论简单，稳健性好。仿真结果表明对卷积混合后的语音信号能得到较好 的分离效果，并且耗时较短。游荣义和陈忠印】提出一种新的盲源分离的神经网络 方法，该方法将小波变换和i c a 相结合。利用小波变换的滤噪作用，将混合在原 始信号中的部分高频噪声滤除后，再重构原始信号作为1 c a 的输入信号，有效地 克服了现有i c a 算法不能将噪声从源信号中分离的缺陷。 2 0 0 6 年，李加文和李从心 s q 提出了一种基于非参数熵的图像盲分离新算法。 7 太原理一 大学硕士研究生学位论文 该方法根据k u l l b a c k l e i b e r 散度作为信号之间独立性优化准则，不利用概 率密度函数知识，由观测向量直接估计m s p a c i n g 熵，通过穷举搜索法寻找目标 函数的最小值，从而获得最佳旋转矩阵进行盲源分离，适合图像像素分布多样性 特点。大量实验证实，该算法鲁棒性好，分离指标高，性能优于传统f a s t - i c a 、 自然梯度等自适应算法。康永强和田梦君【5 2 】结合定点算法和扩展思想提出一种新 的快速算法。该算法对脉冲噪声干扰起到了较好的抑制作用，并且继承了定点算 法收敛速度快、算法简单的特点和扩展算法能分离超高斯和次高斯混合信号的特 点。该算法用于混有多种干扰的脑电信号处理，并给出了仿真结果，进一步验证 了算法的有效性。刘伟群、刘云如和易叶青【5 3 】提出一种基于i c a 的公开数据库水 印方法。此方法利用混合的方法嵌入水印，再利用盲源j a d e 算法提取水印。理 论分析和仿真实验结果表明该算法是有效的。 1 3 盲源分离技术的应用 盲源分离最初是为了处理语音信号处理中的难题( 如鸡尾酒会效应) 而提出 来的。经过几十年的研究和发展，其应用范围不断扩大，在无线通讯、噪声消除、 声纳信号处理和生物医学信号处理、数据通信、地震信号处理、图像处理等方面 得到了广泛的应用。 1 3 1 在机械故障诊断中的应用 机器运行时会发出噪音，这些噪音中包含着机器设备状态的重要信息，通过对 机器噪声的分析可以对机器的运行情况、机器故障进行诊断。由于机器噪声信号的 信噪比小，常规的分离方法对噪声故障的特征提取效果不理想，利用盲源分离算法 不仅可消除相临机器或部件的辐射噪声干扰，而且可消除随机噪声的干扰，有效提 取机械噪声故障特征l 辨5 6 1 。 8 太原理 大学硕十研究生学位论文 1 3 2 在医学信号处理中的应用 脑电是指大脑神经元突触后电位的综合，是大脑电活动产生的电场容积导体传 导后在头皮上的电位分布和诱发电位。通过在头皮按照一定的标准放置多个电极进 行同步采集可得到多导脑电信号。多导脑电信号中蕴含着人体的许多生理信息，通 过对这些信息的研究，对于诊断神经系统疾病、评价人体听觉和视觉功能、危重病 人看护、手术监控等方面有着重要的意义。然而，在获得的脑电信号中往往包含着 其它如心电、肌电、眼动、出汗等信息的干扰，使用盲源分离算法消除这些干扰， 与传统的算法相比具有计算简单有效、不受频谱混迭限制、对不同类型的噪声不需 单独处理等优点，成为脑电信号处理中的一种重要的分离算法1 5 ”。 盲源分离在医学上的另外一个重要应用方向是核磁共振成像( f u n c t i o n a l m a g n e t i cr e s o n a n c ei m a g i n g ，简称f m r i ) f 5 ”。在核磁共振中不能确定那几种因素 对f m r i 信号有影响( 可能包括心理因素及外界因素等) ，这正是盲源分离中“盲” 的方面。因此，利用盲源分离算法可高效地分离核磁共振中的各独立成分( 包括实 验设计相关的成分及各种噪声) 。 1 3 3 在通信信号处理中的应用 盲源分离在通信信号处理中主要用于同频混合信号分离t 5 9 1 、无线电侦察信号处 理 6 0 l 、配电网络通信系统中工频干扰的消耐引1 等方面。 在通信信号处理中，对于两个或多个的同频通信信号的混叠，当接收机接收到 混叠信号后，需要对其中的各个信号作进一步分析，常规的分析方法很难解决这种 问题，而盲源分离算法体现出其独特的优越性【5 9 1 。 双向工频自动通信系统是近年来出现的一种基于配电网的通信系统，在该系统 的背景信号中含有大量的谐波成分，给信号检测带来极大的困难。这些谐波干扰包 括工频干扰和其整数倍频率的谐波成分。在信号检测过程中，谐波干扰的存在往往 对有用信号造成较大破坏，从而影响检测和处理效果。通常的陷波器可以去除周期 性干扰，但是陷波器在低频段的系数敏感度高，量化后的陷波频点极易发生偏移， 9 太原理工大学硕士研究生学位论文 滤波效果不理想，而且会对有用信号造成破坏【6 l 】。利用盲源分离来消除这些谐波成 分，几乎不会对有用信号造成破坏，可以获得理想的消噪效果。 i 3 4 在数字水印技术中的应用 数字水印技术作为版权保护的重要手段，是将数字水印嵌入图像、音频、视频 或文本等原始数据中，通过数字水印中包含的厂商、作者等信息来达到防伪作用 6 2 1 。 般分为盲水印和非盲水印两种方案。非盲水印技术在检测时需要有原始数据信 息，而在实际应用中是无法得到原始数据信息。因此，盲水印技术在实际应用中有 更重要的意义。基于盲源分离的盲水印提取技术将包含水印的数据看作接收的混合 信号，而将水印及其他数据分别作为源信号处理，对包含水印的数据应用盲源分离 算法进行盲源分离，以提取水印信息。具有良好的鲁棒性和安全性，并且可嵌入较 大的水印信息，但目前存在一些缺陷，如反色问题等，随着这些技术发展及研究的 深入，盲源分离水印方案将会在水印的瞬时检测提取中发挥更重要的作用。 1 3 5 在图像处理中的应用 盲源分离在图像信号处理中的应用主要包括图像分离6 3 1 、图像消噪、图像特征 提取4 ”，图像识别等。由于盲源分离算法在这些处理中不需要知道先验知识，带来 了极大的方便。如在获耿的图像信息中往往含有许多噪声和干扰，而这些噪声常常 是随机干扰信号，无法预知，利用盲源分离技术在处理时就体现出了其高效性和可 靠性。 1 4 本论文的结构安排 本论文共分五章，结构安排如下： 第一章介绍了盲源分离的来源、概念，分析了盲源分离研究的意义，综述了 当前国内外的发展历史以及主要研究进展；对盲源分离技术从语音信号处理、机 械故障诊断、通信信号处理、医学信号处理、水印技术以及在图像处理等方面进 1 0 太原理，j ，大学硕十研究生学位论文 行了分析，并列举了在这些方面的具体应用。 第二章详细阐述了盲源分离的基本概念，给出了其三种分类的基本数学模型； 对盲源分离特点及其相关概念进行了具体的评述；简述了评判盲源分离算法性能 的两个典型指标，为以后的讨论打下了基础。 第三章简述了独立分量分析的基本数学知识；较详细介绍了基于独立分量分 析的盲源分离算法的几种典型的代价函数，并进行了数学推导，对信息理论框架 下的几种代价函数做了统一。最后，基于上述代价函数对独立分量分析的几种典 型的学习算法做了分析和推导。 第四章对基于峭度的固定点盲源分离算法进行了分析研究，针对该算法鲁棒 性差、收敛速度慢的缺点，提出了一种基于负熵最大化的定点算法，加快了收敛 速度。通过计算机仿真证明了新算法的有效性。 第五章阐述了有噪观测数据下的盲源分离的基本原理，对定点盲源分离算法 进行分析，使用偏差消除方法，以高斯矩为代价函数，提出了一种有观测噪声时 的盲源分离新算法。通过计算机仿真证明了新算法的正确性。 第六章总结了本文所做的工作，对进一步的研究方向进行了展望。 太原理”i ：大学硕士研究生学位论文 第二章基础理论 本章详细阐述了盲源分离的基本概念，分析了常见的盲源分离的三种数学模 型，论述了盲源分离的基本假设和其特点，简述了统计独立的概念及其度量，最 后，简要介绍了评判盲源分离算法性能的两种典型指标，为以后的讨论打下了基 础。 2 1 盲源分离基本算法模型 根据混合方式的不同，盲源分离分为瞬时混合和卷积混合两种模型。本文主 要讨论的是瞬时混合模型。 ， 2 1 1 瞬时线性混合模型 信号的混合方式有瞬时混合与卷积混合，线性混合和非线性混合之分。瞬时 线性混合的数学模型如图2 - 1 所示。 图2 - 1 瞬时线性混合盲源分离基本原理霉 f i g ，2 1t h eb a s i ca r c h i t e c t u r eo f l i n e ri n s t a n t a n e o u sm i x e db l i n ds o u r c es e p a r a t i o n 盲源分离可以用下列的混合方程来描述 x ( f ) = a s ( t ) + n ( f ) ( 2 1 ) 式中，s ( f ) = b 。( f ) ，s ：( f ) ，s 。( f ) r 为h 维源信号向量，x ( f ) = b 。( f ) ，j ：( f ) ，h ( f ) r 为 脚维观测信号，m n 维矩阵a 称为混合矩阵，其元素表示信号的混合情况， 1 2 太原理1 ：人学硕士研究生学位论文 n ( f ) = k 。q ) ，h ：( f ) ，( f ) r 为m 维噪声，一般情况下为研究方便，n ( f ) 不予考虑。 盲源分离是在混合矩阵a 和源信号未知，并且不考虑噪声n ( f ) 的情况下，只根 据观测数据向量x ( f ) 确定分离矩阵w ，使得 y ( o = w x ( t ) = w a s = p d s ( t ) ( 2 - 2 ) 式中，p 是一个交换矩阵，即p 的每行每列有且只有一个元素为l ；d 是一个对角 阵，其行列式不等于0 。若计算出的分离矩阵w 满足w a = p d ，那么源信号s ( f ) 便 得以恢复。图2 2 为线性瞬时混合的详细结构图，其中 a i ( i = 1 , 2 ，n ；j = 1 , 2 ，m ) 为混合矩阵a 的第i 行第j 列元素。 图2 2 瞬时线性混合盲源分离详细结构图 f i g 2 2t h ed e t a i l e da r c h i t e c t u r eo f l i n e r i n s t a n t a n e o u sm i x e db l i n ds o u r c es e p a r a t i o n 2 1 2 线性卷积混合模型 在很多实际问题中，观测信号x ( f ) 不是源信号s ( f ) 在幅度上的简单叠加，而且 当前时刻的观测信号不仅与当前时刻的源信号有关，也与以前时刻的源信号也有 关。这是由于信号在传播过程中传播路径的不同或经过反射，因而导致同一时刻 1 3 太原理工人学硕士研究生学位论文 的观测信号是源信号在不同时刻的叠加，如语音处理中的混响。对这类未知记忆 系统进行盲源分离，就称为卷积混合信号的盲源分离。 对于线性卷积混合，其观测信号可以表示为 x ( n ) = h s ( ”) = h ，s ( n 一，) ( 2 3 ) 式中，s ( ”) = h ( ，1 ) ，s 2 ( ”) ，s 。( n ) r 为”维源信号向量；x ( ”) = k ( h ) ，t ( 功，( n ) 】7 为卷积混合后的观测信号；h 为混合通道的脉冲响应，h p 为第p 个延迟节点矩阵， + 满足l 阻，l 。，对于实际中的因果系统，o 。 ，2 为了表示方便，将式( 2 3 ) 转换至z 域，得到 ( 2 - 4 ) 式中，h ( z ) 、s ( z ) 分别为h 和s o ) 的z 变换。以s o ) 的z 变换定义为例 s 0 ) = s ( n k ” ( 2 5 ) 线性卷积混合盲源分离的目的是寻找一个滤波器，其脉冲响应为w ，观测信 号经此滤波器后的输出为 y 0 ) = w # x 如) = w v x ( n p ) ”“ ( 2 6 ) = z w , h ，s ( n - p - 1 ) = z c 。s ( n g ) 变换到频域为 y 0 ) = w ( z 扛扛) = w g ) h g ) s g ) = c ( z g ) ( 2 7 ) 与瞬时混合类似，这里的c ( z ) 也为一个交换矩阵与一个非奇异对角阵的乘积。 盲源分离的过程也就是确定w 的过程。 2 1 3 瞬时非线性混合模型 1 4 太原理i ：大学硕士研究生学位论文 设观测信号x o ) 是源信号s o ) 的瞬时非线性混合信号，则其模型为 x ( f ) = f ( s ( f ) ) + n o ) ( 2 8 ) 其中，x ( r ) = k 。似，：( f l ，x o ( t ) 1 7 为m 维观测到的非线性瞬时混合信号， s ( f ) = l 。( f l s ：o ) ，墨o 孵是未知的n 维统计独立源信号，f ) 为未知的可逆实值非 线性混合函数，n ( f ) = k ；n n ：( f l ，( f ) 是m 维加性噪声，且与源信号统计独立。 为简单起见，令源信号个数n 与观测信号个数m 相同，即肌= 月且n ( f ) = 0 ，那 么非线性b s s 闯题就是要仅仅通过观测信号x 0 ) 及源信号s 0 ) 统计独立的假设条件 来找到一个映射g ) ，使得x ( f ) 通过g ) 后可以恢复源信号s ( f ) 。 设混合信号分离系统的n 维分离信号为y ( f ) = 砂。以y ： ，y 。o 妒，数学模型 表示为 y ( f ) = g ( x ( f ) ) ( 2 9 ) 一般非线性b s s 原理如图2 3 所示。 源信号 s o ) 观测信号 分离信号 图2 - 3非线性盲源分离原理图 f i g 2 - 3t h ep r i n c i p l eo f n o n l i n e a rb l i n ds o u r c es e p a r a t i o n 2 2 盲源分离的特点 ( 1 ) 盲源分离具有可实现性 自盲源分离被提出后，人们很自然地就会考虑源信号s 缸) 是否能从混合信号中 1 5 太原理j ：大学硕士研究生学位论文 分离出来，即盲源分离的可实现性。 在前面提到，所谓“盲”，是指源信号及其混合方式是未知