（信号与信息处理专业论文）基于混合聚类和网格密度的欠定盲分离混合矩阵估计.pdf

基于混合聚类和网格密度的欠定盲分离混合矩阵估计 摘要 在现实生活中，经常会遇到未知源信号及其混合信道的情况，人们能够得到的有效 信息仅仅是源信号经混合以后得到的观测信号，在这种可利用信息极少的情况下，如何 将源信号分离出来就成为了信号处理领域的一个难题。盲源信号分离因为能够有效地解 决这一难题而成为近几年信号处理领域的研究热点，它广泛应用在生物医学工程、语音 增强、数字通信系统、图像分析与处理、遥感、雷达和声纳等领域。 盲源信号分离可以有多种分类方式，如果按照混合信号和源信号的个数关系分类的 话，盲源分离可以分为欠定、正定和超定三种。以往的研究大多针对超定盲源分离，即 源信号个数必须小于混合信号个数的情况，目前超定盲源信号分离问题由于大量的学者 投入精力去研究，这一问题已经趋于成熟。然而，在实际情况中超定盲源分离问题的条 件并不能完全满足，因此，本文针对大多数实际情况，重点研究欠定盲源信号分离，即 源信号个数大于混合信号个数的情况。目前解决欠定盲分离问题的主流方法是基于信号 稀疏性的“两步法”，即首先估计出混合矩阵然后再利用相应的分离技术得到源信号。 在“两步法”中，混合矩阵的估计精度直接影响到最后分离信号的精度，因此混合矩阵 的估计技术是解决欠定盲分离问题的关键技术。目前解决混合矩阵估计问题的方法主要 是聚类法，常用的聚类方法有模糊c 均值聚类算法、k 均值算法等，然而这些聚类算法 大都存在着缺陷。 针对传统聚类算法容易受到初始聚类中心影响的缺点，本文提出了一种基于改进人 工蜂群算法和k 一均值的混合聚类方法，充分结合了人工蜂群算法的鲁棒搜索能力和k 均值算法的快速收敛能力，实验结果表明，混合聚类算法在算法收敛时间略有增加的前 提下能够有效克服传统聚类算法过于依赖初始聚类中心的缺点，提高了聚类结果的鲁棒 性。由于观测信号空间存在大量的孤立点和噪声点，这些点的存在会使聚类中心与真实 情况产生较大偏移。混合聚类算法虽然有效改善了估计算法的鲁棒性，但是不能克服孤 立点和噪声点对聚类中心的影响，为此本文又利用网格密度法来修正混合聚类算法得到 的每一类聚类中心，实验结果表明，与传统的混合矩阵估计算法相比，本文算法在混合 矩阵的估计精度方面有了明显的提高。通过上述两个方面的改进，本课题最终实现了一 种基于混合聚类和网格密度的欠定盲分离混合矩阵估计新算法，该算法在矩阵估计的鲁 棒性以及估计精度方面都比传统算法有了明显的改善。 关键词：欠定盲源分离；混合矩阵估计；k 一均值；人工蜂群；网格密度 哈尔滨工程大学硕士学位论文 基于混合聚类和网格密度的欠定盲分离混合矩阵估计 a b s t r a c t b l i n ds o u r c es e p a r a t i o ni san e w l yh o t t o p i ci nt h en e l do fs i 印a lp r o c e s s i n g i te s t i m a t e s s o u r c e su s i n gm i x e ds i g n a l sw i t h o u tp r i o rk n o w l e d g es u c ha ss o u r c e sn u m b e r ，l o c a t i o na 1 1 d m i x i n gp r o c e s s b 1 i n ds o u r c es e p a r a t i o ni sw i d e l yu s e di nb i o m e d i c a le n g i n e e r i n g ，s p e e c h e n h a n c e m e n t ，d i g i t a lc o m m u n i c a t i o ns y s t e m s ，i m a g ep r o c e s s i n g ，r e m o t es e n s i i l g ，r a d a ra n d s o n a ra n do t h e rf i e l d s a c c o r d i n gt ot h en u m b e ro fr e l a t i o n so fm i x e d s i g n a l sa n ds o u r c es i g n a l s ，b l i n ds o u r c e s e p a r a t i o nc a nb ed i v i d e di n t ou n d e r d e t e n n i n e db l i n ds o u r c es e p a r a t i o n ，p o s i t i v eb l i n ds o u r c e s e p a r a t i o na n do v e r d e t e n l l i n e db l i n ds o u r c es e p a r a t i o n m o s tp r e v i o u ss t u d i e sf b c u so n o v e r d e t e 硼i n e db l i n ds o u r c es e p a r a t i o n ，i nw h i c ht h en u m b e ro fs o u r c es i g n a l sm u s tb el e s s t h a nt h en u m b e ro f m i x e d - s i g n a l s h o w e v e r ，t h e s ec o n d i t i o n sa r en o tc o m p l e t e l ys a t i s f i e di n r e a i 时c o n s i d e r i n gt h em o s tp r a c t i c a ls i t u a t i o n s ，t h i st h e s i sf o c u s e so nt h eu 1 1 d e r d e t e 锄i n e d b l i n ds o u r c es e p a r a t i o n ，i nw h i c hm en u m b e ro fs o u r c es i g n a l si s g r e a t e rt h a nt h a to fm i x e d s i g n a l s n o wt h em a i nm e t h o do fs 0 1 v i n gu n d e r d e t e n n i n e db l i n d s e p a r a t i o ni st h et w o s t e p m e t h o db a s e do ns p a r s es i g n a l t h et w o - s t e pm e t h o df l r s t l ye s t i m a t e st h em i x i n g m a t r i x ，t h e n o b t a l n ss o u r c es l g n a l su s i n gc o r r e s p o n d i n gs e p a r a t i o nt e c l u l o l o g y i n t h e 觚o s t e pm e t h o d ， u n d e r d e t e m l i n e db l i n dm i x i n gm a t r i xe s t i m a t i o na l g o r i t h mp l a y sa k e yr o l e t h ee s t i m a t i o n a c c u r a c yo ft h ea l g o r i t l u nd i r e c t l ya f 佗c t st h a to ft l l es o l l r c es i g i l a l s n o wt h em a i nm e t h o do f s o l v m gt h em i x i n gm a t r i xe s t i m a t i o ni st h ec l u s t e r i n gm e t h o d s ，s u c ha sk m e a n sa n dt h e h a r d l o s ta l g o r i t h m t h ep r i m a r ) ，c o n t r i b u t i o n so ft h ed i s s e r t a t i o na r es u m m a r i z e d b l o w 1 t h et r a d i t i o n a lk 。m e a n sc l u s t e r i n ga l g o r i t m ，a l t h o u g hw i t hh i g hr a p i d c o n v e r g e n c e ， l st o od e p e n d e n to nt h ei n i t i a lc l u s t e r i n gc e n t e r s w i t hr e g a r d st ot h i s ，t h i st h e s i s ，p r o p o s e sa m l x e dc l u s t e r i n gm e m o db a s e do nt h ei m p r o v e m e n t a i r t i f i c i a lc 0 1 0 n ya l g o r i t h ma j l dt h e k m e a n sa l g 嘶t 1 1 r 1 1 t h en e wm e t h o dc o m b i n e st h ea d v a j l t a g e so f r e g u l a t i n ga b i l i t yo fg l o b a l o p t i m i z a t i o na j l dl o c a lo p t i m i z 撕o nw i t hr a p i dc o n v e r g e n c eo fk m e a n sc l u s t e r i n ga lg o r i t h m t ol l n p r o v et h er o b u s t n e s so ft h e a l g o r i t l u l l e x p e r i m e n t ss h o wt h a tt h ec l u s t e 血ge f 诧c to ft h e n e wm e t h o di ss i g n i n c a n t i yi m p r o v e d ，n o to n l yt h es t a b i l i t y 2 c l u s t e rc e n t e r sh a v eag r e a t e ro f r s e tw i t hr e a ls i t u a t i o n sd u et ot h en o i s ed o i n t sa n d o u t l i e r s a l t h o u 曲t h es t a b i l i t yo fm i x e dc l u s t e rm e m o di sh i g h e rt h a nt h et r a d i t i o n a lm e t h o d s 哈尔滨工程大学硕士学位论文 t h ea c c u r a c yi sn o th i g hd u et ot h eo f f s e t w i t hr e g a r d st ot h er e a ls i t u a t i o n ，t h i sm e s i s p r o p o s e san e wa l g o r i t h mb a s e do nm i x i n gc l u s t e r i n ga n dm e s hd e n s i t y e x p e r i m e n t ss h o w t h a tc o m p a r e dt ot h et r a d i t i o n a lu n d e r d e t e h n i n e db l i n dm i x i n gm a t r i xe s t i m a t i o na l g o r i t h m ， t h en e wa l g o r i t h mh a sa d v a i l t a g e so fh i g hs t a b i l i t ya n de s t i m a t i o na c c u r a c y t 1 1 r o u g ht h e a b o v et w oa s p e c t so fi m p r o v e m e n t ，t h es u b j e c tf i n a l l yr e a l i z ean e wa l g o r i t o f b l i n dm a t r i x e s t i m a t i n gb a s e do nh y b r i dc l u s t e r i n ga n dm e s hd e n s i t y t h i sa l g o r i t g e t sh i g h e r r o b u s t n e s s a n dp r e c i s i o nt h a nt h et r a d i t i o n a la l g o r i t k e y w o r d s ：u n d e r d e t e r m i n e db l i n ds o u r c e ss e p a r a t i o n ；m i x i n gm a t r i xe s t i m a t i o n ；k m e a n 5 ； a n i f i c i a lb e ec o l o n y ；m e s hd e n s i t y 第1 苹绪论 第1 章绪论 1 1课题的研究意义和目的 在现实生活中，经常会遇到在未知源信号及其混合信道的前提下，要求人们仅仅利 用源信号经混合以后得到的观测信号估计出源信号的情况，由于可利用的信息极少，在 此不利的情况下，如何将源信号分离出来就显得难度非常大。盲源信号分离因为能够有 效处理这一难题，近几年来成为了信号处理领域的热门课题，不仅如此，由于该问题非 常接近于现实情况，因此对于盲源信号分离的研究还非常具有实际意义。 盲源信号分离技术对源信号及其混合信道等先验知识要求非常少，它采用的主要分 析工具是：独立分量分析、信号稀疏性分析以及信号的时频分析。由于这些分析工具对 于非高斯复杂过程的分析与处理非常有优势，而非高斯复杂过程是语音处理、图像传输、 阵列信号处理、生物医学工程、遥感遥测、地震勘探、经济金融数据分析等领域主要的 研究对象j ，因此，盲源信号分离在以上这些领域中有着广泛的应用价值。 盲源信号分离可以有多种分类方式，如果根据源信号和混合信号的个数关系进行分 类，可以将盲源分离问题分为： 1 欠定盲源分离：源信号个数大于混合信号个数； 2 正定盲源分离：源信号个数等于混合信号个数； 3 超定盲源分离：源信号个数小于混合信号个数。 在以往的研究中，学者们关注的重点往往是超定盲源分离问题，由于大量学者的研 究，对该问题的研究也已经趋于成熟。但在实际生活中，源信号和混合信号的个数关系 并不能满足超定盲源分离问题的要求，因此，本文主要研究更符合实际情况的欠定盲分 离问题。欠定盲分离要求观测信号个数少于源信号个数，与超定盲分离相比，它更具有 挑战性。 目前解决欠定盲分离问题的主流方法是基于信号稀疏性的“两步法”，即首先估计 出混合矩阵然后再利用相应的分离技术得到源信号【2 】。在“两步法中，混合矩阵的估 计是整个盲分离过程的关键技术，它的估计精度直接影响到最后分离信号的精度。目前 解决混合矩阵估计问题的方法主要是聚类法，常用的聚类方法有模糊c 均值聚类算法、 k 均值算法等。 传统的聚类算法普遍存在两个问题：一是容易受到初始聚类中心的影响，导致算法 的鲁棒性不高；二是算法容易受到孤立点和噪声点的影响。本课题的研究目的就是对以 哈尔滨工程大学硕士学位论文 上两个缺陷进行改进： 1 针对传统聚类算法容易受到初始聚类中心影响的缺点，本文提出了一种基于改 进人工蜂群算法和k 均值的混合聚类方法，充分结合了人工蜂群算法的鲁棒搜索能力和 k 均值算法的快速收敛能力，在算法收敛时间略有增加的前提下有效克服传统聚类算法 过于依赖初始聚类中心的缺点，提高聚类结果的鲁棒性。 2 由于观测信号空间存在大量的孤立点和噪声点，这些点的存在会使聚类中心与 真实情况产生较大偏移。混合聚类算法虽然有效改善了估计算法的鲁棒性，但是不能克 服孤立点和噪声点对聚类中心的影响，为此本文又利用网格密度法来修正混合聚类算法 得到的每一类聚类中心，大大提高了估计精度。 通过对以上两个缺陷的改进，本课题最终实现了一种基于混合聚类和网格密度的欠 定盲分离混合矩阵估计新算法，该算法在矩阵估计的鲁棒性以及估计精度方面都比传统 算法有了明显的改善。 1 2 课题的国内外研究现状 1 2 1 盲源分离发展历史及国内外发展现状 上世纪八十年代中期，法国学者通过对“鸡尾酒会 问题的研究提出了盲源信号分 离这一课题，虽然经过了近二十多年的发展，但由于盲源分离问题的实际应用价值以及 其研究的难度，目前这一问题仍然是信号处理领域中的热点课题。在“鸡尾酒会”中， 周围嘈杂的环境往往能将人们说话的声音湮没，但即使这样，人们也能够把注意力集中 到感兴趣的说话人身上，仿佛自动的将周围嘈杂的说话声、音乐声和环境噪声滤除【3 j 。 人类对说话声音的这种特殊处理能力，引起了许多学者的注意，许多科学家试图研究出 一种机器系统来实现人类这种对信号进行分离的潜能。 1 9 8 6 年j e a n n vh e r a u l t 和c h r i s t i a l lj u n e n 利用神经模拟结构提出了一种递推算法【4 j 。 但是该算法仅仅使用了信号的二阶统计特性，在解决盲信号分离方面局限性较大。 19 91 年j e a n n yh e r a u l t ，c 埘s t i a l lj 眦e n t 和c o m o n 在s i g n a lp r o e e s s i n g 上发表了三 篇文章，这些文章为盲源信号分离的发展开辟了新的阶段，具有里程碑的意义。其中 j e a n n vh e r a u l t 和c 1 1 r i s t i a nj 酣e n 创新性的引入了反馈神经网络模型，提出了一种基于 h e b b 学习规则的神经网络学习算法来处理简单的盲源信号分离问题【5 】，该算法在假设源 信号是高斯独立信号的情况下，实现了对其线性瞬时模型的盲分离。同年，c a r d o s o 等 人为盲分离问题建立了科学的数学模型，并对盲源信号分离问题的不确定性和可分离性 第1 苹绪论 进行了理论分析，提出了一种基于高阶统计量的非负矩阵分解法，即联合对角化方法怜1 。 1 9 9 4 年c o m o n 对独立分量分析进行了深入的研究，指出i c a 是扩展了的主分量分 析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，简称p c a ) ，他充分利用信号的高阶统计特性，给出了 一种基于k u l l b a c k l e i b l e r 准则的对比函数【7 】，此后许多学者从这一角度对盲源分离问题 展开了更加深入的研究，该方法也成为研究盲信号分离的主流方法。 1 9 9 5 年，b e l l 和s e i n o w s k i 从信息论的观点出发，对盲源信号分离的数学模型进行 了详细的解释，并首次利用信息论的方法来解决盲源分离问题和盲解卷积问题，通过建 立具有非线性输出特性的神经网络模型来消除输出信号的高阶相关性，建立了以信息最 大化为目标函数的处理方法【8 】。同年，m a t s u o k a 和k a w a m o t o 等人将源信号的时间相关 性规定为代价函数，并通过代价函数的最小化实现了非平稳源信号的盲分离【9 】。在实际 生活中，大多数的信号都是非平稳的，因此该方法的提出使得盲源分离研究向实际应用 迈进了一大步。 n a d a l 和p a r g a 在较低的混合信道噪声情况下，通过最大化神经网络模型输入和输 出的互信息量，将混合信号的联合概率密度函数分解成为源信号的边缘概率密度函数， 实现了输出分布的因子化。b e l l 等人在输出分布因子化的基础上建立了随机梯度学习准 则，建立了基于信息理论的盲源信号分离数学模型，并且提出了i n f o m a x 算法，该方法 充分结合了l i n s k e r 提出的基于信息传输最大准则的神经网络无监督学习思想和j e 锄v h e r a u l t 和c s t i a nj u t t e n 提出的非线性不相关法则【l o 】。在该方法中，当选取的非线性函 数与源信号的概率密度函数相互逼近时可以较好的将信源信号分离出来。但该算法要求 必须信源信号峭度大于某一阈值，因此它的应用范围也非常有局限性，仅在分离线性混 叠的语音信号方面效果较好。 近几年，盲源分离算法引起了越来越多学者的关注，越来越多的学术会议将会议的 主题定为盲源信号分离。1 9 9 9 年，在法国召开的首届“独立分量分析与盲信号分离”国 际学术会议，对盲源分离问题的发展和应用研究起到了非常有效地推动作用。许多国家 都发表了大量关于盲源信号分离问题的学术论文。在2 0 0 0 年的i c a 国际会议上，v a l d o l a 等人发表了关于非线性独立分量分析( n i c a ) 的论文，提出了一种基于多层感知器网络的 盲源信号分离算法，用多层感知器网络模型来模拟源信号与混合信号的映射关系，并且 利用贝叶斯学习规则来进行非线性独立分量分析【1 1 】，取得了较好的研究成果。2 0 0 1 年， c h o 等人利用c m o s 芯片实现了四输入四输出的盲源信号分离系统，该系统利用的是基 于信息理论的自然梯度算法【1 2 】。此外，在最近几年召开的国际声学、语音和信号处理大 会( i e e ei c a s s p ) 上，每年都有关于盲源信号处理的专题。在信号处理领域的权威刊物 哈尔滨工程人学硕士学位论文 s i g n a lp r o e e s s i n g 和n e r o c o m p u t i n g 的论文中，b s s 领域的文章也越来越多。 国内对盲源信号分离的研究开始于上世纪九十年代，清华大学的张贤达教授在其发 表的时间序列分析：高阶统计量方法这本书中，详细介绍了关于盲源信号分离的基 础理论知识，并且将国外的算法首次在书中提出。2 0 0 1 年，张贤达和保铮在电子学报 发表了一篇关于盲源信号分离的综述性文章【1 3 ，1 4 】，该文章对盲源信号分离的理论、方法 和应用进行了概括研究，并作出了展望，引起了众多学者的注意。2 0 0 5 年，冶继民等人 在源信号数目未知以及动态变化的情况下对盲信号分离问题进行了深入研究u5 1 。除了上 述几位学者以外，国内较早对盲源信号分离研究的还有东南大学的何振亚、复旦大学凌 燮亭、上海交通大学的胡光锐、虞晓等。 通过对上述学者研究方法的总结，可以概括出目前盲源分离问题的主流研究方法主 要有以下几种： 1 独立分量分析法( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，简称i c a ) ； 2 稀疏分量分析法( s p a r s ec o m p o n e n ta n a l y s i s ，简称s c a ) ； 3 非负矩阵分解法( n o 衄e g a t i v em a t r i xf a c t o r i z a t i o n ，简称n m f ) 。 1 2 2 欠定盲源分离的研究现状 根据源信号和混合信号的个数关系，盲源分离问题可以分为欠定、正定和超定三种 情况。目前大多数学者将注意力集中在超定盲源分离问题上，但是，在实际环境中，源 信号和混合信号往往并不能满足超定盲源分离问题所规定的条件，在实际应用中，欠定 盲源分离问题有着更广泛的应用【1 6 】，由于该课题的研究较超定情况更为困难，学术界所 发表的论文还不是很多。 1 9 9 1 年j f c a r d o s o 最早提出欠定盲源信号分离问题( u n d e r d e t e 锄i n e db l i n ds i g n a l s e p a r a t i o n ) ，他利用信号的四阶累积量实现了盲辨识阵列传输系统【1 7 】。1 9 9 6 年，x 。r c a o 对欠定盲源分离问题进行了深入的理论分析，给出了欠定盲源信号能够进行分离的条 件。 目前，国内外研究欠定盲源分离问题的主流方法是基于信号的稀疏性分析方法 ( s c a ) 。2 0 0 1 年b o n l l 等人提出了有效解决欠定盲分离问题的“两步法”，首先是利用 聚类的方法将混合信号散点图的直线方向估计出来并进行合并，从而得到对混合矩阵的 估计，然后利用最短路径法来估计源信号【l 8 1 。 在“两步法”中，混合矩阵的估计精度直接关系到最后源信号的分离精度，因此， 混合矩阵的估计是是解决欠定盲分离的关键技术，国内外很多学者将混合矩阵估计作为 第1 章绪论 研究的重点。在国外涌现出了许多较好的解决方法，许多学者相继将k m e a i l s 聚类方法、 f c m 聚类方法等用于混合矩阵的估计。在国内，付宁等人将改进的k 均值聚类算法应 用到了混合矩阵估计中，一定程度上改进了混合矩阵估计结果稳定性不高的缺点【l9 j ；彭 喜元等人将图像处理领域常用和h o u g h 应用到了矩阵估计中，使得估计的精度大大提 耐2 0 】；2 0 0 7 年，谢胜利提出了一种基于平面聚类的分离方法【2 l 】，该方法虽然能够有效 解决源信号为二阶稀疏情况下的分离问题，但是它对观测信号和源信号个数的要求较为 苛刻，在实际应用中往往受到约束；有一些信号由于稀疏性不好，在利用稀疏方法进行 分离时，往往不能得到较为理想的结果，f m n a i l l i 在对这一问题进行研究时，于2 0 0 8 年提出了一种基于高斯函数聚类超平面的混合矩阵估计方法【2 2 】，这一算法的提出，对欠 定盲分离的应用范围起到了非常大的推动作用，一些本来稀疏性不好的源信号混合情 况，在这种方法下也得到了较好的分离结果；同年，肖明为了突破文献 2 l 】对源信号和 观测信号的个数要求，提出了一种基于超平面法矢量的分离方法，但是它要求源信号必 须是k 阶稀疏。 国内外的这些方法虽然都取得了较好结果，但是仍然存在缺陷，总结如下： 1 由于传统聚类方法过于依赖初始聚类中心，使得整个混合矩阵估计的鲁棒性不 高，容易受到初始条件的影响； 2 传统聚类方法容易受到噪声点和孤立点的影响，使得混合矩阵的估计精度不高， 与真实情况相差太大。 1 3 课题研究内容及论文安排 本文的研究内容为欠定盲源分离问题中的混合矩阵估计问题，在对国内外的发展现 状进行深入分析以后，本文总结了目前国内外方法的缺陷，针对这些缺陷，本文将改进 人工蜂群算法引入到问题的解决方案中，提出了一种基于改进人工蜂群算法和k 均值 的混合聚类方法，用来改进传统聚类方法鲁棒性不高的缺点；本文还将混合聚类与网格 密度法相结合，提出了一种基于混合聚类和网格密度的欠定盲分离混合矩阵估计方法， 大大提高混合矩阵估计的精度及鲁棒性。 本文的具体内容安排如下： 第1 章首先介绍盲源分离问题的研究意义及目的，然后总结了盲源分离问题以及欠 定盲分离混合矩阵估计的国内外研究现状，给出了混合矩阵估计的实现思想，分析了国 内外解决方案的优势及劣势。最后，列出本文的主要工作和内容安排。 哈尔滨工程大学硕士学位论文 第2 章主要介绍盲源分离问题的基础理论。首先给出了盲源信号分离问题的几种混 合模型，然后分别介绍了独立分量分析法、稀疏分量分析法和信息论法等几种主流解决 方法。 第3 章主要介绍了欠定盲分离混合矩阵估计的基础理论。首先给出了介绍了几种常 用的时频变换方法，然后介绍了势函数法、k - m e a l l s 聚类法等几种常用方法。最后对这 些方法的优势及劣势进行了研究。 第4 章提出了种基于改进人工蜂群算法和k 均值的混合聚类方法。首先介绍了 聚类问题的研究现状，分析了传统聚类问题所存在的缺陷，然后介绍了人工蜂群算法的 基础理论，并在分析了普通人工蜂群算法缺点的基础上，提出了一种改进的人工蜂群算 法并进行了实验仿真，最后将本文提出的改进人工蜂群算法与k 均值聚类相结合，提 出了种混合聚类方法并进行了实验验证。 第5 章提出了一种基于混合聚类和网格密度的欠定盲分离混合矩阵估计新方法。首 先介绍了网格密度法的理论知识，然后将本文提出的混合聚类与网格密度法相结合，提 出了一种新的混合矩阵估计方法，最后给出了实验验证结果，结果表明本文所提方案在 算法稳定性和估计精度方面比传统算法取得了较大的提高。 ；丝耋墼丝些些些坠一 第2 章盲源分离问题基础理论 盲源信号分离问题虽然经过了近二十多年的发展，但由于它与实际情况的紧密联系 以及它的研究难度，目前仍是信号处理领域的热点课题。它涉及到人工神经网络、概率 论与数理统计和信息论等学科，具有科学的理论基础，目前已经成为了各个国家的学者 共同研究的交叉学科。简单地讲，盲源信号分离就是利用观测到的混合信号，例如混合 的语音信号、雷达系统的输出信号等，在未知源信号及其混叠情况下，利用一定的信号 处理手段，将源信号进行分离。由于盲源信号分离问题与实际情况联系非常紧密，因此 得到了许多学者的关注。尤其是近几年来，盲源信号分离问题在许多领域取得了突飞猛 进的发展，特别在语音识别、生物医学信号处理、图像处理、天线阵列信号处理、雷达 信号女h 理等领域更是取得了突出的研究成果。 2 1盲源信号分离的数学模型及分类 盲信号分离的“盲”有两层含义：一是源信号未知；二是源信号的混叠信道未知，盲 信号的模型可以用图2 1 进行描述。图中s ( ，) = b ( f ) ，是( 晚s ，( ，) ，( 纠( 扛l ，2 ，3 ，三) 是聊 个源信号，混合矩阵么是门m 维的矩阵，么= 口，口2 ，q ，】，q 表示彳的第f 个列向量， x ( f ) = 【( ，) ，x 2 ( f ) ，恐( ) ，x 。( f ) 是通过传感器得到的观测信号，7 7 ( f ) = m 。( r ) ，7 7 2 ( f ) ，i r 7 ，( f ) 是观测信号在传输过程中掺杂的混叠噪声，s ( ，) = j ，( f ) ，墨( r ) ，；，( ，) ，j 。( 纠是经过盲源分 离以后得到的对源信号的估计结果。 端j 混 粼j 誓 。卜_ 趸 ： i 阵l 葺( f )叩，( f ) 。l -，r-，r 恐( ，)7 7 2 ( f ) 。 1 兰： 目l 目， ，r -，r 源l 分1 ，r - ( ，)叩。( ，) l 禺 l -rr，r 图2 1 盲源信号分离框图 ；。( f ) 是( f ) 是( f ) 气( ，) 对于上述过程，输入信号的混合模型不相同，所得到的数学模型相应也会不同。最 简单的足线型混合模型，对于每一个传感器，其混合模式仅仅是对源信号的线型叠加， 若忽略噪声的影响，其数学模型如公式( 2 1 ) 所示。 x ( r ) = 彳s ( ，) = 臼，s ) ，忙1 ，2 ，3 ，三 ( 2 一1 ) j l 哈尔滨工程大学硕士学位论文 假设s ( ，) = 膨( f ) ，其中肜是”垅的矩阵，则正是线性解混系统的数学模型。 卷积混合模型表示为如公式( 2 2 ) 所示的形式。 ! z ( ，) = 4 s ( ，一p ) ( 2 - 2 ) p = 其中，p 表示延时时间，彳。表示延时为p 的混叠矩阵。卷积混合模型的盲源分离 也被称为多通道盲解卷积，假设其解混系统为形，则可以表示为如公式( 2 3 ) 所示的形 式。 二2 s ( f ) = x o p ) ( 2 - 3 ) p 2 “ 其中，是与彳。相对应的解混矩阵。 非线性混合模型的数学表达式如公式( 2 4 ) 所示。 l x ( ，) = 厂( 4 s ( ，) ) = ( q s ，( ，) ) ，= 1 ，2 ，3 ，三 ( 2 - 4 ) ，- 】 其中，7 r 是可逆的实值非线性函数，对于非线性混合系统解混的目的就是要寻找另 一个与对应的逆函数g ，使得 s ) = g ( x o ) ) = g ( 厂( 4 s ( f ) ) )( 2 - 5 ) 在盲源分离问题中，虽然仅仅利用混合信号进行源信号的分离，对源信号的许多先 验知识并不知道，但是在完全“盲”的情况下进行问题的研究是不可能的，因此，在课 题的研究中，许多学者往往根据实际情况进行一定的假设，当然，这些假设是符合一定 实际环境的。除了根据源信号的混叠方式分类以外，盲源信号分离还可以根据源信号的 以下假设进行分类： 1 根据源信号和混合信号个数进行分类。若源信号个数大于混合信号个数( m ) ， 则称之为欠定盲源分离；若源信号个数等于混合信号个数( 优= 厅) ，则称之为正定盲源分 离；若源信号个数小于混合信号个数( m 。对源信号的约束条件如下： 1 s ( ，) 是表示源信号向量，其均值为零； 2 s ( f ) 具有非奇异的协方差矩阵，即 r 。= e s ( f ) s ) - b( 2 - 7 ) 其中，d 。是正对角矩阵。 3 源信号向量和噪声向量不相关； r ( ，) 的协方差矩阵如式( 2 8 ) 所示。 尺，= e p ( f ) ，。( ，) 】= 彳皿彳。( 2 - 8 ) 令y ( f ) = 肌( ，) = 胁( ，) + 肌( ，) ，主分量分析的核心思想就是利用一定的线性变换方 法使得少( f ) 的各个分量y ，( f ) 互不相关，即 b y = e y ( ，) 少，( ，) 】= 陟硬，7 + 口。2 ，= 人+ 仃。2 ，( 2 9 ) 式中，人为对角矩阵，其对角线元素为协方差矩阵r ，的特征值，由于随机变量的 不相关性与独立性并不等价， 即使有y ( r ) 的各个分量互不相关，即 哈尔溟工程大学硕士学位论文 目只( r ) y 如) 】_ 0 ( 浮) ，也不能推出只( f ) 与y ，( f ) 相互独立。只有在源信号是高斯分布的 信号或者混合矩阵爿是对称阵且主对角线元素上的值为1 时，不相关与独立才能等价， 此时主分量分析就变成了独立分量分析方法。 在般情况下，源信号并不是高斯分布的，此时标准的主分量分析法并不能恢复源 信号s ( f ) ，但是由于主分量分析方法可以去除掉源信号之间的相关性，因此可以将该方 法用于观测信号的预白化处理上，使得后续的盲源分离问题变得更容易解决一些。 通常情况下，观测信号x ( f ) 的协方差矩阵尺，是正定且对称的，因此它可以按照式 ( 2 】0 ) 进行分解。 如= t 圪7 = 圪t 2 人，2 7 1 ( 2 1 0 ) 式中，是正交矩阵，人，是对角矩阵，其对角线元素为 九九扎。 令缈= 人。一门k7 ，对观测数据进行预白化处理得 曼( f ) = 脓( ，)( 2 - 1 1 ) 式中，是白化矩阵，若m 和已知且m ，则在白化的同时还起到了降维 的作用。观测信号经过白化以后的协方差矩阵为 r 嚣= e 晖( ，) 曼r ( f ) = 人，- 1 心屹7 圪八，圪，圪人，。1 舵= 如 ( 2 1 2 ) 由式( 2 1 2 ) 可知，经白化以后，各个分量间的相关性被去除了。 2 2 2 独立分量分析 主分量分析是基于源信号二阶统计量的分离方法，它最多能使估计信号具有二阶独 立性，只有在源信号符合高斯分布或者混合矩阵是对称阵且对角线元素为l 的情况下， 才能采用主分量分析法对观测信号进行分离，通常将主分量分析法用于对观测信号的预 白化处理上【2 5 1 。与标准的p c a 不同，独立分量分析法是直接按一定规则来求取分离矩阵 形的，使得输出信号的各个分量相互独立，即y ( r ) = 耽( r ) = 黝5 ( f ) 的各个分量相互独立， y ( f ) 就是对源信号的估计。 如前所述，在不知任何有关源信号和混合信道的先验知识情况下，是不可能进行盲 源分离的，因此，必须先对源信号和混合模型进行一定的假设。这种假设是对源信号以 及混合模型的基本要求，并不是对源信号的统计分布和混合模型的参数规定，这也是符 合实际情况的。i c a 中的基本假设为： 1 源信号s ( f ) 的各个分量相互统计独立。即 旦 p ( s ( f ) ) = p ( s 1 ( f ) ，s 2 ( f ) ，s 3 ( f ) ，s t ( 啪= l jp ( s 。( f ) ) ； j = l 2 源信号中仅有一个分量服从高斯分布。因为多个高斯信号的线性和仍然服从高斯 第2 章盲源分离i 司题基础理论 分布，若源信号中含有多个高斯信号，将会导致分离结果不唯一： 3 混合矩阵彳是列满秩的，即源信号的数目小于或等于混合信号的数目( m ) 。 假若 m ，可以利用p c a 进行降维处理，使得源信号与观测信号数目相等。 在源信号符合上述假设的前提下，利用独立分量分析法是可以有效实现盲源信号分 离的，但是由于混合矩阵的求解是个病态问题，利用独立分量分析法求解时存在着模糊 性与不确定性。假设= m ，一种理想的情况是求取的分离矩阵= 么，此时 y ( f ) = 黝s ( f ) = s ( ，) 。实际上，若b = 黝是一个广义置换矩阵，利用独立分量分析法进 行盲源分离时也能够成功求解，但此时求得的结果与上面的理想状况的结果是不一样 的。 由矩阵论可知，b 可以分解为置换矩阵与对角矩阵相乘，即b = 肋，尸为置换矩阵， 其每一行和每一列仅有一个元素1 ，其余为0 ，d 为对角矩阵。此时，若源信号各个分量 统计独立，则分离信号y ( ，) = 黝s ( ，) = p 眈( ，) 的各个分量也是统计独立的，所以，若是 求得的一个分离矩阵，则尸d 形也是符合条件的。 虽然估计出的源信号在排列顺序和幅度方面具有不确定性，但是估计信号仍然保留 了源信号的波形，在实际情况中，大量的信息存在于信号的波形中，因此，这种不确定 性并不影响盲源信号分离的应用【2 6 1 。 独立分量分析法实际是一个优化问题，该过程的第一步就是建立一个以为变量的 目标函数三( 形) ，用三( 形) 评判输出向量j ，( f ) 各个分量的独立性；第二步要选择一个有效 的优化算法来求解，使三( ) 达到极大或极小值，使得少( f ) 各个分量的独立性最好。 根据建立的上( ) 和的求解方法，可以构成许多不同的i c a 算法。 一、基于极大化非高斯性的i c a 估计方法 由中心极限定理可知，大量的独立随机变量之和是趋于符合高斯分布的，在盲源分 离问题中，源信号是相互独立的，观测信号是众多源信号线性叠加的结果，它比源信号 更加符合高斯分布的规律。根据这一理论，可以通过使盲分离结果的非高斯性最大化， 来实现源信号的有效分离【2 7 1 。峭度和负熵是常用的度量高斯型的指标。 ( 1 ) 峭度 假若随机变量的均值为零，那么峭度可以定义为： 尼”，( y ) = e y 4 一3 e j ，2 2 ( 2 13 ) 高斯信号的峭度为0 ，若随机变量的峭度小于0 ，则称该随机变量是次高斯分布的； 若随机变量的峭度大于o ，则称该随机变量是超高斯分布的。峭度的绝对值越大，说明 随机变量的非高斯性越大，因此通常将峭度作为衡量随机变量非高斯性的度量指标。 哈尔滨工程大学硕士学位论文 为了便于研究，通常假设随机变量y 已经被归一化，所以d ( y ) = 1 。此时，式( 2 1 4 ) 可以简化为： 砌( y ) = e 眇4 卜3( 2 1 4 ) 目标函数可以定义为： 三( y ) = 研咒4 ( 2 - 1 5 ) ，= 1 通常采用随机梯度学习算法，使得式( 2 1 5 ) 所示的目标函数达到最大。 ( 2 ) 负熵 概率密度函数为仇( 叩) 的随机向量y ，其微分熵定义如式( 2 1 6 ) 所示。 ( y ) = 一f p ，) i o g p ，( 町砌 ( 2 1 6 ) 在所有方差相同的随机变量中，服从高斯分布的随机变量熵最大。负熵定义如式 ( 2 1 7 ) 所示。 ，( y ) = h ( y 。) 一日( y ) ( 2 17 ) 式中，。是高斯分布的随机向量，具有与少相同的相关矩阵。负熵总是大于或等 于0 的，当y 具有高斯分布时，t ，( y ) = 0 ，从一定程度上来说，负熵是非高斯性的一种最 优估计。 f a s t i c a 是一种基于负熵的求取非高斯性极大值的迭代方法，它将不动点迭代算法 的优良特性和负熵良好的统计特性相结合，成为了最经典的i c a 算法。 二、基于信息论的i c a 估计算法 ( 1 ) i c a 的信息极大估计方法 神经网络是解决非线性问题的重要方法，信息极大估计方法的原理是最大化神经网 络的输出熵，假设某神经网络的输出具有式( 2 1 8 ) 所示的形式。 ”= 破( 匆。z ) + e ， ( 2 - 1 8 ) 式中，z 是神经网络的输入，咖是某种非线性函数，匆r 是神经元的权重矢量，q 是 高斯噪声向量。输出熵为 h ( 】，) = 日( 如( 6 1 7x ) ，屯( 吃2 义) ) ( 2 - 19 ) 通过极大化式(