（信号与信息处理专业论文）欠定盲信号分离混叠矩阵的估计算法研究.pdf

ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f r l 7 4 6 111 t e c h n o l o g yf o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n gs c i e n c e s t u d yo ft h em i x i n gm a t r i xe s t i m a t i o na l g o r i t h mi n under de t er mine db lindsignals e p a r a t io n m a s t e rc a n d i d a t e s u x i a nz h a n g s u p e r v i s o r ：p r o f h a i l i nl i u m a y2 0 10 f a c ui t yo fin f o r m a t i o n g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p 。r c h i n a ，5 10 0 0 9 摘要 摘要 盲信号分离( b s s ) 是指从若干观测到的混合信号中恢复出无法直接观 测的各个原始信号的过程。正因为它在语音识别、无线通信以及生物医学 信号处理中的有效应用，近年来，盲信号分离问题已成为信号处理研究领 域中的热点。 盲信号分离问题按照观测信号的数目与源信号的数目的关系可以分为 两种情况。当观测信号的数目不少于源信号的数目时，这种情况下的盲信 号分离称为过定盲信号分离。对于观测信号的数目少于源信号的数目的盲 信号分离的情况被称为欠定盲信号分离( u b s s ) 问题。后者是盲信号处理 领域中更具有挑战性的问题。 一方面，独立分量分析( i c a ) 方法已经被证明能有效解决传统的b s s 问题；另一方面，对于u b s s 问题，利用信号在某种情况下所具有的稀疏 特性对信号进行稀疏表示，也就是稀疏分量分析( s c a ) 已成为盲信号分 离中的又一个研究热点。 针对稀疏分量分析问题的混叠矩阵估计问题，本论文主要做了以下两 方面的工作： ( 1 ) 提出了一种新的算法来估计混叠矩阵。首先，介绍一种基于正交 补空间的聚类模型，该模型是法向量聚类模型的扩展，克服了法向量聚类 模型较为严格的限制条件；其次提出一种新的聚类方法，该方法结合了模 糊聚类与特征值分解( e v d ) 方法。从仿真实验结果可以看到，该算法与硬 化分聚类相比具有更好鲁棒性，并在一定程度上加快了模糊聚类算法的收 敛速度。 ( 2 ) 提出了一种新的混叠矩阵快速估计算法。通过s c a 模型的理论分 析，我们采用一种空间点密度检测方法进行混叠矩阵估计，该方法能够很 大程度地提高算法速度。 关键词：盲信号分离，稀疏分量分析，特征值分解，模糊聚类，密度检测 s i g n a l si sl e s st h a ns o u r c es i g n a l s ，i t sc a l l e du n d e r d e t e r m i n e db l i n ds i g n a l s e p a r a t i o n ( u a s s ) t h el a t t e rc o n d i t i o ni sm u c h m o r ec h a l l e n g i n gr e s e a r c h t o p i ci ns i g n a lp r o c e s s i n gf i e l d i c a ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) m e t h o d sa r ep r o v e dt ob ev e r y u s e f u lt or e s o l v et h et r a d i t i o n a lb s sp r o b l e m o nt h eo t h e rh a n d ，s p a r s e r e p r e s e n t a t i o n h a sa t t r a c t e dm u c ha t t e n t i o ni nr e c e n ty e a r s f o ri t s s u c c e s s f u l l yu s e di nr e s o l v i n gt h eu b s sp r o b l e m ，t h e s em e t h o d sa r eu s u a l l y c a l l e ds p a r s ec om p o n e n ta n a l y s i s ( s c a ) f o rt h ep u r p o s eo fe s t i m a t i n gm i x i n gm a t r i xi ns c a p r o b l e m ，t h em a i n c o n t r i b u t i o n so ft h i st h e s i sa r ea sf ol l o w s ： ( i ) w ep r e s e n tan e wc l u s t e r i n ga l g o r i t h mt oe s t i m a t et h em i x i n gm a t r i x f i r s t l y ，ac l u s t e r i n gp r o t o t y p eo fo r t h o g o n a lc o m p l e m e n ts p a c ew a sp r e s e n t ， w h i c hi sae x t e n s i o nt ot h en o r m a lv e c t o rc l u s t e r i n gp r o t o t y p e ；s e c o n d l y ，w e p r o p o s e dan e wm e t h o dw h i c hi sc o m b i n go ff u z z yc l u s t e r i n ga n de i g e nv a l u e d e c o m p o s i t i o n ( e v d ) m e t h o dt o e s t i m a t et h e m i x i n gm a t r i x n u m e r i c a l s i m u l a t i o n ss h o wt h a tt h ea l g o r i t h mp r o p o s e di nt h i sp a p e ri sm o r er o b u s tt o n oi s yt h a nn o r m a lh a r dc l u s t e r i n ga l g o r i t h m ( 2 ) w ep r o p o s eaf a s ta l g o r i t h mf o ri d e n t i f y i n gt h em i x i n gm a t r i x s c a n a b s t r a c t m o d e li sa n a l y z e dt h e o r e t i c a l l y ，t h e nad e n s i t yd e t e c t i o ne s t i m a t i o nm e t h o d w h i c hc a ng r e a t l y i m p r o v et h ec o m p u t i n ge f f i c i e n c yo ft h ea l g o r i t h mi s p r e s e n t e dt oe s t i m a t et h em i x i n gm a t r i x k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n ；s p a r s ec o m p o n e n ta n a l y s i s ；e i g e n v a l u e d e c o m p o s i t i o n ；f u z z yc l u s t e r i n g ；d e n s i t yd e t e c t i o n i i i 目录 目录 摘要i a b s t r a c t ：i i 目录v c o n t e n t s v i i 第一章绪论1 1 1 基本概念与研究背景1 1 2 稀疏盲信号的可解性3 1 3 稀疏分量分析4 1 4 本文主要工作及章节安排7 第二章基于正交补空间的模糊k e v d 聚类算法的混叠矩阵估计8 2 1 引言8 2 。2s c a 问题原理9 2 3 聚类模型构造1 0 2 4 估计混叠矩阵a 1 1 2 4 1 基于目标函数的模糊聚类算法1 l 2 4 2 模糊k e v d 聚类方法估计正交补空间12 2 5 估计混叠矩阵1 4 2 6 最终混叠矩阵估计算法1 5 2 7 仿真实验16 2 8 本章小结2 1 第三章基于2 态稀疏混合高新模型的混叠矩阵快速估计算法2 2 3 1 引言2 2 3 2 混叠矩阵快速估计算法的理论研究2 3 3 2 1 问题陈述2 3 3 2 2 两种假设情况2 4 3 32 态稀疏高斯混合模型以及某一超平面上点的分布情况讨论2 5 3 3 1 同一超平面的数学模型2 5 3 3 22 态稀疏高斯混合模型2 6 v 广东工业大学硕士学位论文 3 3 3 同一超平面上观测信号的分布情况 3 4 混叠矩阵估计算法 3 5 仿真实验 3 6 本章小结 结论 参考文献 攻读硕士学位期间发表的论文 独创性声明 致 射 c o n t e n t s c o n t e n t s c h i n e s ea b s t r a c t i a b s t r a c t i i c h i n e s ec o n t e n t 、f c o n t e n t s 、f i ：【 c h a p t e r li n t r o d u c t i o n 1 1 1b a s i cc o n c e p t sa n dr e s e a r c hb a c k g r o u n d 1 1 2s e p a r a b i l i t yo fs p a r s eb s s 。：； 1 3 s p a r s ec o m p o n e n ta n a l y s i s z i 1 4o u t l i n eo ft h ed i s s e r t a t i o n 7 c h a p t e r 2e s t i m a t i n gt h em i x i n gm a t r i xb a s e do naf u z z yo r t h o g o n a i c o m p l e m e n ts p a c ec l u s t e r i n gm e t h o d 8 2 1i n t r o d u c t i o n 8 2 2t h es c ap r o b l e ms t a t e m e n t 9 ：z 3 c l u s t e r i n gp r o t o t y p e 1 0 ：! 4e s t i m a t i n gm i x i n gm a t r i xa 11 2 4 1f u z z yc l u s t e r i n gb a s e do no b j e c tf u n c t i o n 11 2 4 2 e s t i m a t i n gt h eo r t h o g o n a lc o m p l e m e n ts p a c e sb yf u z z y k - e v d c l u s t e r i n g 1 ：z 2 5e s i m a t i n gm i x i n gm a t r i x 1 4 ：! 6f i n a la l g o r i t h m 15 ：! 7s i m u l a t i o ne x a m p l e s 1 6 ：! 8c o n c l u s i o n so ft h i sc h a p t e r 2 1 c h a p t e r3f a s ta l g o r i t h mf o re s t i m a t i n gt h em i x i n gm a t r i xb a s e do na b i n a r ys t a t es p a r s em o g m o d e l 2 2 3 1i n t r o d u c t i o n 2 2 3 2t h eo r e t i c a la n a l y s i so ft h ea l g o r i t h m 2 3 3 2 1p r o b l e ms t a t e m e n t 2 3 3 2 2t w ok i n d so fa s s u m p t i o nc a s e s 2 4 3 32t h eb i n a r y - s t a t es p a r s em o gm o d e la n dt h ed i s t r i b u t i o no fp o i n t s i no n eh y p e r p l a n e 2 5 3 3 1t h em a t h e m a t i c a lm o d e lo fo n eh y p e r l a n e 2 5 v i i 广东工业大学硕士学位论文 3 3 2b i n a r ys t a t e s p a r s em o gs o u r c ed i s t r i b u t i o n 2 6 3 3 3d i s t r i b u t i o no fp o i n t si no n eh y p e r p l a n e 2 6 3 4m i x i n gm a t r i xe s t i m a t i o na l g o r i t h m 2 7 3 5s i m u l a t i o ne x a m p l e s 2 8 3 6c o n c l u s i o no ft h i sc h a p t e r 3 2 c o n e l u s i o n 3 5 r e f e r e n c e s 3 6 t h ep u b l i s h e dp a p e r sd u r i n gm a s t e r ss t u d i e s 4 1 o r i g i n a la n n o u n c e m e n t l ：! a c k n o w l e d g e m e n t z l ：； v i l l 第一章绪论 第一章绪论 1 1 基本概念与研究背景 盲信号分离最早于2 0 世纪8 0 年代被提出【l ，2 1 ，从9 0 年代后，盲信号分离 问题成为信号处理研究的热点，广泛应用通信、语音、生物医学等领域引。 盲信号分离 5 - 8 1 指的是：在源信号和传输通道的参数未知的情况下，仅由观 测信号恢复出源信号的过程。盲信号分离的一个经典应用是“鸡尾酒会” 问题，考虑的是如下的一种情形：在一个有很多人谈话的房间内，人们三 三两两分组聊天，每个人说的话就是我们所要考虑的语音信号，也即我们 所说的源信号。而每个麦克风接收到的信号是众人说话的声音以及其它背 景噪音的混合，也即我们所说的观测信号。“鸡尾酒会”问题就是如何从取 得的混合信号中分离出各个人说话的声音，从盲信号分离的角度来看就是 说如何从观测信号中分离出源信号。 盲信号分离问题在许多领域都得到了广泛的重视，在这些实际应用中， 大量传感器信号或者数据是可以利用的，其目标是要通过对这些数据进行 处理，使处理的输出对应于不同的原始源信号。正是由于盲信号分离的优 越特性，使得其在生物医学信号处理【，t 1 、语音、图像处理d 2 j 、c d m a 盲 多用户检测t h e ，方面有着重要的应用。众多应用或者潜在应用价值，使得 盲信号分离处理具有极其广泛的应用前景。也正因为盲信号处理具有如此 广阔的应用前景，促使国内外广大的科研工作者迅速投身这一领域的研究。 目前在盲信号分离问题中，根据源信号不同的先验假设条件，盲信号 分离主要有三种不同的方法，分别是源信号中各个分量相互独立的随机信 号的独立分量分析( i c a ) 问题；源信号有尽可能多的零元的稀疏分量分析 ( s c a ) 问题；观测信号、源信号和混叠矩阵a 的元都是非负的非负矩阵因式 分解f n m f ) 。就源信号经过传输通道的混合方式而言，其处理方法可分为 线性瞬时混合信号盲处理、线性卷积混合信号盲处理和非线性混合信号盲 处理三类。瞬时线性混叠是信号混叠形式中最简单的类问题，其物理模 型如图1 1 所示。该物理模型可用如下式子表示： 阵彳进行估计。盲信号分离问题也可以表述为：在混叠矩阵彳和源信号向 量s ( f ) 均未知的条件下，求一个，xm 的矩阵缈，使得形对混合观测信号“，) 的线性变换： y ( ，) = w x ( t ) = w a s ( t ) ( 1 3 ) j ，( ，) 为源信号向量s ( r ) 或其某些分量的一个可靠的估计。通常矩阵成为 分离矩阵。盲分离的目的就是通过调节分离矩阵形，使得分离信号与对 应的源信号的波形保持一致，从而获得对源信号的估计输出。 对于以上模型，应该考虑两种情况：1 m 疗：2m t l 。情况1 指的是源 信号个数大于观测信号个数的时候，此时盲信号分离通常采用独立分量分 析( i c a ) 的办法解决，i c a 的几种主要算法分别为：信息最大化( 也称最 2 第一章绪论 大熵化) 、互信息最小化、主分量分析、二阶统计量特征值分解盲辨识方法、 负熵最大化、极大似然法、自然梯度法、最在信噪比的盲源分离法、基于 峭度的盲源分离开关算法、神经网络算法。当m n 时，表示源信号个数小 于观测信号个数，这种情况下的盲信号分离也叫做欠定( 病态) 盲源分离， 欠定盲信号分离相对于一般的盲信号分离问题是比较棘手，因为不能直接 采用矩阵求逆的方法进行求解，这时要利用到另外一个重要的先验信息， 也就是源信号的稀疏特性 2 6 3 4 ，假设源信号充分稀疏，即任意采样时刻只 有一个或者几个源信号采样值非零，大部分源信号采样值都是零，然后利 用稀疏分量分析方法实现盲信号分离，稀疏信号的可解性将在下一节内容 给出。也就是说利用源信号的稀疏特性就能够使得欠定盲信号分离问题得 到解决，这在很大程度上推动了盲信号分离理论及实际应用的进步。本文 主要研究的盲信号分离算法就是利用信号具有稀疏性的这个先验信息，即 研究基于稀疏表示的盲信号分离算法。 1 2 稀疏盲信号的可解性 上一节介绍了信号的稀疏性对于求解欠定情况下的盲分离问题具有重 要的意义。在实际情况中，有些信号在时域中并不具备理想的稀疏性，这 时可以通过对信号进行恰当的变换( 比如f o u r i e r 变换、小波变换等) ，在变 换域中使其具有良好的稀疏性，在变换域中实现盲分离。这个变换过程就 称为信号的稀疏分解。 信号分解是信号处理的基本方法之一。稀疏分解或稀疏编码 35 4 0 l 的数 学表述如下： s = a w ( 1 4 ) 其中j = ( 量，j 2 ，) 7 是mxl 的未知的信号列向量，a = 【口l 口】r 小是由 基本函数族原子个口，f 1 n 组成，w = 【w l ，w 2 w ，】7 是n x1 的权重矢量。 所谓“稀疏 就是中的非零元素最少。稀疏分解引起了许多领域研究者的 广泛的关注。 而稀疏信号在什么情况下能够实现盲分离昵? g e or giev 在文献 42 中指出在任意时刻中，源信号的非零元数目小于观测信号数目m 广东工业大学硕士学位论文 时，即k m 时，是可以实现盲源分离的。其证明过程如下 4 n 1 ： 欠定盲分离问题的数学模型可以表示如下： x l ( ，) x 2 ( f ) x 。( ，) g i ia 1 2 g 2 1a 2 2 a 1a 2 ( 1 5 ) 其中用 ，力。 因为s l ( r ) ，s 。( r ) 中在每个采样时刻芒最多只有个非零元素，其 余的元素都为零，假设在时刻t ， 量( ，) ，j 。( f ) 中的p ( p m ) 个元素 。o ) ，s 驴( f ) 非零。记s 。( f ) = g n ( ，) ，s 妒o ) 尸， 彳o ) = a l ，t l a 2 j l a j l 刻f 方程( 1 5 ) 可化为： x ( t ) = a ( r ) s ( ，) 由矩阵的广义逆公式得方程的解为： s 。( ，) = ( ( 彳o ) ) r ( 彳o ) ) ) 一( 4 。o ) ) 7 x ( t ) 则在时 ( 1 6 ) ( 1 7 ) 通过( 1 7 ) 式就可以求解出源信号矩阵。因此稀疏分解一个非常重要的应 用就是解决欠定情况下盲信号分离的难题。相对于独立分量分析这样的经 典的盲信号分离算法，通常把这种方法称为稀疏分量分析( s c a ) 。 1 3 稀疏分量分析 对于欠定情形，李远清1 19 1 1 2 0 1 、章晋龙】等详细研究了这类问题，他 们指出：欠定混叠情形，源信号在某些时候没有被充分混叠的情况下， 部分源信号可以被盲提取，并且提出了基于四阶累积量最大化原则 2 3 】逐 个提取源信号，但无法实现所有源信号都能被盲分离出来。针对这种情 况，人们利用实际应用中，某些情况下信号所具有的稀疏特性，对信号 进行稀疏表示或稀疏分解，这种方法称为稀疏分量分析( s c a ) 方法。现在 4 p o ；o 研兜 昂 v0000000八 协h； m； 妒 巩以；靠 第一章绪论 稀疏分量分析是信号处理领域近年来又一研究热点。如b e l o u c h r a n i 针对 离散源信号提出“最大后验概率”方法1 2 5 1 ；z i b u l e v s k y 提出的稀疏分解方法 1 2 6 1 ；l e e t2 7 1 ，l e w i c k i t 2 。1 和l i t 2 9 1 的超完备基表示( o v e r c o m p l e t e r e p r e s e n t a t i o n ) 方法，b o f i l l t3 0 提出的频域稀疏表示方法，谢胜利【3 - l 的超 完备基表示方法和何昭水的k p c a 聚类算法1 3 2 1 ，k e v d 聚类算法1 331 等 等，这些算法都获得了较好的盲分离效果，极大地推动了欠定盲信号分 离的发展。 所谓稀疏信号【，】，p e a r l m u t t e r 指出：直观的讲就是说信号绝大多数 采样点取值为零，或者接近于零，少数采样点取值明显远离零。如果任 何时刻非零的源信号数目不大于观测信号的数目，这时盲分离问题可能 存在唯一解而分离出源信号。稀疏分量分析可以用下边的线性规划来求 解以下优化问题： m 。i n ，s ，o ) i ( 1 8 ) s t a s ( t ) = x ( f ) ，t = l t 到目前为止，将稀疏分量分析方法应用于求解欠定混叠盲分离问题 主要是采用“两步法”( t w o s t e pa p p r o a c h ) 2 6 1 1 2 9 - 3 1 】，即：求解过程分两步实 现，首先采用聚类方法估计出混叠矩阵，然后在已知混叠矩阵情况下， 借助线性规划估计源信号。 1 混叠矩阵的估计： 以单支配稀疏分量分析为例 3 3 ，4 5 ，根据源信号的稀疏特性，在某一时刻 t ，可能只有一个源信号在起作用。那么是( 1 2 ) 可以简化为： x ( t ) = a 。s ，( f ) ( 1 9 ) 那么，混合信号的散点图将聚集在向量a ，的方向直线上。可以说满足一定 稀疏度要求的源信号和实际的语音信号，聚类中心都是非常明显的。于是 我们就可以用聚类分析的办法来估计混叠矩阵的列向量从而达到混叠矩阵 估计求解的目的。 对于不充分稀疏的情况，也就是在每个采样时刻有两个或两个以上的 源信号起主要作用，观测信号的散点图也不再呈现线性关系，此时观测信 号点将聚成超平面形式的聚类空间，此时不能采用与单支配稀疏分量分析 广东工业大学硕士学位论文 一样的方法进行混叠矩阵列向量的直接估计。但是根据观测信号的成像特 性，我们同样可以采用聚类方法来估计混叠矩阵，只不过其估计方法较之 单支配稀疏情况要更加复杂，我们将在后边的章节介绍这种方法。 2 在混叠矩阵估计得出的情况下求源信号： 在第一步估计得到了混合矩阵之后，主要就是欠定方程求解的问题。 目前应用最为广泛的是保证解的二范数最小的m o o r p e n r o s e 伪逆法，因为 这种算法计算简单，不需要其它信息。但是由于该方法所求得的解得能量 比较分散，分辨率较低，所以所求结果比较不理想。现在也有许多其它方 法进行源信号的估计，例如利用信号的高阶统计信息去估计源信号的分离 方法，用以克服m o o r p e n r o s e 伪逆法的缺点。 可以看出估计混叠矩阵彳是“两步法”的核心，混叠矩阵彳的估计是否 准确直接决定最终源信号分离的精度。近年来，很多学者也致力于提高 估计混叠矩阵的精度的研究，本文的研究也是基于这个基本情况出发的。 1 4 本文主要工作及章节安排 根据前面的论述可知，盲信号分离问题的研究是一个非常有意义的 课题。因此，本文以盲信号分离算法为研究对象，重点针对于瞬时线性 混叠的欠定情况下，基于稀疏分量分析方法的盲信号分离算法中存在的 一些问题进行研究。全文安排如下： 第一章，简单概述盲信号分离的研究背景和应用前景。对盲信号分 离问题给出具体的数学模型和描述。阐述稀疏情况下欠定盲信号分离的 可解性。最后给出稀疏分量分析的数学模型和待解决的问题。 第二章，针对在非充分稀疏条件下的稀疏分量分析问题，提出了一 种新的算法来估计混叠矩阵。首先，介绍一种基于正交补空间的聚类模 型，该模型是法向量聚类模型的扩展，克服了法向量聚类模型较为严格 的限制条件；其次本文提出一种新的聚类方法，该方法结合了模糊聚类 与特征值分解( e v d ) 方法，基于这两种方法的特性，本文的算法与硬 化分聚类相比具有更好鲁棒性，并在一定程度上加快了模糊聚类算法的 收敛速度。仿真结果表明了该算法的有效性。 6 第一章绪论 第三章，基于一种2 态稀疏混合高斯模型和一些简单的假设，提出 了一种新的多支配成分s c a 中混叠矩阵估计的快速算法。在该章节中， 首先论证了所提算法的可行性；其次介绍了一种采用空间密度检测技术 的出混叠矩阵直接估计方法。实验结果表明，所提算法相比于其它算法 具有明显的速度优势。 最后，对全文的工作进行总结。 7 数目小于观测信号数目时也是可以实现盲源分离的。本章节提出的算法 正是建立在该理论基础上进行s c a 问题分析的。 s c a 问题通常采用两步法实现。第一步是通过聚类方法估计出混叠 矩阵彳；第二步是在已知混叠矩阵彳的情况下估计出源信号。在章节论 文内容中，我们只关注如何估计混叠矩阵的问题。 现有的基于超平面法向量聚类模型均假设源信号是仃一所+ 1 阶稀疏的 第二章基于正交补空间的模糊k - e v d 聚类算法的混叠矩阵估计 i s 2 ，也就是矩阵s 的每一列向量至多有m 1 个非零元，即要求式( 2 1 ) 中的k = m 1 【s ：l 【5 ”，虽然起作用源信号的个数可以大于一个，但是却被限制 等于m 1 个，并未摆脱稀疏苛刻的条件。为了有效估计混叠矩阵，本文 采取了一种正交补空间的聚类模型，该模型允许参数l k l 时，则可以表示为平 面或者超平面的形式) 。每一个子空间由k 个混叠矩阵列向量张成，位于 同一子空间的观测信号可表示为： 1 - t - t ， 耖 1 ，2 ，胛) ( 2 2 ) 如图2 1 所示，参数m = 3 ，n = 4 ，k = 2 ，则3 个混合信号散点分布在6 个子空间上 ( 经过单位化处理，图中每个大圆代表一个子空间) 。由于每个子空间都是 有七个混叠矩阵列向量张成，则矩阵彳的其中一个列向量口，( = l 刀) 位于其 中c = 个子空间的交线上。因此估计混叠矩阵的重点在于对c ：个子空间的 聚类以及聆条分别由c = 个子空间相交而成的交线的确定。于是多支配成分 9 、，o p+ 、l，g 矿 s口 。一 = 、， c ，l x 广东工业大学硕士学位论丈 s c a 问题最常用的解决方法就是1 估计出聚类子空间；2 通过聚类子空间求 解出混叠矩阵列向量。 2 3 聚类模型构造 在文献 4 3 4 4 】中对于混叠矩阵算法中，均假设参数k = m l ，是通过 聚类求出c 7 1 的子空间所对应的法向量来进行混叠矩阵的估计的。这些 算法的缺陷在于参数k 只能为m 1 ，并不适于k 为其它值的时候。 事实上当k m 时，k 维子空间的法向量为m k 条，由这些法向量张 成的空间称作k 维子空间的正交补空间，我们可以通过求解正交补空间 来进行混叠矩阵的估计，从而使得算法对k 的限制更加的少。 为了有效聚类出这些正交补空间，我们需要建立一个距离公式。为 此，我们做如下假设：在m 维空间中，一个k 维线性子空间可表示为矩 阵b = 【阢b k 】r ”妇( 七 m ) ，肛h w ，】r ”x 7 ( ，= m 一七) 为b 的一个，维 正交补空间。其中 6 。b k ) 和如w ，) 是两组组标准单位正交基。 p = 扫，p ，) 为朋维空间中的一点，根据点到平面的距离公式，最终我们 得到点p 到子空间b 的距离可表示为： d ( p ，b ) = i w r p l l = ( w 。p ) 2 + ( w ，p ) 2 ( 2 3 ) 其中l i i i 和( ) 分别表示向量2 范数和内积。当k = m - 1 时，形r 1 即为子空 间b 的一个法向量。由此可见，基于正交补的距离公式比基于法向量的 距离公式更具一般性，它满足l 七 肼下的任何情况。 由( 2 3 ) 式可知，点到某子空间的距离可以由该空间的正交补空间表 示，则正交补可以作为子空间的一个聚类模型。 综上所述，我们可以概括得出s c a 问题中混叠矩阵估计的算法主要步 骤： s t e p l 通过聚类方法求出观测信号所在的c ：个正交补空间 s t e p 2 通过求出门条与任何c = j 下交补空问同时垂直的向量就是混叠矩 阵的一个列向量。 i o 第二章基于正交补空间的模糊k - e v d 聚类算法的混叠矩阵估计 图2 1 3 个混合信号在球坐标上的散点图 f i g u r e2 1 n o r m a l i z e ds c a t t e rp l o to f3o b s e r v e ds i g n a l s 2 4 估计混叠矩阵a 通过第二、第三部分，我们已经介绍了估计混叠矩阵算法的基本步 骤和所需要聚类的模型。在这一部分，我们将在基于目标函数的模糊聚 类的基础上，推导出一种相似于k e v d 聚类的方法d 3 1 。 2 4 1 基于目标函数的模糊聚类算法 模糊聚类算法是一种非常有用的聚类方法，模糊集理论由z a d e h 在l9 6 5 年提出【】，通过隶属度函数定义非确定的隶属关系。相比于硬划分聚类，由 于引用了隶属度函数，使得聚类划分得更加精细，可以有效避免大错误的 发生。现在，模糊聚类算法在模式识别、数据挖掘、图像处理等领域已经 有着广泛的应用。 基于目标函数的模糊聚类是目前比较成熟的模糊聚类算法。其中应 用最多的模糊c 均值聚类算法1 4 7 ： 对于给定矩阵妒k x ，l r r 为一组观测样本集，则使用模糊聚类 的目的就是将观测数据矩阵x 划分成c 个模糊聚类块，模糊划分可以用 一个模糊划分矩阵u 表示，【，的其中一个元素。，表示x 矩阵的第，列x ，对 广东工业大学硕士学位论丈 于第f 个模块的隶属度。 基于目标函数的模糊聚类算法主要是以最小化如以下形式的目 标函数为目的： f ( w ，u ) ：窆t 心a 瓴) 2 i = 1 j = l 其中心必须满足以下条件： ( i ) 心【0 , 1 】i = 1 c ，j = 1 t ( i i ) 心= 1j = l r i = 1 ( 2 r ( i i i ) 0 心 g ，返回步骤b ，否则1 = 1 + 1 ，返回步骤a ，直 到循环次数结束。 s t e p 3 按( 4 ) 式分别计算n w 个目标函数f ( w ，u ) ，取最终 ( 形，u ) = a r g m i n f ( w ，u ) ，) ； 广东工业大学硕士学位论文 s t e p 4 估计混叠矩阵彳 a 对i = l ：q 、。c k _ i )计算r = 莎，一, v ，r 的最小特征值和对应的特 征向量， 矽i - ( 形。) 。 b 取所有c 个特征值中最小的n 个特征值所对应的特征向量构成 混叠矩阵么。 可以明确的是，该算法一定能够在有限次数内收敛，因为每一次迭 代，目标函数的值只能减小或者不变。观测信号点的个数不变，使得目 标函数在一定次数内一定能够达到一个最小值。 为了说明与传统k e v d 算法的不同，本文同样给出相对应的k e v d 正交补空间的聚类方法 3 3 1 。 s t e p l 去除观测信号矩阵x 的零向量，单位化x 的列向量。 s t e p 2 a 、随机产生c - - c 个矩阵r m x y9 j l c ) ，厂= m - k ，单位正交化乃 b 聚类划分：通过计算观测信号点到各空间的距离： 办= d ( t ，曰，) = 1 1 r p 忙抓瓦巧= 田，将观测样本点分成c 个类。 色，当且仅当k = a r g m i n 一，。p ( ，乃) j 。其中的一类可以用矩阵表示为 丘：k 】 c 更新正交补空间矩阵 j = l ：c ： 计算t j 名的特征值和对应的特征向量。求得乃为最小，个特征 值所对应特征向量组成的矩阵。单位正交化矿。 d 返回步骤b ，c ，直到算法收敛为止。 s t e p 3 估计混叠矩阵彳。 2 7 仿真实验 为了说明本文算法的可行性，我们通过以下4 个实验比较了估计混 叠矩阵和原始的混叠矩阵。 1 6 第二章基于正交补空问的模糊k - e v d 聚类算法的混叠矩阵估计 实验l ：我们制造了满足条件：2 0 0 0 0 个样本采样点的5 个源信号， 源信号的每一个列向量至少有3 个零元，即二式中k = 2 ( 如图2 2 所示) 。 随机产生的4 5 阶混叠矩阵么，且它的每一列单位化后如下 i 一0 51 3 90 7 0 5 8 0 7 2 2 2 0 6 7 1 00 0 3 2 8 l 0 7 8 9 60 0 4 9 70 5 2 6 6 0 19 8 90 5 4 3 2 4 = l “l o 2 2 11 0 3 5 7 70 4 4 6 7 0 7 11 0o 6 8 4 3 1 0 2 5 2 00 6 0 9 40 0 3 9 90 0 6 8 70 4 8 5 4 | _ 0 7 2 2 2 0 0 3 2 80 5 1 4 00 7 0 5 80 6 7 1 0 i 1 0 5 2 6 6 0 5 4 3 10 7 8 9 6 0 0 4 9 70 1 9 9 1l 彳细2 i 一0 4 4 6 7 0 6 8 4 30 2 2 11 0 3 5 7 80 7 1 0 9i 10 0 3 9 9 0 4 8 5 40 2 5 2 00 6 0 9 40 0 6 8 7 i 除了列向量顺序及符号上的差异，估计的混叠矩阵与实际混叠矩阵完全 相等，表明能够正确估计出混叠矩阵。我们计算了按( 2 3 ) 式计算了目 标函数f ( ，u ) 与叠代次数的关系( 如图2 3 所示) ，这里起始次数l w = 3 ， 约3 0 次左右，该算法就收敛了。事实上，本章提出的模糊k e v d 算法 必定在有限次数内收敛，因为在每一次迭代过程中，目标函数是不会增 加，观测信号点的重新归类只能朝着目标函数递减的