（信号与信息处理专业论文）盲自适应信号分离的并行实现方法研究.pdf

摘要 l 摘要 在源信号和传输信道未知情况下，仅利用接收天线的观测数据恢复源信号，称为 盲信号分离。盲信号分离因为在无线通信、雷达和声纳、图像、语音以及医学信号处 理等诸多领域具有广阔的应用前景，从而引起了信号处理学界和神经网络学界的共同 兴趣。本文围绕这一热点课题展开，并把研究重点放在盲信号分离的自适应并行实现 方面，主要工作概括如下： 1 系统阐述了盲信号分离问题。从信号模型出发，分析了盲信号分离的不确定性和 基本假设条件，研究了盲信号分离的对比函数理论和局部稳定性理论，总结了不 同形式盲信号分离算法的局部稳定性条件，并给出了算法的性能评价测度。 2 研究了盲信号分离学习算法的学习速率参数的最佳确定问题。首先定义了描述信 号分离状态的相依性测度，并根据此测度将传统的标量形式的学习速率推广到二 维学习速率矩阵，进而提出了一种分阶段学习的新思想，它把整个信号分离过程 分成三个阶段进行：初始阶段、捕捉阶段和跟踪阶段。由于学习速率矩阵的元素 由信号的分离状态决定，它既加快了信号分离前半阶段的收敛，又提高了后半阶 段的跟踪和恢复的精度，因此分阶段学习有效地解决了最小均方( l m s ) 型的盲 信号分离算法收敛速度和稳态性能之间的矛盾。 3 推导了两种基于自然梯度的盲信号分离r l s 算法。首先推导了一种递归最小二乘 ( r l s ) 型的预白化算法，理论证明其输出是希望的白色信号。然后从非线性主 分量分析的对比函数出发，利用分离矩阵的正交约束，推导了一种基于自然梯度 的r l s 型算法( r l s i 算法) ，理论证明它能实现预白化的盲信号分离。将r l s 型的预白化算法和r l s i 算法相结合，经过合理近似又推导出一种新的盲信号分 离r l s 算法( r l s i i 算法) ，它不需要对观测数据进行白化预处理，并且在理论 上是等变化的，满足分离矩阵的非奇异性条件。因为自然梯度考虑了对比函数的 参数结构从而比一般梯度更适合于盲信号分离，也因为r l s 型算法比l m s 型算 法具有更快的收敛速度和更强的跟踪能力，所以提出的两种新算法工作相当出 色，大量的计算机仿真验证了这一点。 雷这信号赴罩l ，点实疆c 室 i i 摘要 4 研究了混合峰度信号的盲分离问题。从归一化峰度的绝对值之和对比函数出发， 利用正交约束下的自然梯度和现有的串行白化算法，推导出一种新颖的盲信号分 离算法，它能实现混合亚高斯信号和超高斯信号的盲分离。由于新算法的激励函 数不仅是信号自适应的，而且自动满足局部稳定性条件和稳健性条件，因此与现 有的同类算法相比，新算法具有运算量小，收敛性好和稳健性高等优点。 5 研究了观测信号不少于源信号个数的超定盲信号分离问题。首先从分离矩阵的奇 异值分解出发，提出一种新的基于独立分量分析的盲信号分离对比函数，它是现 有的正定和超定盲信号分离对比函数的推广。然后，借助于相对梯度严格证明， 完备盲信号分离的自然梯度算法同样适用于超定盲信号分离问题。在混合矩阵列 满秩，源信号是各态历经的平稳随机过程条件下，结合y e 等人提出的源信号个 数的确定方法，我们还成功解决了源信号个数未知甚至动态变化情况下的超定盲 信号分离问题。 关键词：盲信号分离，独立分量分析，非线性主分量分析，自然梯度，相对梯度，递 归最小二乘，亚高斯信号，超高斯信号，白化，局部稳定性，稳健性，奇异 值分解 a b s t r a c t 1 1 1 a b s t r a c t b l i n ds o u r c e s e p a r a t i o n ( b s s ) c o n s i s t s o fr e c o v e r i n g m u t u a l l yi n d e p e n d e n t b u t o t h e r w i s eu n o b s e r v e ds o u r c es i g n a l sf r o mt h e i rm i x t u r e sw i t h o u ta n yk n o w l e d g eo ft h e c h a n n e l b s sh a sa t t r a c t e d g r o w i n g a t t e n t i o ni ns t a t i s t i c a l s i g n a lp r o c e s s i n g a n d u n s u p e r v i s e dn e u r a ll e a r n i n g ，s i n c ei t i saf u n d a m e n t a lp r o b l e me n c o u n t e r e di nv a r i o u s f i e l d s ，s u c ha sw i r e l e s st e l e c o m m u n i c a t i o ns y s t e m s ，s o n a ra n dr a d a rs y s t e m s ，a u d i oa n d a c o u s t i c s ，i m a g ee n h a n c e m e n t ，b i o m e d i c a ls i g n a lp r o c e s s i n g ，a n ds oo n i nt h i sd i s s e r t a t i o n ， w e i n v e s t i g a t et h ep r o b l e mo fb l i n ds o u r c es e p a r a t i o n ，w i t hg r e a te m p h a s i so ni t sa d a p t i v e p a r a l l e li m p l e m e n t a t i o n t h ep r i m a r yc o n t r i b u t i o n sa n do r i g i n a l i d e a si n c l u d e di nt h i s d i s s e r t a t i o na r es u m m a r i z e db l o w ： 1 t h eb s s p r o b l e m i ss y s t e m a t i c a l l ya d d r e s s e d b a s e do nt h es i g n a lm o d e l ，w ea n a l y z e t h ei n d e t e r m i n a c ya n dt h eb a s i ca s s u m p t i o n si n h e r e n ti nt h eb s s p r o b l e m a f t e rt h e c o n t r a s tf u n c t i o nt h e o r ya n dt h el o c a ls t a b i l i t yt h e o r y , w ea l s od i s c u s sv a r i o u sf o r m so f b s sa l g o r i t h m sa n dt h ec o r r e s p o n d i n gl o c a ls t a b i l i t yc o n d i t i o n s f i n a l l y , w ep r e s e n t t w o p e r f o r m a n c e i n d e x e su s e dt om e a s u r et h eb s s a l g o r i t h m s 2 t h e o p t i m a ll e a r n i n g r a t ed e t e r m i n a t i o n p r o b l e m i ss t u d i e d t od e s c r i b et h e s e p a r a t e d n e s s o fs o u r c e s i g n a l s ，s e v e r a ls i g n a ld e p e n d e n c em e a s u r e sa r ed e f i n e d ， w h o s er e c u r s i v e u p d a t ea l g o r i t h m s a r e d e v e l o p e da s w e l l b a s e do nt h e s i g n a l d e p e n d e n c em e a s u r e s ，t h et r a d i t i o n a ls c a l a rl e a r n i n gr a t ei sg e n e r a l i z e dt oam a t r i x ， a n dt h e nag r a d i n gl e a r n i n ga l g o r i t h mi sp r o p o s e d ，w h o s ec e n t r a li d e ai st oa c h i e v e b s sb yd i v i d i n gt h ew h o l el e a r n i n gp r o c e s si n t ot h r e es t a g e s ：i n i t i a ls t a g e ，c a p t u r e s t a g ea n dt r a c k i n gs t a g e s i n c et h ee l e m e n t so f t h el e a r n i n gr a t em a t r i xa r ed e t e r m i n e d b y t h es e p a r a t e d n e s so fs o u r c es i g n a l s ，t h eg r a d i n g l e a r n i n gc a np r o v i d en o to n l yf a s t e r c o n v e r g e n c e ，b u ta l s ob e t t e rs t e a d y s t a t ea c c u r a c y h e n c e ，i ti sas a t i s f a c t o r ys o l u t i o n t ot h ec o n t r a d i c t i o nb e t w e e nt h ec o n v e r g e n c er a t ea n ds t e a d y - s t a t ep e r f o r m a n c et h a t l i e si nt h el e a s t m e a r i s q u a r e ( l m s ) t y p ea l g o r i t h m sf o ra d a p t i v eb s s 3 t w on a t u r a l g r a d i e n t b a s e dr e c u r s i v e l e a s t s q u a r e sf r l s ) a l g o r i t h m sa r ep r o p o s e d f i r s t l y , w ep r e s e n tan e wr l s t y p ep r e w h i t e n i n ga l g o r i t h m ，w h o s e o u t p u ti s t h e e x p e c t e dw h i t ev e c t o r s e c o n d l y , b e g i n n i n gw i t ht h en o n l i n e a rp r i n c i p l ec o m p o n e n t a n a l y s i sc o n t r a s tf u n c t i o n ，a n de x p l o i t i n gt h eo r t h o n o r m a lc o n s t r a i n to ft h es e p a r a t i n g m a t r i x ，w ed e v e l o pan e wn a t u r a l g r a d i e n t b a s e d r l s t y p ea l g o r i t h mf d e n o t e da s r l s - ia l g o r i t h m ) ，w h i c hc a nb es h o w nt h e o r e t i c a l l yt o p e r f o r mp r e w h i t e n e db s s k e yl a bf o rr a d a rs i g n a lp r o e e s s i n g i v a b s t r a c t c o m b i n i n gt h er l s t y p ep r e w h i t e n i n ga l g o r i t h m a n dr l s ia l g o r i t h m ，w eo b t a i n a f t e rr e a s o n a b l ea p p r o x i m a t i o n s ，an o v e lr l s - t y p ea l g o r i t h m ( d e n o t e da s r l s _ i i a l g o r i t h m ) f o rb s s ，w h i c hd o e sn o tr e q u i r e a d d i t i o n a lp r e w h i t e n i n gp r o c e s so ft h e o b s e r v e dm i x t u r e s i ti sp r o v e dt h a tt h er l s i ia l g o r i t h mi se q u i v a r i a n ta n dh a st h e p r o p e r t yo fk e e p i n gt h es e p a r a t i n gm a t r i xf r o mb e c o m i n gs i n g u l a r o no n eh a n d ，t h e n a t u r a l g r a d i e n tl e a r n i n g m a k e sf u l lu s eo ft h e p a r a m e t r i c s t r u c t u r eo fc o n t r a s t f u n c t i o n ，a n dt h u si ss u p e r i o rt ot h eo r d i n a r yg r a d i e n tl e a r n i n g o nt h eo t h e rh a n d ，t h e r l sa l g o r i t h mi sb e t t e rt h a nt h el m sa l g o r i t h mi nc o n v e r g e n c er a t ea n dt r a c k i n g c a p a b i l i t y t h e r e f o r e ，t h e t w on e w l yp r o p o s e dr l s t y p ea l g o r i t h m sp e r f o r mb s s m o r e s a t i s f a c t o r i l y , w h i c hi sv e r i f i e db y e x t e n s i v e c o m p u t e rs i m u l a t i o n s 4 t h ep r o b l e mo fb l i n ds e p a r a t i o no fs o u r c e sw i t hm i x e dk u r t o s i ss i g n si sc o n s i d e r e d a p p l y i n gt h es u n lo f a b s o l u t ev a l u e so ft h en o r m a l i z e dk u r t o s e sa sac o n t r a s tf u n c t i o n f o rp r e w h i t e n e db s s a n de x p l o i t i n gt h en a t u r a lg r a d i e n tl e a r n i n gw i t l lo r t h o g o n a l c o n s t r a i n tt o g e t h e rw i t l lt h ee x i s t i n gs e r i a lp r e w h i t e n i n ga l g o r i t h m w ed e v e l o pan e w e q u i v a r i a n ta l g o r i t h m ，w h i c hh a s m o d e r a t ec o m p u t a t i o n a ll o a d ，a n dc a np e r f o r mb l i n d s e p a r a t i o no fm i x e ds u b g a u s s i a na n ds u p e r - g a u s s i a ns o u r c e s s i n c et h ep r o p o s e d a l g o r i t h mu s e sas i g n a l - a d a p t i v ea c t i v a t i o nf u n c t i o nt h a ta u t o m a t i c a l l ys a t i s f i e st h e l o c a l s t a b i l i t yc o n d i t i o na n dt h er o b u s t n e s sc o n d i t i o n ，i tw o r k sm o r er o b u s t l ya n d e f f i c i e n t l yt h a n t h ee x i s t i n ga l g o r i t h m s 5 t h eo v e r d e t e r m i n e db s s p r o b l e mi ss t u d i e d b ys i n g u l a rv a l u ed e c o m p o s i t i o no ft h e s e p a r a t i n gm a t r i x ，w ep r e s e n tan o v e li n d e p e n d e n t c o m p o n e n t a n a l y s i s ( i c a ) - b a s e d c o n t r a s tf u n c t i o nf o rb s s ，w h i c hi sag e n e r a l i z a t i o no ft h ee x i s t i n gd e t e r m i n e da n d o v e r d e t e r m i n e do n e s r e s o r t i n gt ot h er e l a t i v e g r a d i e n lw es h o wt h a t t h en a t u r a l g r a d i e n ta l g o r i t h mf o ro v e r d e t e r m i n e db s sh a st h e s a m ef o r ma st 1 a tf o ru s u a l c o m p l e t eb s s f i n a l l y , i f a l ls o u r c es i g n a l sa r ee r g o d i ca n dw i d e - s e n s es t a t i o n a r y , a n d t h em i x i n gm a t r i xi so ff u l lc o l u m nr a n k ，t h e nw ec a nu s et h em e t h o dp r e s e n t e d r e c e n t l yb yy ee ta 1 t od e t e r m i n et h es o u r c en u m b e r , a n dt h u sc a na p p l yt h en e w l y p r o p o s e dn a t u r a lg r a d i e n ta l g o r i t h mf o ro v e r d e t e r m i n e db s st os o l v et h ed i f f i c u l t y p r o b l e m o f b s sw i t hu n k n o w na n d d y n a m i c a l l yc h a n g i n gn u m b e ro f s o u r c es i g n a l s k e yw o r d s ：b l i n d s o u r c e s e p a r a t i o n ( b s s ) ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ， n o n l i n e a r p r i n c i p l ec o m p o n e n ta n a l y s i s ，n a t u r a l g r a d i e n t ，r e l a t i v eg r a d i e n t ，r e c u r s i v e l e a s t 。s q u a r e s ( r l s ) ，s u b g a u s s i a n s i g n a l ，s u p e r - g a u s s i a ns i g n a l ，p r e w h i t e n i n g 1 0 c a l s t a b i l i t y , r o b u s t n e s s ，s i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) k e yl a bf o rr a d a rs i g n a lp r o c e s s i n g 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了本文中特别加以标注和致谢中所罗列的内容外，论文中 不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 本人签名 塞考抠 日期 2 0 0 3 弓b 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容；可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名 导师签名 耋耋垄 e 1 期：主丝墨：墨：曼 旋羔丝 日期塑! 叁i 目l j 第一章绪论 l 第一章绪论 1 1 研究历史与现状 1 9 8 6 年4 , 9 1 3 日到1 6 日，h e r a u l t 和j u t t e n 7 6 在美国举行的以计算神经网络为主题的 一个国际会议上，提出了一种反馈神经网络模型和一种基于h e b b 学习规则的学习算 法，它能实现两个独立源信号的盲分离。h e m u l t 和j u t t e n 的工作开辟了一个崭新的研 究课题盲信号分离( b s s ：b l i n d s o u r c es e p a r a t i o n ) 。 盲信号分离研究最初的动机是试图解决鸡尾酒会( c o c k t a i lp a r t y ) 1 6 7 1 问题，即在 一个同时存在众多说话者的环境中，听者在眼睛等器官的协助下，用耳朵来收听他所 感兴趣的个或多个说话者的讲话。显然，这个问题在通信 3 1 , 1 2 6 , 1 3 4 , 1 7 0 , 1 7 1 】、雷达和声 纳、图像 7 4 , 8 9 1 、语音 6 1 , 1 6 2 】、医学【1 2 ，“1 1 以及地震信号处理等诸多领域都具有广泛应 用，因此对盲信号分离问题的研究具有重大的现实意义。 h e r a u l t 和j u t t e n 7 6 , 9 1 1 提出的反馈神经网络只能实现两个源信号的盲分离，并且用 于h e b b 可l 练的奇次非线性函数的选取具有随意性，缺乏理论解释。此外，c o h e n 和 a n d r e o u 4 ”研究指出，h e r a u l t 和j u t t e n 的神经网络适合于分离两个亚高斯信号，当源信 号含超高斯信号时，分离效果将显著下降。为克j j 艮h e r a u l t 和j u t t e n 的盲信号分离算法 的不足，信号处理学界和神经网络学界进行了大量而积极的探索。t o n g 等a 1 4 2 】分析 了盲信号分离问题的不确定性和可分离性，并给出了一种基于高阶统计量的矩阵代数 方法。c a r d o s o 等人1 2 l j 提出了一类基于高阶统计量的联合对角化盲分离方法，并用于 波束形成。c o m o n 【4 8 j 详细分析了线性瞬时混合模型下的盲信号分离问题，明确提出了 独立分量分析( i c a ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 的概念，并描述了盲信号分 离问题的目标函数即对比函数( c o n t r a s t f u n c t i o n ) 的性质，进而证明以k u l l b a c k l e i b e r 散度表征的互信息的相反数是盲信号分离的对比函数。通过对概率密度函数的高阶近 似，c o m o n 提出了一种基于特征分解的独立分量分析方法。这种方法需要对观测信号 进行白化预处理，而且是种批处理算法，运算量大，实时性差。为克服这些缺点， a m 撕等人1 3 利用截短的g r 锄一c h a r l i e r 展开逼近输出信号的概率密度函数，提出了 种基于前馈神经网络的在线算法，但仅局限于分离亚高斯信号。b e l l 等人基于信息 论，通过最大化非线性输出节点的熵，提出了一类熵最大化的在线盲信号分离算法， 但收敛慢，而且需要矩阵求逆运算，稳定性也比较差。y a n g 等h 15 3 】证明，熵最大化 分析和独立分量分析是等价的。c i c h o c k i 等j k 3 8 , 3 9 】通过大量的仿真提出了一种稳健的 雷选信号处理 点实疆 室 2 朱孝龙：西安电子科技大掌博士掌位论文 在线盲信号分离算法，形式十分简单，它不需要矩阵求逆运算，即使混合矩阵的条件 数很差也能有效地工作，但作者没能从理论上解释算法的工作原理。后来，a 皿a r p ”1 从信息几何的角度解决了这个问题，并明确了自然梯度的概念，提出了一类盲信号分 离的自然梯度算法。此外，c a r d o s o 等人【”1 从等变化性( e q u i v a r i a n c e ) 出发，定义了 相对梯度，并提出了盲信号分离的相对梯度算法。业己证明，自然梯度和相对梯度两 种算法是等价的。受独立分量分析的启发，k a r h u n e n 等人 9 2 曲6 ，陀2 1 2 4 】在主分量分 析阢8 9 ，1 2 1 ( p c a ：p r i n c i p l ec o m p o n e n ta n a l y s i s ) 方法中引入某种非线性，提出了一 类非线性主分量分析的盲信号分离算法。除了同步提取所有源信号的并行算法外，盲 信号分离还可以采用一次只提取一个源信号的串行算法”“，比较典型的是h y v a r i n e n 等人 7 9 , 8 0 , 8 6 的定点( f i x e d p o i n t ) 算法和t h a w o n m a s 等人【1 4 l 】的级联神经网络提取算法， 前者具有二次收敛性，后者克服了串行算法的误差积累问题。在算法研究的同时，盲 信号分离研究还诞生了许多理论，如c a o 等人的行可分解理论、m o r e a u 等人6 ，1 1 7 】 的对比函数理论、a m a r i 等人【4 1 的半参数统计理论、c a r d o s o 等人 5 , 2 2 , 2 7 , 3 0 , 5 4 , 7 5 , 1 砌的局部 稳定性理论等。这些理论反过来又促进了许多算法的出现，包括学习速率调整算 法【4 1 ，5 6 , 9 0 , 1 1 2 , 1 1 8 l 、混合亚高斯和超高斯源信号的盲分离算法阢4 3 5 ，5 4 6 8 ，1 0 1 ，1 1 3 ，1 4 1 ，1 4 8 1 以及 混合矩阵列亏损病态情况下的盲提取算法 1 8 , 1 0 0 , 1 0 4 - 1 0 6 等。 盲信号分离问题的研究范围不断扩大。s o u l o u m i a c 1 3 6 1 通过对两个协方差矩阵的 联合对角化，提出了一种非平稳源信号的盲分离算法。m a t s u o k a 等人5 1 基于高斯互 信息提出了一种随机梯度算法，p h a m 等人 1 3 1 基于极大似然提出了一种具有超效率 ( s u p e r - e t t i c i e n c y ) 的拟牛顿算法，两者都能实现非平稳源信号的盲分离。e v e r s o n 等 人6 3 1 用马尔可夫过程，z h a n g 等人【4 6 1 4 9 ，1 6 5 16 6 】用状态空间模型对信道建模，以解决混 合矩阵动态变化情况下的盲信号分离问题。h y v a r i n e n 等a t 8 7 , 8 9 使用高斯矩( g a u s s a n m o m e n t ) 函数来应付观测信号中的平稳噪声。冯大政等人1 1 6 9 1 提出多阶段分解算法， 实现空问色噪声背景下的盲信号分离问题。 上面提到的大多数算法考虑的是线性瞬时混合模型。非瞬时或卷积混合模型下的 盲信号分离实际上就是盲反卷积 7 3 , 9 7 , 1 5 8 , 1 5 9 h - 题，典型算法有a m a r i 等人的自然梯度 算法、d o u g l a s 等a 5 9 1 的梯度自适应算法、s m a r a g d i s 等人【1 3 5 , 1 4 3 】的傅立叶变换方法、 e h l e r s 等人 6 i j 的空时解相关方法、t u g n a i t 等j k 1 4 4 - 1 4 6 】的空时高阶统计量方法和p a r r a 等 人”“j 的多重自适应解相关( m a d ：m u l t i p l e a d a p t i v ed e c o r r e l a t i o n ) 算法等。非线性 混合模型下的盲信号分离问题更加复杂，较早涉及这方面研究的是b u r e l t l ”，他用一 个两层感知器和基于误差后向传输思想的无导师训练算法，通过梯度下降法优化统计 独立的测度函数，从而实现非线性混合信号的盲分离。p a j u n e n 等人【m 】提出用自组织 映射( s o m ：s e l f - o r g a n i z a t i o nm a p ) 网络从非线性混合信号中恢复源信号，但网络 复杂性呈指数增长，并且分离连续性源信号时插值误差严重。y n g 等人1 5 4 1 利用两层 雪遮信争建理t 点实验室 第一章绪论 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 目! ! ! e ! ! ! ! ! 自! ! ! ! ! ! ! 目! l i i , l l li s 感知器网络结构，提出了基于最大熵和最小互信息测度函数的信息后向传输算法，在 恰当选择非线性激励函数的前提下能够分离一些特定非线性混合的源信号。t a n 等 人 1 3 9 1 提出用径向基神经网络解决非线性盲分离问题。t a l e b 等人 1 3 7 , 1 3 8 就所谓的后非 线性混合模型进行了探索。此外，h y v a r i n e n 【8 8 】发展了非线性盲分离问题的存在性和 惟一性理论，指出非线性盲信号分离问题的解总是存在的，对于两个源信号的情况， 在一系列的约束条件下还可获得惟一解。应该说这方面的研究刚刚起步，还有大量的 实际问题没有解决。 近年来，在国内也有一些学者从事盲信号处理理论和应用技术的研究。凌燮亭【1 7 2 j 用反馈神经网络的h e b b 学习算法，实现了近场情况下般信号的盲分离。何振亚等 人 7 4 , 7 5 , 17 0 1 在基于特征分析和高阶谱的盲信号分离和盲反卷积研究中，提出了一系列的 基于高阶统计量和信息论的测度与算法，并用于解决盲系统参数估计和盲波束形成问 题。胡光锐等人【1 6 2 】基于反馈神经网络用混合高斯模型估计概率密度函数，提出一种 语音信号的盲分离算法。冯大政等人( 1 6 9 1 通过系统化的多阶段分解和多阶段熏构，提 出了一种多阶段分解算法，能实现空间色噪声背景下的盲信号分离问题。焦李成等 人 岫8 l ” 将盲信号分离理论和算法应用于解决盲多用户检测问题。近来，刘琚和何振 亚f 1 7 3 】，张贤达和保铮【1 7 4 1 分别撰写了关于盲信号分离的综述性文献，张贤达和保铮 1 7 7 1 在他们的专著通信信号处理中对盲信号分离和盲反卷积问题也作了详细介绍，这 些工作都极大地推动了国内盲信号处理问题的开展和研究。 1 2 本论文的主要工作 本论文主要针对线性瞬时混合模型下的盲信号分离问题展开，特别地，我们把工 作重点集中在自适应并行实现方面。各章内容具体安排如下： 第二章介绍盲信号分离的基础知识。重点讨论盲信号分离问题的信号模型、对比 函数理论、盲信号分离算法的局部稳定性条件以及性能评价测度。 第三章研究盲信号分离学习算法的学习速率参数的最佳确定问题。首先定义描述 信号分离状态的相依性测度，并根据此测度将标量形式的学习速率推广至二维学习速 率矩阵，进而提出种分阶段学习的新思想，它把整个信号分离过程分成三个阶段进 行：初始阶段、捕捉阶段和跟踪阶段。由于学习速率矩阵的元素由信号的分离状态决 定，它既加快了信号分离前半阶段的收敛速度，又提高了后半阶段的跟踪和恢复的精 度，因此分阶段学习的盲信号分离算法有效地解决了l m s 型的盲分离学习算法收敛速 度和稳态性能之间的矛盾。 - - i l i 鼍- 量鼍鼍量寡寞曼曼皇曼皇篁量 雷琏信号楚理重点密赭盥 4朱孝龙：西安电子科技大掌博士掌位沦又 第四章推导基于自然梯度的盲信号分离r l s 算法。首先推导一种r l s 型的预白化 算法，理论证明其输出是希望的白色信号。接着从非线性主分量分析的对比函数出发， 利用分离矩阵的标准正交约束，推导一种基于自然梯度的r l s 型算法( r l s i 算法) ， 理论证明它能实现预白化的盲信号分离。将r l s 型的预白化算法和r l s i 算法相结合， 经合理近似又推导出一种新的盲信号分离r l s 算法( r l s - i i 算法) ，它不需要对观测 数据进行白化预处理就能实现信号的盲分离。因为自然梯度比一般梯度更适合于盲信 号分离，也因为r l s 型算法比l m s 型的算法具有更快的收敛速度和更强的跟踪能力， 所以提出的两种新算法工作相当出色。 第五章研究混合亚高斯和超高斯信号的盲分离问题。我们从归一化峰度的绝对值 之和对比函数出发，推导一种新颖的盲信号分离算法，以实现混合亚高斯和超高斯信 号的自适应并行盲分离。由于新算法的激励函数兼备了信号自适应性以及自动满足局 部稳定性条件和稳健性条件这三个显著特点，因此优越于现有的同类算法。 第六章研究观测信号比源信号个数多的超定盲信号分离问题。首先从分离矩阵的 奇异值分解出发，提出一种新的基于独立分量分析的盲信号分离对比函数，并严格推 导对应的随机梯度学习算法。然后，借助于相对梯度的概念，理论证明完备盲信号分 离的自然梯度算法同样适用于超定盲信号分离问题。在混合矩阵列满秩，源信号是各 态历经的平稳随机过程条件下，结合y e 等人提出的源信号个数的确定方法，我们还成 功解决了源信号个数未知甚至动态变化情况下的超定盲信号分离问题。 瞥这 婚赴l t 点囊麓盘 第二章盲信号分离的基础知识5 第二章盲信号分离的基础知识 2 1 引言 盲信号分离问题一诞生，就很快引起了信号处理学界和神经网络学界的广泛兴 趣，特别是近十年来，理论研究和实际应用两方面都获得了长足的发展。简而言之， 盲信号分离就是根据观测到的混合数据向量确定一个变换，以恢复源信号。典型情况 下，观测数据向量是一组传感器的输出，其中每个传感器接收到的是源信号的不同组 合。术语“盲”有两重含义： 一源信号不能被观测： 源信号如何混合是未知的。 显然，当从源信号到传感器之间的传输信道很难建立数学模型，或者关于传输的 先验知识无法获得时，盲信号分离是一种很自然的选择。当前，盲信号分离在无线数 据通信 3 1 , 1 2 6 , 1 3 4 , 1 7 1 】、雷达和声纳 3 4 】、图像 7 4 , 8 9 、语音 6 z , 1 叫、医学 1 2 , 1 1 1 1 以及地震信号 处理等领域得到了广泛应用。 为解决盲信号分离问题提出了许多算法。根据信号的提取方式不同，盲信号分离 算法可分为串行算法和并行算法两大类。前者按顺序逐个提取信号，后者实现所有信 号的同步恢复。根据工作方式不同，盲信号分离算法有离线和在线之分，前者是批处 理算法，后者是自适应算法。根据适用的范围不同，盲信号分离算法可分成单一峰度 信号的盲分离算法和混合峰度信号的盲分离算法。前者要求所有的源信号要么都是亚 高斯信号要么都是超高斯信号，而后者则没有这种限制条件。 现有的典型算法中，c a r d o s o 等人【2 1 4 】的特征矩阵近似联合对角化( j a d e ：j o i n t a p p r o x i m a t ed i a g o n a l i z a t i o no fe i g e n m a t r i c e s ) 算法属于批处理并行算法， h y v a r i n e n 等人1 9 9 , 8 6 】的快速定点算法和冯大政等人1 1 删的多阶段分解算法属于批处理 串行算法，而a m a r i 等j k 3 - - 9 , 3 6 , - 3 9 , 5 9 , 1 1 4 , 1 5 3 , 1 5 6 1 的自然梯度算法、c a r d o s o 等人吲的等变化 ( e a s i ：e q u i v a r i a n ta d a p t i v es e p a r a t i o nv i ai n d e p e n d e n c e ) 算法、张贤达等人 的分阶段学习算法【1 7 8 啪作者的递归最小二乘算法【1 6 刀则属于自适应并行算法。典型的 混合峰度信号的盲分离算法包括h y v a r i n e n 等人 7 9 , 8 6 雕3 快速定点算法、l e e 等人 6 8 , 1 0 1 】 的推广的独立分量分析( i c a ： i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 算法、c h o i 等 人【3 7 】的灵活的i c a 算法、v l a s s i s 等人1 1 4 8 】的源自适应的i c a 算法、m a t h i s 等人f l l 3 1 的阈 值i c a 算法以及t h a w o n m a s 等人【1 4 1 1 的级联神经网络盲提取算法等。 p 宣簟憎广一，乜囊l 胡t 宣 6朱孝龙：西安电子科技大掌博士掌位论文 盲信号分离的算法形式虽多，但研究的信号模型以及涉及到的基本理论却大同小 异，本章的目的也就在于介绍这些内容。具体安排如下。首先在第2 节介绍盲信号分 离的信号模型与基本假设，接着在第3 节介绍盲信号分离的对比函数理论，并给出若 干常用的对比函数，第4 节介绍盲信号分离的局部稳定性条件和算法的性能评价测度， 最后在第5 节给出本章小结。 2 2 1 信号模型 2 2 信号模型与假设 在神经网络、信号处理和统计学的研究中，观测数据常常可以用数学模型 x f = a s ，+ vr ，r = 1 ，2 ，( 2 1 ) 来描述，式中各符号的含义如下： x ，= x l ，rm 维的观测信号向量； s ，= h f ) 一，晶，r 门维的源信号向量； v ，= v i 。，。 7 m 维的加性噪声向量； a = a 1 ，一，a 。棚”维的信道响应矩阵，习惯称作混合矩阵； f 时间下标： 丁 向量或矩阵的转置。 盲信号分离的目的在于仅利用观测信号向量x ，提取或者恢复源信号向量s