（计算机软件与理论专业论文）盲信号分离ica理论与应用.pdf

摘要 摘要 盲信号分离( b s s ) 是信号处理的一个最基本的问题，其理论和方法可以应用于 数据分析与数据挖掘中。如果源信号是统计独立的，通常采用独立分量分析( 1 c a ) 方法来处理。i c a 已经成为一类有关图像及信号处理、通信、语音分离和生物信号 分析等的理论研究和实际应用的重要工具。i c a 方法的研究范围包括带噪音i c a 算 法、基础i c a 算法探索及其收敛性分析，超定和欠定i c a 模型的构建等。尽管在实 际应用中，分量的独立性限制可能是比较严格的条件，但无论是在理论上进行算 法探索和分析或是在语言识别系统、电信和医疗信号处理等的应用上，通过独立 分量分析迸行盲源分离受到了广泛关注。 另一方面，盲信号分离与图像处理的问题常被表示成矩阵分解问题。在这类 问题中，如果源信号没有直接假设是统计独立的，我们可以适当添加一些限制如 非负性、稀疏性、光滑性和低复杂性等来使得信号分离问题得以解决。其中非负 性限制可以通过使用一类广泛的损失( 代价) 函数获得非常有效的解决问题的算 法。这类方法被称为非负矩阵分解( n m f ) 。非负矩阵分解算法被用于观测信号中 取出我们需要的某些结构。这类方法已经广泛用于从工程到理论研究的很多领 域。n m f 算法较为复杂，其全局收敛性问题很难证明。 本文首先分析了目前存在的盲信号分离方法的理论与应用，对基于a l p h 散度 和k l 散度的盲信号分离n m f 算法的收敛性进行了探讨和研究，这是一个比较困 难的理论与应用结合的问题。分析中通过构造不变集方法，保证了算法的非发散 性。在进一步的收敛性分析中，我们获得了这类具有普遍意义的算法在迭代中的 收敛条件，为在实际应用中算法的准确获得盲源分离结果提供了保证。在i c a 新算 法探讨方面，论文在回归i c a 和图像重构算法的基础上分别提出噪音i c a 算法和欠 定i c a 的新算法。通过实验，对探讨的新算法的运行结果与同类算法进行了对比， 获得了较为满意的效果。 在i c a 的应用研究方面，论文探讨t i c a 算法及思想在现金流分析、气象分析 与预测中的应用。在这一过程中，我们对不同的应用构建了模型，基于真实数据的 实验显示这些模型能够获得数据分析与预测的预期结果，其应用的效果在数据挖 掘等领域有非常重要的实际意义。全文包括理论分析、算法的扩展与延伸、以及算 法应用等的研究，充分体现了盲信号分离及i c a 的研究的特点和重要性。 论文在第一章概述了盲信号分离及i c a 的背景和研究意义，分析了国内和国 摘要 际上i c a 与b s s 的研究现状、相关的典型算法，并介绍了各种重要模型在信号处 理与数据分析中的应用情况，对这些研究的特点及目前在这一领域需要进一步 讨论的课题进行了总结与分析，为论文的进一步展开建立了基础。在第二章，基 于a m a r ia l p h a 散度，我们引入了一类基于非负矩阵分解的盲信号分离算法。在此 基础上，对算法的收敛性进行了分析。分析结果显示这类算法的收敛性可以在某 个指定的区域内得到保证。在第三章，使用回归i c a 提出了一个新的关于信号与图 像处理的噪音i c a 算法，实验证明这一算法能从不同类型噪音中分离出我们需要 的图像和信源，这一算法实现了i c a 在盲信号分离的同时较好地去除多种类型噪 音的效果。在第四章，我们把回归i c a 以及盲信号分离中图像重构方法应用于i c a ， 从而获得一个新的欠定i c a 算法，论文还分析了所提出算法的稳定收敛条件。在此 基础上进一步对算法进行了成功的模拟实验。在第五章，基于f a s t i c a 算法，我们 建立起了一个连锁商业企业销售i c a 模型。应用这一模型，我们从观察到的在线收 入现金流来分析这些企业特定时期的销售分布。通过这一模型分析估计所得的信 息对制定未来销售计划将是非常有用的。在第六章，我们提出了用基于b p 神经网 络的时间数列i c a 来预测气象环境参量的方法。实验显示，这种方法可获得隐藏的 数据信息，并且使用这些隐藏信息我们可以迸一步更有效地预测未来气象信息。 第七章是在第二章基础上的扩展与延伸，我们主要对基于k u b a c k - l e i b l e r ( k l ) 散 度( 也称为i 散度) 的n m f 算法的稳定收敛进行了分析并获得了算法的收敛域。最 后一章归纳总结本了本文的主要工作，并对基于i c a 及n m f 的盲信号分离领域的 前沿热点问题和后续研究进行了展望。 关键词：独立分量分析，收敛性分析，盲信号分离，非负矩阵分解，人工神经网络 i i a b s t r a c t a bs t r a c t b l i n ds i g n a ls e p a r a t i o n ( b s s ) i st h eb a s i cp r o b l e mi nt h er e s e a r c ho fs i g n a lp r o - c e s s i n g b s sa l g o r i t h m sa r ea l s oa p p h e di nd a t aa n a l y s i sa n dd a t am i n i n g i ft h e o r i g i n a ls o u r c e sa r es t a t i s t i c a l l ym u t u a li n d e p e n d e n t ，i n d e p e n d e n tc o m p o n e n ta n a l - y s i s ( i c a ) i saf u n d a m e n t a lt o o li nt h e o r e t i c a lr e s e a r c ha n dp r a c t i c a la p p l i c a t i o n s s u c ha ss i g n a lp r o c e s s i n g ，t e l e c o m m u n i c a t i o n s ，s p e e c hp r o c e s s i n g ，a n db i o m e 出c a l s i g n a la n a l y s i 8w h e r em u l t i p l es e n s o r sa r ei n v o l v e d t h er e s e a r c ha r e a so fi c ai n - c l u d en o i s yi c aa l g o r i t h m s t h ef u n d a m e n t a li c aa l g o r i t h m sa n dt h e i rc o n v e r g e n c e a n a l y s i s o v e r - c o m p l e t ea n do v e r d e t e r m i n e di c am o d e l sa n dt h e i ra p p l i c a t i o n s a l t h o u g hi nt h ep r a c t i c a la p p h c a t i o n ，t h em u t u a li n d e p e n d e n c eo fc o m p o n e n t si s p o s s i b l yt o os t r i c t ，b o t ho fi t st h e o r e t i c a lr e s e a r c ha n da p p l i c a t i o ni nt h es p e e c h r e c o g n i t i o n ，t e l e c o m m u n i c a t i o na n dm e d i c a ls i g n a lp r o c e s s i n g ，i c ai sb e c o m i n g m o r ea n dm o r ei m p o r t a n t o nt h eo t h e rh a n d ，b s so fs i g n a la n di m a g ep r o c e s s i n gi sc o n s i d e r e da sm a t r i x f a c t o r i z a t i o n f o rt h i st y p eo fb s sa l g o r i t h m s ，s o u r c e sa r eg e n e r a l l ya s s u m e dt o b es t a t i s t i c a l l yd e p e n d e n t ，a n da d d i t i o n a lc o n s t r a i n t ss u c ha sn o n n e g a t i v i t y , s p a r - s i t y , s m o o t h n e s s ，l o w e rc o m p l e x i t yo rb e t t e rp r e d i c t a b i h t ya r ei m p o s e dt ot h ec o s t f u n c t i o n w ee x p r e s st h en o n - n e g a t i v i t yc o n s t r a i n t su s i n gaw i d ec l a s so fl o s s ( c o s t ) f u n c t i o n s ，w h i c hl e a d st oa ne x t e n d e dc l a s so fm u l t i p h c a t i v ea l g o r i t h m sw i t hr e g - u l a r i z a t i o n t h e s ea l g o r i t h m sa x ec a l l e dn o n - n e g a t i v em a t r i xf a c t o r i z a t i o n ( n m f ) a l g o r i t h m sf o rn m fi sp r o m i s i n gi na p p l i c a t i o n st ob l i n ds o u r c es e p a r a t i o n b u t t h eg l o b a lc o n v e r g e n c eo ft h ep r o p o s e da l g o r i t h m sa r eh a r dt oa n a l y z e i nt h i st h e s i s ，a sar e v i e w ，t h ee x i s t i n gb s sa l g o r i t h m sa r ei n t r o d u c e df i r s t t h e n ，t h ec o n v e r g e n c eo fag e n e r a l i z e dn m fa l g o r i t h m sa r ea n a l y z e d f r o mt h e a n a l y s i s ，t h ec o n v e r g e n ta r e a sa r eo b t a i n e d b a s e do nr e g r e s s i o ni c aa n di m a g e r e c o n s t r u c t i o na l g o r i t h m s s o m en e wa l g o r i t h m sf o rn o i s ei c aa n do v e r c o m p l e t e i c aa r ep r o p o s e d t l l es i m u l a t i o n sa n dc o n t r a s tw i t ho t h e ra l g o r i t h m ss h o wt h a t t h en e wa l g o r i t h m sh a v eg o o dt e s tr e s u l t s t h e a p p l i c a t i o no fi c a t oc a s h _ f l o wa n dm e t e o r o l o g i c a li n d e p e n d e n tc o m p o n e n t s a n a l y s i si sa l s od i s c u s s e d w ef i r s tc o n s t r u c tm o d e l sf o rt h ea p p h c a t i o n s ，a n dt h e n i i i b a s e do nt h er e a ld a t a ，t h e s em o d e l sa r et e s t e d t h et e s tr e s u l t ss h o wt h a to u r m o d e l sa r ev e r ye f f e c t i v eo nd a t aa n a l y s i sa n dp r e d i c t i o n s t h ea p p l i c a t i o ns t u d i e s s h o wt h ei n t e r e s t i n gr e l a t i o nb e t w e e ni c aa n dd a t am i n i n g i nt h et h e s i s ，c h a p t e r1i st h ei n t r o d u c t i o np a r t ，i nw h i c ht h em o s ti m p o r t a n t b s sa l g o r i t h m sa n dt h e i ra p p h c a t i o ni ns i g n a lp r o c e s s i n ga n dd a t aa n a l y s i sa r ed e - s c r i b e d i nc h a p t e r2 ，b a s e do na m a r i sa l p h ad i v e r g e n c e ，an o n - n e g a t i v em a t r i x f a c t o r i z a t i o na l g o r i t h mi si n t r o d u c e d i nt h i sp a r t ，t h es t a b i l i t yo ft h ea l g o r i t h mi s a n a l y z e d t h ea n a l y s i ss h o w st h ec o n v e r g e n c e o ft h ea l g o r i t h mc a nb eg u a r a n t e e di n s o m ep r e d e f i n e dc o n d i t i o n s i nc h a p t e r3 ，r e g r e s s i o ni c ai se m p l o y e dt oc o n s t r u c t an e wa l g o r i t h mf o ri m a g ed e n o i s i n ga n ds i g n a lp r o c e s s i n g e x p e r i m e n t sd e m o n - s t r a t et h a tt h ep r o p o s e da l g o r i t h mc a ns e p a r a t ed i f f e r e n ts i g n a l sa n di m a g e sf r o m t h e i rm i x t u r e sw h e r ed i f f e r e n tt y p e so fn o i s ea r ea d d e dt ot h eo r i g i n a ls o u r c e s i n c h a p t e r4 ，i m a g es p a c er e c o n s t r u c t i o na l g o r i t h ma n dr e g r e s s i o ni c a a r ee m p l o y e d t oc o n s t r u c tan e wa l g o r i t h mf o rt h ee s t i m a t i o no fo v e r c o m p l e t ei c aa n dt h es t a - b i h t ya n dc o n v e r g e n c ec o n d i t i o n sa r ea l s oa n a l y z e d e x p e r i m e n ts h o w s t h a tm i x e d s p e e c hs i g n a l sc a nb es e p a r a t e dw i t hg o o df i d e l i t y i nc h a p t e r5 ，b a s e do nt h e f a s t i c aa l g o r i t h m am o d e lf o rc h a i ns t o r e s s a l e si ss e tu p u s i n gt h i sm o d e l ，w ec a n a n a l y z et h ed i s t r i b u t i o n so ft h es o l dp r o d u c t sf r o mt h eo n h n e c a s h f l o wi ne a c hs t o r e o ft h ec h a i n t 1 1 i sm o d e lw i l lb ev e r ya t t r a c t i v et op r o v i d ei n f o r m a t i o nf o rm a k i n g t h e i rf u t u r es a l e sp l a n i nc h a p t e r6 b pb a s e dt i m es e r i e si c aa l g o r i t h mi se m - p l o y e df o rt h ea n a l y s i so fm e t e o r o l o g i c a ld a t a ，f r o mw h i c hs o m e h i d d e ni n d e p e n d e n t c o m p o n e n t si nt h e o b s e r v a t i o n sc a nb ee s t i m a t e d t h ee s t i m a t e di n d e p e n d e n tc o m - p o n e n t sc a n b ef u r t h e ru s e dt op r e d i c tt h ef u t u r eo b s e r v a t i o n so ft h em e t e o r o l o g i c a l d a t a c h a p t e r7i st h ee x t e n s i o no fc h a p t e r2 ，i nw h i c ht h ec o n v e r g e n c eo ft h e k u l l b a c k - l e i b l e r ( k l ) d i v e r g e n c eb a s e db s sa l g o r i t h mi sa n a l y z e da n df r o mw h i c h t h ec o n v e r g e n ta r e a sa r eo b t a i n e d c h a p t e r8i st h es u m m a r yo ft h et h e s i sa n d i t a l s og i v e ss o m ep r o s p e c t so fb s sf b rt h ef u t u r er e s e a r c h k e y w o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，c o n v e r g e n c ea n a l y s i s ，b l i n ds o u r c e s e p a r a t i o n ，n o n - n e g a t i v em a t r i xf a c t o r i z a t i o n ，a r t i f i c i a ln e u r a ln e t w o r k s i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含 力获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 躲一眺呷月 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 年多月日 第一章绪论 第一章绪论 盲信号分离( b s s ) 是在源信号及其参数未知而仅通过源信号混合后的观测 值来分离出源信号的一类方法，可以想象这是一项非常困难的工作。实际上如果 没有在此基础上附加一些限制条件，我们不可能唯一地估计出源信号。到目前为 止，由于其潜在的应用，通过独立分量分析( i c a ) 进行盲源分离受到了广泛关注。 例如在语言识别系统，电信和医疗信号处理。目前，i c a 已经成为盲源分离的主 流方法。盲信号分离与独立分量分析都属于一类无指导学习算法，其算法的理论 与实际应用涉及到工程和神经科学等多个领域。i c a 的目标是依靠传感器观察值 来恢复指定的独立的源信号，而且这些观测值是无法直接获得的独立源信号的线 性混合。与基于交互作用的变换对比，如主元分析( p c a ) ，i c a 不仅除去信号相关 性f 二阶统计) ，而且降低高次统计非独立性，以此获得信号的尽可能独立性。换句 话说，i c a 是一种在所有多维分布的数据中找出线性非正交坐标系的方式，坐标系 轴的方向取决于原始的数据的二阶和高阶统计，其目的是执行一个线性变换使得 由此获得的变量尽可能地统计上相互独立。另一类新的方法是把盲信号分离问题 纳入矩阵分解的框架，在此基础上，矩阵分解的一些相关算法被应用到盲信号分 离中并从观测信号中分离出源信号，其中非负矩阵分解( n m f ) 算法被广泛用于从 观测数据中取出我们需要的某些特征和潜在结构。 本章着重介绍盲信号分离有关的i c a 、n m f 的发展历程、基本方法、研究意 义、以及当前国际国内的研究现状，并对相关算法的原理及其应用进行了简要分 析。对于目前存在的一些重要方法作了初步介绍，为后续章节的内容做一个重要 铺垫，最后还概述了本文的研究重点和章节安排， 1 1背景和研究意义 本节先概述盲信号分离的理论和应用的发展历程【1 1 【2 】【3 】【1 3 3 1 【95 】，然后从方法的 分类、研究意义、基本原理、研究方法等几个方面进行分析，将各类存在的算法进 行了分析和比较，从而揭示本文对盲信号分离和独立分量分析进行研究的重要意 义。 电子科技大学博士学位论文 1 1 1盲源分离与独立分量分析的发展历程 在信号分析与处理中，研究分离从传感器阵列观察所得的信源是一个古 典并且十分困难的信号处理问题。最近二十多年以来，信息科学的进步使得这 一领域的研究得到巨大发展。由于信源的观测结果也是数据，信号处理问题的 研究的基本思想已经扩展到数据分析与处理的各个领域。独立分量分析的发 展历程已有很多著作进行了论述，这些论述对二十多年以来i c a 与盲信号分离 的理论及应用作了较为完善的总结。从这些分析中我们可以看n b s s 与i c a 发 展的基本过程。盲源分离研究的最基本工作是由h e r a u l t 和j u t t e n 在1 9 8 6 年完 成【6 】，他们用简单的反馈构架形式引入了适应性算法。通过试验，他们进 一步证明这一算法能分离出数个未知的独立源信号。此后，这一方法分别 由j u t t e n 和h e r a u l t 在1 9 9 1 年，k a r h u n e n 和j o u t s e n s a l o ，c i c h o c k i 、u n b e h a u e n 和r u m m e r t 在1 9 9 4 年在各自的研究中进行了进一步的发展 7 】 8 】( 9 】，使算法在理论和 应用两方面都得到完善。把独立分量分析与盲信号分离统一起来的工作 由c o m o n 在1 9 9 4 年作出【5 】，他在信号处理杂志上发表的论文中详尽了阐述 独立分量分析的概念，并且提出了与传感器间互信量的近似极小值相关的代价函 数，并且使用这一代价函数c o m o n 获得有关盲信号分离的c o m - 迭代算法。 与盲源分离研究方法并行的是用神经网络的理论来研究独立分量分析。在 此基础上，l i n s k e r 在1 9 9 2 年提出了基于信息理论的无指导学习规则【1 0 。其目标是 在一个神经网络的输入和输出之间最大化互信息量。这种方法与b a r l o w 早年提 出的冗余度压缩原理有关【4 】4 。这是一种基于神经元编码的思想，那就是在自然信 号群的输入中，每个神经元应该具有统计上尽可能与其他神经元独立的编码特 征。n a d a l 和p a r g a 在1 9 9 4 年的研究结果表吲1 1 】，在低噪声情况下，一个神经网络 的输入输出的互信息量的极大值表明输出的分布是可以分解的。由此，输出变量 间的独立性可能获得，即在此条件下，多维分布的概率密度函数( p d ，f ) 可以被分 解作为边际密度p d f s 的乘积。b e l l 、s e j n o w s k i 和r o t h 、b a r a m 分别在1 9 9 5 、9 6 年 为这一最大化的实现独立地提出了随机梯度学习规则【1 2 1 3 1 ，并把这些学习 规则应用于预测、时间序列分析和盲源分离。b e l l 和s e j n o w s k i 不仅把盲源分离 问题纳入信息理论框架，并且通过实验，他们也展示了使用这一理论可获得 混合信号的有效分离和反卷积。研究显示，他们从神经系统的处理角度提出 的适应性算法，比c o m o n 在1 9 9 4 年提出的基于累积的代价函数更为有效和实 用。c a r d o s o 和l a h e l d 于1 9 9 6 年提出了相似的适应性盲源分离方法i l a ，这一类算 法的特点在于其收敛速度、稳定性条件和抗干扰水平都只与源信号的概率分 2 第一章绪论 布有关。除以上介绍的成果以外，其他一些研究人员也从不同的观点提出了 很多有意义的算法，它们分别表现在如下不同方面：极大似然i c a 估计( m l e ) 方 法由g a e t a 和l a c o u m e 在1 9 9 0 年首先提出，并且由p h a m 在1 9 9 2 年的论文中进行了 详尽阐述与分析f 1 5 j f l 6 1 ；p e a r l m u t t e r 、p a r r a 、m a c k a y 和c a r d o s o 分别在1 9 9 6 、9 7 年 的研究成果表明【1 7 1 8 】【1 9 b e l l 和s e j n o w s k i 在1 9 9 5 年提出的信息极大化方法和极大 似然估计方法在理论和应用上都是等价的：基于探索投射追踪( e p p ) 的信息理 论思想，g i r o l a m i 和f y f e 在1 9 9 7 年提出使用边际负熵作为投射索引的方法【2 0 】【2 1 】， 这一原理获得的峭度寻求投射追踪方法可以从线性混合观察值中逐个取出包 含在其中的信源；b e l l 和s e j n o w s k i 的信息极大化方法使得独立分量分析在9 0 年 代中后期引起广泛的研究兴趣，这一算法被s 一i a m a r i 等使用自然梯度方法 进一步优化【1 10 】：h y v a r i n e n 等在1 9 9 9 年提出了快速不动点i c a 算法f 4 5 】，由于其计 算的有效性，i c a 被大规模用于解决应用问题。至u 2 0 0 0 年代以后，盲信号分离 及i c a 相关的方法及应用研究有了进一步发展，其主要方法有：多维i c a ，核i c a ， 依赖树的分量分析，稀疏分量分析( s c a ) ，非负矩阵分析( n m f ) ，光滑分量分 析( s m o c a ) ，并行因素分析( p a r a f a c ) ，时间频率分量分析( t f c a ) 以及多信道 盲反卷积( m b d ) 等。c i c h o c k i 等在2 0 0 6 年发表的论文中提出使用n m f 进行盲信号 分离的方法【1 2 5 】【1 2 6 】【1 2 7 】，在这一类算法中，通常并没有假定了源信号分量的相互独 立性，但是这一类方法可以通过提供稀疏分解来获得具有某些特征的源信号。这 些方法的理论基础及应用都在进一步探索之中。 1 1 2独立分量分析及盲信源分离方法的分类 尽管目前有很多不同信号分离算法可用，根据其原理，这些方法可以分为如 下几个类型： 当前最基本的盲源分离方法是考虑其代价函数为信号的统计独立性、非高斯 或稀疏性的度量。在这种情况下，源信号必须是统计上相互独立并且不考虑时间 结构。在这种假设条件下，通常用高阶统计( h o s ) 来估计出独立信源的方法来解决 这类盲信号分离问题，c o m o n 在1 9 9 6 年用这一思想提出了自己的方法【2 3 】。分析中 发现，对于这一类解决方式，一个重要的限制条件是代表源信号的变量的概率分 布只能有一个是高斯的。 除基本盲源分离方法外，有一类称为非稳态( n s ) 性和二阶统计( s o s ) 结合的 探索方法。这里的二阶非稳态指的是信源方差随时间而改变。最早的非稳态方法 由m a t s u o k a 等在1 9 9 5 年引入【2 2 1 ，他们的研究表明一种简单的去相关技术可以用来 3 电子科技大学博士学位论文 对相当广泛的源信号实现盲信号分离任务。与其他方法相比基于非稳态信息方法 允许分离具有一致的功率波谱形状的彩色高斯信源。然而这种方法不允许分离具 有一致地非稳态信源。与基于h o s 的b s s 算法比较，所有基于二阶统计的方法都可 以不必涉及信源的概率分布或非线性激活函数。 对于含有时间结构的信源，每一个源信号有大于零的时间长度的相关性，这 类结构的估计需要比统计独立假设的信源较少的条件限制，通常二阶统计( s o s ) 可 以足够有效地用来估计混合矩阵和信源。基于二阶统计的方法不要求被分离信号 的信源是独立同分布的。到目前为止，基于这一原理的算法研究已经有了较为丰 富的成果【2 4 】【2 5 】 2 6 】【2 7 】1 2 8 】【2 9 】。 另外有一类与通常研究的盲源分离不同的方法，其研究的对象也非常特殊， 所以并不常用。它们是用来探索信号的变化差异的。典型地包括时间、频率或时 间频率差异、或更一般地，空间一时间一频率( s t f ) 差异。这类算法引出了时间一频率 分量分析器的概念( t f c a ) 3 0 】。t f c a 分解信号成为特别地基于时间一频率域上的 分量并计算每个分量的时间一频率代表。通常，在这里分量被看成时间一频率平面上 的局部、稀疏并结构化的信号，也即是说，在t f c a 中分量的估计是通过分析观察 信号的时间一频率分布来估计的。 除此之外的一些变化或高级的方法是一些上面提到的方法的结合或整合： 如h o s 、s o s 、n s 和s t f 等，其目的是用来分离或提取各种统计属性的信源并降 低噪音的影响及某些未预期的干扰。 1 1 3盲信号分离算法研究的意义 盲信号分离与独立分量分析的问题在语音信号分析与处理、图像、生物 信号等多个不同领域受到广泛的关注，特别是在这些领域中的信号提取、增 强、降噪、模式缩减与分类等问题的解决有非常重要的意义，实际应用中主 要包括脑电图像、心电图像、磁脑电图像和功能性磁共振成像数据等的盲分 离( e e g 、m e g 、i m r i 、p e t ) ，同时还包括生物特征提取模式化、语音提炼、数 据挖掘、多信道反卷积和等量化、通信、遥感以及数据探索分析等，特别地专注 于问题的独立性、神经网络解决、以及相关的论题发展前景。在许多实际应用中， 同时还要针对解决的问题设计并实现相应的硬件，包括模拟和数字芯片。由于噪 音和干扰语音信号，语音识别系统显示效果会严重地受到影响，但在这种条件下 人类能够很好地辨认出需要的语音，这是i c a 与b s s 算法在信号处理和生物学启 示方法典型示例。其他一些重要的研究与应用实例包括：基于i c a 和最大后验概 4 第一章绪论 率( m a p ) 估计器应用于改进的信噪比和识别率的噪音清除；对于源信号数量多于 传感器数情况下决定混合类型的最优数量的算法及其在电信会议中的应用；盲信 号分离算法及其相关方法在语音提炼中的应用；在医学信号处理应用中，以心电 图分析为例，心电信号是非固定并显示良好重复性以及几乎周期性模式的一类信 号数据。e c g 信号干扰产生于人为损坏因素如电极、肌肉和呼吸作用，先前的方法 包括e c g 信号过虑，但当人为因素信号和e c g 信号频率相同时，这一方法无法去 掉干扰，b s s 与i c a 能够解决这一方面的问题。 1 2 国内外研究现状 以i c a 、n m f 为基本方法为主的盲信号分离算法与其应用的研究已经进行了 大约二十多年，这一领域已经取得了相当丰富的研究成果。无论是在理论上进行 算法探索和分析或是在语言识别系统，电信和医疗信号处理等的应用上，通过独 立分量分析i c a 与盲源分离b s s 都正在受到越来越广泛的关注，其主要原因是在合 理的理论基础上。广泛的模拟实验充分展示了这学习算法的有效性。然而，瞬时混 合和分解的模拟存在问题，并且处理真实世界的数据也存在巨大挑战。 目前，国际上几乎每年都有专门举行的关于i c a 及b s s 的学术会议，其中最重 要的是：i n t e r n a t i o n a lc o n f e r e n c eo ni n d e p e n d e n tc o m p o n e n ta n a l y s i sa n db l i n d s i g n a ls e p a r a t i o n 。1 9 9 9 年在法国a u s s o i s 、2 0 0 0 年在芬兰赫尔辛基、2 0 0 1 年在美 国圣地亚哥、2 0 0 3 年在日本奈良、2 0 0 4 年在西班牙g r a n a d a 、0 6 在美国南卡罗来 c h a r l e s t o n 、0 7 在英国伦敦召开。其它一些有关人工神经网络及信号处理的 国际会议也有关于b s s 与i c a 的专题。近年来，在n a t u r e 、s c i e n c e 、i e e e 系列杂 志、m i t 的神经计算、神经网络、信号处理、机器学习、人工智能、数据挖掘、知识 发现、模式识别等领域的国际期刊和会议都可以看到关于盲信号分离与i c a 相关 的论文。 国际上有代表性的研究机构和专家有美国s a l ki n s t i t u t e 的t e r r e n c ej s e - j n o w s k i 、a n t h o n yj b e l l ，加州大学圣地亚哥分校的t e - w o nl e e 、m i c h a e ll e w i c k i ， 芬兰赫尔辛基工业大学的e r k k io j a 、j u h ak a r h u n e n 、a h y v a r i n e n ，日本r i k e n 脑科学研究所的s h u n - i c h ia m a r i 、a n d r z e jc i c h o c k i 、w l o d z i m i e r zk a s p r z a k ，日 本d e n k i 大学的m a s a k ik a w a k a t s u ，英国牛津大学的s t e p h e nj r o b e r t s 、r i z w a n a c h o u d r e y ，英国剑桥大学的s i m o ng o d s i l l 、d o m i n i cc h a n 和法国c n r s 、e n s t 的j e a n f r a n c o i sc a r d o s o 、p i e r r ec o m o n 等，他们在这一领域各自都提出了原创性 的算法。 5 电子科技大学博士学位论文 包括电子科大在内，国内各著名高校及研究机构都有人对这一领域进行研究 并发表7 , r e 多具有实际意义的理论及应用方面的论文，随着在这一领域的理论与 应用研究的不断加强，更多在这一领域在全世界特别有影响的机构和个人将会出 现，同时也希望我们的研究在这一领域能做出自己的贡献。 1 2 1独立分量分析与盲信号分离的基本原理 盲信号分离是一个从已知的混合信号x ( t ) 重构源信号8 ( t ) 的研究领域，一个 普遍的假设是源信号之间统计上相互独立，在这种情况下的解决方案属于独立成 分分析领域，另一个普遍的假设是这种混合是线性的，在时刻亡，x = ( z l ，z 2 ，x n ) t 位n 维随机观测向量，s = ( s l ，8 2 ，8 r n ) t ，则i c a 的线性模型可以写成 ( 1 4 ) 称a 为混合矩阵，a 的m 个行向量中第i 个写成魂。解决这类问题的方法通常也称 为b s s 或i c a 方法。通常是第一步将观察向量白化，即根据观察向量计算出白化矩 阵v 使得 z = v x = v a s ( 1 - 2 ) 由于白化只是去相关性，并不能保证获得分量的独立性，i c a 的最终目的是寻求一 可逆变换矩阵w ，对z 施行线性变换使得最终输出n 个相互独立分量的向量： y = w z = v 旷v a s ( 1 - 3 ) 所得到的y 即为源信号s 的估计值。当然目前也有很多文章讨论b s s 时并不假设源 信号的统计独立性，此类方法也广泛用于图像识别、信号分离和生物信号的特征 提取等。图1 1 一图1 3 显示了基于峭度的快速不动点i c a 算法分离一组混合信号的 结果。 1 2 2盲信号分离的主要方法及应用 盲信号分离问题的基本方法及其扩展【l 】【2 】【3 】【3 1 1 【3 2 l 【3 3 l f 3 4 】【3 5 】【3 6 】1 3 7 】【3 8 1 【5 0 】在很多论文 中进行了较为广泛而深入的讨论。除这些文章提出的基本方法外，根据条件和需 要解决的问题的不同，还包括代数方法女i j a d e 算法及其神经网络实现【3 9 】【4 0 】，观察 信号数目少于源信号个数时的欠定i c a ( c r v e r c o m p l e t ei c a ) 方法阻】【8 5 】【8 6 】【8 7 】【8 8 】，紧 6 鼠巩 仇甜 i l 幻文 a = x 第一章绪论 5 = 0 5 5 召0 5 5 = 0 5 5 = 0 5 5 = 0 5 5 掣0 5 5 0 1 0 0 1 5 02 0 0 2 5 口 3 0 0 3 5 0 4 4 5 0 5 0 = 0 5 01 叩1 5 02 2 3 0 03 5 04 叩4 5 d o 5 01 0 0 1 5 0 2 0 02 印 3 3 ：5 0 4 0 0 4 5 05 0 0 1 1 5 02 2 舶3 0 03 5 04 4 5 原始信号( 零均值单位方差) 图1 - i 源信号 05 01 0 01 5 02 0 02 5 03 3 5 04 0 04 ：5 0 0 5 = 0 5 0印1 0 01 5 02 0 02 5 03 0 03 5 04 0 1 34 5 05 0 0 05 0 1 0 0 1 5 02 0 02 5 03 为04 0 04 5 00 混合信号 图1 2 源信号的线性混合信号 7 电子科技大学博士学位论文 5 ：0 与 5 譬a 与 5 = ：0 与 5 = ：0 占 5 01 0 01 5 02 2 3 0 03 5 04 0 04 5 05 0 0 5 0 1 0 3 1 5 q 2 0 02 3 0 q3 5 04 0 04 5 05 0 q 5 01 0 0 1 5 02 2 5 03 0 03 5 04 0 04 5 05 0 0 5 01 0 01 5 02 2 3 0 03 5 04 0 04 5 05 0 0