（运筹学与控制论专业论文）基于广义自相关的盲信号分离.pdf

摘要 摘要 近几十年来，盲信号分离因为它在多种问题上的应用潜力受到广大研究者的重视。 一般来说，盲信号分离包括盲信号并行分离和盲信号提取两种方法。所谓盲信号并行 分离就是同时恢复线性混合中的独立成分，同时分离出所有的独立成分需要花费大量 的时间和计算；盲信号提取就是逐个恢复部分线性混合中的独立成分。本文主要工作 如下 首先，系统阐述了盲信号分离问题。从信号模型出发，分析了盲信号分离固有的 不确定性和基本假设条件。研究了盲信号分离的对比函数理论和优化算法理论，着重 研究了盲信号提取理论及其算法。其次，基于峰度最大化，推导了盲信号提取的梯度 算法和快速不动点算法。 针对一类带有时间结构源信号的盲提取问题，基于源信号时间特性相关特性，我 们研究了一种基于广义自相关的对比函数。最大化此对比函数，设计了一种盲信号提 取不动点算法，并给出了其稳定性分析。为了克服提取算法误差向后遗传的缺点，基 于该提取算法，设计了一种并行分离算法。计算机仿真实验验证了算法的有效性。 关键词：盲提取自相关独立成分分析 a b s t r a c t a b s 仃a c t o v e rt h ep a s td e c a d e s ，b l i n ds o u r c es e p a r a t i o n ( b s s ) h a sr e c e i v e dm u c hr e s e a r c h a t t e n t i o nb e c a u s eo fi t sp o t e n t i a la p p l i c a b i l i t yt om a n yp r o b l e m s g e n e r a l l y ，c l a s s i c a lb s s m e t h o d si n c l u d eb l i n ds o u r c ep a r a l l e ls e p a r a t i o na n db l i n ds o u r c ee x t r a c t ，n l es oc a l l e d b l i n ds o l l g c ：ep a r a l l e ls e p a r a t i o nc o n s i s t so fs i m u l t a n e o u sr e c o v e r i n ga l lt h ei n d e p e n d e n t c o m p o n e n t sf r o mt h el i n e a rm i x t u r e s ，b u tr e c o v e r i n ga l lt h es o u r c es i g n a l sw i l lt a k eal o n g t i m e a n db l i n ds o u r c ee x t r a c tr e c o v e r st h ei n d e p e n d e n tc o m p o n e n t sf r o mt h el i n e a r m i x t u r e si nt u r n 1 1 圮b s sp r o b l e mi ss y s t e m a t i c a l l ya d d r e s s e da tf i r s t b a s e do nt h es i g n a lm o d e l ，w e a n a l y z et h ei n d e t e r m i n a c yi n h e r e n ti nb s sa n dt h eb a s i ca s s u m p t i o n so ft h eb s sp r o b l e m 1 1 1 ec o n t r a s tf u n c t i o nt h e o r ya n dt h eo p t i m a la l g o r i t h mt h e o r ya r ei n v e s t i g a t e d ，n l eb l i n d s o u r c ee x t r a c tt h e o r ya n da l g o r i t h ma r ea l s oi n v e s t i g a t e de m p h a t i c a l l y s e c o n d , b a s e do n m a x i m i z i n gk u r t o s i s ，w ed e r i v et h eg r a d i e n ta l g o r i t h ma n daf a s tf i x e d p o i n ta l g o r i t h m i ti sd i r e c t e dt ot h eb s ep r o b l e mw h e nad e s i r e ds o u r o es i g n a lh a st e m p o r a ls t n i c t i i r e s u s i n gt h et e m p o r a lc h a r a c t e r i s t i c so fs o u r c e s ，w ed e v e l o po b j e c t i v ef u n c t i o n sb a s e do nt h e g e n e r a l i z e da u t o c o r r e l a t i o n so fp r i m a r ys o u r c e s m a x i m i z i n gt h i so b j e c t i v ef u n c t i o n , w e d e s i g nab s ef i x e d - p o i n ta l g o r i t h ma n df u r t h e rg i v ei t ss t a b i l i t ya na n a l y s i si nt h i sp a p e r i n o r d e rt oo v e r c o m et h ed e f e c to fa l g o r i t h me r r o rh e r e d i t yb a c k w a r d ，b a s e do nt h ee x t r a c t a l g o r i t h m ，ap a r a l l e ls e p a r a t ea l g o r i t h mi sd e s i g n e d c o m p u t e rs i m u l a t i o n ss h o wt h e e f f e e t i v e n e s so ft h i sa l g o r i t h m k e yw o r d s ：b l i n ds o u r c ee x t r a c t i o n a n a l y s i s i n d e p e n d e n tc o m p o n e n t 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或 撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：塑盟 日期： 2 af d 、j 、 乙 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本人签名：兰邀 导师签名： 日期：2 d o f i2 1 日期：励口，、，z 第一章绪论 第一章绪论 1 1 前言 盲信号分离作为计算智能学的核心研究内容，是2 0 世纪最后1 0 年迅速发展起来 的一个新研究领域，是人工神经网络、统计信号处理、信息理论相结合的产物，已经 成为一些领域研究与发展的重要课题，特别是在生物医学、医疗图像、语音增强、远 程传感、雷达与通信系统、地震勘探、计量经济学、数据采掘能方面均具有突出的作 用。盲分离理论是信号处理领域的一个新的研究方向，同时也是一个引人瞩目的应用 热点。盲分离牵涉到诸如信息理论、神经网络、统计信号处理和优化理论等领域。近 年来，对于盲分离的研究受到了国内外广泛的重视，研究也越来越广泛和深入，理论 和实际应用都得到了很大的发展。 1 2 盲信号分离的发展及应用 所谓“盲信号分离 就是在源信号不能被观测和源信号如何混合未知的情况下， 仅由可观测的混合信号和源信号的统计独立性假设提取源信号。由于盲信号分离的唯 一假设条件就是源信号相互统计独立，使得盲信号分离成为应用非常复广泛的信号处 理方法。尤其当很难或根本无法建立从信源到传感器之间的传输信道模型时，盲信号 分离就成为唯一可行的信号处理方法。 盲信号分离的另一个名称是独立分量分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) ，意 思是提取混合信号中的独立分量。1 9 9 1 年，法国学者c h r i s t i a nj u t t e n 、j e a n n yh e r a u l t 和p i e r r ec o m m o n 在s i g n a lp r o c e s s i n g 上发表了关于盲信号分离的三篇经典文章，标志 着盲分离研究的重大发展。之后，p i e r r ec o m m o n 在1 9 9 4 年发表文章，他的思想是把 神经网络中的主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 加以扩展，变为独立 分量分析以提取线性混合量中的独立分量。在1 9 9 6 年的声学、语言和信号处理国际会 议上，k t o r k k o l a 改进了a b e l l 和s e j n o w s k i 在i c a s s p 9 5 上提出的基于信息最大 化的算法，在他的模型中考虑了由于信号传递而产生的延时混合，给出了带自适应延 时反馈的分离体系，其算法在形式上类似于l m s 的递归自实行滤波。而信息最大化 算法也被s i a m a r i 用自然梯度法i lj 进一步实现了细化，同时建立了它和极大似然估计 以及c i c h o c k i u n b e h a u e n 算法之间的基本联系。几年后，芬兰的h y v a r i n e n 、k a r h u n e n 、 o j a 提出了不动点算法( f a s t i c a 算法) 2 3 ，4 】，由于其计算效率，对i c a 在大规模问题 上的应用做出了贡献。自1 9 9 9 年起，国际上分别举办了数次独立分量分析和盲信号分 2 基于广义自相关的盲信号分离 离的国际专题会议( i n t e r n a t i o n a lw o r k s h o po ni n d e p e n d e n tc o m p o n e n ta n a l y s i sa n db l i n d s i g n a ls e p a r a t i o n ) ，1 9 9 9 年1 月1 1 1 4 日在法国的a u s s o i s ，2 0 0 0 年6 月1 9 2 2 日在芬兰 的首都赫尔辛基( h e l s i n k i ) ，2 0 0 1 年1 2 月9 1 2 日在美国的圣地亚哥。i c a 2 0 0 3 ，第四次 国际会议于2 0 0 3 年4 月l _ 4 日在日本的奈良困举行，可见对于这个领域的研究，正在 越来越受到人们的关注和重视。 国内对于盲信号分离问题的研究相对较晚。清华大学的张贤达在其1 9 9 6 年出版的 时间序列分析一高阶统计量方法一书中，介绍了有关盲分离的理论基础，并且给 出了相关的算法，其后关于盲分离的研究才逐渐多起来。张贤达和保铮在他们的专著 通信信号处理中对盲信号分离和盲反卷积问题也作了详细介绍，综述了盲信号分 离的理论，方法以及应用，并作了有关的展望。上海交通大学胡光锐、虞晓等人巧1 研究了盲信号处理在语音分离与识别领域的应用，在分析了最大熵算法和最小互信息 算法基础上，提出了一种利用反馈结构的输出信号概率密度函数估计的增强最大熵算 法，新的算法对于解决卷积混合输入的盲信号分离问题，具有很好的分离性能。在无 线通信领域，东南大学的何振亚、汪军提出的基于高阶谱的信号盲分离，利用三阶和 四阶累积量研究了瞬时混迭信号的盲分离问题。凌燮亭酌1 利用反馈神经网络h e b b i a n 学习算法，实现近场情况下一般信号的盲分离，同时对算法的渐近收敛性以及稳定性 进行了讨论。这些工作都极大地推动了国内盲信号处理问题的开展和研究。 下面介绍盲处理应用的几个主要方面。 1 生物医学信号处理： 在生物医学领域，盲信号处理可应用于心电图( e c g ) ，脑电图( e e g ) 信号分离、 听觉信号分析、功能磁共振图像( f m ) 分析等。例如人们常常需要从肌电图( e m g ) 中确定神经元细胞信号的触发模式，而e m g 信号通常由多个特殊的传感器在人体表 皮出测得，从信号源到传感器之间的信号传输介质参数是未知的，且人们之间各不相 同。目前已经有一些学者将盲分离技术成功的应用于脑电图等信号的数据处理。 2 阵列信号处理领域： 在阵列传感器中，各传感器接收到混合信号，而源信号及混合特性完全未知，这 是典型的盲信号处理应用问题。海洋声纳探测中也存在着这种情况，而且信号的传输 介质( 海洋) 同样也是未知且时变的。 在军事领域，雷达的作用越来越重要。近年来发展起来的被动“雷达 由于只接 受信号而不发出任何信号就可以探测到目标，因而受到各国的广泛重视。实际上，这 种被动雷达工作的基本原理就是盲信号处理技术。 3 语音识别、图像处理领域： 语音信号分离、语音识别是盲处理应用的一个重要领域。最典型的应用就是声控 第一章绪论 3 计算机。“鸡尾酒会 语音信号分离更是经典的盲分离应用。在移动通信中，往往存在 通信质量问题，极大的影响了通话质量，而盲源分离或盲均衡技术能够消除噪声、抑 制干扰及增强语音，提高通话质量。 盲信号分离同样可以应用于二维数据，如图像滤波、图像增强等处理。在图像恢 复和重构问题中，主要任务就是从被污染的图像中恢复出图像原本的面目，消除获取 图像时各种因素造成的图像质量问题，可用盲处理的方法获得较满意的效果。 1 3 本文结构 首先我们介绍了盲信号分离的背景以及发展方向。第二章是有关盲信号分离的基 本模型和方法。第三章，我们来着重了解i c a 中一种算法，不动点算法。在第四章， 根据不动点算法，我们给出了研究带有时间特性信号的不动点算法及并行处理方法和 实验仿真。最后一章是对本文的总结以及展望。 第二章盲信号分离的基本方法 5 第二章盲信号分离的基本方法 弟一早目1 百丐万丙州蚕今力 太 盲信号分离( b l i n ds i g n a ls e p a r a t i o n ) ，有时候又称为盲源分离( b l i n ds o u r c e s e p a r a t i o n - b s s ) 或独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a ) ，起源于著名 的鸡尾酒会( c o c k t a i l p a r t y ) 问题，是指在未知系统的传递函数、源信号的混合系数 及其概率分布的情况下，从混合信号中分离出独立的源信号的过程。 本章我们着重介绍盲信号分离的基本理论与算法。 2 1 基本模型与假设 2 1 1 信号模型 盲信号分离问题的模型，在信号处理、神经网络和统计学的研究中，观测数据常 常可以用数学模型 x ，= a s ，+ n l ，= l ，2 ，( 2 - 1 ) 来描述，式中各符号的含义如下： x ，= h j ，r m 维的观测信号向量 s ，= b ，r 刀维的源信号向量； i l ，= 伟，r m 维的加性噪声向量； a = h ，a n 】 m x n 维的信道相应矩阵，盲信号分离中称作混合矩阵，其 元素表示信号的混合情况； f 时间下标； m 7 向量或矩阵m 的转置。 盲信号分离里的“盲 表示我们对于混合矩阵知之甚少，盲分离的目的利用观测 信号向量x ，恢复源信号向量s ，。因为可利用的信息有限，也因为观测信号含噪声相当 于源信号与观测信号之间存在某种非线性关系【刀，据模型( 2 1 ) 实现信号的盲分离是困 难的。为此通常假定观测信号向量不含噪声，从而有 x ，= a s ，t = 1 ，2 ， ( 2 - 2 ) 6 基于广义自相关的盲信号分离 式( 2 2 ) 的含义是刀个源信号通过混合得到m 维观测数据向量。盲分离问题的提法是： 在混合矩阵a 和源信号未知的情况下，只根据观测数据向量x ( ，) 确定一个线性变换， 分离矩阵w ，使得变换后的输出 y ，= w x ， ( 2 - 3 ) 是源信号向量s ，的拷贝或估计。式( 2 2 ) 这是一种线性瞬时混合模型，盲分离研究一般 围绕它展开。在本文的研究中，我们只讨论式( 2 2 ) 描述的不含噪声的线性盲信号分离 模型。需要说明的是，在独立分量分析中，基本模型去掉了时间下标，这是因为假 设的基本模型中所有的混合变量工和独立成分s 都是一般意义上的随机变量，而不是 时间序列或者带有时间结构。 2 1 2 基本假设 为了使盲信号分离问题具有可分性，必须对混合矩阵和源信号作某些假设。这些 基本的假设条件包括： 源信号向量s ，的各分量相互独立； 源信号必须具有非高斯分布，最多只有一个源信号分量服从高斯分布； 混合矩阵a 列满秩，m 疗，简单说就是a 为方阵。 记第，个源信号分量的概率密度函数为p ，( s j ，) ，则独立性假设意味着源信号向 量s ，的联合概率密度函数可表示成各分量的边缘概率密度函数的乘积，即 p ( s ，) = 兀b ( 墨，) ( 2 4 ) i = l 式中兀表示连乘运算。独立性假设是盲信号分离的立足点，虽然独立性假设是概率统 计中一个很强的假设，但在实际应用中，不同的源信号通常是由相互独立的物理系统 发出的，所以这是一条合理的假设。由独立性出发，可推导得到一大类盲信号分离算 法：独立分量分析算法。 盲信号分离的基本假设，一方面是因为高斯分布的高阶统计量为零，而这些高 阶统计量对于独立成分的估计是必需的。仅有一个高斯分布也是因为没有别的高斯分 布与其混合；另一方面是因为盲信号分离算法的局部稳定性要求所致。 为了确保所有源信号分量都是可以分离或提取的，盲信号分离约定混合矩阵a 第二章盲信号分离的基本方法 7 列满秩。换句话说，若混合矩阵a 是列亏损的，则只有部分源信号分量能够被提取1 8 】， 对于含噪声的盲信号分离模型，等价的混合矩阵a 必定是列亏损的。 由于模型( 2 2 ) 中的乘积因子a 都s ，未知，因此，若 ( 1 ) 同时交换源信号和混合矩阵相对应的列的位置； ( 2 ) 一个源信号分量和相应的混合矩阵a 的列之间互换一个固定的比例因子，则观 测信号完全相同，即 x ，= a s ，= a k k 一1 s ，( 2 - 5 ) 式中九= d p 。d 表示任意的非奇异对角矩阵，p 表示任意的交换矩阵。( 2 5 ) 式说明源 信号为s ，混合矩阵a 与源信号为b ，混合矩阵取a i 。1 所得的观测信号向量是完全相同 的。也就是说，源信号向量s ，各分量的排列顺序、符号和能量是无法精确辨识的，这 就是盲信号分离问题的固有的两种不确定性【9 l 复信号的排列顺序不确定性和幅度不确 定性。不失一般性，通常引入第四个假设 各个源信号分量具有单位方差。从而把源信号振幅的动态变化归并到混合矩阵 彳的相应列的元素中。 2 1 3 盲可辨识性1 6 3 4 1 由于信号传输( 即信道) 以及源信号知识的缺乏，盲信号分离存在两种不确定性： 分离后信号顺序排列和幅度的不确定性。盲信号分离的不确定性主要表现为混合矩阵 4 的非完全辨识。既然4 具有不确定性，所以不失一般性，假设假定源信号具有单 位方差，即把源信号振幅的动态变化归并到混合矩阵彳相应列的元素中。 归一化只是解决了混合矩阵4 各元素的幅度的不确定性，各列的排列顺序和初始 相位仍然保持不确定性。为了描述和解决混合矩阵彳的这些不确定性，c a r d o s o 等人【1 7 l 将两个矩阵的“本质相等”的概念引入到盲信号分离中。 定义2 1 ：两个矩阵肘和称为本质相等，并记作m 圭，若存在一矩阵g 使得 m 圭n g ，其中g 是一广义交换矩阵，并且其元素具有单位模。 盲信号分离的性能在很大程度上与信号的随机性质有关。这些性质由信号的高阶 统计量( 累积量) 决定。特别地，称为峰度的四阶累积量起着重要的作用。对信号分量 墨( ，) ，归一化峰度定义为【1 6 j ，c 【o ) 】= 黑一3 ( 2 - 6 ) 8 基于广义自相关的盲信号分离 对于高斯信号，其归一化峰度等于零。若，c 。h ( ，) 】 0 ，则称置( f ) 为超高斯信号： 若k 。【墨( ，) 】 0 为学习速率或学习步长参数，f ( y ，b ，) 是以y ，和b ，为自变量的矩阵函数， 在盲信号分离研究中，习惯称作估计函数( e s t i m a t i n gf u n c t i o n ) 。显然，在算法的平衡点 处，估计函数的数学期望值等于零矩阵，即 e f ( y ，b ，) = 0 ( 2 - 3 4 ) 从盲信号分离的半参数统计模型出发，证明了最优估计函数具有形式 f ( y ，b ，) = 【i 一( y ，) y j 】b ，( 2 3 5 ) 式中o ( y ，) = m ，) ，饥，) 】r 是一个非线性的列向量，其分量 识( 材) ：一p i ( 蕊u ) ( 2 3 6 ) b j 称为盲信号分离的分值函数( s c o r ef u n c t i o n ) ，而p ：( ) 表示概率密度函数b ( ) 的一阶倒 数。 最优估计函数取决于源信号的概率分布，但是在盲信号分离问题中，它总是未知 的。为此，通常用一个确定性的非线性函数或者含自适应参数的非线性函数替代原来 的分值函数，从而有下面的算法： b ，+ i = b ，+ 1 ， 1 - g ( y ，) y j 】b ， ( 2 3 7 ) 式中岛习惯称作盲信号分离的激励函数( a c t i v a t i o nf u n c t i o n ) 。 2 3 2 r l s 类自适应并行算法 分离矩阵b 的确定有两种方法。一种是直接法，它直接调整b 以实现信号的盲分 离；另一种是间接法：先求矩阵u ，用它对观测数据进行预白化，然后更新获得正交 矩阵，并作用于白化后的数据向量v ，= u x , 以提取源信号。盲信号分离算法的构造就 是选择合适的对比函数，然后采用某种优化算法来搜索对比函数的极值，以确定最优 的分离矩阵，实现盲信号分离。现有的盲信号分离算法大多数是l m s 型算法或r l s 型算法。现有算法中，b e l l 等人的信息最大化算法、a m a r i 等人的自然梯度算法，c a r d o s o 第二章盲信号分离的基本方法 1 7 等人的e a s i 算法都属于直接法，而k a r h u n e n 等人的非线性p c a 算法和r l s 型算法 则属于间接法。在间接法中，总的分离矩阵b = w u 。与l m s 型算法相比较，递归最 小二乘( r l s ) 型算法因为每次更新中使用了更多的样本，从而收敛更快。 p a j u n e n 和o j a 等人的非线性p c a 算法、朱孝龙等人的基于自然梯度的非线性p c a 算法和基于自然梯度的不需要预白化的非线性p c a 算法。记预白化算法的分离矩阵为 w ，不需要预白化分离矩阵为b ，预白化矩阵为u ，则它们之间有下面的关系： b = w u 。 首先我们介绍间接法的r l s 型算法，从对比函数出发，p e a 算法的非线性推广 可以实现盲信号分离，受此思想的启发，p a j t m e n 等人在y a n g 的投影逼近子空间追踪 ( p a s t ) 算法中引入非线性，提出了如下r l s 型盲信号分离算法： z | = g ( j ，1 ) = g ( 形一l 匕) = 一z r 肘f = 以( a + 考啊) 1 一 只= 纷f 只一l 一肼，群】 h i , = 形一l + 啊【矿一衫嵋一l 】 ( 2 3 8 ) 其中t r f t a 表示这样的一个算子，它只计算矩阵a 其自变量的上三角部分的元素， 然后将这些元素拷贝给下三角部分，从而使得a 是一个对称矩阵，v ，表示预白话的数 据向量，0 4 1 2 提取算法 最大化对比函数( 4 - 4 ) ，我们导出b s e 不动点算法。 盟鹄笋盟“2 y 炒) ) 2 砷)( 4 5 )aq、jj + ( y ( ，) ) 22 ( y ( t - f ) ) x ( f - f ) 根据k u l m t u c k e r 条件1 3 1 。我们注意到在稳定点的优化问题( 4 _ 4 ) ，v ( w ) 在w 处的梯 度一定指向w 的方向，即，梯度值等于w 乘以标量常数。当l i ，( w ) 在w 处的梯度不在 变换方向时，我们就可得到收敛。因此，我们可以使用不动点算法【1 4 , 1 5 1 优化对比函数 ( 4 - 4 ) 。这样我们就得到 w 4 - e 2 y ( t ) ( y ( t f ) ) 2x ( ，) + ( y ( f ) ) 22 ( y ( t f ) ) x ( f - f ) w w 卜丽 ( 4 - 6 ) 第四章带有时间结构特性信号的不动点算法 需要注意的是，不动点算法的收敛意味着w 赋值前后的方向相同【1 4 , 1 5 】。 4 1 3 并行算法 到这里，我们还只是每次估计出一个独立成分，这种算法也被称为“一元提取 算法。原理上我们可以利用不同的初始点选择，多次运行算法而找到更多的独立成分， 但这显然不是估计多个独立成分的可靠做法。并且因为“一元提取 算法在每一次投 影后，其误差都会累积到下一次的迭代中，这样致使计算越往后，误差越大。 为了改进其性能，我们对上述的不动点算法进行扩展，以估计更多的独立成分。 我们利用下面的特点：在白化空间中，各成分的独立性要求他们必须首先是不相关的， 在白化空间中因为有 z f w t x ) ( w , 7 x ) = w , r w ， 故不相关等价于正交。因此，要想估计多个独立成分，我们可以并行使用多个计 算单元，分别对应于w p w 。而为了避免不同向量收敛到同一个极值点，必须在每 次迭代后将w r w 。进行正交化。这就意味着向量w 。不是被一个接一个的估计出来， 而是并行的多个同时估计出来。这里的多个同时估计可以是两两并行的估计，也可以 是更多甚至是全部估计出来。 首先我们选择要估计的独立成分个数m 初始化所有的w ，汪1 9 t m 坍其中每一个w 。都具有单位范数。 对于每个，= i ，m ，更新w 。： w ，卜e 2 y ( t ) ( y ( t f ) ) 2x ( ，) + ( y ( ，) ) 22 ( y ( t o ) x ( t - r ) ) 对矩阵w = ( w w 册) r 进行对称正交化： w 和一，) ( v j 力是相互独立。那 么在约束i l w = 1 1 i ，混合矩阵v a 逆中的某些行使得i ，( w ) 取相应的局部最大值，只要相 应的源信号墨满足： e 2 ( ) 2 + 2 ( ) 2 + 8 薯一“) 2 ( 焉) 2 和鹤， ( v j d 是相互独立，向量x 为白化数据，有 戤妓7 = v a e i i r ) a 7 v 7 = i ( 4 - 9 ) 这就意味着矩阵v a 是正交阵，变换坐标p = 0 ；p 。) = a t v t w ，又有 l i ，( p ) = e ( p7 j ) 2 ( p r ) 2 ( 4 - 1 0 ) 利用墨的独立性，在点p - - e l ( e l = ( 1 ，0 ，0 ，) r ) 处计算梯度和h e s s i a n 矩阵。施加一个小 的扰动s = g l ，2 ) ，可以得到： v(e。+)=、i，(e。掣+尹l百02w(e)+。iiopo p z 。” = v ( e 1 ) + e 2 ( & ) 2 ( 毛，) 2 + 2 ( 而，) 2 ( 而) 2 ) s 1 + 导【e 2 ( 而) ，( 岛，) ：+ 2 ( _ ，) ，( 焉) z + 8 ( & ) ：( 置。) ： s ? ( 4 - 1 1 + 三善【e ) 2 + 2 ( 置) 2 + 8 ( ) 2 ( 嘴 + o q 郇) 由于存在约束0 w = 1 8 并且矩阵v a 是正交阵，有i i p n = i i a r v7 w l l - 。可得 8 。= 卜；一g ；- 1 。再由瓜= l 一1 口+ d ) ，g ? 的阶次为d 0 川2 ) 。即高阶项可 以忽略。使用前面所述。的一阶近似可得s 。= 一寄2 + d 邙s i l 2 ) 。最终得到： 叭e - 托) - 叭e - ) + 圭驴2 ( 2 + 2 ( 2 ) + s s j s , s , s , ，一2 ( 焉) 2 ( 焉，) 2 - 2 ( s ，) 2 ( 焉) 2 ) 弓+ d q 卅) 第四章带有时间结构特性信号的不动点算法 这就清楚的证明了p = e 。是一个极值点，而且是定理的条件所隐含的类型的极值点。 4 3 实验仿真 为了验证算法有效性，在本章的实验中，我们对算法进行数据仿真，首先使用4 个人工信号j ，各选取1 0 0 0 个数据点。 图4 1 四个人工源信号 如图4 1 所示，四个人工信号分别为 s i g n ( c o s ( 2 7 r 1 5 5 t 1 0 0 0 0 ) s i n ( 2 r r _ 8 0 0 it ll o o o o ) s i n ( 2 r r 3 0 0 t 10 0 0 0 + 6 c o s ( 2 z r 6 0 幸r lo o o o ) ) r ( ，) ，这里，( ，) 是为零均值单位方差的随机信号。 在仿真中，对这4 个信号组成的矩阵s 乘以随机生成的4 x 4 矩阵a 进行随机混合。 所得的混合信号见图4 2 。 基于广义自相关的盲信号分离 m i x t u r e l 现在我们对混合信号使用并行的不动点算法进行分离，在仿真运算中，我们首先 取f = 5 0 ( r 取值是由信号自相关和时间延时的函数得到的啦! ) 。 s e p a r a t i o n l 图4 31 0 0 0 个采样点，f = 5 0 时分离出的信号 第四章带有时间结构特性信号的不动点算法 3 1 图4 3 为f = 5 0 时分离出的信号。同时，为了体现通过时间延时计算自相关性的重要， 我们同样在f = 7 5 ，f = 1 0 0 进行信号分离并将分离出的信号进行比较。 卜 o o q 锄 c j l o 图4 41 0 0 0 个采样点，f = 5 0 ，7 5 ，1 0 0 时分离出的信号 图4 4 就为f = 5 0 ，7 5 ，1 0 0 时信号分离的结果，可以清晰的看到，在f = 5 0 ，也就是 自相关函数到达一个峰值的时候分离的信号效果最好。所以在使用本文的并行算法在 处理数据时，为了找到更精确的延时ff 2 4 j ，我们通常计算信号中延时f 的自相关函数 f ( p ) ：( p ) = e x j ( t ) x j ( t p ) ) ( ，= l 3 ) ，在自相关函数到达一个峰值1 2 5 的时候取 值。不同的延时f 会影响分离算法的效果。 因为不动点算法是一个批处理算法，在处理大量数据的时候，时间信号的自相关 性表现出来的效果要更好些。为了体现批处理算法的优势。我们选取较少的数据采样， 3 0 0 和5 0 0 个采样点与1 0 0 0 个采样点进行比较，如图4 5 和图4 6 。可以看出，选取 1 0 0 0 个采样点时的分离效果要好于其它采样点时的分离信号，其中3 0 0 个采样点是的 分离效果要更差一些。 图4 55 0 0 个采样点，f = 5 0 图4 63 0 0 个采样点，f = 5 0 3 2 基于广义自相关的盲信号分离 4 4 小结 对于带有时间结构源信号的盲提取问题。使用时间特性，我们设计了一种基于广 义自相关的不动点算法，并且改善了其单一的运算迭代，转为并行处理。从应用中我 们能看出，信号的提取还是对时间延时的估计取值十分敏感，并且提取时将索取延时 值的误差表现为信号中所含的噪声。但是并行算法减少了噪声误差的累积，效果要比 “一元提取 更好。而且，从我们设计的算法中可以看出，由于是从不动点算法改善 得到的并行算法，没有学习速率和适应参数的引入，使得本算法在实际应用中更加的 合理和简单。 结束语 3 3 结束语 本文中，我们讨论了采用时间相关性的独立成分分离，并给出了利用自相关性解 决此问题的具体方法。实际中，在很多情况下，数据完全没有时间结构，即x 是独立 同分布的随机过程而不是时间信号。这意味着样本的顺序是随意的，顺序本身没有特 殊意义。在这类情况下，只能采用基于高斯性原理的基本i c a 模型，而本文所讨论的 替代方法，只有在数据来自于具有时间结构的源时才有意义。 如果数据确实具有清晰的时间结构则通常意味着它们有非零的自相关函数，那 么就可以使用基于自相关性的方法。另一方面，即使在独立成分具有时间相关性时， 基本i c a 方法通常也能够获得很好的效果。基本i c a 方法没有利用时间结构并不意味 着它一定会被这种结构所影响，但这是基本i c a 方法，可能远非该问题的最优方法， 因为他没有利用到数据的完整结构。 而对于某些成分自相关特征相同的情况下，还可以采用基于非平稳性的方法，因 为该方法利用了时间结构，但又并不要求每个独立成分的时间结构不同。且非平稳性 本身就是采用某种互累积量来度量的。 独立成分分析作为解决盲信号分离问题的一个重要的分支，在最近几年已获得了 长足的发展，但是盲信号分离还有许多问题有待进一步研究和解决。尤其是需要发展 以下算法f 3 4 ： 能够在非平稳环境( 其性质未知) 下工作； 能够在奇异混合情况下工作： 能够在非线性混合情况下工作； 信号个数未知时能够工作； 信号个数动态变化时能够工作： 亚高斯和超高斯信号并存情况下能够有效工作的自适应算法； 独立分量分析的r l s 算法。 此外，模糊系统理论在盲信号分离中的应用可能也是一个有前途的研究方向。当 然在发展上述算法的过程中，学习算法的全局稳定性和收敛分析也需要同时考虑。 没有应用的土壤，任何一种新技术的发展都是极其有限的。和任何一种信号处理 和神经网络的新技术一样，盲信号分离的发展也离不开实际的应用。事实上，盲信号 分离已经获得了一些重要应用。例如，在通信眵7 】，【3 0 j ，语音信号处理【2 8 】 【2 们，包括e c g m e g 和e e g 在内的生物医学信号处理【2 6 1 ，监视【3 ，图像恢复吲中就有成功的应用。 致谢 致谢 值此论文完成之际，谨向冶继民教授致以衷心的感谢。本文是在冶老师的指导下 完成的。在我学习和形成论文期间，冶老师给予了我耐心细致的指导。在我的论文修 改直至定稿过程中，冶老师投入了大量的时间和精力。他对科学无止境的追求精神， 都给了我潜移默化的影响，并将成为我一生的宝贵财富。 感谢我的家人为我做的一切，这些是无法言及的。 感谢2 2 6 宿舍的张应辉，黄亚魁，李琦，愉快的研究生生活。 感谢西安电子科技大学理学院为我提供了良好而又宽松的学习环境。 感谢所有曾经帮助过我的老师，同学，亲人和朋友。 最后，衷心感谢在这里未能提及的所有曾经关心和支持我的人。 参考文献 3 7 参考文献 【l 】s i a m a r i ，a c i c h o c k i ，a n dh h y a n g an e wl e a r n i n ga l g o r i t h mf o rb l i n ds o u r o g s e p a r a t i o n na d v a n c e si nn e u r a li n f o r m a t i o np r o c e s s i n gs y s t e m s & p a g e s7 5 7 7 6 3 m i tp r e s s ，19 9 6 【2 】a h y v a r i n e na n de o j a af a s ta n dr o b u s tf i x e d p o na l g o r i t h m sf o ri n d e p e n d e n t c o m p o n e n ta n a l y s i s n e u r a lc o m p u t a t i o n ，9 ( 7 ) ：1 4 8 3 1 4 9 2 ，1 9 9 7 【3 】a h y v a r i n e n af a s ta n dr o b u s tf i x e d p o i n ta l g o r i t h m sf o ri n d e p e n d e n tc o m p o n e n t a n a l y s i s z 眦t r a m n e u r a ln e t w o r k s ，19 9 9 ，l0 ( 3 ) ：6 2 6 - 6 3 4 【4 】a h y v a r i n e n af a m i l yo ff i x e d - p o i n ta l g o r i t h m sf o ri n d e p e n d e n tc o m p o n e n ta n a l y s i s ： np r o c i e e ei n t c o 够o na c o u s t i c s , s p e e c ha n ds i g n a lp r o c e s s i n gv i i , p a g e s 38 8 3 9 7 ，a m e l i ai s l a n d ，f l o r i d a , 19 9 7 【5 】5z h a n gq ，l e u n gyw ac l a s so fl e a r n i n ga l g o r i t h m sf o rp r i n c i p a lc o m p o n e n ta n a l y s i s a n dm i n o rc o m p o n e n ta n a l y s i s 1 e e et r a n s n e u r a ln e t w o r k s ，2 0 0 0 ，11 ：2 0 0 - 2 0 4 。 【6 】凌燮亭，“近场宽带信号源的盲分离 电子学报，v 0 1 2 4 ，1 1 0 4 ，p p 8 7 9 2 ，1 9 9 6 【7 】7 c a r d o s ojf ，l a h e l db “e q u i v a r i a n ta d a p t i v es o u r o gs e p a r a t i o n i e e et r a n s s i g n a l p r o c e s s i n g , 19 9 6 ，4 4 ：3 0 17 3 0 2 9 【8 】c a ox 心l i ur w ag e n e r a la p p r o a c ht ob l i n ds o u r c es e p a r a t i o n i e e et r a m s i g n a l p r o c e s s i n g , 19 9 6 ，4 4 ：5 6 2 - 5 71 9 】c o m o npi n d e p e n d e n tc o m p o n e n ta n a l y s i s ，an e wc o n c e p t s i g n a lp r o c e s s i n g , 19 9 4 ，3 6 ： 2 8 7 31 4 【10 m o r e a ue ，a n dm o r e a un t ， n o n s y m m e t r i c a lc o n t r a s t sf o rs o u r c es e p a r a t i o n , ”i e e e t r a m s i g n a lp r o c e s s i n g , v o1 4 7 ，n o 8 ，p p 2 2 41 2 2 5 2 ，19 9 9 【l1 h y v a f i n e na ，k a r h u n e nj ，a n do j ae ，i n