（电路与系统专业论文）盲源分离算法研究[电路与系统专业优秀论文].pdf

南京邮电大学硕士研究生学位论文摘要 摘要 在多用户通信、天线阵列信号处理等诸多实际应用中，多个源信号在传输过程中因 传输信道间的耦合而发生混迭，故接收到的信号是已混合了的数据信号。由于各源信号 如何混合不得而知，因此为了恢复它们，就需要根据各源信号的一些统计特性从混合的 数据信号中将其分离出来。这样一个信号分离或恢复的过程就称为盲信号分离简称盲分 离。盲源分离由于其在信号处理方面的广泛应用，近年来得到了飞速的发展。本文主要 研究各种线性及非线性盲分离算法。 第一章概括介绍了盲源分离的产生背景以及其最新研究进展。第二章详细叙述了独 立分量分析的基本概念并且简单介绍了基于独立分量分析的一些经典的盲源分离算法， 即：相对梯度算法、快速i c a 算法、e a s i 算法。特别地，我们对于e a s i 算法作出了新 的推导。接着对三种经典算法就行了仿真试验并且在统一的规则下比较了各算法的性能。 第三章提出了一种新的基于反馈神经网络的线性盲源分离算法，即相似性学习算法。相 似性学习算法就是要计算输出信号的相似性。通过迭代算法计算修正目标矩阵c ，并计 算相似系数作为中止的标准。该算法可以很快地收敛到最佳值。实验证明该算法在源信 号恢复方面明显优于第二章中的各经典算法。第四章首先介绍了一些常见的用于解非线 性盲源分离的神经网络模型。接着详细叙述了本文的两个算法：基于多层感知器( m l p ) 的非线性盲源分离算法和基于径向基函数网络( i 也f ) 的非线性盲源分离算法。我们将 传统的感知器网络模型推广到l 层的，大大提高了算法的性能；对r b f 网络的各个参数 对算法的分离结果的影响都作出了仿真和讨论。并将r b f 算法与m l p 算法进行了性能 比较。仿真结果证明了本文提出的算法的有效性和鲁棒性。 关键词：盲源分离，独立分量分析，神经网络，径向基函数，多层感知器 南京邮电大学硕士研究生学位论文 摘要 a b s t r a c t i ns u c ha r e aa sm u l t i u s e rc o m m u n i c a t i o na n da n t e n n aa r r a ys i g n a lp r o c e s s i n ga n ds o o n ，m u l t i p l es o u r c es i g n a l sg e tm i x e dd u r i n gt h et r a n s m i s s i o nd u et ot h ec o u p l i n gb e t w e e nt h e c h a n n e l s ，u n f o r t u n e t l y , w ed o n tk n o wh o wt h e ya r em i x e d i no r d e rt or e c o v e rt h e mf r o mt h e m i x e ds i g n a l s ，w en e e ds o m es t a t i s t i c a lp r o p e r t i e so ft h es o t u c es i g n a l s ，w h i c hi sc a l l e d b s s ( b l i n ds o u r c es e p e r a t i o n ) b s sh a sm a d er a p i dd e v e l o p m e n ti nr e c e n ty e a r sd u et oi t s w i d er a n g eo fs i g n a l p r o c e s s i n ga p p l i c a t i o n s t h i sp a p e rf o c u s e so nv a r i o u sl i n e a r a n d n o n - l i n e a ra l g o r i t h e m so fb s s c h a p t e r1p r e s e n t sa no v e r v i e wo fb l i n ds o u r c es e p a r a t i o n ，a sw e l la st h eb a s i ct e n e t so f i t sl a t e s tr e s e a r c hp r o g r e s s t h es e c o n dc h a p t e rd e s c r i b e si nd e t a i lt h et h eb a s i cc o n c e p t so f i n d e p e n d e n tc o m p o n e n ta n a l y s i sa n dt h r e ec l a s s i cb l i n ds o u r c es e p a r a t i o na l g o r i t h m ：r e l a t i v e g r a d i e n ta l g o r i t h m ，f a s ti c aa l g o r i t h m ，a n de a s ia l g o r i t h m e s p e c i a l l y , w ed e d u c et h ee a s i a l g o r i t h mu s i n gad i f f e r e n tm e t h o df r o mt h ec o n v e n t i o n a lw a y a n df m a l l yw em a k ea c o m p a r i s i o na m o n gt h et h r e ec l a s s i ca l g o r i t h m sa b o u tt h e i rp e r f o r m a n c e t h et h i r dc h a p t e r p r o p o s e san e wl i n e a rb l i n ds o u r c es e p a r a t i o na l g o r i t h mb a s e do nf a d eb a c kn e u r a ln e t w o r k b a s e do nt h es i m i l a r i t yo ft h es i g n a l s ，t h e ya r ei t e r a t e df o rs o l v i n gs i m i l a r i t yc o e f f i c i n e n t t h e o b j e c tm a t r i xi sm o d i f i e dw i t l le a c hi t e r a t i o na n dt h es i m i l a r i t yi sc a l c u l a t e dt od e t e r m i n et h e c o r r e c t i o n ，w h i c hc a r lc o n v e r g et h ea c c u t a t es o l u t i o nv e r yq u i c k l y t h es i m u l a t i o nr e s u l t sp r o v e t h a tt h ea l g o r i t h mw ep r o p o s e dh a sa no b v i o u si m p r o v e m e n tc o m p a r e dw i t ht h eo t h e rt h r e e c l a s s i ca l g o r i t h mi np e r f o r m a n c e c h a p t e r4b e g i n sw i t hi n t r o d u c i n gt h en e u r a ln e t w o r k m o d e l s ，b a s e do nw h i c hw ep r o p o s et w on o n l i n e a rb b sa l g o r i t h m s ：t h em l pn e u r a ln e t w o r k b b sa n dt h er b fn e u r a ln e t w o r kb b s t h ec o n v e n t i o n a l p e r c e p t r o nn e t w o r km o d e li s e x t e n d e dt oll a y e r s ，w h i c hm a k e sg r e a te f f o r ti na l g o r i t h mp e r f o r m a n c e ；t h ee f f e c to ft h e p a r a m e t e r so ft h er b fn e t w o r ka r es i m u l a t e da n dc o n c l u t i o n sa r et h e nm a d e f i n a l l y , w em a k e ac o m p a r i s i o nb e t w e e nt h et w oa l g o r i t h m sr e f e r e da b o v e s i m u l a t i o nr e s u l t ss h o wt h e e f f e c t i v e n e s sa n dr o b u s t n e s so ft h ea l g o r i t h m sp r o p o s e di nt h i sp a p e r k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n , i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ，n e u r a l n e t w o r k ，r a d i a lb a s i sf u n c t i o n ( r b f ) ，m u l t i l a y e rp e r c e p t r o n ( m l p ) i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名： 导师签名： 日期： 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 近几年，盲源分离( b l i n ds o u r c es e p a r a t i o nb s s ) 已经成为信号处理领域一个引人注目的 热点问题。因为在信号处理领域经常碰到一系列信号源的线性或非线性混合。比如语音识 别( s p e e c hr e c o g n i t i o n ) ，在实验室的环境下，般的识别准确率在9 5 以上，但在实际环 境中性能急剧下降，这是由于存在其它声源的干扰，如果我们在识别以前，把人的纯净语 音能分离出来，则一定会提高系统的性能。目前对盲源分离的研究主要是基于高等统计和 信息论的基础。本文重点落在基于独立分量分析( i c a ) 的线性盲源分离算法以及基于神 经网络的线性及非线性盲源分离算法的研究。 1 1 盲源分离的产生及背景 在多用户通信、天线阵列信号处理等诸多实际应用中，多个源信号在传输过程中因传 输信道间的耦合而发生混迭，故接收到的信号是已混合了的数据信号。由于各源信号如何 混合不得而知，因此为了恢复它们，就需要根据各源信号的一些统计特性从混合的数据信 号中将其分离出来。这样一个信号分离或恢复的过程就称为盲信号分离简称盲分离。即在 不知源信号和传输通道的参数的情况下，根据输入源信号的统计特性，仅由观测信号恢复 出源信号各个独立成分的过程。这一过程又称为独立分量分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i si c a ) 。 上个世纪8 0 年代末以来，如何对天线阵列或者传感器接收的混合信号实现盲分离，一 直是信号处理领域的难点和热点，有不少学者虽提出过各种方法试图解决这个问题，但分 离效果都不理想。盲信号研究工作的实质性进展是从l i n s k e r t l 】发表的论文( 1 9 8 9 ) 和j u t t e n 与h e r a u l t 2 】提出创造性的h - j 递归神经元网络( 1 9 9 1 ) 开始的，用h - j j 网络解决了两个线性 混合源信号的盲分离问题。他们提出了一种类神经盲源分离方法。该方法基于反馈神经 网络，通过选取奇次的非线性函数构成h e b b t l l l 练，从而达到盲源分离的目的。该方法不 能完成多于两个混迭源信号的分离，非线性函数的选取具有随意性，并且缺乏理论解释。 随后在1 9 9 4 年，c o m m o n 3 】提出了著名的基于最小互信息的独立分量分析方法，系统地分 析了瞬时混迭信号盲源分离问题，并明确了独立分量分析的概念。利用可以测度源信号统 计独立性的k u l l b a k l e i b l e r 准则作为对比函数( c o n t r a s tf u n c t i o n ) ，通过对概率密度函数的 高阶近似，得出用于测度信号各分量统计独立的对比函数，并由此给出类基于特征分解 的独立分量分析方法。1 9 9 5 年b e l l 和s e j n o w s l ( i f 4 】提出了基于l i n s k e r 的信息最大化准则 l 南京邮电大学硕士研究生学位论文 第一章绪论 ( i n f o m a x ) 韵最大熵法，他们基于信息理论，通过最大化输出非线性节点的熵，得出一种最 大信息传输的准则函数并由此导出一种自适应盲源分离和盲反卷积方法( i n f o m a x ) ，当该 方法中非线性函数的选取逼近源信号的概率分布时可以较好恢复出源信号。该算法只能用 于源信号峭度( k u r t o s i s ) 大于某一值的信号的盲分离，所以它对分离线性混迭的语音信号非 常有效；a m 撕【5 1 ( 1 9 9 8 ) 和c a r d o s o t r 1 ( 1 9 9 6 ) 简化了信息最大化学习规则并且提出了自然 梯度的概念。他们基于信息理论中概率密度的g r a m c h a r l i e r 展开利用最小互信息 ( m i n i m u mm u t u a li n f o r m a t i o nm m i ) 准则函数，得出一类前馈网络的训练算法，可以有效分 离具有负峭度的源信号，算法具有等变( e q u i v a r i a n t ) 特性，即不受混迭矩阵的影响。 h ) ，v a r i n e n 【7 】基于源信号非高斯性测度( 或峭度) ，给出一类定点训练算法( f i x e dp o i n t ) ，该类 算法可以提取单个具有正或负峭度的源信号。该类准则函数和算法与g i r o l 锄i 和f y f e 【8 】的外 推投影追踪( e x p l o r a t o r yp r o j e c t i o np u r s u i te p p ) 算法具有相似性。他们的工作极大地推动了 盲信号分离的研究。在以后的几年内大量的盲分离有效算法不断被提出，使盲分离理论在 应用中得到很大推广。例如，在多用户通信、声纳、阵列及通讯信号处理，在地球物理学， 在多传感器监测的生物电信号，以及在图像处理、生物医学工程中，盲信号分离技术都得 到了广泛应用。 1 2 盲源分离的最新进展 最近人们已经开始研究存在噪声的混迭和非线性混迭信号的盲分离问题。非线性盲分 离比线性情况的分离难度更大。较早涉及的非线性混迭信号盲分离的是b u r e l i ”，他用一个 两层感知器和基于误差后向传输思想的无监督训练算法通过梯度下降算法优化统计独立 的测度函数，得到一种盲分离算法，可以用于非线性混迭信号的盲分离。1 9 9 6 年p 撇【l 0 】 提出一类前向信息保持非线性结构映射网络，通过最小化输出互信息，减小输出各个分量 间的剩余度，从而可以得到非线性独立成分。a a j u n e n ，h y v a r i n e nk 砒u n e n i 】用自组织映 射( s e l fo r g a n i z a t i o nm a ps c m ) 网络从非线性混迭信号中恢复源信号，该算法可以不考虑 非线性混迭的形式，但其网络复杂性呈指数增长且在分离连续源时存在严重的插值误差。 y a n g 和a m a r i 【1 2 】利用两层感知器网络结构，通过最大熵和最小互信息作为测度独立的代价 函数，提出了信息后向传输的训练方法。当合理选择非线性函数时该算法可以分离出一些 特定非线性混迭的源信号。i a k b 和j u t t e n l 3 1 提出了一种非线性混迭信号盲分离算法，可以 对被称为后非线性混迭的信号进行盲分离。 由于存在噪声的分离是困难的，以上方法都没考虑噪声影响。有人把带噪声混迭看作 2 南京邮电大学硕士研究生学位论文 第一章绪论 一种非线性，所以现有的一些带噪声混迭信号盲分离方法都是利用非线性方法。m o u l i n e s 和c a r d o s o 【1 4 】利用逼近最大似然方法进行带噪声混迭信号的盲分离和盲反卷积，其中用于处 理不完全数据的期望最大化( e x p e c t a t i o nm a x i m i z i n ge m ) 方法作为主要数学工具； h y v a r i n e n ”】指出，在混迭过程中存在噪声意味着观测数据和源信号的关系存在非线性，他 们用了独立成分和混迭矩阵的联合最大似然估计方法。 在盲源分离理论上的研究已经取得一定进展之后，人们开始研究盲源分离方法的实际 应用。l e e 和b e l l 1 6 】将基于信息最大传输或最大似然算法得出的盲源分离训练算法进行盲反 卷积，并用于真实记录的语音信号分离。实验证明分离后的语音识别率得到提高。k a r h u n e n 和h y v a r i n e n 1 7 】等将神经网络盲分离算法用于提取图像的特征和分离医学脑电信号。 m a k e i g ，j u n g 署 l l b e l l 【1 8 j 等用盲源分离方法将从脑电( e l e c t r o e nc e p h a l o g r a p g i ce e g ) 信号中 记录的事件相关的相应数据分解为与传感器数量相等的成分，同组的m c k c o w n 【1 9 】等还将 i c a 用于分析核磁共振成像数据集。s a h l i n 和b r o m a j l 【2 0 1 在移动通信的手机中增加一个麦克 风，用信号分离算法来改善通信中信号传输前的信噪比。 国内近期关于盲信号处理理论和应用技术的研究几乎是与国际上同步进行的。凌燮亭 【2 1 】和何振亚【2 3 2 6 1 在国内较早地注意了盲信号处理研究。凌燮亭2 2 1 利用反馈式神经网络根据 h e b b i a n 的学习算法，实现了近场情况下一般信号的盲分离，并对算法的渐近收敛性和实现 信号分离状态的稳定性进行了讨论。何振) 亚1 2 3 - 2 6 1 在基于特征分析和高阶谱的盲源分离和盲 反卷积方法研究中，提出了一系列新的基于高阶统计和信息理论的判据和算法。在盲系 统参数估计和盲波束形成等方面的也取得许多很好的研究成果。最近胡光锐【2 7 】也开始了盲 语音分离问题的研究，并提出了基于高斯混合模型概率密度估计的语音分离方法。 尽管盲分离技术经过近十年的发展已经建立了较完善的理论体系，但关于盲分离问题 仍存在着一些较困难的问题： ( 1 ) 抗噪能力较强的盲分离算法。虽然出现了一些关于高斯噪声下盲分离算法的研究， 但在实际问题中，各种噪声可能是非高斯的，非平稳的，而且强度很大，这时现存的盲分 离算法大都没有能力解决。强噪声下信号的分离问题从信号处理的角度看，从强背景噪声 中提取有用信息的问题也是信号处理中有待解决的难题。 ( 2 ) 可以在实际场合中应用的盲分离模型算法的研究。目前的盲解卷积及非线性盲分离 问题都建立在一些简单的模型基础之上，一旦模型与实际不相符盲处理就会失败。所以对 盲分离在实际中的模型的建立、理论分析都存在许多可以探索的地方。 ( 3 ) 单通道盲分离算法也是近年来研究的重点，对这方面的研究将大大促进盲分离在信 南京邮电大学硕士研究生学位论文第一章绪论 号处理领域的应用。 ( 4 ) 盲分离技术在信号信息处理领域中应用研究。将盲分离理论与特征提取方法结合起 来，是盲分离中一个崭新的研究热点。 1 3 本文主要工作与内容 本文的主要工作是研究线性及非线性盲源分离算法。对于线性部分，我们主要采用的 是独立分量分析( i c a ) 方法，外加一个反馈神经网络的线性分离方法：至于非线性部分， 主要采用的是神经网络的分离方法。本文的主要内容与章节安排如下： 第一章概要介绍了盲源分离的产生背景及其最新研究进展： 第二章详细地介绍了线性盲源分离的基本原理，独立分量分析的基本概念，基于独立 分量分析( i c a ) 的盲源分离算法准则以及一般的分离步骤，最后介绍了三个经典的基于 独立分量分析的盲源分离搜索算法，特别的是，我们对于传统的e a s i 算法另辟蹊径地提出 了它的推导过程。最后对三种算法的分离效果以及算法性能及各参数的影响都进行了计算 机仿真，并对仿真结果进行了讨论和解释。 第三章提出了一种新的基于反馈神经网络的线性盲源分离算法。该算法不同于传统的 a n t i h e b b i a n 学习算法，提出了所谓的“相关性学习算法。对算法进行了推导、证明。 仿真结果证明了该算法的有效性。在统一的规则下，将该算法与传统的i c a 经典算法进行 了性能比较，结果显示本文的算法在分离效果、运行速度等方面具有明显的优势。 第四章着重研究了基于神经网络的非线性盲源分离算法，即基于多层感知器( m l p ) 和基于径向基函数( r b f ) 神经网络的非线性盲源分离算法。我们将传统的感知器网络模 型推广到l 层的，这大大提高了算法的分离性能。并从原理上分析了其中的原因。对r b f 网络的各个参数对算法的分离结果的影响都作出了仿真和讨论。最后还将以上的两种算法 在统一规则下进行了性能比较，对比较结果从网络结构、算法原理各方面做出了合理的解 释。 4 南京邮电大学硕士研究生学位论文第二章线性肓源分离的理论 第二章线性盲源分离的理论 自1 9 9 0 年以来，盲分离技术就已成为信号处理学界和神经网络学界共同感兴趣的研究 热点。盲信号处理技术主要可以分为：线性盲源分离、盲解卷积、非线性盲分离、盲辨识、 盲均衡及盲波束形成等几个方面。其中，线性盲源分离是其它几种技术的基础。 由于盲信号分离的工作经常涉及到随机变量的统计分析基础、高阶统计特性分析、信 息论基础等。这些内容是盲信号分离技术的基础，也是必要的工具。因此本章首先就这些 内容作一个简单的介绍。本章还将阐述盲源分离的准则，预处理，搜索算法等，扼要的介 绍几种常用的盲信号分离算法。 2 1 线性盲源分离的基本原理 线性混合的盲分离问题可以用以下方程来描述： 彳( f ) = a s ( o + n o ) ( 2 - 1 ) z ( f ) = k ，x 2 ，】r 为实际观测到的m 维数据向量，s ( ，) = h ，是，r 为n 维源信号向 量，a 为掰n 维矩阵称为混合矩阵，一般情况下假设m 玎，n 为加性噪声。由于有噪声 存在使得盲分离实现起来比较困难，所以一般情况下不考虑噪声的影响，这时盲分离问题 可重新表述为： x ( t ) = a s ( t ) ( 2 - 2 ) 盲分离问题的实质就是：在源信号s ( t ) 和混合矩阵彳都为未知的情况下，根据已知的 观测数据向量x ( f ) ，利用源信号的统计特性确定一分离矩阵彬，以实现从多通道观测信号 中分离出相互独立的源信号。即： 】，( ，) = w x ( t )( 2 3 ) 这里v ( t ) 就是源信号的近似估计，盲分离的整个过程如图2 1 所示： 图2 1 盲分离过程 5 南京邮电大学硕士研究生学位论文第二章线性盲源分离的理论 若仔细考虑盲分离问题，会发现盲分离的解存在不定因素，其中两个主要的问题是： 1 混合后的信号是否能分离? 若严格按盲分离的定义，在系统未知、输入未知，仅知系 统输出的条件下是不可能解决盲信号分离问题的。因为我们不知道源信号经混合后是 否能分开。即使找到一种矿得到结果数据l ，( ，) ，却没有任何依据说明源信号的确被分 离了。因此在现存的盲分离方法中需要一个合理的假设：各个源信号是相互统计独立 的。有定理证明在此条件下线性混合可以分离。 2 即使信号可以分离，分离出的信号是否对应于源信号? 一个简单的原因是许多不同的 两个量相乘都会得到同一个量。分离出的r ( t ) 可能在源信号的次序以及尺度上有所改 变。因此对源信号可设其均值为o 、方差为l 或设混合矩阵的对角线元素为1 。 综上所述对盲分离问题一般有如下假设： 1 源信号西，之间互相统计独立； 2 源信号是均值为零的平稳随机过程，且至多有一个服从高斯分布； 3 混合矩阵以。打为列满秩矩阵即翮尼( 4 ，| 。) = 刀； 这些假设对盲问题来说还是比较合理的。有了以上假设，我们就可以进行盲信号分离。 不过需要再一次指出的是由于盲分离缺乏必要的信息是很难完全恢复出源信号的，一般的 盲分离恢复的信号】，( ，) = w x ( t ) 与源信号s ( ，) 还存在着尺度和排列次序的不一致，即： j ，( f ) = w x ( t ) = w a s ( t ) = p d s ( t )( 2 - 4 ) 这里p 为一置换阵，它的每一行和每- - n 都有且只有一个值l 。由矩阵理论可知，左乘一个 置换阵相当于置换s ( t ) 的分量，从而使得恢复信号】，( ，) 与源信号在次序上有区别。d 为一 对角阵，它的对角元素的尺度差异使得r ( t ) 与s ( t ) 在尺度上也可能不同。不过通常情况下， 信号仅在尺度和次序上的不同并不影响我们对源信号的认识。因此，在不考虑尺度和次序 上的不同的意义下，称盲分离成功地恢复了源信号。本文的所有研究都是建立在以上假设 和讨论的基础上的。 盲分离算法的核心问题是如何求解分离矩阵形，现存的盲分离算法大多是基于某种准 则逐步迭代得到w ： w ( t + 1 ) = 形( ，) + r g ( x ( t ) ，形)( 2 - 5 ) 对盲分离而言，一个最基本的分离准则是，由此分离出的信号y 的各分量信号之间应 6 南京邮电大学硕士研究生学位论文 第二章线性盲源分离的理论 该统计独立。那么如何来度量输出信号问的统计独立呢? 根据统计估计理论，当信号m ( f ) ， y 2 ( t ) 满足以下的条件之一时，可认为它们是完全统计独立的。 1 信号的联合概率密度函数等于各自边缘概率密度函数的乘积； 2 信号间所有的互相关累积量为0 ； 3 对任意一对非零的连续函数厂，g 信号间都满足关系： e ( y ) g ( y 7 ) = e ( 少) e g ( y 7 1 ) ( 2 - 6 ) 若已经定义准则函数q ( w ，y ) ，则此准则函数满足当调整形使目标函数达到最小值时， 所得矩阵w 为分离矩阵。一般的盲分离算法步骤如下： 1 选择初始分离矩阵w ，一般的令w = i ： 2 计算y ( f ) = w x ( t ) 和估计的目标函数g ( x ( f ) ，) 对形的偏导数 g ( x ( f ) ，r v ) = 一了o q ( w , y ) ( 2 - 7 ) 其中常见的g ( x ( ，) ，) 有 g ( x ，b ) = ( ，一( y ) g ( y 7 ) ) b ( 2 - 8 ) g ( x ，b ) = i 一r y r - ( 少) y 7 + y ( y ) 7 ) b ( 2 - 9 ) 3 迭代分离矩阵b b ( t + 1 ) = b ( t ) + r l g ( x ，b )( 2 1 0 ) 4 判断目标函数是否达到了控制范围内或两次迭代误差是否小于设定的值，若没有，则返 回步骤2 。 在实现具体的盲分离算法时，一般针对上述几项中的某一两项或它们的变形来构成算 法。因此引用不同的准则会形成不同的算法和实现结构。 本章将已有的一些准则，搜索算法进行总结性叙述，在此之前先对一些基本概念进行 介绍。 2 2 盲源分离的基本知识 2 2 1 独立性、相关性与非高斯性 i c a 的目标是通过寻找合适的线性变换】，( f ) = w x ( t ) ，来得到一组相互独立的随机变 7 南京邮电大学硕士研究生学位论文 第二章线性盲源分离的理论 量，从而使得如果源信号s ( t ) 之间是相互独立的，那么y ( t ) 是s ( t ) 的估计。因此在独立分 量分析中，一个重要的概念就是统计独立性。简单来讲，任意给出两个不同的随机变量x 、 少，如果从已知的j ，中得不到x 的任何信息，反之亦然。那么我们称随机变量x 和y 是相互 独立的。例如，从两个不同的物理过程中产生的随机信号就是互相独立的。 从数学的角度，统计独立的概念是用随机变量的概率密度函数来定义的。 定义2 1 随机变量x 和y 是统计独立的，当且仅当它们的联合概率密度可以分解为边 缘概率密度的乘积，即： n ，( x ，y ) = p ，( x ) p y ( y ) ( 2 - 11 ) 独立的随机变量满足这样一个性质，即如果随机变量x 和y 之间相互独立，则对任意 两个绝对可积的函数g ( x ) 和h ( y ) 满足： e g ( z ) j l z ( y ) ) = e g ( x ) ) e 厅( 少) ( 2 12 ) 与独立相似的另一概念是不相关，其定义为： 定义2 2 假设随机变量x 和y 是统计不相关的，则它们的协方差为零，即： e x ，y ) 一e 工) e y = 0( 2 - 1 3 ) 很显然，不相关是一个比独立“弱 的概念，也就是说，如果随机变量之间是独立的， 那他们之间一定不相关。相反，随机变量之间不相关，并不意味着独立。 “非高斯性意味着独立 2 8 1 ，这个结论的统计理论基础是中心极限定理【2 9 1 。根据中心 极限定理，结合i c a 问题，可以直观的得到这样一个结论，即混合信号的概率密度函数比 任何一个源信号的概率密度函数更接近( 或同样接近) 高斯分布【3 0 】，也就是说最大化信号的 非高斯性和独立性是一致的。当源信号被假设为相互独立并且不具有时间结构时，经常采 用高阶统计量作为独立性、非高斯性的度量。在这种情况下，源信号中最多只能有一个高 斯信号。既然非高斯性可以作为独立性的度量，那么我们必须有度量信号非高斯性的标准， 主要有峭度和熵。 2 2 2 信息论、统计理论中的基本概念 ( 1 ) 峭度 i c a 中经常使用的用于度量信号非高斯性的一个高阶统计量峭度( k u r t o s i s ) 。随机 变量x 的峭度定义为： 8 南京邮电大学硕士研究生学位论文 第二章线性盲源分离的理论 j g = 西l ( x )船l ( x ) o x ,o x ( x ) 挑 式中盔( x ) 是向量函数g ( x ) 的第i 个分量。 变量y 的熵可以表示为： 日( j ，) = 一e l o gp y ( y ) ) 阮( x ) 阮 e i 。g p y ( y ) ) = e i 。g p a g - l ( y ) ) i d e t g ( g - l ( 埘1 ) = e l 。g 见( x ) l d e t 以( x ) | - 1 ) = e l o gp a x ) - e o o g d e tj g ( x ) l 由上式可得随机变量x 和y 熵之间的关系： ( 2 - 2 0 ) ( 2 - 2 1 ) ( 2 - 2 2 ) h ( j ，) = 日( x ) + e l o gl d e tj g ( z ) l ( 2 - 2 3 ) 负熵：负熵也是度量非高斯性的一个重要指标，负熵j 的定义如下： j ( x ) = 何( 脚) 一h ( x ) ( 2 - 2 4 ) 式中x 一是一个高斯随机矢量，和x 具有相同的均值和协方差矩阵。一的熵可以经过 下式估算： ( k ) = 1 。g d e t e i + 三【1 + l 0 9 2 万1 ( 2 - 2 5 ) 式中n 是向量x 的维数。负熵j 总是非负的，也可以用来作为随机变量独立性的度量。对于线 性正交变换y = w x ， ( y ) = j ( w x ) = 吉l 。g i r l e t ( r v 形7 ) | + 詈【l + l 0 9 2 n 一( h ( x ) + l 。g i 矿1 ) = 导l 。g l d e t i + 号【1 + l 。9 2 万卜h ( x ) 一l o g l d e t w i ( 2 - 2 6 ) = h ( 。) 一日( x ) = ，o ) 因此，和微熵相比较，负熵具有在线性正交变换下的尺度不变性。在实际中，负熵常用以 下近似计算方式： 1 0 南京邮电大学硕士研究生学位论文 第二章线性盲源分离的理论 ) 西1 琢3 ) 2 + 去m ( 力2 ( 2 - 2 7 ) 其中，假设随机变量x 均值为0 ，方差为1 。 ( 3 ) 互信息 互信息是衡量信号之间独立性的另一个重要指标 1 】，随机向量x = ( 而，屯，) 各分 量之间的互信息l 可以定义为： ，( 西，恐，毛) = 日( 墨) 一日( x ) ( 2 - 2 8 ) 其中x = ( 鼍，而，) r 为分离信号向量。互信息总是非负的，当且仅当随机变量x 的各个分 量相互独立时互信息为0 。互信息是对全部信号的整体独立性的度量，是比相关性更高级 的度量。 互信：息和负熵之间的关系，可以描述如下。假设有可逆的线性变换y = w x ，并且限 定m 是不相关的单位方差随机变量，则2 硼： ，( m ，y 2 ，儿) = c - i ，“) ( 2 2 9 ) f = i 其中c 是跟w 无关的常数。 ( 4 ) 最大似然估计 最大似然估计也是独立分量分析中常用的一个重要方法。根据i c a 模型 x ( t ) = a s ( t ) ；b 。1 s ( t ) ，可以得到x ( t ) 的似然概率密度： p x ( x ) = l d e t b l p s ( s ) - - i d e t l n 仍( 墨) ( 2 3 0 ) j 由于丸( x ) 是b 的函数，可以将其表示为丸( x ，功。其自然对数用，( x ，回表示，称为随机 向量x 的似然值，即： i ( x ，b ) = t n b , ( x ，8 ) + l n a ( 薯) ( 2 3 1 ) 如果能求得一个台，使得，( x ，b ) 对于x 的集合平均值达到最大，则台即是所需的解， 这称为最大似然原理。因此，可以把t ( x ，b ) 的集合平均值定义为i c a 的目标函数，记为： ( b ) = e ，( z ，丑) ) = i p x ( x ) i n 以( x ，a ) d x ( 2 3 2 ) x 若有台使l ( b ) 最大，则能得到i c a 的解。 南京邮电大学硕士研究生学位论文第二章线性盲源分离的理论 2 3 基于i c a 的盲源分离算法准则 独立分量分析( i c a ) 是盲信号处理的重要组成部分，通常提出以分离矩阵w 为因变量的 对比函数缈( y ；形) ( 用来进行优化的准则函数) ，对比函数值的大小表示了输出y ( t ) 各分量 之间的相互独立程度，通过梯度法等方法迭代更新分离阵w 使对比函数的值达到最优，进 而输出y ( t ) 的各分量达到尽可能相互独立。和其它无监督学习的优化算法一样，独立分量 分析也需要对准则函数进行优化计算，在独立分量分析中“对比函数就是其准则函数。 对比函数的定义为：对比函数是一个将向量y ( t ) 的概率密度分布集合映射为一实值函 数的算子，- i a ：为杪( ，) ，并且满, 黾p 2 t 条件： a ) 如果y ( t ) 的各分量排列顺序改变而( 】，( r ) ) 的值不变，即吵( 】，( f ) ) = ( 尸】厂( r ) ) p ，p 为一个交换矩阵； b ) 如果y ( t ) 各分量的幅值改变而( 】，( r ) ) 的值不变，即沙( 】，( f ) ) = 沙( d 】，( f ) ) ，d 为 一实对角阵； c ) 如果y ( t ) 有独立分量，则沙( 彳】，( f ) ) 吵( 】，( ，) ) 。 对比函数实际上是随机变量概率密度函数的泛函，只有当随机变量相互独立时，对比 函数才能达到最大值或最小值。在独立分量分析中，选择不同的对比函数就得到不同的算 法。常用的盲分离准则有：最大似然估计准则，信息最大化准则，最小互信息准则、最大 熵准则等。 2 3 1 最大似然估计准则 盲分离的目标是寻找混合矩阵彳的逆矩阵b = a 。假设原始信号相互统计独立且其 p d f 已知，即p ( j ) = h 见( 墨) ，可以得到观测信号x 的联合p d f i = l p ( x ) ： d e ta p ( s ) = l d e tb i p ( s ) ：l d e tb f 卉b ( q ) ( 2 - 3 3 ) i = l 定义p ( x ) 的对数运算为向量x 的似然( l i k l i h o o d ) p d f 值，则 i n p ( x ) = h ：l l d e t b + n ( 岛) ( 2 3 4 ) 1 2 南京邮电人学硕士研究生学位论文第二章线性盲源分离的理论 最大似然原理( m a x i m u ml i k e l i h o o d ) 指出，如果矩阵b 的取值能够使l n p ( x ) 的集合平均 值达到最大，则输出信号将达到最大的统计独立性，此时的矩阵b 就是期望的分离矩阵。 因此用l np ( x ) 的样本的集合平均值表示盲分离的期望目标，得到最大似然目标函数如下： k ( b ) = 言h ( x ( f ) ，b ) ( 2 - 3 5 ) 上t = l 或k ( b ) = 专m p ( 以( ，) ) + 叫d e t b i ( 2 - 3 6 ) 工t = l 其中t 为样本数目。 根据以上分析，最大似然评估的目的是寻找分离矩阵b ，使得目标函数式( 2 3 5 ) 或( 2 3 6 ) 达到最大值，从而使输出信号获得最大的统计独立性。计算最大似然目标函数需要知道原 始信号的p d f 值，如果对原始信号的先验知识不够充分，实现起来比较困难，通常可以通过 预先假设和在线学习等方法加以确定。 2 3 2 信息最大化准则 信息理论的一个重要概念是熵，关于熵和负熵的定义我们前面已经有过详细的叙述。 对于一个随机变量y ，其熵为： 日( y ) = 一i p ( y ) i n p ( y ) d y ( 2 - 3 7 ) 高斯分布变量在所有相同方差的变量中具有的熵最大，这说明高斯分布变量包含的不确定 信息量最大。对于一些p d f 分布比较集中( 如在某一区间内均匀分布) 的变量，其包含的 熵较小。为了将高斯变量和其他变量进行比较，定义负熵概念如下： j ( y ) = 日( 。) 一h ( y ) ( 2 - 3 8 ) 其中。是和变量y 相同方差的高斯变量。只有变量y 为高斯变量时其负熵为零，否则负 熵的值总大于零，变量越远离高斯分布，其负熵值越大。负熵的一个重要性质是，对于任 何可逆线性变换，其负熵值保持不变。 对多维随机向量】，= 【m ，y 2 ，此】7 ，其联合微分熵定义为 h ( y ) = e 一i np ( y ) 】= 一j p ( r ) m p ( r ) d r( 2 3 9 ) 如果向量】，的各个分量相互统计独立，则其联合微分熵等于各分量微分熵的和，即 南京邮电大学硕士研究生学位论文 第二章线性盲源分离的理论 h ( 】，) = e ( m ) ( 2 - 4 0 ) 根据以上性质，负熵也可以作为盲信号分离的评价准则，当输出信号的统计独立性越 大时，它们的负熵和越大。基于负熵的信息最大化目标函数定义为： l n ( b ) = 以( m ) ( 2 4 1 ) i = 1 式中j a y , ) 为单个分离信号的负熵。满足l h ( b ) 最大化的矩阵b 就是期望的分离矩阵。 与最大似然估计相似，计算负熵也需要利用信号的p d f 分布，计算量大，实际应用受到 限制。为简化计算，h y v a r i n e n i 5 3 提出一种近似负熵计算方法 ( j ，) ：圭t e 【g j ( y ) 卜e 【g i ( v ) 】 z 2 - 4 2 ) t = l 式中t