（信号与信息处理专业论文）独立分量分析及其在阵列信号处理中的应用.pdf

塑! ! ：；：。：。 摘要 独立分量分析是一种从多维统计数据中寻找独立分量的方法，这种方法与 其它方法相比较，其特点是所寻找的分量间满足独立非高斯性。独立分量分析 只利用观测数据，在源信号和混合信道未知的情况下来提取独立分量。本文将 从独立分量分析的学习算法和应用两方面进行研究，主要工作概括如下； l 本文从独立分量分析的定义和假设条件出发，分析了独立分量分析的一 些基本准则和常用方法；白化处理以及独立分量分析中信号的分类方 法；利用非线性函数完成独立性分析的条件；给出了独立分量分车厅算法 性能评价指标方法；将独立分量分析与主分量分析进行了比较。 2 在独立分量分析的理论研究框架下，研究了最优估计函数形式，获得了 一种对得分函数进行估计的独立分量分析研究方法；本文通过利用混合 高斯模型，给出了估计概率密度函数的e m 算法在此基础上利用高斯 混合模型法获得了对分离矩阵的梯度学习算法。为了提高算法的稳定度 和精确度，给出了一种迭代概率密度估计的独立分量分析学习算法。这 种块处理方法可实现超、亚高斯混合信源的情况，同时在仿真实验过程 中，研究了学习速率对学习算法的影响。 3 对于复值信号基于频率域的分析优于时域分析法，因为频率域分析能够 提供更准确的信息。针对复值信号的独立分量分析问题，本文通过广 义e h a 准则和快速复值定点算法的研究，给出了一种改进的广义e h a 准 则算法，分析结果表明，这种算法可以实现对独立复值信号的分离。 4 研究了独立矢量基特性在阵列信号处理中的应用。独立分量分析方法针 对统计独立信源的混合情况，在学习过程中所获得的分离矩阵提供了一 组投影基矢量，具有相应的投影独立性。在此基础上，本文定义了独立 矢量基并利用独立矢量基的投影关系，对阵列中常见的d o a 问题进行 了研究，获得了对阵列信号的方位角估计。同时研究了白化过程所具有 的自适应波束形成器特性。 西安电子科技大学博士学位论文 i i 摘要 关键词：独立分量分析，盲信源分离，主分量分析，非线性主分量分析，自 然梯度，串音误差，高斯混合模型，e m 算法，白化，超贬高斯信号，得分函 数，导向矢量，波达方向 ：= _ 雷达信号处理i 点实验室 一 a bs t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i sam e t h o df o rf i n d i n gu n d e r l y i n g c o m p o n e n t sf r o mm u l t i v a r i a t e ( m u l t i d i m e n s i o n a l ) s t a t i s t i c a ld a t a ，w h a td i s t i n g u i s h e s1 c a f r o mo t h e rm e t h o d si st h a ti tl o o k sf o rc o m p o n e n t st h a ta r eb o t h s t a t i s t i c a l l yi n d e p e n d e n ta n dn o n g a u s s i a n ，t h ea i mo fi c ai s t oe x t r a c ti n d e p e n d e n tc o m p o n e n t sg i v e no n l yo b s e r v e dd a t a t h a ta r em i x t u r e so ft h eu n k n o w n s o u r c e sw i t h o u ta n yk n o w l e d g eo ft h em i x e dc h a n n e l t h i sd i s s e r t a t i o na i m sa t t h e s t u d y o ft h et h e o r i e sa n d a p p l i c a t i o n s i c a t h em a i nw o r kc a nb es u m m a r i z e d a sf o l l o w s ： 1 t h i sd i s s e r t a t i o nr e v i e w sb r i e f l yt h ep r i n c i p l e sa n dt h em e t h o d si nt h ei c a t h ep r e w h i t e n i n ga n dt h ec l a s s i f yo fs i g n a l si sp r e s e n t e d t h ec o n d i t i o n s o fn o n l i n e a rf u n c t i o ni ni c aa r ed i s c u s s e d ，a n dt h ei c ai sc o m p a r e dw i t h p c a 2 b a s e do nt h eo p t i m a le s t i m a t i o nf u n c t i o n ，am e t h o df o re s t i m a t i o no ft h e s c o r ef u n c t i o ni s d e v e l o p e d b yu s i n gt h eg a u s s i a nm i x t u r em o d e l ，a n e m a l g o r i t h mf o ra p p r o x i m a t i n gt h ep r o b a b i l i t yd e n s i t yo ft h ed a t ai sp r e s e n t e d ，a n das t o c h a s t i cg r a d i e n tm e t h o di sg i v e nt os e p a r a t et h ei n d e p e n ， d e n tc o m p o n e n t s t oi m p r o v e dt h ea c c u r a c ya n d s t a b i l i t yo ft h ea l g o r i t h m ， a ni t e r a t i v em e t h o df o re s t i m a t i n gt h ep d fo fd a t ai sp r e s e n t e d ，w h i c hc a r l p e r f o r mt h es e p a r a t i o no fm i x e ds u b g a u s s i a na n ds u p e r g a u s s i a ns o u r c e s t h e o p t i m a ll e a r n i n gr a t ep r o b l e mi ss t u d i e d ，a n dt h ep e r f o r m a n c eo ft h e m e t h o di ss h o w n b yc o m p u t e rs i m u l a t i o n s 3f o rs e p a r a t i o no fc o m p l e xv a l u e ds i g n a l s j f r e q u e n c yd o m a i ni nl p l e m e n t a - t i o n si sb e t t e rt h a nt i m ed o m a i n i m p l e m e n t a t i o n s b ys t u d y i n gt h eh e b b i a n l e a r n i n ga n dt h ef a s tf i x e d p o i n ta l g o r i t h m ，ai m p r o v e de h ai so b t a i n e d t h es i m u l a t i o n ss h o wt h ee f f e c t i v e n e s so ft h i sm e t h o d 4 - t h e a p p l i c a t i o no ft h ei n d e p e n d e n tb a s e si na r r a ys i g n a lp r o c e s s i n gi ss t u d l e d ，t h ei n d e p e n d e n tb a s e sa r ed e f i n e df o ri c a u s i n gt h ei n d e p e n d e n t 西安电子科技夫攀博士单位论文 b a s e si ni c a ，t h ed o a s i g n a l s c a nb ee s t i m a t e d t h e nt h ep r o p e r t y 。f t h ep r e w h i t e n i n ga sas e l f - o r g a n i z i n gb e a m f o r m e r i sd i 8 c “8 8 8 d k e y w o r d s ：j n d e p e n d e n t c o m p o n e n ta n a l y s i s ( i c a ) ，b l i n d s o u r c es e p a r a t i o n ( b s s ) p r i n c i p l ec 。m p o n e n ta n a l y s i s ( p c a ) ，n o n l i n e a rp c a ，n a t u r a l g r a d i e n t ，c r o s s - t a l k , g a u s s i a nm i x e dm o d e l ，e ma l g o r i t h m ，p r e w h i t e n i n g ，s u b 一s u p g a u s s i a ns i g n a l ， s c o r ef u n c t i o n ，s t e e r i n gv e c t o r ，d i r e c t i o n o fa r r i v a l ( d o a ) 一_1+一 雷达信号处理 点实验室 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中特别加以标注和致谢中所罗列的内容外，论文中不 包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本文研 究所做的任何贡献均己在论文中做了明确的说明并表示了谢意。 。1 ， 本人签名：二尘垃与乙日期：童墅k 兰丛一 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文( 保密的论 文在解密后遵守此规定) 。 本人签名 导师签名： 婢 强墨连 日期： z d 口4 f d ，工 日期：趔生! ：苎f 一一 苎= 兰兰兰一： 第一章绪论 在信号处理的众多领域里，一个常见的问题就是如何能够在某个坐标系下 合适地表示多维随机变量? 针对这个问题进行了许多相应的研究，提出很多方 法旧4 6 ，7 0 ，3 ，其中一种较新的方法是独立分量分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ：i c a ) 方法。独立分量分析方法是通过定义针对多维数据的广义模 型，解决当线性或非线性混台系统未知的情况下，对假设为非高斯的、独立的 隐变量( 也称为是独立分量或独立信源) 进行分析、提取的问题。独立分量分 析理论的研究，尤其在1 9 9 4 年c o m o n 所作的开创性工作【3 2 l 发表以来，许多研究 团体相继在针对这种方法的理论研究和实际应用上进行了大量的、深入的研究 工作卜5 ，1 5 - 1 8 ，2 0 ，7 l ，7 4 ，8 u 。 1 i 独立分量分析的研究历史与现状 独立分量分析方法最早是在神经网络模型基础上提出来的【5 8 】，可以看 作是主分量分析和因子分析方法的进一步发展，但又有很大的区别；同 时独立分量分析方法也可以看作是一种用于处理盲源分离( b l i n ds o u r c e s e p a r a t i o n ：b s s 的技术。盲源分离是通过研究观测信号，将一组经过线性混 合的独立信源分离出来的问题。在h e r a u l t 和j u t t e n ( 7 1 , 7 4 l 提出一种反馈神经网 络模型和种基于h e b b 学习规则的学习算法后，许多学者开始了这方面的研 究。1 9 9 4 年，c o m o n 3 2 | 开创性地建立了独立分量分析的理论框架。他阐述了 独立分量分析的定义，提出了对比函数( c o n s t r a s tf u n c t i o n ) 的概念，进行独 立分量分析模型的可辨识性研究，指出必须借助高阶统计量的使用，才可能实 现独立分量的盲分离。并且利用互信息对高阶统计量进行了近似展开，使用 最小互信息准则实现了对信号的独立分量分析。n a d a l 和p a r g a i t 0 2 1 在低噪情况 下，通过最大化网络输出和输入的互信息，可以实现输出分布的因子化，即联 合概率密度函数可以分解成为边缘概率密度函数。b e l l 等人在此基础上导出 了随机梯度学习准则，给盲源分离问题建立了一个基于信息论的框架，给出 了i n f o m a x 算法，但收敛性和稳定性有待提高。c a r d o s o 等人也在等变化特性的 条件下提出了个相似的自适应方法【2 0 】。a m a r i 等人f 1 - 4 提出自然梯度算法，并 从黎曼几何的角度阐明了这类算法的有效工作原理。自然梯度算法由于消除了 矩阵求逆所带来的问题，因而使得许多算法对实际信号进行处理成为可能。 西安电子科技大掌博士掌位论文 !：三二! 竺兰：一 = = = # = ；= = = = = = ! = = = = = ；! = = ! = = = ；= = = ! = = = z = = = = = = = = = 5 一一 独立分量分析方法由于能够在一些传统方法完全失效的情况下，获得原始 信源或隐变量的某些特性，使得独立分量分析能够有可能在许多领域得到应 用。典型应用如混合语音分离问题即鸡尾酒会( c o c k t a i lp a r t y ) 问题，通过多 传感器收集的医学信号特征化问题，环境预测问题等等。所以从九十年代起国 际上许多学者投身于这一问题的研究，并且发表了大量的关于独立分量分析 的文章。p h a m 等人帆3 ) 利用最大似然估计( m a x i m u ml i k e i h o o de s t i m a t i o n ： m l e ) 方法对独立分量分析进行了研究。c a r d o s o 等人 2 2 , 9 2 证明了这种最大 似然方法与i n f o m a x 方法是等价的。对p c a 算法进行非线性改造，k a r h u n e n 等 人利用非线性p c a 算法进行独立分量分析。h y v g r i n e n 干l j 用牛顿法近似获得 了一种串行定点算法，具有二次收敛特性阮6 3 】。 独立分量分析的许多算法在提出的初期，都是只能针对某类信号进行 分析，如初期的i n f o m a x 算法只能够对超高斯信号进行盲分离，因此在原有 的基础上也发展了一些新的技术。l e e 等人f 8 2 j 发展了i n f o m a x 算法，使其能 够处理超、亚高斯共存的信号。g i r o l a m i 等人1 48 1 利用负熵也实现了超、亚高 斯信号的分离。c a r d o s o 等人【2 0 1 对超、亚高斯混合的情况进行了局部稳定性 分析。c a r d o s o 又利用代数方法，利用高阶累积张量导出了联合对角化算法 ( j o i n ta p p r o x i m a t ed i a g o n a l i z a t i o no fe i g e n m a t r i c e s ：j a d e ) f l q 。 随着研究的深入，各种相关的理论也被提了出来，如a m a r i 等人的半参数 化统计理论，m o r e a u 等人的对比函数理论1 9 a , 9 9 1 c a r d o s o 等人的局部稳定性 理论【2 3 j ，h y v i i r i n e n 等人提出的稳定条件理论等等。这些理论促进了各种算 法的发展，突破了只能针对某种类型的信号进行分析的局限，超、亚高斯信号 共存情况下的独立分量分析问题得到了一定程度的解决阢3 0 3 8 ，5 1 ，5 7 ，s 2 1 ，同时对 卷积混合情况的研究也取得了相当大的进步 3 3 , 3 5 , 6 0 , 6 8 , 9 7 i ，病态情况下的i c a 研 究【8 4 , 8 6 - 8 8 】也渐渐开始引起了学者的注意。 独立分量分析研究范围的扩大，给其应用方面提供了理论保证和技术要 求。针对实际中常出现的非平稳情况，m a t s u o k a 等人f 9 6 】利用联合对角化方法， 给出了一种非平稳源的盲分离算法，p a r r a 等人l ，1 0 u ， 也给出了有关这方面在 自然信号隋况下的分析研究结果。在非线性混合模型下的独立分量分析多使 用神经网络系统，利用多重感知器的无导师学习方法，立 1 p a j u n e n 等人的自组 织映射网络1 1 0 。】从非线性混合信号中获得源信号，但网络结构复杂，误差严 重。基于最大熵和最小互信息测度函数，y a n g 等人f 1 4 2 】提出了一种后向传输算 儡这1 t 争处理r 点实验室 第一章绪论 3 - = 一= = = = = = = # = = = ；4 = 2 = = 8 = = 2 = = = = ；= ；= 一 法，但这种算法对激励函数和源信号特性都有较为苛刻的要求，算法实用性 差。h y v a r i n e n 等人【6 7 】对非线性盲分离问题解的存在性和难一性进行了讨论， 但其只是给出了最简单情况下的结论，只是初期研究成果。 从研究的方向上来看，最近关于独立分量分析的研究已经走向实际条 件下的具体算法研究。由于在时域模型中，信号的利用率较低，因此关于 复值信号的独立分量分析也被学者所关注。为了更好的利用数据的时空特 性，b i n g h a m ，f r o r i ，s a r u w a t a r i ，s i m o n e ，h y v i i r i n e n 等学者相继对复值信号 的独立分量分析进行了研究 1 7 , 4 5 , 6 t 1 2 2 , “”，各自提出了适合对独立复值信号进 行提取的代价函数，并且给出了定条件下的性能分析。复值变量独立分量分 析的研究同时也促使了其应用，在文献f 9 j 中，结合阵列处理的一些技术，可以 对两路声音信号进行分离，同时由于使用了些阵列处理技术，在一定情况 下，这种复值处理技术，可以消除在独立分量分析方法中在时域处理时的固有 模糊问题，即信号位置和信号幅度问题。但是关于复值信号的分析存在着较大 难度，这类算法的适普性较差，往往只能对某一类复值信号进行分析提取。同 时由于这个方向的研究又具有很好的实用背景和研究价值，因此近年来也得到 了学者的关注。 在国内也有一些学者从事独立分量分析的理论和应用技术的研究。何振亚 等a f 5 引5 6 提出了基于高阶统计量和信息论的测定算法，用于解决盲系统参数 估计和盲波束形成问题。冯大政等人【1 5 1 j 通对系统的阶段化，提出在色噪声背 景下的多阶段盲分量算法。刘琚和何振亚f 1 5 5 】，张贤达教授和保铮院士 1 删从不 同方面对盲分离的技术和发展方向进行了综述，张贤达教授和保铮院士【t a ，】还 在其专著通信信号处理中对盲分离进行了更为详尽的介绍。这些工作带动 了国内对独立分量分析和盲信号处理的研究，并且通过一些团体的研究也获得 了一些研究成果。 独立分量分析是一种较新的技术和方法，其应用前景比较，“泛，除了以上 提到的应用方向外，在图像或图形特征分析中，在自然声音特征分析中，由于 其非线性学习和非商斯化特性，使其能够获得更加丰富的信息【1 6 i 。 这里我们给出些主要进行b b s 研究的国际学者和研究团体，以及一些程 序代码的互联网址： h t t p ：w w w b s p b r a i nr i k e ni o j p i c a l a b h t t p ：w w w c n l s a l e d u 一t e w o n i c a c o d e 酉毒电子辑技大掌博士掌位论文 !兰= 兰竺兰 h t t p ：w w w 1 i s i n p g f r d e m o s s e p s o u r c 1 c a d e m o h g p ：w w wc l s h u t f i p r o j e c t s i c a h t t p ：w w w i s l a b b r a i n r i k e n g o j p 一s h i r o h t t p ：w w w c i s h u t f i p r o j e c t s i c a f a s t i c a h t t p ：w w w c i s h u t f i p r o j e c t s i c a h t t p ：w w w i s l a b b r a i n r i k e n g o j p s h i r o h t t p ：w w w c n ls m k ，e d u t o n y i c a h t m l 1 2 本论文的研究工作 独立分量分析做为一种越来越得到重视的新研究领域，其研究所覆盖的范 围也越来越大，也越来越向实用化领域发展。本论文主要针对独立分量分析的 算法及应用出发，对其进行了研究。各章的具体内容安排如下： 第二章主要介绍了独立分量分析的一些基础知识。给出独立分量分析的定 义和假设条件；分析了独立分量分析的一些基本准则和常用方法；白化处理以 及独立分量分析中信号的分类方法；利用非线性函数完成独立性分析的条件； 给出了独立分量分析算法性能评价指标方法；将独立分量分析与主分量分析进 行了比较。 第三章在独立分量分析的理论研究框架下，研究了最优估计函数形式，获 得了可利用对得分函数进行估计的独立分量分析研究方法：本章中通过利用混 合高斯模型，给出了估计概率密度函数的e m 算法，在此基础上利用高斯混合 模型法获得了对分离矩阵的梯度学习算法；为了提高算法的稳定度和精确度， 给出了一种迭代概率密度估计的独立分量分析学习算法，这种块处理方法可实 现超、亚高斯混合信源的情况：同时在仿真实验过程中，研究了学习速率对学 习算法的影响。 第四章为复值信号的独立分量分析，对复值信号频率域的研究要比时域的 研究更优越，更能够提供准确的信息。本章通过广义e h a 准则和快速复值定点 算法的研究，给出了种改进的广义e h a 准则算法，分析结果表明，这种算法 可以实现对独立复值信号的分离。 第五章研究了独立矢量基特性在阵列信号处理中的应用。独立分量分析方 雷遗1 t 号处理e 点实验室 第一章绪论 5 法能够分析是具有统计意义的相互独立的信源混合情况，其进行学习过程中所 获得的分离矩阵，也就是一组投影基矢量，具有相应的投影独立性，因此本章 中，我们首先定义了独立矢量基，利用独立矢量基这种投影关系，对阵列中常 见的d o a 闯题进行了研究，获得了对阵列信号的方位角估计。同时研究了白化 过程所具有的自适应波束形成器特性。 = = ：= 一 西安电子科技大批博士学位论文 第二章独立分量分析的羲本理论 7 = ：一= = ! = ! e = = ；= ；= ! 口= = = = = = = = = ! = ! ! 一 第二章独立分量分析的基本理论 独立分量分析( i c a ) 做为在多维随机变量中寻找统计独立分量的一种方 法。这种方法具有自己独特的条件和要求，在本章，我们将介绍独立分量分析 的概念，估计准则和应用等。 2 1 引言 根据所研究的问题，寻找对数据进行合适的表示方法一直是各方面学者研 究的问题之一。当八十年代根据统计独立性要求，首次提出盲源分离的问题 后，就吸引了许多学者的关注。近二十年来，发表了大量的关于独立分蕈分析 的学术论文【1 - 5 ，i s , 1 8 , 2 0 , 3 2 , 7 1 , 7 4 , 8 1 】。无论从理论研究，还是实际应用，独立分量 分析正在成为人们关注的焦点。 独立分量分析的目的是为了寻找一组线性非正交坐标系，将多维观测数据 通过这个线性非正交变换，获得近可能的满足统计独立关系的一组变量。独立 分量分析与盲源分离的关系非常密切，盲源分离中“源”是原始信源，也就是独 立分量；而“盲”代表了源的先验知识非常少，混合系统也是未知的。而独立分 量分析作为统计方法可以完成盲源分离，但也可以在其他环境中得到应用。 独立分量分析可以看作是主分量分析方法的发展，但与主分量分析相比， 独立分量分析不仅对信号进行了去相关( 对二阶统计量而言) ，而且降低了分 量间高阶统计量的依赖程度。因此，独立分量分析可以更加准确地描述多维数 据的统计特性。 目前所提出的各种独立分量分析方法结合了许多研究领域的成果，如统计 学、信号处理、神经网络和信息论等，从而使得独立分量分析方法可以在信源 分离、医学、特征提取、无线通讯、数据预测和图像处理等领域具有广泛应用 的前景。 2 2 1 定义和信号模型 2 2 独立分量分析 a 独立分量分析定义 简单地讲，独立分量分析是利用多维数据的二阶和高阶统计量，确定一组 一一 西安屯子科技大攀博士尝位论文 8 ：i f ； - j l e 独立分量分析的蕃本理论 非正交坐标系，通过这个坐标系的投影，获得原始多维数据中在统计意义上相 互独立的另组数据的方法。从统计学的角度给出一种定义为： 定5 2 1独立分量分析( i c a ) 是一种从输入z 到输出y 的映射y = f ( 。) ，使其输出分量的联合概率密度函数p ( y ) = e ( v 1 ) 一，y ) 尽可能地可 分，当输出各分量完全独立时，有 p ( ) = p ( g ) - - p ( y n )( 2 ，1 ) 如果输入向量茁为联合高斯分布，输入输出为线性映射，则相应的线 性i c a 等效于求非奇异矩阵f = m ，使输出协方差阵q 。对角化： y = m x q = m q 。m t = d( 22 ) 印。为输入协方差阵，d 为非负对角阵。如果m 为旋转算子时，线性高 斯i c a 就与p c a 相一致了。 bi c a 信号模型 i c a 的基本模型表达形式非常简单，用矢量和矩阵可表示为 z = a s ( 2 3 ) 式中z 2 陋，z 。，z v t 是n 维观测矢量，s = h ，s 。，s m7 t 是m 维独立 分量矢量，a = 【8 z ，幻，a 肘】为n m 的混合矩阵。在这种表达形式中没有 时间因素，只考虑了随机变量形式，因此这种模型又称为瞬时混合模型。在本 节中，这个基本模型没有考虑噪声的影响。 为了下面的讨论方便，式( 2 3 ) 可以表示成矢量形式 t 、 z 。乙c $ i 8 i( 2 a ) t = 1 式中a 。为混合矩阵的列矢量。 从定义和模型可以看出独立分量分析有两个主要特性： 1 变量s ( 也称为源或隐变量) 是不可知的： 一 雷达信争_ 赴理t 点实验室 ：兰星坠丝塑翌兰竺塑垒竺三 = = 2 = ! = = = = = ! = = = = ；= = = = = = ! ! = ! ! = ! 自= = ；= ，2 5 4 。一一一 2 这里所进行的分离是在统计意义上独立的。 独立分量分析就是仅仅利用源的独立特性，寻找一个分离矩阵w ，使其 网络输出y = 茁满足独立特性，在盲源分离中同时也要求尽可能与源信号 相同。 2 2 2 基本假设与不确定性 如果没有一些假设条件的限制，模型( 2 3 ) 将无法直接进行处理。因此 在独立分量分析中，对这个模型有以下一些基本假设条件： 1 信号分量在统计意义上独立： 这是独立分量分析的核心假设。称一组随机变量y - ，。，y 。统计独立， 是指其联合概率密度函数( p r o b a b i l i t yd e n s i t yf u n c t i o n ：p d f ) 可以分 解成为各分量的边缘概率密度函数之积，即为 p ( y l ，y 2 ，骱) = p l ( 玑) p 2 ( 2 ) p 。( 鼽) = 1 1 p ，( 玑) ( 2 5 ) t = l 2 信号分量应具有非高斯性或最多只能有一个高斯性分量； 由于服从高斯分布的随机变量其线性混合依然是高斯分布，其高阶统计 量又为零，所以在没有其他先验知识可以利用的条件下，独立分量分析 无法实现多个平稳高斯源信号的盲分离。 3 混合矩阵列满秩。 本文要求混合数据维数大于或等于独立分量个数，保证所有的独立分量 有可能都被提取。关于列亏损的问题本文不考虑，有相关文献进行了讨 论s 6 8 8 f 。 有了以上的假设，将保证独立分量具有可分性，但是我们也容易看到，在 独立分量分析的模型表达式( 2 4 ) 中仍然存在着一些固有的不确定性。 1 能量不确定性： 因为混合矩阵和独立分量都未知，如果对它们同时只进行一一个尺度变 化，即 $ = ( 熹) ( 叩；) ， ( 26 ) t 一 一 面蕞? ，子科技大掌博士掌位论文 1 0 一一一 苎三! 兰垒兰苎竺丝竺兰查苎兰 一 = = o = = # = = = ! i = = = = ! ! ! = ! ! = = = = = = = = ；= = = = = = ；一 将不会改变独立分量的形式，这里口；是尺度因子。因此，我们在傲独立 分量分析时常常进行输出能量归一，至于分量的符号，一般来说不是问 题的关键，它的不确定性往往不再考虑。 2 独立分量顺序的不确定性。 如果p 为广义置换矩阵1 ，式( 2 3 ) 可以表示为= a p p s ，这样我们 就会将p s 认为是独立分量，将a p 。认为是未知的混合矩阵。 念。 为了描述不确定性问题，c a r d o s o 等人( 2 0 | 引入了“矩阵本质相等”的概 定义2 2 两个矩阵m ，n 称为本质相等( e s s e n t i a l l ye q u a l ) ，若存在一 个其元素具有单位模的广义交换矩阵g ，使得a 彳= g 因此在独立分量分析方法中，信号服从以上的假设条件，并且分量具有单 位功率，在矩阵本质相等的情况下，所获得的是统计独立的无序分量。从信号 分离的角度出发，以上两种不确定性是允许的。通常在独立分量分析方法中， 先将信号分量能量归一化，对于分离的效果通过一些性能指标( 见2 6 节) 来衡 量。 2 3 独立分量分析方法中常用的准则和方法 上节的假设条件，保证了独立分量分析方法的可实现性，具体的实现办法 还要在一定的准则下进行。本节将对几种常用的准则和方法进行简单叙述。由 于在独立分量分析研究中大量的使用了有关信息论的知识，首先我们给出一些 信息论的知识。 2 3 1 信息论基础 这里给出信息论中关键的几个定义和性质。 熵是衡量随机变量不确定性的一种测度。离散随机变量z 的熵日 1 一个方阵称为置换矩阵，若它的每一行和每一，1 有且仪有一个元素为1 若其每行和每列 有且仅有一个非零元素删称为广义置换矩阵1 1 4 6 。遗信号赴理t 点实骑室 第二章独立分量分析的基本理论 1 1 为【3 4 1 ： ( z ) 一p ( x ) l o g p ( z ) ( 27 ) 这里的p ( x ) 是其概率函数。熵具有以下的性质： 1 1 4 ( ) = 0 ，当且仅当变量某一部分的概率为1 ，另部分为零时，这是熵 的最小值； 2 日( z ) = l o g ( k ) ，当且仅当变量服从u k 的均匀分布时，此时熵取最 大： 3 熵在可逆变换下不变。 连续随彩【变量z 的差分熵h ( z ) 为【3 4 】 广 日( z ) = 一p ( 。) l o g p ( x ) d x( 2 8 ) 负熵，扛) 为f 3 4 】 j ( x ) = 日( 嚣9 ) 一日( 茁) ，( 2 9 ) 其中茁，是与z 具有同均值，同方差的服从高斯分布的随机变量。，( z ) 0 ， 等号成立当且仅当z 服从高斯分布。 设随机变量、y 的联合概率密度函数为p ( z ，可) ，对z 的条件概率密度 函数为p ( y l x ) ，则。、的联合熵 a 4 1 日( 刚) = 一p ( 剐) l o g ( p ( 剐) )( 2 1 0 ) 条件熵为【3 4 j ( j z ) = 一p ( 列) 】o g 扫( 弘( 2 】1 ) m 个随机变量的互信息【3 4 】为 i ( y ，y 2 ，胁) = h ( y i ) 一日( 掣)( 2 1 2 ) 互信息的特点是其值非负，只有当各随机变量相豆独立时等于零。 互信息和熵之间关系为【3 4 1 ( 以两个随机变量为例) 1 ，( z ，y ) = 日( z ) 一h ( z i y ) 2 ，( z ，y ) = 日( y ) 一h ( y x ) 3 ，y ) = h ( x ) + h ( y ) 一日，y ) 一一 酋赛电子抖拉大掌博士学位论文 1 2 一 ：! 呈兰苎兰塑丝兰塑! ! 苎竺一 = 口= = ；= = = ! = ! = ! ! o = = = = = = = = = = = i _ = = ! = = = = 5 5 2 2 5 。一一 sz 混合分离 矩阵矩阵 aw 2 3 2 常用准则 图2 1 独立分量分析方法的网络原理图 芎= g 心) 1 信息最大、互信息最小化准则 1 9 9 4 年n a d a l 等人 1 0 2 j 在低噪的情况下，发现通过最大化神经网络输入z 、 输出可互信息，可以实现输出分布的可分性。b e l l 等将最大输出联合 熵转化为最小化输出分量之间的互信息，利用前向网络推导出一种简单 的学习算法实现独立信源的线性混合问题。 图2 1 表示了独立分量分析的神经网络实现原理图，网络的输出是弘= 毋( 地) ，这里吼是个可逆的单调非线性函数，让= i 矿。那么输出的 联合熵为 h ( y l ，一一- ，可) = h 0 1 ) + + h ( y n ) 一，扫1 ，- ，y n )( 2 1 3 ) 由于统计独立等效于z ( y 一，y ”) = 0 ，这意味着输出各分量间的互信 息最小时，可以将输出冗余降到最低。这一结果可以通过两种方法实 现，就是最大化边缘熵和最小化互信息。 b e l l f l 剐指出，当非线性函数具有真实信源的累积密度函数形式时，最大化 联合熵相当于最小化互信息( 因为互信息大于等于零) 。但当这个条件 不满足时，最太化联合熵往往在互信息大子零时取得。 如果使用k l 散度2 来衡量互信息，也可以得到这样的结果：互信息具有 2 k - l 散度( k u l l b a c k l e i b l e rd i v e r g e n c e ) ：两个n 维随机变量z 管的概率密度函数分别 为p ( 。) 和f ( v ) 时，它们之间的k l 散度为 川=娥)log甓西(z14)kl(x，) = 卜( ) 筝罴出 儡迭信号处理1 c 点实验室 非负性，并且当且仅当变量之问是相互独立时为零。因此，利用互信息 也是衡量随机变- 蜃之间相关程度的一种尺度，劳且它考虑了变量之间所 有的相关结构i 6 6 ) 。 2 非高斯性最大化准则 根据中心极限准则可以得到在一定条件下独立分量和的分布趋向于高 斯分布。如果我们根据数据模型式( 2 3 ) ，对一个独立分量的估计用线性 组合表示为= b r z = 。6 。鼢，那么我们可以得到关系式 ：6 7 z ：b 7 a s ：h r s ：f 风乱，( 2 1 5 ) i 这里护为矿a ，上标r 为转置。但是，由于a 是未知的，不可能准确 获得矢量b ，使其等于a ，1 的某一行，而获得一个独立分量。然而，我 们并不需要知道b 或h 的值，因为通过判断b t x 的分布，当其达到最大 非商斯性时，即可获得某一独立分量( 严格成立的条件是变量具有同分 布) 。 在这个准则下，i c a 估计其实就是寻找最大非高斯性的方向，每一个方向 给出一个独立分量，必须注意由于符号的不确定性，对于礼维变量将会 有2 ，1 个局部极大点。 2 3 3 典型方法 通过以上的准贝l j ，在解决独立分量分析问题时，学者们提出了许多有效的 实现方法，常使用的典型方法列举如f ： 1 i n f o i t l a x 算法 i n f o m a x 学习准则是b e l l 和s e j n o w s k i 于1 9 9 5 年提出的| 1 5 】。利用了个简单 前向网络借助非线性激励函数实现z 到y = 9 ) 的投影，如图2l 所示。 网络输出的联合熵为h ( y ) = 口) + + h ( y n ) 一，( 可) ，根据信息最 大化原理，输出熵最大等同于互信息最小，利用梯度下降法求解分量矩 阵w 。，通过一系列近似计算和推导，可以得到学习准则为 a w 。( ( w 7 ) 一1 一妒( u ) z r ，( 2 1 6 ) 西安电子科技大掌博士掌位论文 1 4 一 竺三兰竺兰兰兰兰竺竺兰兰登竺 ：一 ! = ! = = = = = = = = = = ；= = ；= = ! = ；2 = = ；一 一 这里妒( ) 是得分函数( s c o r e f u n c t i o n ) 【2 3 1 ，其定义为 出争了d l o g p ( a ) = 一志型d a ( 2 1 7 ) 通常通过选择得分妒( a ) 来间接指定源的概率密度函数p ( 岛) t 在i n f o m a x 就使用了s i g m o i d 型的得分函数。 2 最大似然方法 假设源s 的分量s ：的概率密度函数为p ( s ，) ，那么数据( t ) ，t = 1 ，2 ，丁的似然函数l 为 ， 丁 n l = l 。g i d e t w j + 享l 。g p ( w 舻j ( ) ) ( 2 1 8 ) 一t = ln = l j 利用梯度下降寻找1 矿的最大似然估计，则 丽0 l o g l = ( w 丁) e g ( w z 矿 ， ( 2 1 9 ) 这里g ( y ) = ( 鼠( 玑) ) 是得分函数。m l 估计采用瞬时算法时为 a w o ( ( w t ) 一一g ( w 。e ) m 丁( 22 0 ) 3 自然梯度方法 在以上算法中由于要进行矩阵求逆的运算，往往降低了计算结果的精 确性。代价函数的梯度在e u c l i d e a n 正交坐标系下是最陡下降方向，但 参数空间不一定是e u c l i d e a n 空间。为此a m a r i 利用参数空间的r i e m a n n 结 构，改进了随机梯度算法，提出了在这种空间下的最陡下降方向，即 自然梯度方法附”q 。具体方法比较简单，就是对学习算法式( 21 9 ) 或 式( 2 2 0 ) 右边右乘w t w ，得到 a w o ( 【j e 9 ( y ) y t ) 】w( 2 2 1 ) 这种方法由于计算简单，减少了矩阵求逆的运算，可以提高算法精度 因此在独立分量分析的各种算法中怨到了广泛使用。 4 定点( f i x e dp o i n t ) 算法 曩遮信号赴理t 点实验室 一垒! 坚丝墅塑竺塑墨兰尘 = = = = = g = = = = = = = = = = = = = = = ! = ! ! 目= = = # = = = ；2 2 2 5 4 。一一一 h y v i r i n e n 从熵最优化方法推导出一种定点算法【6 1 ，6 2 ，6 6 1 ，这种算法收敛呈 二次方关系，速度很快。 由于互信息可以用负熵表示为 啦) _ j 一地) + 弘g 怒 (222)i 1 其中y = w x ，c 。为相关阵，c