（模式识别与智能系统专业论文）基于kica的盲信号处理研究.pdf

南京邮电人学硕士研究生学位论文 摘要 摘要 盲信号分离是盲信号处理的一个重要研究课题。在不知道源信号特性，也不知道信号 在传输通道中的混合过程，只是假设源信号是相互统计独立的情况下，从传感器阵列接收 到的观测信号中分离出源信号的问题可以表述为盲信号分离。独立分量分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，i c a ) 是一种重要的盲信号分离的方法，它是从统计的角度使得分离 出来的信号尽可能独立。 目前，盲信号分离理论仍存在大量问题有待深入研究，盲分离算法的性能需要进一步 提高。为此，本文在总结前人工作的基础上，研究了几种传统盲源信号分离算法，并提出 一些新的改进算法，主要工作和创新如下： ( 1 ) 深入研究了基于自然梯度的i c a 算法，再从传统的方向导数的定义出发，对其 进行合理的推广，提出了一个延拓梯度的概念作为自然梯度的推广( 其自身包含了自然梯 度) ，并将其应用到盲信源分离( b s s ) 的独立分量分析( i c a ) 算法中。实验表明，新算法在 选取合适的参数变换矩阵函数的情况下，执行速度相对于传统的自然梯度算法有很大的提 高，其收敛速度更快o ( 2 ) 介绍了目前热门研究的解决非线性混合问题的k i c a 算法，并对其中核技术的 关键部分一核函数进行了研究，综合考虑了全局核函数和局部核函数各自的优点，提出了 一种新的组合核函数，并将其与传统的k i c a 算法进行比较，仿真结果显示新核函数有着 更佳的分离性能。 关键词：盲信号分离延拓梯度核独立分量分析组合核函数 南京邮电大学硕匕研究生学位论文a b s t r a ct a bs t r a c t b l i n ds o u r c es e p a r a t i o n ( b s s ) i sav e r yi m p o r t a n tt o p i co fb s p b s sr e f e r st ot h ep r o b l e m o fr e c o v e r i n gs i g n a l sf r o ms e v e r a lo b s e r v e dl i n e a rm i x t u r e s t h es t r o n gp o i n to ft h eb s sm o d e l i st h a to n l ym u t u a ls t a t i s t i c a li nd e p e n d e n c ea m o n gt h es o u r c es i g n a l si sa s s u m e da n dn oo t h e r p r i o r ii n f o r m a t i o na b o u t ，f o re x a m p l e ，t h ec h a r a c t e r i s t i c so ft h es o u r c es i g n a l s ，t h em i x i n gm a t r i x o rt h ea r r a n g e m e n to ft h es e n s o r si s n e e d e d i n d e p e n d e n tc o m p o n e n ta n a l y s i so c a ) i sa s i g n i f i c a n tm e t h o do fb s s ，w h i c hi sa i m e dt os e p a r a t es i g n a l si nas t a t i s t i c a lw a ya si n d e p e n d e n t 勰p o s s i b l e p r e s e n t l y ，t h e r ea r es t i l ll o t so fi s s u e st ob ed e e p l yi n v e s t i g a t e di nb s st h e o r y t h e p e r f o r m a n c eo fb s sa l g o r i t h m sa l s on e e d st ob ee n h a n c e d t h e r e f o r ，i nt h i sp a p e rw es t u d ys o m e t r a d i t i o n a lb s sa l g o r i t h m s , a n dp r o p o s ei m p r o v e m e n t sb a s e do no t h e r s p r e v i o u sw o r k t h e m a i nw o r ka n di n n o v a t i o n sa r ea sf o l l o w s ： ( i ) a c o n c e p t i o no fe x t e n d e d n a t u r a lg r a d i e n ti si n d u c e db a s e do nn a t u r a lg r a d i e n t , a n di th a sb e e na p p l i e di nn e wi c aa l g o r i t h mo fb s sb yd e e p l y r e s e a r c h i n go n c o n v e n t i o n a ln a t u r a lg r a d i e n ti c aa l g o r i t h m t h er e s u l t ss h o wt h a t , 、i t lp r o p e rt r a n s l a t i o n f u n c t i o nc h o s e n , e x t e n d e da l g o r i t h mc o n v e r g e sm u c hf a s t e rt h a nc o n v e n t i o n a ln a t u r a l g r a d i e n ta l g o r i t h m ( 2 ) k i c ai sap o pa l g o r i t h mt os o l v en o n l i n e a rm i x e dp r o b l e m s ，i nw h i c ht h ek e r n e l f u n c t i o ni sak e yp a r t w ei n d u c ean e wc o m b i n e dk e r n e lf u n c t i o nb a s e do nc o n s i d e r a t i o no f t h ea d v a n t a g e so fg l o b a la n dl o c a lk e r n e lf u n c t i o n , a n dc o m p a r ei tw i t ht h ec o n v e n t i o n a l k i c a t h es i m u l a t i o ne x a m p l e ss h o wt h a tt h en e wk e r n e lf u n c t i o nh a sb e t t e rp e r f o r m a n c e o fs e p a r a t i o n k e y w o r d s ：b l i n ds o u r c es e p a r a t i o n , e x t e n d e d - n a t u r a lg r a d i e n t , k e r n e li n d e p e n d e n t c o m p o n e n ta n a l y s i s ， c o m b i n e dk e r n e lf u n c t i o n n 南京邮电大学学位论文原创性声明 本人声明所星交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：丝堕坠隰 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生繇座盟丛翮虢缒隰 南京邮电人学硕士研究生学位论文 第一章绪论 第一章绪论 1 1 课题研究背景和现实意义 盲信号处理( b l i n ds i g n a lp r o c e s s i n g ，b s p ) 是2 0 世纪最后十年中迅速发展起来的一 个研究领域，它又可以分成若干个互相关联而目标有所区别的子领域，如盲信号分离( b l i n d s i g n a ls e p a r a t i o n ，b s s ) 、盲解卷( b l i n dd e c o n v o l u t i o n ) 【i 】、盲均衡( b l i n de q u a l i z a t i o n ) 等。 概括地讲，盲信号处理就是利用系统( 如无线信道、通信系统、雷达系统和混合过程等) 的输出观测数据，通过某种信号处理的手段，获得我们感兴趣的有关信息( 如发射源信号， 系统的模型或特征等) 。 盲信号处理已成为信号处理学界和神经网络学界共同感兴趣的研究热点领域，有着坚 实的理论基础和广泛的应用。其中，盲信号分离就是根据观测到的混合数据向量确定一变 换，以恢复原始信号或信源。典型情况下，观测数据向量是一组传感器的输出，其中每个 传感器接收到的是源信号的不同组合。术语“盲”有两重含义：( 1 ) 源信号不能被观测( 2 ) 源信号如何混合是未知的。显然，当从信源到传感器之间的传输很难建立其数学模型，或 者关于传输的先验知识无法获得时，盲信号分离是一种很自然的选择。 盲信号分离的核心问题是分离( 或解混合) 矩阵的学习算法，它属于无监督的学习，其 基本思想是抽取统计独立的特征作为输入的表示而又不丢失信息。当混合模型为非线性 时一般是很难从混合数据中恢复源信号的，除非对信号和混合模型有进一步的先验知识 可资利用。因此，在大多数的研究中，只讨论线性混合模型。 l 未知过程 图1 1 盲信号处理示意图 1 舅 儿 儿 岛 屯 ； 南京邮电大学硕士研究生学位论文第一章绪论 盲信号分离可以通过如下框架来定义：观察者通过个多输入多输出( m i m om u l t i p l e i n p u t m u l t i p l eo u t p u t ) 的非线性的动态系统来记录下观察信号x ( t ) 叫五( f ) 工2 ( f ) ，h ( r ) r ， 而我们的目标就是要建立一个重建系统( r e c o n s t r u c t i o ns y s t e m ) 来估计出主要的源信号 s ( t ) = s ( f ) ，s 2 ( t ) ，最( ，) 】7 ，我们所作的估计仅仅是基于观察信号以及源信号和混合系统 的某一先验知识，如图1 1 所示。很多情况下，源信号是瞬时混合的，这也就是说混合信 号是由源信号线性混合而成的。在复杂的背景环境下我们所接受的信号往往是由不同信号 源产生的多路信号的混合信号，比如，多个麦克风同时接受到多个说话者的语音信号；在 雷达声纳等信号处理中，由于耦合使得数据相互混叠；多传感器检测的生物电信号中，得 到的也是多个未知源信号的混叠。盲信号处理从技术原理上来说并不用到任何训练数据， 而且也不需要对卷积、滤波和混合系统的参数做先验的假设。 关于盲信号分离问题近年来研究学者们根据不同的优化准则2 】【3 】提出了各种解决的方 法，既有利用代数方法直接获得分离矩阵，如高阶统计量方法；也有自适应的在线算法， 如随机梯度下降算法，自然梯度下降算法，递归最小二乘类算法等。实现盲分离的算法很 多但应用最广泛的分为两大类：独立分量分析和非线性p c a 方法。由于熵最大化方法和 基于最小互信息量的独立分量分析方法是等价的，因此将最大熵法归入独立分量分析中讨 论。 盲信号处理的基本框架是根据某种优化准则，选择出合适的对比函数，采用某种优化 方法来搜索对比函数的极值点。具体的b s s 算法的构造方法可以表示为b s s 算法= 优化准则 ( 转化为对比函数) + 优化方法，其中优化准则保证了算法的实现可能性和实现途径：具体的 对比函数决定了算法的统计性能；优化方法决定算法的算法性能。 在盲信号处理中主要考虑信号统计特性，并根据一些应用的要求产生了不同的启发式 准贝, l j 4 1 ，主要如下：利用高阶统计量的准则，常使用的是四阶统计量获得某种对比函数， 这一类的对比函数在b s s 中经常使用；信息最大、互信息最小化准则，在低噪的情况下通 过最大化神经网络输入x 、输m y 的互信息，可以实现输出分布的可分性。b e l l 等人将最大 输出联合熵转化为最小化输出分量之间的互信息，利用前向网络推导出一种简单的学习算 法实现独立信源的线性混合问题。最大化联合熵要求的就是最大化边缘熵和最小化互信 息，因此也可以转化为互信息最小准则进行b s s 处理；非高斯性最大化准则根据中心极限 准则可以得到在一定条件下独立分量和的分布趋向于高斯分布。如果使输出达到最大非高 斯性时，则获得某一独立分量( 严格成立的条件时变量具有同分布) ：利用概率密度函数的 准则，如最大似然准则和k u l l b a c k - l e i b l e r 散度准则等。这些准则保证了从统计角度可以进 2 南京邮电大学硕士研究生学位论文 第一鼋绪论 行b s s 处理，并且同时也给出了进一步处理的办法。因此在b s s 中利用优化准则，可以通 过代数方法直接获得所需要的解，或者通过自适应算法进行处理，这些工作具体就要通过 目标函数来实现了。 因为是在缺乏混合系统或者滤波过程参数的情况下进行源信号的估计的，所以盲信号 处理看起来似乎有点不可思议，也很难想象能够将源信号完全估计出来。事实上，在缺乏 某些先验知识时是不可能惟一的确定源信号的。然而，在允许的一定的程度上的不确定性 时，对源信号加以估计则通常是可能的。用数学术语来说，这种不确定性和模糊性可以看 作是对被估计的源信号的任意比例的伸缩，排序或者时滞，但依然保留了源信号的波形信 息。尽管这种不确定性使盲信号处理具有一定的局限性，但是在许多实际应用中他并不是 关键问题，因为源信号的大量的相关的信息蕴含在源信号的波形中而不是信号的振幅或者 系统输出的排列顺序中。当然，对于某些动态模型，不能保证估计或者提取出来的信号与 源信号具有相同的波形，在这种情况下，要求必须进一步降低，即允许提取的波形是初始 源信号波形的失真波形。 有必要重点说明标准的逆辨识问题与盲信号或者半盲信号处理的主要区别。在基本的 线性辨识或者逆系统问题中，可以使用输入源信号，其目的是通过最小化延迟的源信号与 输出信号之间的均方误差来估计线性动态系统的逆系统的延迟形式。而在盲信号处理问题 中，源信号是不可直接获取的。因此，我们尝试设计一个合适的非线性滤波器。类似的， 在基本的自适应逆控制问题中，就试图估计一个自适应控制器，这种控制器的传递函数是 装置本身传递函数的逆。这种自适应系统的目的是使得装置输出信号能够直接跟踪输入信 号。利用定义为装置输出信号与参考输入信号之差的误差信号矢量，通过自适应学习算法 来调整现行控制器的参数。通常，装置输出信号跟踪的并不是输入信号，而是跟踪一个取 决于传递函数的延迟或者平滑形式的输入信号。应该指出，在一般的情况下，包含控制器 与装置及联的整体系统在收敛后应该能够模拟参考模型的动态响应。 盲源分离f 1 8 0 年代末期出现以来，已在雷达、声纳、无线电通讯、生物医学、图象处 理等领域得到了广泛的研究，并在部分领域得到了实际应用。在机械设备的故障诊断领域， 也有学者进行了理论与仿真探索，但尚未见有实际应用的例子。针对实际的机械设备运行 状态监测信号的特征提取与诊断，需要研究运算效率更高，鲁棒性更强的算法，以适应其 复杂性的要求。归纳起来，有关盲源分离的应用研究主要体现在如下几个方面： 1 通讯 在通讯领域的一个例子是将i c a 分析应用于c d m a ( 码分多址) 移动通信中。s a h l i n 和 b r o m a n 在移动通信的手机中增加一个麦克风，用信号分离算法来改善通信中信号传输之前 3 南京邮电大学硕士研究生学位论文 第一鼋绪论 的信噪比，并可以有效地区分自己说话的回音和别人的说话声音。 2 金融 i c a 在金融上的一个应用实例是数据挖掘，在金融领域，很多数据是以时间序列的方 式并行排列的，如汇率和股票价格的时间曲线，这些数据中，可能存在着相互制约的因素， 通过i c a 分析，就可以发现这些隐藏着的因素。 3 图像处理 1 9 9 7 年，m o v e l l a n 和s e j n o w s k i 利用i c a 技术设计的滤波器，成功地用于面部图像的识 别，为人面部的自动识别开创了一条新路。a h y v a r i e n 也曾利用盲源分离的方法，提取一 组动态度图像的特征。在这组图像中，有一运动的物体，在拍摄中，采用的是跟拍的方式， 因此图像中运动的物体比较清晰，而背景较模糊，为此满足盲源分离的基本条件一如果将 运动的物体看作是一个分量，背景看作是另一个分量，显然，这二个分量相互独立。在此 基础上，a h y v a r i e n 成功地提取了运动物体的轮廓。我国也有学者从事了相关的研究工作， 如冯焕清、吴小培等将盲源分离的理论应用于动态图像的识别，取得了较好的效果；中国 科技大学的庄镇泉、李煊等将i c a 技术应用于含有噪声图像的处理，可以有效地剔除图像 中的噪声。 4 生物医疗 盲源分离用于生物医疗领域中的典型实例是对脑电波( e e g ) 或脑磁波( m e g ) 的盲 源分离。与语音的盲源分离有所不同，对这类信号的处理需要作专门的处理。因为在常规 的盲源分离中，必定要求源信号分量的分布具有较大的峭度值。而e e g 和m e g 的分布则具 有多种模式，不能满足这一要求。 k a r h u n e n 和h y v a r i n e n 等将神经网络盲分离算法用于提取图像的特征和分离医学中的 脑电信号。来自大脑的信号达到大脑皮层时已经变得很微弱，只有微伏的量级，而来自眼 球运动和相关肌纤维的收缩的干扰信号却要大的多，如何在不改变大脑皮层信号的前提下 去除这些干扰信号，曾经是很困难的事情，基于i c a 的盲信号分离方法却非常理想地解决 了这一问题。m a k e i g 和j u n g 等用盲源分离的方法将从脑电信号e e g 中记录的事件相关的相 应数据分解为与传感器数量相等的成分。同组的m c k e o w n 等还将i c a 用于分析核磁共振成 像数据集。 5 水声信号处理 声纳所测得的信号是一种强干扰下的弱信号。用传统的滤波方法处理这类信号，容易 将有用信息当作噪声衰减掉，为此，我国学者用盲源分离的方法对声纳信号进行了研究， 结果表明：采用盲源分离的方法能够有效地提取来自目标的弱信号。 4 南京邮电大学硕t ：研究生学位论文 第一蕈绪论 6 语音信号处理 l e e 和b e l l 将基于信息最大传输或最大似然算法得出的盲源分离训练算法进行盲反卷 积，并用于真实记录的语音信号分离。实验证明分离后的语音识别率得到提高。国内近期 关于盲信号处理理论和应用技术的研究几乎是与国际上同步进行的。凌燮亭和何振亚在国 内较早地进行了盲信号处理研究。凌燮亭利用反馈式神经网络，根据h e b b i a n 的学习算法， 实现了近场情况下一般信号的盲分离，并对算法的渐近收敛性和实现信号分离状态的稳定 性进行了讨论。何振亚在基于特征分析和高阶谱的盲源分离和盲反卷积方法研究中，提出 了一系列新的基于高阶统计和信息理论的判据和算法，在盲系统参数估计和盲波束形成等 方面的也取得许多很好的研究成果。 1 2 信号的分离和降噪 独立分量分析( i c a ) ，盲源分离和源信号的多通道盲解卷问题在许多领域得到了广泛的 重视，尤其在医学信号分析与处理，地球物理数据处理，数据挖掘，语音增强以及图像识 别领域方面。在这些实际应用中，大量传感器信号或者数据( 他们来自不同独立源信号的滤 波叠加) 是可以利用的，其目标是要通过对这些数据进行处理，使处理的输出对应于不同的 原始源信号。 声学应用中，通常需要处理由几个交谈者所导致的声场中为麦克风所采集到的信号( 即 所谓的“鸡尾酒会 问题) ，或者在几艘舰船的动力机械形成的水下噪声场中由声学换能器 所采集的信号( 声纳问题) 。“鸡尾酒会 问题可以表述为在一大堆不和谐的谈话和背景噪 声中，集中人们的听力于某个谈话者的能力，长期以来它被认为是一个有趣的但却是具有 挑战性的问题。“鸡尾酒会 问题也常被称为“鸡尾酒会效应 ，或者更专业一点称作“多 通道盲解卷积”，其实质是从麦克风阵列检测到的用卷积方法混合的信号中分离出原始的 源信号，这一任务人类大脑可以轻松的做得很好。而多年来学者们一直致力于通过抽象的 神经元组合或者自适应处理单元来模拟这个过程。 人们能够在众多的谈话声和噪声中集中听力于某个人的声音，但是却不一定理解这个 过程的全部机理。这种特殊的辨识能力也许是由人类发声系统，听觉系统或者更为高级的 知觉和语言处理特性所决定的。 现在考虑在一个定型房间内通过麦克风阵列采集信号并进行语音分离的应用问题。每 个麦克风接收到的信号可以是声源直接传来的信号( 有一些取决于麦克风与声源相对位置 的传输延迟) ，也可以是声源发出的信号经过几次反射( 声波在传递过程中碰到墙壁或房间 s 南京邮电人学硕士研究生学位论文第一章绪论 中的物体会发生发射) 或者改变的( 衰减和延时) 信号的组合。 在“鸡尾酒会 问题中，我们的目的是设计智能自适应系统及相应的学习算法，这种 学习算法应有与人脑相似的学习能力，即能在假定的鸡尾酒会的众多谈话声中识别出某个 人的声音。 1 3 独立分量分析 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是盲信号处理中的一个领域， 是近期发展起来的一种非常有效的盲源分离技术，首先是由法国学者h e r a u l t 和j u t t c n 于1 9 8 6 年左右提出来的，是在除了已知源信号是统计独立外，没有其他先验知识的情况下来分离 出源信号。含有噪声的随机向量_ ) c ( 七) r ”的独立分量是这样得到的：寻找一个n x m ( m = n ) 的满秩分离矩阵w 使得由灭妨= 形x ( 妨定义的输出信号向量y ( k ) = 眇。( 七) ，y 2 ( k ) 儿( 七) r 包 含尽可能独立的源信号s ( 七) r 8 的估计。其中含有噪声的随机向量x 是这样定义的： x ( 1 【) = hx s ( k ) + v ( k ) ，h 是一个m x r j 的混合矩阵，j ( ，) = b ( ，) ，j 2 ( f ) ( f ) 】7 是统计独立的源 信号向量，( 七) = 【v l ( 七) ，v 2 ( 七) k ( 七) r 是不相关的噪声向量，我们通过估计混合矩阵h 和独 立分量s ( f ) = b ( f ) ，s 2 ( f ) ( f ) 】r 来得到i c a 的解。 由于在有噪声的情况下分离矩阵的评价比较困难，我们通常都考虑没有噪声的情况， 那么对于这种情况，我们可以把噪声看作是一个源信号。通常，我们认为源信号和另外的 噪声信号是统计独立的，而且由于可能有多个噪声信号，要求在噪声信号中至多有一个高 斯分布的信号，其他的噪声信号都必须是非高斯的分布。 独立分量分析的任务可以简洁阐明为，在假设源信号统计独立和混合矩阵具有线性独 立列的基础上，确定所有的源信号和他们的数目并且辨识混合矩阵或者他的伪逆分离矩阵 i s 】。i c a 方法与盲源信号分离方法非常接近。这里“s o u r c f ”指的是原始信号即独立成分， 像“鸡尾酒会问题上的说话者；“b l i n d ”指我们对混合阵几乎未知，对原始信号进行很 少的假设。给定m 个混合信号，i c a 能同时估计出m 个成分或k = 砖； 2 源信号是相互独立的： 3 至多只有一个源信号服从高斯分布； 4 噪声是可以忽略的，或者是经过预处理已经降低到可以忽略的程度。 假设1 是为了保证混合矩阵h 是满秩矩阵，假设2 是i c a 的基本假设，此时，源信号的联 合概率密度函数p ( s ) 可以表示成每个独立信号的边缘概率密度函数p j ( s ，) 的乘积： 南京邮电大学硕士研究生学位论文第一二章独立分量分析 p ( s ) = 兀p ，( s ，) ( 2 4 ) 如果不满足假设3 ，由于多个高斯信号的混合仍然是高斯信号，所以不能分离多个高斯信 号。假设4 用来满足信息最大化条件，实际上，我们可以把噪声作为一个独立源从而从混 合信号中分离出来。 i c a 的目标是找到一个线性变换w 使得观测信号x 经w 变换后的输出信号y 尽可能的独 立： j ，( 七) = w x ( k ) = w h s ( k )( 2 5 ) 其中，y 表示对源信号的估计。当w 和h 满足下面条件时，源信号被恢复： w h = p d ( 2 - 6 ) 其中，p 是一个重排矩阵，d 是一个对角矩阵。 i c a 方法的具体实现包括两个方面的内容，一是确定目标函数，二是选择优化算法。 i 由i c a 的假设可知i c a 以统计独立为根本原则f l l l ，而如何衡量独立性是一切i c a 算法必须解 决的根本问题。这就要求选择一个恰当的目标函数。对于同一个目标函数可以有不同的优 化算法。常见的优化算法主要有梯度下降法【1 2 1 、牛顿迭代法等。在i c a 的众多算法中，有 两种处理方式不同的梯度下降算法：一是在线学习算法( o n 1 i n el e a x n i n g ) ，二是批处理算法 ( b a t c hm o d e l ) 。前者在每接受一个新的样本时更新网络权值，而后者的每次更新需要一批 数据参与运算。在线学习是一种自适应学习，具有实时处理的的特点；批处理学习由于要 对过去的数据重复利用，因此对存储容量要求较大。但是其显著优点就是具有比在线学习 快得多的收敛速度。i c a 算法的好坏不仅取决于目标函数的选择，而且还与优化算法的性 能有着很大的关系。 2 3 几种不同的目标函数 2 。3 1 最大似然目标函数 从最大似然估计的角度出发，求得的旷应该使得目标函数t ( x ，矽) 相对于x 的集合平均 值达到最大( 即最大似然原理) ；可以将t ( x ，) 的集合平均值e i ( x ，) 】作为独立分量分析 的目标函数，记为厶祀缈) ： l u l ( w ) = hi n ；片( x ，r e ) d r j 1 2 ( 2 7 ) 南京邮电大学硕士研究生学位论文 。 第二章独立分量分析 上式中的以( x ) 为x 的真实概率密度函数，最大值点即i c a 的解。 由于实际应用过程中，样本的个数总是有限个，不妨假设观察向量为x o ) ，x ( 2 ) ， x ( t ) 。那么上述的数学期望可以转化为离散求和的形式，得到如下的关于w 的目标函数： z m ( 矿) ：吾圭，( x ( ，) 形) ：彳1 th l ；( x ( f ) ，形) 1 扣11 忙1 ( 2 - 8 ) 2 3 2 统计独立性目标函数 利用随机向量之间的k l 发散度作为j ，( f ) 各分量的统计独立性的度量，那么应该满足 ，( ，) 各分量统计独立才可以取到合要求的w 。依照此思路得到的目标函数如下： 融啥j f p r ( y ) i n 舞 y ， 求得该函数的最小值点就是i c a 的解。 在观察样本为有限个的情况下，目标函数可以写为： z 口：1 n d e t w + 昙壹兰；，( z ( f ) ) k 哪，一百) 1 ，i i ，- i ( 2 1 0 ) 其中，厅( x ) 是随机向量x 的熵。该目标函数的最小值点就是i c a 的解。 2 。3 。3 信息化最大熵目标函数 根据信息论中的相关知识，熵是一个随机向量无序性的度量，如果y 的各个分量统 计独立性越高，那么相应的y 的熵也越大。所以只要求得使y 的熵达到最大的形，那么 就得到了i c a 的解。由此通过推导，就可以得到另外一个目标函数： 1 t 个 z ( 肜) = i n d e t w + 专l n y ，( ，) + 彳 - - i l n p x ( x c t ) ) t = li = lt = l ( 2 11 ) 此目标函数的最大值点就是i c a 的解。 可以证明，上面给出的三个目标函数是一致的。也就是说，i c a 的解使得三一( 矽) 和 z 扛( 形) 达到最大值，同时使得z 口缈) 达到最小值。本文后边的讨论中都采用如下的目标函 数： 1 3 南京邮电大学硕：t 研究生学位论文第二章独立分量分析 如果能够求得矿使得z ( 渺) 达到极小，就可以得到i c a 的解。 ( 2 - 1 2 ) 当前i c a 算法简单地可分为两类：第一类是最大和最小化一些相关准则函数，这类算 法的优点是对任何分布的独立成分都适合，但它们要求非常复杂的矩阵运算或张量运算， 计算量非常大；第二类是基于梯度下降方法的自适应算法，该类算法优点是能保证收敛到 一个相应的解，但其主要问题是收敛速度慢，且其收敛与否很大程度上依靠学习速率参数 的正确选择，但随机梯度法在环境改变很快时能凸显出其强大的优越性。 适当的选择算法会大大地提高实验效率，随着新的解剖和功能图像方法的来临，从活 人的大脑收集大量数据已成了可能。与之相适应，未来的i c a 算法预计将向省时，减少内 存消耗方面发展。 1 4 髓 声w 矜g苁，i 办 b 闽 闽 上 一形殴dh f | ， 矿 ，f i 、 - 己 南京邮电大学硕士研究生学位论文第三章基于延拓自然梯度的i c a 算法 第三章基于延拓自然梯度的i c a 算法 3 1 基本的自然梯度下降算法 自然梯度下降算法是f l 了a m a r i t l 3 1 提出的。为了获得对于源信号的一个较好的估计， a m a f i 用k u l l b a e k l e i b l e r 散度来作为信号分量之间的独立性的度量。定炀( y ；聊是随机变 l y = w x 的概率密度函数，鼋( 力是y 的另外一个概率密度函数，在这种概率分布中向量y 的所 有的分量是统计独立的，那么这种情况下g ( 力可以写成如下的形式：q ( y ) = 兀q ，( 只) ，这个 独立的分布称为参考函数，从而我们可以用通过w 来获得信号向量y 的分布p ，( y ；形) 和参考 分布g ( 力之间的k u l l b a e k l e i b l e r 散度来作为这两个分布之间的差别的评价： 咿) = ( 啥( y ；驯m 州= 以咿) l o g 紫 ( 3 1 ) 那么当这个值达到最小值时，这两个分布之间的差别最小，因而它可以作为分离信号之间 的相互独立性的一种度量。然后我们可以用这个k u l l b a c k l e i b l e r 散度来作为目标函数来对 分离矩阵进行自适应的学习。 在自然梯度下降算法中，还有一些相关的问题。首先是算法的各种泛化，在信号满足 各种条件时的算法的变形：次之比较重要的是激励函数( a c t i v a t i o nf u n c t i o n ) 的选择和对于源 信号的概率密度的建模，因为在现实情况下源信号可能会有各种各样的分布：高斯分布， 一 超高斯分布，次高斯分布，非对称的分布甚至是非静态的分布。通常情况下，我们有一系 列的假设的概率密度模型，比如，对于超高斯分布信号，h y p e r b o l i c - c a u c h y 分布模型可以 有如下的非线性激励函数： z ( 咒) = t a n h ( r , y , ) 其中，：= “0 - h 2 ，对于次高斯分布，c u b i c 非线性激励函数z ( 乃) = 一是一个比较好的选择。对 于超高斯分布和次高斯分布的混合，我们可以建立泛化的概率密度模型文献 1 中提到的 泛化的高斯概率密度模型： “巾= 东南时黼， p 2 ， 那么通过这个概率密度模型导出的最优的泛化的非线性的激励函数是 z ( 苁) = 1 只r s i g n ( y , ) ，1 其中称为高斯指数。此外还有其它的模型，比如p 锄r s 0 n 模型。 塑室唑皇奎堂堡主竺壅竺兰篁丝塞蔓三墨董量堑堑旦签堡壁堕! 兰垒簦垄 另外，自然梯度下降算法中的相关的问题还有算法的稳定性的分析和算法分离效果的评 价。 让我们考虑由图2 1 说明所示的简单的混合系统，并用矢量矩阵形式可以描述如下： x ( 七) = 日j ( 七) + 1 ，( 七)( 3 3 ) 其中x ( 幼是含噪的传感器矢量，s ( 助是源信号矢量，v ( 助是噪声矢量，h 是未知的满秩混合矩 阵。假定只有传感器矢量是可以得到的。目标是设计一个前馈或者递归性神经网络及相关 的自适应学习算法，使我们能够估计源信号和识别混合矩阵h ，并且对时变系统有很好的 跟踪能力。 这里我们假定源信号个数己知，并且等于传感器的个数，因此h 是非奇异矩阵。假定 源信号之间相互独立，且为零均值，还假定加性噪声是可以忽略的或者通过预处理可以减 小到忽略的水平。 为了得到源信号s 好的估计y = w x ，我们引入一个关于y 和w 的目标函数或者称为损失 函数p ( y ，) 。这个函数的期望值叫代价函数： r ( 形) = e p o ，矿) ( 3 - 4 ) 它表示了输出信号的相互独立性的测度。也就是说，当输出信号的分量独立时，即当 w 是日的伸缩和置换形式时，风险函数最小化。为了达到最小化，我们使k u l l b a c k l e i b l e r 发散度作为独立性的测量。令p ，抄；矿) 是随机变量y = w x 的概率密度函数，9 0 ) 记为y 的另 一个概率密度函数，在此函数下所有的分量统计独立，所以，g ( ”可以分解成以下的乘积 形式： l g ( 少) = 兀吼( 乃) ( 3 - 5 ) 这种独立性分布函数称为参考函数，暂时是任意的。在由w 实际值得到的y 的分布 岛钞；形) 和参考分布鸟( y ) 之间，我们使用k u l l b a c k l e i b l e r 发散度： r ( 形) = e p ( 弘形) ) 一足胛缈) = 皿乃( y ；) l | 口( y ) 】= p y ( y ；矽) l 。g 堡鬟舅与 ( 3 - 6 ) k u l l b a c k l e i b l e r 发散度是两个概率分布差异的自然测度，因此公式( 3 6 ) 给出了分布 以( j ，；形) 和参考分布g ( y ) 之间的距离。 大多数从启发式的考虑提出的学习算法都可以用以上的代价函数来解释。显然熵极大 1 6 南京邮电大学硕士研究生学位论文第三章基于延拓自然梯度的i c a 算法 化，独力分量分析，非线性的p c a ，最大似然方法是采用上面的框架来表示的。其中的唯 一的差别在于参考函数的选择。如果我们选择源信号的真实分布，我们有最大似然方。但 是我们注意到通常真正的分布是未知的，因此我们需要估计参考函数，如果我们选择边缘 独立的分布，这就将导出独立分量分析。熵极大化使用非线性的变换z ，= g i ( z ) 以最大化z 的联合熵。容易证明，它等价于选择： 吼( 咒) = g a y , ) ( 3 - 7 ) 哆i k u l l b a c k l e i b l e r 发散度总是非负的值，当且仅当两个分布相同时，他的值为零。这个 发散度对于变量的可逆非线性变换是不变的，包括振幅比例和置换，即该变量是被重新比 例缩放和重新排列。对于独立分量分析问题，我们假定g ( y ) 是独立变量的分布的乘积。特 别的，它可以是边缘概率密度函数的乘积： g o ) = 兀易“) ( 3 - 8 ) 扣l 其中p a y , ) 是只( 扛1 ，2 ，以) 的边缘概率密度函数。 独立性的自然测度可以写成： 2 啪，噼，p y ( y ) l o g l p l q i ( y ) ) d y 其中，p ( y ，) = l o g ( b o ) g ( 少) ) 。k u l l b a c k - l e i b l e r 发散度可以用互信息表示为： = 川y ) 一宝了p , ( y ) l o g q , ( y , ) d y= 一日( y ) 一f j i i4 其中，输出信号y = w x 的微分熵可以定义为： 胃( 力= 一，乃( y ) 1 0 9 以) 砂 当吼( m ) = 易( 咒) ，式( 3 - l o ) 的第二项可以用边缘熵表示为： 1 7 ( 3 9 ) ( 3 - 1 0 ) ( 3 一1 1 ) 南京邮电大学硕士研究生学位论文第三章基于延拓自然梯度的i c a 算法 ，岛( 力1 0 9 ；，( 只) 方= ，l o g p ，( 只) 砂，乃( y ) 露五方 巴一 一 = ip ，( y , ) l o g p ，( 只) 咖 ( 3 - 1 2 ) = e l o g ( p 。( 儿) ) ) = 一e ( 儿) 因此，k u l l b a c k l e i b l e r 发散度可以用h ( y ) 与边缘熵的差异表示成： k 之= e 夕( y ，矽) ) = 一日( y ) + 耳( 只) ( 3 1 3 ) 堵i 假设y = w x ，微分熵可以表示为： h ( y ) = h ( x ) + l o gi d e t ( w ) i( 3 1 4 ) 其中h ( x ) 独立于矩阵w 。对于一般的q ，用同样的方法，我们得到一个简单的代价函数： r = k 阿= e p ( y ，矽) ：一劈 ) 一l o g i d c t ( w ) 一 l o g ( 仍执”， ( 3 - 1 5 ) 在这个公式中，我们注意到h ( x ) 是可以忽略的，因为它独立于解混合矩阵w 。 既然我们的目标是使损失函数式中的期望值最小化，一个简单的想法是用普通的随机 梯度下降学习算法，他由下式给出： a w ( k ) = w ( k + 1 ) 一形( 七) = 一，7 ( 七) 警( 3 - 1 6 ) 其中露鳓是依赖于k 的学习速率。我们可以用分量方向的微分来计算梯度矩阵，由简 单的微分矩阵运算，我们得到： a w ( k ) = r r k ) w r ( 七) 一厂 少( 七) 】工7 ( 七) 】( 3 17 ) 其中w r 是w 逆阵的转置。( j ，) = 彳( 乃) ，石( 儿) ，z ( 儿) r 是列矢量，他的第一个分 量为： 胞卜掣一篇挚一器( y a 匆iq i u i ) q i 当参数空间是欧几里德空间时，梯度代表函数的最快的下降的方向。在现在的情形中， 参数空间由所有的非奇异的矩阵组成。这是一个乘法群，它的单位是单位矩阵。而且，它 是个流形，因此它形成了一个李群【1 4 】。a m a r i 等利用这个事实引入了一个r i e m a n n i a n 测度到空间中。他们证明了在参数的r i e m a n n i a n 空间的真实地最快的下降方向应该是由下 式确定的： 堕塞墅皇查兰堡主堕壅竺兰垡丝兰墨兰兰董主笙堑旦签塑垦塑! 竺垒墨堡 一o p y ；w w r w ；【，一f ( y ) y r 】形( 3 - 1 9 ) o w 7。 因此，学习算法的形式为： 川忙吲七) 警咖( 3 = ，7 ( 七) 【，一厂( 少( 七) ) j ，( 七) 7 】w ( k ) 为了消除伸缩因子的不确定性，基本的自然梯度学习算法对恢复的信号的幅度增加了 一些约束。然而，当源信号非平稳时，他们的平均幅度变化很快，这种约束强迫分离矩阵 幅度快速变化。大多数应用属于这种情形( 语音，音乐，生物医学的信号，等等) 。我们知 道这在一些情况下会引起数值的不稳定性。为了消除这个困难，我们将考虑自然梯度学习 算法中的非完整约束。 更一般的，a m a r i 等提出了下列学习规则： a w ( k ) = ，7 r 七、r 人f ，七、一o t ( f y ( k ) y 、* l - - v - r ( 尼) ) + 砌动g r 幽) 眦) 7 3 - 2 1 其中人是对角阵，设置目的是消除右边括号内的对角元素，口和口是适当选择的自适 应确定参数。 3 2 方向导数及自然梯度的推广 实际的研究和应用表明，自适应自然梯度算法存在诸多的不足。其中一个比较突出的 问题是：利用上边简单的迭代方法，算法的收敛性不是那么令人满意，收敛速度基本上是 线性的，需要大量的运算时间，效率并不高。 为了解决这一问题，研究者们提出了许多改进的方法并加以实现，一定程度上提高了 分离的效率，但是研究的中心基本上都在目标函数的深入研究改进以及迭代过程和自适应 学习的具体实现方式上，未能从理论上探讨该算法的拓展，所以难以从根本上提高i c a 的 执行效率。 仔细研究自然梯度的定义和普通的函数梯度的关系，不难发现它