（生物医学工程专业论文）独立分量分析算法的计算机仿真及其在多导脑电信号处理中的应用.pdf

各行( 或各列) 中的最大值来确定观察脑电与分离脑电的对应关系。这只是作 者的一种探索性见解，其可用性还有待进一步探讨、分析及验证。 关键词：独立分量分析脑电信号工频干扰眼动伪迹 a b s t r a c t s i m u l a t i o no f l n d e p e n d e n tc o m p o n e n ta n a l y s i s a l g o r i t h m o nc o m p u t e ra n da p p l i c a t i o no fl tt o m u l t i c h a n n e le e gs i g n a l sp r o c e s s i n g b i o m e d i c a le n g i n e e r i n g c a n d i d a t e ：z h o ux u x i n s u p e r v i s o r ：y u a nz h i m n a b s t r a c t t h ed e v e l o p m e n to ft h et e c h n o l o g yo ft h ec o m p u t e ra n dt h ei n f o r m a t i o ns c i e n c e h a sp r o m o t e dt h ep r o g r e s so ft h ed i s c i p l i n eo ft h ed i g i t a ls i g n a lp r o c e s s i n g ( d s p ) ， a n dt h u sh a s p r o d u c e d al o to fn e wt h e o r i e s ，t e c h n o l o g i e sa n da l g o r i t h m s i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i ss u c han e wa l g o r i t h mt h a tc a l l l e o u t w i t ht h ed e v e l o p m e n to fb l i n ds o u r c es e p a r a t i o ni nt h ep a s tt e ny e a r s i c ah a s b e e n a p p l i e d i n m a n yf i e l d s ，o n e o fw h i c hi st h e a p p l i c a t i o n i nt h e e l e c t r o e n c e p h a l o g r a m ( e e g ) s i g n a l sp r o c e s s i n g a tt h eb e g i n n i n g ，t h et h e s i ss u m m e du pt h ec u r r e n tr e s e a r c h e si na r e a so fi c aa n d e e gs i g n a l sp r o c e s s i n g ，a n dt h e ni n t r o d u c e dt h ed e f i n i t i o n ，s t a n d a r dm a t h e m a t i c m o d e l ，h y p o t h e t i c a lc o n d i t i o n sa n df o u re s t i m a t i o np n c i p l e so fi c a t h et h e s i s a l s op o i n t e do u tt h a ti c ac a nr e c o v e r yt h es o u r c es i g n a l sf r o mt h eo b s e r v e ds i g n a l s b yc e r t a i nl e a r n i n gr u l e s t h r e ek i n d so fi c aa l g o r i t h m s t h ei c ab a s e do nk u r t o s i s 出ei c ab a s e do n i n f o m a xa n df a s tf i x e dp o i n ti c a ( f a s t l c a ) w e r ei n t r o d u c e di nt h i sa r t i c l ea n d r e a l i z e dt h r o u g hs i m u l a t i o no nc o m p u t e r t h er e s u l to fs i m u l a t i o ns h o w e dt h a t f a s t l c aa v o i dt h eu n c o n v e r g e n c ep r o b l e mw h i c hm a ya p p e a ri nt h em e t h o d so ft h e i c ab a s e do nk u r t o s i sa n dt h el c ab a s e do ni n f o l n a xf o rb a dl e a r n i n gr a t e b e c a u s ef a s t i c an e e d n tc h o o s et h el e a r n i n gr a t e m o r e o v e rt h i st h e s i sv e r i f i e dt h e c l a s s i c a la p p l i c a t i o no fi c ai sb l i n ds o u r c es e p a r a t i o ni nm u l t i c h a n n e ls i g n a l s o nt h ep a r to fe e gs i g n a l sa c q u i s i t i o n ，t h et h e s i si n t r o d u c e dt h ep r o g r a m m i n g i i j 四川大学硕士论文 f r a m e a n d p r o c e s so fe e gs i g n a l sa c q u i s i t i o nt h r o u g h n o n l n ia n a l 0 9 1 _ d i g i t a l t r a n s f o r mc a r d ，w h i c hw e r er e a l i z e db yt h ec o m b i n a t i o no fl a b v i ew ，a l le x c e l l e n t g r a p h i cp r o g r a m m i n gl a n g u a g e ，a n dcl a n g u a g e o nt h ep a r to fe e gs i g n a l sp r o c e s s i n g ，f a s t i c aa l g o r i t h mw a sa p p l i e dt ot h e s i x c h a n n e le e gs i g n a l s ，w h i c hc o n t a i n6 0 h zl i n en o i s ea n db l i n ka r t i f a c t b y a d d i n gt w oo r t h o g o n a l i z e dr e f e r e n c ep o w e rs i g n a l s t ot h eo b s e r v e ds i g n a l st h a t c o n t a i n6c h a n n e l se e gs i g n a l sa n d1c h a n n e le l e c t r o o c u l o g r a m ( e o g ) s i g n a l ，t h e p r o b l e mo fr e m o v i n gl i n en o i s ea n da r t i f a c tw a st r a n s f o r m e dt ot h ep r o b l e mo f b l i n ds e p a r a t i o no fm u l t i c h a n n e ls i g n a l s w h e nc o n c e r n e dw i t ht h em a pb e t w e e n t h es o u r c es i g n a l sa n ds e p a r a t e ds i g n a l s ，a u t h o rt e n t a t i v e l yu s e dt h em a t r i x ，w h i c h g o tb yo b s e r v e ds i g n a l sm u l t i p l i e db yt h et r a n s f o r ms e p a r a t e ds i g n a l s ，t oc o n f i r m t h em a pb e t w e e nt h eo b s e r v e ds i g n a l sa n ds e p a r a t e ds i g n a l s k e yw o r d ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ，e e gs i g n a l s ，l i n en o i s e ，b l i n k a r t i f a c t 第1 章绪论 第1 章绪论 1 1 数字信号处理在生物医学工程中的应用 随着计算机技术和信息科学的迅猛发展，数字信号处理( d i g i t a ls i g n a l p r o c e s s i n g , d p s ) 技术应运而生，并迅速发展形成一门新的学科。它咀数值计算 的方法，通过计算机对信号进行采集、变换、识别、估值等数值加工处理，达 到更合乎人们要求的形式和便于应用的目的。而今，它以新的面貌出现于世， 在许多领域得到广泛应用，例如数字通信、语音通信、雷达等。其中在生物医 学工程中的应用是国内外近年来发展最迅速的一个方面。 在生物医学研究中有各种待提取和处理的信号，例如脑电( e e g l 、心电 ( e c g ) 、肌电( e m g ) 、眼电( e o g ) 、胃电( e g g ) 等由生理过程自发产生的电生理 信号。在对人体进行诊断、监护和治疗过程中，需要确定某种特征信号或信号 的某种特征量。通常，源信号并不直接提供这些信息，需要用信号处理方法来 提取。常用的处理技术有【1 2 1 ： 相干平均处理。又称时间平均法，用这种方法的前提是信号可以重复出 现。它是解决从受严重干扰的信号中检测出有用信号的最基本，并行之有效的 方法。比如检出体表心电信号中的微弱信号，检出诱发脑电中的刺激信号等。 匹配滤波。用以确定某个特定信号的出现时间，而不是寻找信号波形。 如测量感觉神经的传导速度。 维纳滤波。解决噪声中随机信号的线性估汁问题。如；诱发响应的提取。 自适应滤波。根据输入信号自动调节信号的参数，使性能指标最优化。 它有三个部分：滤波器、优化指标计算器和滤波器参数修改算法。自适应处理 技术概括起来有以下几个方面： a 横向结构及格形结构的随机梯度自适应算法； b 成批处理法和递归处理法； c 随机梯度法和最小二乘法。 生物医学工程中的应用主要表现在，自适应噪声抵消、工频干扰抑制、自 适应谱线增强等。 四川大学硕士学位论文 奇异值分解( s v d ) 。它是空间分析的一个重要方法。利用该方法可以提 取微弱的生物信号及进行多维空间信号的主分量分析( p r i n c i p l ec o m p o n e n t a n a l y s i s ，p c a ) 。 信号的时频分析。生物系统是一个复杂系统，受生理状况或周围环境的 影响，信号常是非平稳的，因此，信号的时频分析常不宣截然分开。它通过傅 市叶变换联系起来的。在工程技术上分为两类，即时窗法与频窗法。 模式识别。是将未知的事物或现象与各种模式进行比较，看它与哪一类 模式最接近，从而判断出该事物属于哪一类。它分为模板匹配、统计模式识别 及句法模式识别三类。 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 。它是比照生物神经网络 中有关神经传导和加工的知识，人为地构成一种方法，希望能仿真出生物的一 些高级神经功能。 人工神经网络、统计信号处理与信息论相结合形成一个新研究方向，即盲 信号处理( b l i n ds i g n a lp r o c e s s i n g ，b s p ) 。其中包含盲信号分离( b l i n ds i g n a l s e p a r a t i o n ，b s s ) 或称盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 。它是上世纪末迅 速发展起来的一个新研究领域。在脑电图e e g 、心电图e c g 、脑成像以及在雷 达接收系统等领域都存在b s s 问题。8 0 年代，把只考虑信号二阶统计特性的 p c a 方法应用到b s s 问题上，分离效果不佳。到了9 0 年代，有人提出独立分 鼍分析( i n d e p e n d e n t c o m p o n e n t a n a l y s i s ，i c a ) 概念，充分利用信号的高阶统计特 性进行b s p 。这为a n n 的发展开拓了另一种思路。 1 2 国内外i c a 及脑电信号处理研究现状 1 2 ii c a 发展历史 近年来，由于i c a 在语音信号、生物医学信号、图像信号等方面的应用1 4 j ， 使它逐渐在b s s 领域得到广泛注意。i c a 的作用是从由传感器观察到的信号中 恢复出相互独立的源信号，而这些观察到的信号是由无法观察到的假设为瞬时 相互独立的源信号以某种线性方式混合而成口】。与基于相关理论的p c a 不同， 1 c a 是去除信号间的高阶统计关联而使它们尽可能的互相独立。 在神经网络及统计信号处理领域，已有许多学者对盲源分离问题进行了大 第1 雩绪沦 量的研究1 1 。j 。1 9 9 1 年c h r i s t i a nj u t t e n ，j e a n n yh e r a u l t 首先将人工神经网络算法 用于盲源分离问题上| 6j ，从而开启了一个新领域，提出了一个新的概念，即独 立分量分析( 文献中简写为i n c a ，现存通常缩写为i c a ) ，它比传统的主分鼍分 ! 】i ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的功能要强得多。 1 9 9 4 年，p i e r r ec o m o n 界定了解决b s s 问题的1 c a 方法的基本假设条件吐 指出通过使目标函数达到极大或极小值来消除观察信号中高阶统计关联，从而 实现盲源分离。他还指出i c a 足p c a 的扩展和推广。 1 9 9 5 年，a n t h o n yj b e l l 和t e r r e n c ej s e j n o w s k i 提出了种称为无监督学 习的算法，该算法基于单层前向反馈神经网络的信息最大化准则f 8 l 。这篇文章 的重要意义在于：第一，利用神经网络的非线性特性束消除观察信号中的高阶 统计关联。第二，将信息论方法与i c a 结合起来。第三，给出了神经网络式的 最优w 迭代学习算法。第四，成功分离了具有1 0 个说话人的鸡尾酒会问题。 不足的是文中的l n f o m a x 方法，在分离超高斯信号时菲常有效，但对亚离斯信 号的分离效果不佳。习惯上称b e l l 和s e j n o w s k i 提出的这种i n f o m a x 方法为传 统l n f o m a x 。 1 9 9 6 年，p e a r l m u t t e r 和p a r r a 提出基于最大似然估计的i c a 算法，这种算 法使可咀被分离的源信号不仅仅局限为超高斯，它的范围更广 9 1 。为了便于计 算，往往采用信息论算法，在保留b e l l 和s e j n o w s k i 于1 9 9 5 年提出的简单i c a 模型的基础上，对其进行一定的扩展，使算法同时不仅能分离超高斯分布信号 出能分离亚高斯分布。同年，a m a r i 、c a r d o s o 和l a h e l d 提出了相对梯度的学习 算法。 1 9 9 7 年，c a r d o s o 、p e a r h n u t t e r 以及p a r r a 证明了最大熵准则( 或信息最 大化，i n f o m a x ) 等同于最大似然估计。与此同时，a a p oh y v a r i n e n 和e r k k io j a 提出了基于峭度( k u a o s i s ) 和负熵( n e g e n t r o p y ) 台勺快速固定点算法( f a s t f i x e d p o i n ta l g o r i t h m f a s t l c a ) ”“。 扩展信息最大化算法( e x t e n d e di n f o m a xa l g o r i t h m ) 保留b e l l 和s e j n o w s k i 的 简单模型，采用相对梯度的快速收敛学习算法，在计算机模拟中可以有效地分 离出多通道信号。 为了检验它对真实信号的处理效果，1 9 9 8 年，j u n g 、h u m p h r i e s 、l e e 、 m a k e i g 、m e k e o w n 、i r a g u i 、s e j n o w s l d 等人将这一算法应用在脑电图 四川大学硕士学位论义 ( e l e c t r o e n c e p h a l o g r a m ，e e g ) 上。结果表明，这一算法可以很好地消除脑电中的 伪迹。从此，为生物医学信号处理带来了新的思路与算法。 1 2 2 脑电信号及处理现状 探索大脑活动的奥秘，揭示其规律，一直是人类向住以久的事。首次发现 嘀电活动是在1 8 7 5 年，英国的c a t o n 和俄国的f l a h h r l e b c k i 1 7 1 几乎同时在互不 相干的情况下，记录到动物大脑皮层的电活动。 1 8 7 6 年，俄国科学家皿a i i e b c k m 讶记录了动物的自发性脑电活动。 1 9 2 4 年，h a n sb e r g e r 第一个在人类头皮上记录到脑电图。脑电图 ( e l e c t r o e n c e p h a l o g r a m ) 一词正是由他首创。b e r g e r 的观察在1 9 3 4 年得到a d r i a n 和m a t t h e w s 二者的证实，人类脑电图才获得科学界的公认。 1 9 3 6 年之后，脑电图学与临床结合，在世界范围内发展起来，发现脑电图 记录有助予诊断癫痫和脑肿瘤。现在，临床常规脑电图检查可为脑损伤、脑血 栓、新陈代谢及内分泌疾病的疾病诊断和治疗提供信息。 脑电图是脑神经细胞的电生理活动在大脑皮层或头皮表面表现出的电现 象。脑波按其频率可分为i l ”：慢波、d 波、快波，它们的组成结构图如图1 1 ， 图中，口波是构成脑电图的最基本要素。频率比口波小的为慢波，慢波又分为 慢波 ( s l o ww a v e ) 个 n 波 ( a l p h aw a v e ) 寸 快波 ( f a s tw a v e ) fo 5 3 h z ( 不足4 h z ) l l4 - 7 u z ( 不足8 h z ) 8 - 1 3 i q z ( 不足1 4 h z ) 5 波( d e l t aw a v e ) 斗e 波( t h e t aw a v e ) 4 1 7 h z ( 不足18 h z ) 专中间快波 8 - 3 4 i - i z ( 不足3 5 h z ) b 波( b e t aw a v e ) 5 h z - 寸7 波( g a m m aw a v e ) 闰1 1 脑波基本构成图 占波和口波；频率比口波大的为快波，快波又分为是间快波、口波和r 波。除 此之外，在脑电图中有时还可以看到棘波、尖波，多发性棘波、棘慢复合波、 ，(、0l 第1 章绪论 多棘慢复合波、尖慢复合波等。 脑电信号中含有非常丰富的信息量。人们希望找到可以精确地反映大脑活 动的客观生理指标，这不仅能成为临床重要手段，而且能成为判别人的思维活 动的重要依据。 电子计算机的出现为脑电分析技术提供了一些新的有效手段“j ，如谱分 析( 包括功率谱、互谱、相干函数等) 、波型分析( 包括a r 、a r m a 、卡尔曼 滤波等) 、模式识别等。近年来，有学者依照脑电图研究工作者的工作过程，提 出用句法分析、模糊模式识别等。上个世纪九十年代，根据所各个脑电信号源 的瞬时独立这个特点，有学者将盲信号分离中的独立分量分析方法应用到脑电 信号处理上f 15 1 ，如特征提取、伪迹消除、工频于扰消除等，并取得良好效果。 1 3 本文研究主要内容及安排 本文旨在探讨独立分量分析( 1 c a ) 在多导脑电信号处理中的应用。第1 章绪 论部分，对数字信号处理在生物医学信号中的应用情况做了简单概括，接着介 绍了i c a 及脑电信号处理的研究现状。第2 章阐述了1 c a 的基本概念、原理、 算法及相关知识。第3 章为i c a 算法在计算机上的仿真实现，主要介绍了基于 峭度的i c a 、基于信息最大化的i c a 、基于峭度、负熵的快速固定点的i c a 。 第4 章介绍了基于l a b v i e w 编程采集脑电信号的的方法、电极的安装及脑电 信号的获取。第5 章根据所获得的脑电信号中含有工频干扰及眼动伪迹这一现 象，介绍采用i c a 模型，将工频和眼动伪迹消除问题转化成盲源分离问题。具 体做法为：将两个相互正交的工频参考源及个眼电信号作为1 c a 输入的分量， 经过i c a 处理后在分离各导脑电的同时，达到在去除工频干扰和去除眼动伪迹。 最后部分，即第6 章为全文工作总结及对未来工作展望。 另外，所有i c a 算法是在m a t l a b6 5 环境下通过编写代码实现。 四川大学硕士学位论文 第2 章 lc a 的基本概念及理论 独立分量分析o c a ) ，是统计信号处理领域中伴随着盲信号处理( b s p ) 而迅 速发展起来的信号分解技术，该问题首先应用于“鸡尾酒会”问题1 8 i 。 2 1i c a 的基本概念 舞f q 黧- z 黝a 蓬；囊- 荔 房的不同位置。个同时 、二、霭卜。) = = 一。一1 说话，每个麦克风都记录下一 s ，( f ) 瀚：西五：、i ，：j ：x f n 段时间的语音信号。我们依次 匕2 赢 ? 一，? ? ： i d n , 一x 。f f t ) , x 2 一( t ) , x 3 ( t ) o ，蝥x i s ，( f ) 乏嚣! ：! ：妻爹圳 表示幅度，表示时间序号。每 个麦克风记录下的时间信号都 图2 _ 1 鸡尾问题示意图 h q 3 1 l a ， o ，：，j 第2 章i c a 的基本概念及理论 s i ( f ) ，s 2 ( f ) ，s 3 ( f ) ，应是一件非常有意义的工作。这就是所谓的“鸡尾酒会”问题。 在这里，我们忽略了任何时问延迟以及其它影响因素。因为这些因素会使这个 简单的模型变得复杂起来。 如果我们知道混合系数a 。( f ，j = 1 ，2 ，3 ) ，我们就可以求解( 2 4 ) 式中的线性方 程组。这只需要简单的对方程组左乘混合矩阵a 的逆矩阵。但问题是，我们在 这里并不知道“d 和s ，( r ) ，因此上述问题变得非常困难。 一个解决的方法是利用s ，( r ) 的统计信息来估计和s ，( ，) 0 预先假定在任意 f 时刻，s l ( ms 2 ( t ) 和s 3 ( i ) 瞬间统计独立。独立分量分析( i c a ) 能够在源信号s 】( 小 s z ( 0 和s 3 ( 0 独立的假设条件下，利用混合信号x 1 ( f ) 、x 2 ( 0 和x 3 ( f ) 估计出a 。从 而分离出s l ( t ) 、s 2 ( 0 和s 3 ( 0 原始信号。 2 1 2i c a 的定义 设待处理信号涮n 可描述为： x ( t ) = a s ( t ) + ( r ) ( 2 6 ) 式中：a 为未知的传递矩阵，称为混合矩阵；撮f ) 为n 维观察信号变量；蹦r ) 为 独立的m ( m n ) 维未知源信号变量；( ，) 为y l i 维的观察噪声变量。在标准i c a 模型中，通常噪声被略去。故上式简化为： 爿( f ) = a s ( t )( 2 7 ) i c a 的目的就是寻求一线性变换，通过它实现由观察信号坦0 恢复为相互独 立的源信号研f ) ： 】，( f ) = w x ( t ) = w a s ( t )( 2 8 ) 式中：h f ) 即为o 的估计变量。当分离矩阵为a 的逆时，源信号双f ) 被提取 出来。 2 1 3i c a 标准模型的基本假设 在i c a 的理论和算法中，一般都作了如下基本假设： 观察信号的数目大于或等于源信号的数目； 各个源信号s ，( f ) 的均值( 期望) 为零，即联s j ( f ) _ o ，方差为1 ，即 d s ，( f ) = l ，且各个源信号相互之间是瞬时统计独立的； 源信号中至多有一个高斯信号； 凹川大学硕上学位论文 源信号中没有噪声。 2 2i c a 的基本理论 i c a 多维信号处理技术，综合了信号估计理论、最优化理论、矩阵理论、 信息论以及随机信号理论等数学知识；所涉及的信号处理领域包括统计信号处 理、自适应信号处理、人工神经网络、非平衡信号处理等信号处理技术。从应 用角度来说，它又包括语音信号处理、图像信号处理、通信信号处理、生物医 学信号处理、水声信号处理等领域。本文仅对其中一部分略做介绍。 2 2 1 最大非高斯性估计原理 在大多数经典统计理论旱，随机变量被假设为高斯分布。然而在c a 算 杰 中，判别一个变量的非高斯性是非常重要的。没有非高斯性，i c a 估计几乎不 能实现，它来源于中心极限定理【l “。该定理表明，一组具有有限均值和方差的 相互独立的随机变量的总体分布趋向于高斯分布，并且比原随机变量中的任何 个更接近于高斯分布。在i c a 估计里，对随机变量的非高斯性的衡量有三种 方法：峭度、负熵以及由负熵衍生出来的近似负熵。 2 2 1 1 峭度( k u r t o s i s l 传统的衡量随机变量非高斯性的方法是峭度( k u r t o s i s ) 或称四阶累积量l ”j 。 峭度是描述随机变量x 概率密度分布函数特性的一个重要参数，是由统计学中 矩来定义的，如式( 2 ，9 1 。 k u r t ( x ) = e x 4 一3 ( e x 2 ) ) 2( 2 9 ) 如果又假设x 符合标准分布，即x 是0 均值且方差为1 ，那么上式可简化为： k u r t ( x ) = f 4 x 4 ) - 3( 2 1 0 ) 对一个高斯分布变量x ，其四阶矩等于3 ( e x 2 ) ) 2 ，所以其峭度值为零；但对大 多数非高斯随机变量，它们的峭度值为非零。 峭度值有正有负。当随机变量x 的峭度值为正，称它的概率密度函数具有 超高斯分布，如自然界的语音信号。典型的超高斯分布为拉普拉斯( l a p l a c i a n ) 分布。若随机变量x 的峭度值为负，则它的概率密度函数具有亚高斯分布，如 图像信号、通信信号等，典型的亚高斯分布为均匀分布。 峭度( k u r t o s i s ) 的平方或绝对值已被广泛地用于i c a 的非高斯性的衡量及 第2 章i c a 的基本概念及理论 相关领域1 1 剐。 2 2 1 2 负熵( n e g e n t r o p y ) 第二个衡量非高斯性的重要方法是负熵，它是基于信息论上微熵的概念。 一个随机变量的熵与它给出的信息相关，越随机，熵越大。对于”个可取值的 离散随机变量，若相应的概率为p 】，p ：，n 则x 的熵h 被定义为： h ( x ) = 峨( 且，p ：，n ) = 一z p ( x = q ) l 。g p ( x ) ( 2 11 ) 式中a ，指可能的取值。对于连续的随机变量，熵的表达式为： h ( x ) = 一1 只( ) l o g p ，( 4 ) d 4 ( 21 2 ) 对于离散随机变量来说，等概率分布时熵为极大。但对连续随机变量来说需加 上一些约束，如峰值和功率约束。根据以下信息最大原则【i ( 包含峰值受限定 理和平均功率受限定理) 有这样的结论：在所有具有相同方差的随机变量中， 高斯变量的熵最大： 1 峰值受限定理 m 若肖取值限于( 彳，m ) ，即ip ( x ) d x = 1 ，这时微熵h ( x ) i n 2 m ，当x 一玉 的概率分布为均匀分布时取等号。 2 平均功率受限定理 在方差一一定的条件下，当x 服从正念分布时，微熵极大 日( ) l n ( 4 2 1 c e g )( 2 13 ) 由上述信息最大原贝n 可见熵可以衡量非高斯性，实际上，这也说明高斯分布最 随机。如果某种分布越集中于某一确定点，则说明它的熵越小。有人根据以上 性质给出了负熵的定义： d ( x ) = 日( x ) 一h ( x ) ( 2 1 4 ) 式中，x g a t t 。, s 是一个高斯随机变量，与x 具有相同的协方差。由于上面提到的特 性，负熵取值总是大于等于零的，当且仅当x 是高斯分布时，负熵为零。 由于使用负熵，计算起来非常困难，所以我们常采用近似负熵的方法。 四川大学硕十学位论文 2 2 1 3 近似负炳 对负熵进行近似的传统方法足使用高阶累积量，形式如下： j ( x ) 2 壶脚1 2 + 森1 胁( x ) 2 ( 215 ) 随机变量x 假设是均值( 期望) 为零且方差为1 。但是，这种近似的有效性非 常有限，尤其是它对非鲁棒性非常敏感。为了避免出现这类问题，常采用基于 最大熵原理的另一种近似，它的近似式为： j ( x ) z k i e g l ( x ) 卜e g 。( v ) ) 2( 2 1 6 ) 置为正的常数，v 是均值为零且方差为1 的高斯变量，假设x 是均值为零方差 为l 的随机变量，函数g ，是非二次函数。在仅用相同一个非二次函数g 的情 况下，这种近似变为以下形式 ，( x ) o c 【三 g ( x ) 卜职g ( v ) ) 2( 2 1 7 ) 如何选择函数g 使得到的近似负熵优于式( 2 1 5 ) 。可以证明【2 0 2 ”g 的以下三种 有用形式： 1 g 1 ( x ) = l o g c o s h a i x( 2 1 8 ) 口】 g 2 ( x ) = e x p ( 一z 2 2 )( 2 1 9 ) 1 g 3 ( x ) = x 4( 2 1 2 0 ) 式( 2 1 8 ) 中l 0 ，t 的符号必须与( e s e c h 2 ( “。) ) e ( “；) 一e t a n h ( u 。) 1 略) ) 符号 致，于是得到 k ，= s i g n ( e s e c h 2 ( ) ，e ( ? ) e t a n h ( u ，) 】砷 ) ( 3 2 7 ) 3 2 3 计算机仿真 在计算机上，分别用上述三种算法，即传统的信息最大