（运筹学与控制论专业论文）独立成分分析的若干算法及其应用研究.pdf

独立成分分析的若干算法及其应用研究 摘要 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是一种新的数据处理方 法，目的在于从未知源信号的观测混合信号中分离( 或抽取) 相互统计独立的源信号 将i c a 用来处理盲源分离问题( b l i n ds o u r c es e p a r a t i o n ，b s s ) 已经引起了广泛的关 注，并已成功地应用于语音信号处理、通信、人脸识别、图像特征提取、神经计算和医 学信号处理等众多领域本论文就独立成分分析、盲源分离的若干算法及其应用进行 了一些研究本文的概要如下： 第一章对独立成分分析的算法和应用，国内外的发展状况作了较详细的介绍，并阐 述了本文的主要工作 第二章对标准的i c a 进行了研究国际上应用最广的是f a s t i c a 算法( f i x e d - p o i n t 算法) 和极大似然的自然梯度法( i n f o m a x 算法或l e ee ta 1 的e x t i c a 算法) ，它 们各有优缺点f a s t i c a 收敛速度快，但分离精度上逊于e x t i c a 算法；而e x t i c a 算 法的收敛速度较慢针对这种情况，我们提出一种新的不动点算法，该算法综合 了f a s t l c a 算法和e x t i c a 算法各自的优势，能够盲分离超高斯和亚高斯分布源的混合 信号与f a s t l c a 算法和e x t i c a 算法比较，该算法在分离的精度上较高且算法收敛速 度较快将该算法应用到大规模的生物医学信号f m p h ( 功能磁共振成像) 的数据处理中， 得到了不错的结果，从时间动力学的角度来看，该算法优于f a s t i c a 算法进一步针 对i c a 对于幅度和捧序的不确定性，提出一种基于投影方法的约束独立成分分析算法， 使分离出的信号能按某种统计量来进行捧序 第三章针对源信号的个数多于混合信号个数时的盲分离问题，即超完备的独立成分 分析( o v e r c o m p l e t ei c a ) 进行了研究我们提出用两阶段方法来求解该问题，即先估 计混合矩阵，当估计出混合矩阵后，再估计源信号首先，提出用广义指数混合模型f 或 稀疏混合模型) 来估计混合矩阵，这同时适用于无噪和低噪声模型的情况估计出混合 矩阵后，对于无噪的情况，通过解大规模的线性规划来估计源信号；对于低噪声的情况， 可通过m a p 方法来估计源信号将算法用于自然语音信号的盲分离中，取得了较好的 结果 第四章研究具有时间结构的独立成分分析当源信号具有时间结构时，从信息论 的观点出发，提出复杂性寻踪的不动点算法，来寻找数据投影最易编码的方向这个 观点可能与大脑的信息处理原理有联系与一般的只利用非高斯性或只利用时间结构 的i c a 算法不同，该算法有效结合了数据的非高斯性和时间结构信息，能够最大限度的 挖掘数据的信息，来获得更好的结果这个算法与一般的神经梯度算法相比有优势，如 收敛速度快，不用选择学习率，这些特点使得该算法能够有效应用到实际问题的处理 中，能够解决标准的i g a 算法所不能髂决的问题我们还对算法进行了收敛性分析有 趣的是，当源信号不具有时间结构时，该算法即是著名的f a s t i c a 算法该算法能够分 a 1 大连理工大学博士学位论文 离出具有相同自协方差的信号( 包括两个以上的高斯信号) ，这对于一般的盲分离算法是 相当艰巨的任务将该算法用于自然图像的盲分离中，取得了较好的效果这是标准 的i c a 算法难以完成的任务，因为通常自然图像之间并不是统计独立的，具有一定的相 关性，结合它们内在的时间结构信息，复杂性寻踪的不动点算法能够较好的完成这个任 务 第五章针对f m r i ( 功能磁共振成像) 数据的空间独立成分分析，提出了两个算法： o r t h - i n f o m a x 算法和新的牛顿型算法 到目前为止，国际上常用两个i c a 算法来执行f l v i r i 数据的空间独立成分分析： i n f o m a x 算法和f i x e d - p o i n t 算法( f a s t m a 算法) 本章提出独立成分分析的一个改进 的梯度学习算法，简称正交信息极大化算法( o r t h o g o n a li n f o m a x ，o r t h i n f o m a x ) 这个算法综合t i n f o m a x 算法和f i x e d - p o i n t 算法的优点我们从语音信号和f m p d 信 号两方面来比较这三个算法就语音信号的分离准确度来说，o r t h i n f o m a x 算法具有 较好的分离精度对于真实的f l v i r i 数据来说，o r t h - i n f o m a x 算法具有最佳的估计脑内 激活的时问动力学准确性这说明该算法是对大规模f l v i r i 信号进行空间独立成分分析 的有效算法 另外，我们采用独立成分分析的一种新的牛顿型算法来提取f i v i r i 信号中的各种独 立成分( 包括与实验设计相关的成分以及备种噪声) 与f a s t l c a 相比，该算法减少了运 算量，提高了运算速度，而且能够很好地分离出各个独立成分我们对算法进行了收敛 性分析，在较弱的条件下，算法具有收敛快速的特点 第六章总结本文的主要研究成果，同时对独立成分分析和盲分离算法的发展进行了 展望 关键词：独立成分分析；盲源分离；盲信号处理；不动点算法；非监督学习；极大似然估 计；极大后验估计；功铑磁共振成像 塾皇盛坌坌堑竺堇王苎鎏垦苎堕旦翌壅 一 一 a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i s an e ws t a t i s t i c a ls i g n a lp r o c e s s i n g t e c h n i q u ef o re x t r a c t i n gi n d e p e n d e n t s o u r c e sg i v e no n l yo b s e r v e dd a t at h a ta r e m i x t u r e so ft h eu n k n o w ns o u r c e s r e c e n t l y , b l i n ds o u r c es e p a r a t i o nb yi c a h a sr e c e i v e dg r e a ta t t e n t i o nd u et oi t sp o t e n t i a ls i g n a lp r o c e s s i n ga p p l i c a t i o n s s u c ha ss p e e c hs i g n a lp r o c e s s i n g ，t e l e c o m m u n i c a t i o n s ，f a c er e c o g n i t i o n ，n a t u r a l s c e n e s ，n e u r a lc o m p u t a t i o n a n dm e d i c a ls i g n a lp r o c e s s i n g ，e t c t h i sd i s s e r t a t i o n i sd e v o t e dt ot h es t u d yo fs e v e r a la l g o r i t h m sf o ri n d e p e n d e n tc o m p o n e n ta n a l y s i s a n dt h e i ra p p l i c a t i o n s t h ep a p e ri so r g a n i z e da sf o l l o w s ： i nc h a p t e r1 ，w ei n t r o d u c ei nd e t a i lt h es t a t u so fi n d e p e n d e n tc o m p o n e n t a n a l y s i si nt h ea s p e c t so fa l g o r i t h m sa n da p p l i c a t i o n s i na d d i t i o n ，w e i n t r o d u c e t h em a i nr e s e a r c ho fm y p a p e r i nc h a p t e r2 ，an e w f i x e d - p o i n ta l g o r i t h mf o ri n d e p e n d e n tc o m p o n e n t a n a l - y s i s ( i c a ) i sp r e s e n t e dt h a ti sa b l eb l i n d l yt os e p a r a t em i x e ds i g n a l sw i t hs u b - a n ds u p e r - g a u s s i a ns o u r c ed i s t r i b u t i o n s t h en e wf i x e d - p o i n ta l g o r i t h mm a x - i m i z e st h el i k e l i h o o do ft h ei c am o d e lu n d e rt h ec o n s t r a i n to fd e c o r r e l a t i o n a n du s e st h em e t h o do fl e ee ta 1 ( e x t l c a ) t os w i t c hb e t w e e ns u b - a n ds u p e r - g a u s s i a nr e g i m e s t b en e w f i x e d - p o i n ta l g o r i t h m m a x i m i z e st h el i k e l i h o o dv e r y f a s ta n d r e l i a b l y t h i sa l g o r i t h mu s e se x t e n d e di n f o m a xa l g o r i t h mf o ra c c u r a t e s o u r c es e p a r a t i o na n dt h ef i x e d - p o i n ta l g o r i t h mf o raf a s t e rc o n v e r g e n c e w e c o m p a r e t h en e w f i x e d p o i n ta l g o r i t h mw i t ht w oi c aa l g o r i t h m s ( f a s t l c aa n d e x t i c a ) t h er e s u l t ss h o wt h a tt h es e p a r a t i o na c c u r a c yo ft h en e wa l g o r i t h m i st h eb e s t a n dt h en e w f i x e d - p o i n ta l g o r i t h mi sm u c h f a s t e rt h a nt h ee x t i c a t h e n ，w ep e r f o r mt h en e wf i x e d - p o i n ta l g o r i t h mf o rf m r ie x p e r i m e n t a sf a r a st h et e m p o r a ld y n a m i c so ft h ef m r id a t ai sc o n c e r n e d ，t h en e wf i x e d - p o i n t a l g o r i t h m i sb e t t e rt h a nf a s t l c a i na d d i t i o n c o n c e r n i n gt h ei n h e r e n ti n d e t e r m i n a c yo fi e ao nd i l a t i o na n d p e r m u t a t i o n ，w ep r o p o s e a na l g o r i t h mf o rc o n s t r a i n e di n d e p e n d e n tc o m p o n e n t a n a l y s i sb a s e do np r o j e c t i o nm e t h o d s t h ep r o j e c t i o nm e t h o d sa n dl a g r a n g e m u l t i p l i e rm e t h o d sa r eu s e dt oo r d e r t h ei n d e p e n d e n tc o m p o n e n t si na s p e c i f i c 瑚, a n n e ra n dn o r m a l i z et h ed e m i x i n gm a t r i xi nt h es i s a ls e p a r a t i o np r o c e d u r e t h i sc a ns y s t e m a t i c a l l ye l i m i n a t et h ei n d e t e r m i n a c yo fi c ao np e r m u t a t i o na n d d i l a t i o n t h ev a l i d i t yo ft h ea l g o r i t h m sa r ec o n f i r m e db yt h ee x p e r i m e n t sa n d r e s u l t s 大连理工大学博士学位论文 i nc h a p t e r3 ，b l i n ds o u r c es e p a r a t i o ni sd i s c u s s e dw i t hm o r es o u r c e st h a n m i x t u r e sw h e nt h es o u r c e sa r es p a r s e ( o v e r c o m p l e t ei c a ) t h eb l i n ds e p a r a t i o n t e c h n i q u ei n c l u d e st w os t e p s t h ef i r s ts t e pi st oe s t i m a t eam i x i n gm a t r i x a n d t h es e c o n di st oe s t i m a t es o u r c e s t h em i x i n gm a t r i xc a r lb ee s t i m a t e db y u s i n gac l u s t e r i n ga p p r o a c hw h i c hi s d e s c r i b e db yt h eg e n e r a l i z e de x p o n e n t i a l m i x t u r em o d e l ( o rt h es p a r s em i x t u r em o d e l ) w h e t h e rt h em o d e li st h en o i s e f r e em o d e lo rt h el o wl e v e ln o i s em o d e l t h eg e n e r a l i z e de x p o n e n t i a lm i x t u r e m o d e l ( o r t h es p a r s em i x t u r em o d e l ) i sap o w e r f u lu n i f o r mf r a m e w o r kt ol e a r n t h em i x i n gm a t r i xf o rs p a r s es o u r c e s ag r a d i e n tl e a r n i n ga l g o r i t h mf o rt h e g e n e r a l i z e de x p o n e n t i a lm i x t u r em o d e lo rt h es p a r s em i x t u r em o d e l ) i sd e r i v e d a f t e rt h em i x i n gm a t r i xi se s t i m a t e d ，t h es o u r c e sc a l lb eo b t a i n e db y s o l v i n g al i n e a rp r o g r a m m i n g p r o b l e m ( t h e n o i s ef r e em o d e l ) o ru s i n gt h em a x i m u ma p o s t e r i o r ia p p r o a c h ( t h e l o wl e v e ln o i s em o d e l ) t h e s p e e c h - s i g n a le x p e r i m e n t s d e m o n s t r a t ee f f e c t i v e n e s so ft h ep r o p o s e da p p r o a c h i nc h a p t e r4 ，w ec o n s i d e rt h ee s t i m a t i o no ft h ei c am o d e lw h e nt h ei n d e - p e n d e n tc o m p o n e n t sa r et i m es i g n a l s af i x e d - p o i n ta l g o r i t h mf o rc o m p l e x i t y p u r s u i ti si n t r o d u c e db a s e do nt h ek o l m o g o r o f fc o m p l e x i t y w es e a r c hf o rp r o - j e c t i o u st h a tc a nb ee a s i l yc o d e di nt h ec o m p l e x i t yp u r s u i t t h i si sag e n e r a l p u r p o s em e a s u r e a n di sp r o b a b l yc o n n e c t e dt o i n f o r m a t i o n - p r o c e s s i n gp r i n c i p l e s u s e di nt h eb r a i n i c ai ni t sb a s i cf o r mi g n o r e sa n yt i m es t r u c t u r ea n du s e so n l yt h e n o n g a u s s i a n i t yc r i t e r i a a n du n d e r c e r t a l nr e s t r i c t i o n s ，i ti sa l s op o s s i b l et oe s t i m a t et h e i n d e p e n d e n tc o m p o n e n t su s i n gt h et i m e - d e p e n d e n c yi n f o r m a t i o na l o n e h o w - e v e r ，t h ec o m p l e x i t yp u r s u i ta l g o r i t h mc o m b i n eb o t h o ft h e s ee s t i m a t i o nc r i t e r i a ( n o n g a u s s i a n i t ya n dt i m e - c o r r e l a t i o n s ) i nap r i n c i p l e dw a y , c o m p l e x i t yp u r s u i t i sa ne x t e n s i o no fp r o j e c t i o np u r s u i tt ot i m es e r i e s ，t h a ti s ，s i g n a l sw i t ht i m e s t r u c t u r e t h ef i x e d - p o i n ta l g o r i t h mf o rc o m p l e x i t yp u r s u i ti n h e r i t st h ea d v a n t a g e so f t h ew e l l - k n o w nf a s t i c aa l g o r i t h mi ni c a ，w h i c hi sv e r y s i m p l e ，c o n v e r g ef a s t ， a n dd o e sn o tn e e dc h o o s ea n y l e a r n i n gs t e ps i z e s f u r t h e r m o r e ，t h ec o n v e r g e n c e o ft h ea l g o r i t h mi sg i v e n i n t e r e s t i n g l y , a s s u m et h a tt h es i g n a l sh a v en ot i m e d e p e n d e n c i e s ，o u rm e t h o d r e d u c e st ot h ew e l - k n o w nf a s t i c a a l g o r i t h m i ni c a t h e a l g o r i t h mc a ns e p a r a t et h em i x e ds i g n a l sw i t h t h ei d e n t i c a la u t o c o v a r i - a n c e sf i n c l u d i n gt w og a u s s i a ns i g n a l s ) o r d i n a r yi c am e t h o d sa n dm e t h o d s b a s e do na u t o c o v a r i a n c e sw o u l df a i lw i t ht h e s ed a t a f u r t h e r m o r e w ep e r f o r m a 4 独立成分分析的若干算法及其应用研究 t h ef i x e d - p o i n ta l g o r i t h mf o rs e p a r a t i n gt h em i x e di m a g e s t h er e s u l t ss h o w t h ea l g o r i t h mc o n v e r g e sa n di sa b l et os e p a r a t et h ei m a g e sr e a s o n a b l yw e l l h o w e v e r ，f a s t i c af a i l st ot h e s ed a t a i nc h a p t e r5 ，w ed i s c u s sh o wt oa n a l y z ef m r i ( f u n c t i o n a lm a g n e t i cr e s o - n a n c ei m a g i n g ) d a t ab yb l i n ds e p a r a t i o ni n t oi n d e p e n d e n ts p a t i a lc o m p o n e n t s t w oi c aa l g o r i t h m sa r ep r e s e n t e d ：a ni m p r o v e dg r a d i e n tl e a r n i n ga l g o r i t h m ( o r t h o g o n a li n f o m a x ，o r t h - i n f o m a x ) a n d an e wn e w t o n a l g o r i t h m t w oi c a a l g o r i t h m sh a v eb e e nu s e ds of a rf o rs p a t i a li c a ( s i c a ) o ff m r i t i m e - s e r i e s ：t h ei n f o m a xa l g o r i t h ma n dt h ef i x e d - p o i n ta l g o r i t h m ( f a s t i c a ) i nt h i sc h a p t e r ，a ni m p r o v e d g r a d i e n tl e a r n i n ga l g o r i t h mf o ri n d e p e n d e n tc o m - p o n e n ta n a l y s i si sp r e s e n t e da n dc a l l e do r t h o g o n a li n f o m a xa l g o r i t h m w e c o m p a r e dt h ei m p r o v e da l g o r i t h mw i t ht h et w oi c aa l g o r i t h m si nb o t hs p e e c h s i g n a l sa n df m r id a t a f o rs p e e c hs i g n a l s ，w eu s e dt h et h r e ea l g o r i t h m sr e - s p e c t i v e l yt os e p a r a t et w e n t y - f i v em i x e ds p e e c hs i g n a l s t h er e s u l t ss h o wt h a t t h es e p a r a t i o na c c u r a c yo ft h en e wa l g o r i t h mi st h eb e s t t h e n ，w es e l e c t e d t h es e s s i o n sf r o mt h r e en o r m a ls u b j e c t sp e r f o r m i n gg r a p h e m e - i d e n t i f y i n gt a s k i nf m r ie x p e r i m e n tt ob ea n a l y z e db yt h et h r e ei c a a l g o r i t h m s l i n e a rc o r r e l a t i o na n a l y s i sw a su s e dt oa s s e s st h ea l g o r i t h m s a c c u r a c yo f e s t i m a t i n gt h e t e m p o r a ld y n a m i c s i nc o n c l u s i o n ，t h et h r e ea l g o r i t h m sa l lw o r k e dp r o p e r l yo n o u r d a t a ，b u ta sf a ra st h et e m p o r a ld y n a m i c so f t h ef m r id a t a i sc o n c e r n e d ，o r t h o g o n a li n f o m a xa l g o r i t h m i st h eb e s t w e a r g u e t h a tt h eo r t h o g o n a li n f o m a x a l g o r i t h mi s aq u i t ee f f i c i e n ta l g o r i t h mf o rs i c ao ff m r id a t a i na d d i t i o n ，w es e p a r a t ei n d e p e n d e n tc o m p o n e n t s ( t a s k - r e l a t e ds i g n a la n d o t h e r n o i s e s ) f r o m f u n c t i o n a l m a g n e t i cr e s o n a n c ei m a g i n g ( f m r i ) s i g n a l sb y u s i n g an e wn e w t o n a l g o r i t h m i nc o n t r a s tt of a s t l c a ，t h ea l g o r i t h mr e d u c e sc o m p u - t a t i o na n dr a i s e ss p e e do f o p e r a t i o n i ta l s os e p a r a t e si n d e p e n d e n tc o m p o n e n t s f r o mf m r i s i g n a l sv e r yw e l l f u r t h e r m o r e ，t h ec o n v e r g e n c eo ft h ea l g o r i t h mi s p r o v e n t h ea l g o r i t h mo p t i m i z e st h eo b j e c t i v ef u n c t i o n sv e r yf a s t i nc h a p t e r6 ，w ec o n c l u d et h er e s e a r c ha n d p r e s e n to u rf u r t h e rr e s e a r c h k e yw o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ；b l i n ds o u r c es e p a r a t i o n ；b l i n d s i g n a lp r o c e s s i n g ；f i x e d - p o i n ta l g o r i t h m ；u n s u p e r v i s e dl e a r n i n g ；m a x i m u m l i k e l i h o o d ；m a x i m u ma p o s t e r i o r i ；f u n c t i o n a lm a g n e t i cr e s o n a n c ei m a g i n g a 5 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究 工作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 大连理工大学或其他单位的学位或证书所使用过的材料。与我同工作 的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢 意。 作者签名：冀拯盛日期：型! 翌 独立成分分析的若干算法及其应用研究 1 绪论 1 1引言 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，简称i c a ) 的思想和方法最 早源于上世纪八十年代几个法国学者的研究工作，尽管当时他们并没有命名其 为i n d e p e n d e n tc o m p o n e n ta n a l y s i s 在1 9 8 6 年举行的神经网络计算( n e u r a ln e t w o r k sf o rc o m p u t i n g ) 会议上，法国学者h d r a u l t 和j u t t e n 提出了一个基于神经网 络模型和h e b b 学习准则的方法，来解决盲源分离问题( b l i n ds o u t c es e p a r a t i o n ，简 称b s s ) ( 混合信号是由相互统计独立的 i 媛信号混合而成的) 1 4 0 1 这篇文章提出的算法可 以解决具有两个源信号混合的盲源分离问题他们的工作开创了信号处理领域的新纪 元，从此盲潦分离问题得到了各国学者的广泛重视 但在当时，i c a 仅为法国学者所研究，在国际上的影响十分有限八十年 代国际神经网络会议上，当时少数有关i c a 的文章被埋没于b a c k - p r o p a g a t i o n 网 络、h o p f i e l d 网络、k o h o n e n 自组织网络的研究热潮中，并没有引起各国学者足够 的重视在信号处理领域，法国学者的早期经典文章是文献 2 6 ，2 7 ，5 6 ，1 0 2 进入到上世纪九十年代初期，某些学者开始了这方面的研究，他们扩展了八十年 代有关盲分离问题的一些工作 1 2 ，8 6 1 其中，学者c i c h o c k i 和u n b e h a u e n 提出了当 时较为流行的i c a 算法 2 1 2 3 ；芬兰学者o j a ，k a r h u n e n 等提出了“非线性p c a ”方 法f 5 7 ，8 8 】然而，直到九十年代中期，i c a 仍然只得到少数学者的关注，主要原因是这 些学者提出的算法所能解决的问题是相当有限的 事实上，解决盲源分离问题是一个非常困难的任务，因为我们不知道源信号的任何 信息在h 4 r a u l t 和j u t t e n 提出的算法中，只作了两个假设：一个是假设源信号是相互 统计独立 g ，另一个是假设已知源信号的统计分布特征如果假设源信号是高斯分布的， 则很容易看出这个盲源分离问题没有一般的解，因为高斯分布的任何线性混合仍然是 高斯的用h d r a u l t j u t t e n 的网络模型解决盲源分离问题，需要假设源信号是亚高斯信 号，也就是说源信号的峰度值( k u r t o s i s ) 要小于高斯信号的峰度值直到1 9 9 4 年，法国 学者c o m o n 2 7 为h d r a u l t 和j u t t e n 提出的独立成分分析问题给出了一个较为清晰的 数学上的框架，从此i n d e p e n d e n tc o m p o n e n ta n a l y s i s 成为文献中的正式用语 i c a 获得广泛的关注和持续增长的研究兴趣归功于美国学者b e l l 和s e j n o w s k i 在 九十年代发表的里程碑式的论文，他们的方法基于信息极大化原理 5 1 这个算法迸 一步由日本学者a m a r i 和他的合作者用自然梯度1 2 】完善，其本质上是极大似然估计 方法几年以后，芬兰学者h y v i r i n e n 和o j a 提出f i x e d p o i n t 算法f 不动点算法，或称 为f a s t i c a 算法) 1 4 3 ，4 7 ，5 0 ，因为它对大规模问题特别有效而得到了广泛的应用 解决标准的独立成分分析只需假设源信号是相互统计独立的，并且满足非高斯 大连理工大学博士学位论文 性到目前为止，标准的独立成分分析算法已经较为成熟，国际上使用最为广泛的是 信息极大化算法、f i x e d p o i n t 算法( f a s t l c a 算法) f 4 3 ，4 7 ，5 0 1 、扩展的信息极大化算 法( e x t l c a ) 【3 5 ，3 6 ，6 4 和e a s i 算法f 1 6 】等标准的独立成分分析的数学模型较为简 单，不同的独立性判据所导致的算法在形式上也是基本相似的形势虽然简单，但到目 前为止，以实际的生物医学信号处理为例，研究者大量使用的主要还是标准的i c a 算法 主要因为它发展的最为成熟，计算稳定，较少有数值问题，并且网上有相关作者编制的 通用软件包可用于研究下载在真实数据的处理过程中，可尽量将所面临的问题转化为 标准的i c a 问题，然后选用有效的i c a 算法来解决它因为真实数据往往规模比较大， 选择在实算中收敛速度快，计算稳定的算法是相当重要的 i c a 最初所希望解决的鸡尾酒会问题( c o c k t a i lp a r t yp r o b l e m ) 是极为复杂和困难 的，实际的盲源分离问题又是方方面面，需要将各种实际情况转化为相应的数学模型来 解决现在人们重点研究的是扩展的独立成分分析，其模型是标准的i c a 模型的扩展和 补充，来进一步满足实际需要，比如具有噪声的独立成分分析1 4 6 ，1 1 1 1 ，稀疏和超完备 表示问题( o v e r c o m p l e t er e p r e s e n t a t i o n s ) 【3 7 ，7 0 ，1 1 0 】，具有时间结构的独立成分分 析问题“，5 1 ，非线性的独立成分分析 3 s ，3 9 ，4 9 ，6 1 ，6 2 ，1 0 5 和非平稳信号的独立 成分分析 0 6 ，9 9 等独立成分分析已经被广泛应用于实际数据的处理中，诸如图像处 理、语音信号处理、生物医学信号处理、模式识别、数据挖掘、通讯等独立成分分 析更为详细的介绍，可参见综述性的文献 x s ，2 5 ，3 6 ，5 0 ，5 2 ，6 3 ，6 6 ，9 7 ，9 9 1 下面首 先讨论了研究独立成分分析的重要意义，然后给出了独立成分分析的线性模型和相关的 优化方法，最后概述了扩展的独立成分分析、国内外的研究概况和本文的主要工作 1 2 研究独立成分分析的意义 假设在一个房间内有两个人同时讲话，在房间的不同位置有两个麦克风，而每个麦 克风记录下来的是两个人声音信号的混合我们的问题是：如何仅利用麦克风的混台声 音信息来获得每个讲话者所说的话( 即源信号) ? 这就是著名的鸡尾酒会问题( c o c k t a i l p a r t yp r o b l e m ) 人类复杂的听觉系统可以很好的解决这个问题，将注意力集中于一个 说话者，人们可以听出他所说的话但如何利用计算机，或利用机器，使其智能化，来模 仿人类并有效的解决这个问题? 这个问题相当令人感兴趣，它属于智能信息处理的范 畴独立成分分析就是解决鸡尾酒会问题的有效方法，或者说解决盲源分离闷题的有效 方法在上世纪九十年代之前，没有独立成分分析这个工具，解决此类问题是相当之难 的 解决盲源分离问题的一个主要困难在于，我们不知道源信号的任何信息，也不清楚 信号的混合方式但假设源信号是相互统计独立的，就可以应用独立成分分析这一工具 很好的解决这个问题在大量的实际问题中，这个假设是合理的，符合实际的情况，这 样，独立成分分析被广泛地应用于解决实际问题标准的独立成分分析需要的另个假 2 独立成分分析的若干算法及其应月研究 设是信号的非高斯性，现实世界的许多信号，诸如绝大多数的语音信号和图像信号即是 服从非高斯分布的这个假设的可应用性，带来了独立成分分析的重要特征，即实际信 号的统计特性仅甩普通的基于二阶统计量方法是不能反映的，独立成分分析追求的是信 号的高阶统计信息应用上的广泛性和技术上的更高要求，使得独立成分分析成为国际 上的研究热点 目前独立成分分析已经成功地应用在图像处理、语音信号处理、生物医学信 号处理、模式识别、数据挖掘、通讯和金融等领域 9 7 】信号处理及多元统计领 域的基本问题是寻找信号( 比如语音和图像数据) 的个恰当的线性表示、数据压 缩和数据的去噪声等，独立成分分析已经成功的用于解决这些问题，与传统的方法 比如傅利叶基表示、h a a 刊、波基表示等相比较有许多优点 7 0 卜在生物医学信号 处理领域，独立成分分析发挥了巨大的作用，它比传统的方法更优越( 比如相关性 分析和主成分分析)