（信号与信息处理专业论文）独立分量分析及其在信号处理中的应用研究.pdf

摘要 摘要 独立分量分析( i c a ) 是盲信号分离中的一种新的处理方法，是近年来的研究 热点。i c a 可广泛应用于生物医学信号处理，通信信号处理等领域。 本文在分析主分量分析( p c a ) t 里论的基础上，对独立分量分析理论的提出、 假设以及其局限性进行了讨论。分析与研究了i c a 的算法原理，并且对几种经 典有效的i c a 算法进行了详细的讨论，通过仿真对其分离性能进行了验证与比 较。仿真结果表明f a s t i c a 法收敛速度快，分离性能较好。 本文对独立分量分析在生物医学信号处理中的应用进行了研究。针对心电 信号消噪时，导联数小于混合信号数时基本i c a 方法的不适用性，以及采用小 波独立分量分析方法时小波缺乏自适应性，选择最优小波基较为困难的问题， 将自适应分解的经验模式分解( e m d ) 与i c a 结合，提出了e i c a 方法对心电信 号进行去噪。通过利用m i t - b i h 心率失常数据库中的数据进行仿真实验，结果 表明该方法可以较好地消除e c g 信号中的噪声，消噪后信号与原信号的相关系 数可达0 9 6 。其次针对现有的混合混沌信号中微弱信号的分离一般都要利用各 个混沌信号的内在性质等先验知识的问题，采用基于负熵的快速独立分量分析 法对未知混合情况时混合混沌信号中的微弱信号盲分离进行了研究。仿真结果 表明，该方法可以快速有效地分离出混合混沌信号中的微弱信号，与原信号相 比误差较小，在信噪比达到8 7 6 d b 时仍能很好地进行分离。 本文对独立分量分析在通信信号处理中的应用进行了研究。针对快速独立 分量分析法进行盲多用户检测中峭度法的鲁棒性较差与负熵法的收敛速度较慢 的问题，通过三次收敛牛顿迭代的改进负熵法分析，将改进负熵法与传统的子 空间检测法相结合，对d s c d m a 系统进行了多用户检测，在检测中，充分利用 了扩频码的信息，解决了单独应用独立分量分析法进行检测时用户码字的顺序 问题，通过对二阶统计特性的高阶修正，提高了检测性能。仿真实验结果表明 这种方法收敛速度较快，稳定性较好。 最后在研究的基础上，对独立分量分析在生物医学信号处理中与通信信号 处理中的应用进行了总结，指出了该方法的优势以及其中存在的问题，并指出 了进一步的研究方向。 关键词：独立分量分析，经验模式分解，心电信号，混沌信号，d s c d m a 信号 i l i a b s t r a c t a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i san e wb l i n ds e p a r a t i o nt e c h n o l o g y , w h i c hi sr e c e n t l yt h ef o c u so ft h er e s e a r c h i tc a l lb ea p p l i e dt ot h ep r o c e s s i n go f b i o m e d i c a ls i g n a l s s p e e c hs i g n a l sa n dt h ec o m m t m i c a t i o n sa n ds oo n t h ep r i c i p l ec o m p o n e n ta n a l y s i s ( p e a ) t h e o r ya n dt h e nt h eb a c k g r o u n d ， a s s u m ea n dl i m i t a t i o n so fi c aa r ea n a l y z e d t h e n s o m e c l a s s i ca n ds u c c e s si c a a l g o r i t h m sa r ed i s c u s s e db u ta l s ot h e i rs e p a r a t i o np e r f o r m a n c ei sp r o v e db ys o m e s i m u l a t i o n s a n dt h er e s u l t ss h o wt h a tt h ef a s t i c ah a sab e t t e rp e r f o r m a n c e t h e a p p l i c a t i o n so fi c a i nb i o m e d i c a ls i g n a l sp r o c e s s i n ga r es t u d i e di nt h ep a p e r i no r d e rt os o l v et h ep r o b l e mo fl i m i t a t i o no fi c aw h e nt h el e a ds i g n a l si sl e s st h a n t h es o u r c e 1 a c ka d a p t a b i l i t ya n dd i f f i c u l t i e si ns e l e c t i n gw a v e l e tb a s ew h e nu s i n gt h e w r a v e l e t i c af w i c a ) t oc a n c e l l a t i o nt h en o i s ei ne c gan e wm e t h o dc a l l e de i c a i sp r o p o s e dw h i c hi sc o m b i n e dw i m 也ee m p i r i c a lm o d ed e c o m p o s i t i o na n d i n d e p e n d e n tc o m p o n e n ta n a l y s i s u s i n gt h em i t - b i hd a t a b a s et os i m u l a t e t h e r e s u l t ss h o wt h a te i c ah a sab e t t e rc a p a c i t yt or e m o v et h en o i s ei ne c gt h e c o r r e l a t i o nc o e f f i c i e n to fc l e a ne c ga n do r i g i n a le c gi s0 9 6 t h e n i no r d e rt o s o l v et h ep r o b l e mt h a ts o m ee x i s t i n gm e t h o d so fs e p a r a t i n gt h ew e a ks i g n a l sf r o m m i x e dc h a o t i cs i g n a l sh a v et ou s ec e r t a i np r i o r ik n o w l e d g eo fc h a o t i cs i g n a l ss u c ha s t h ei n h e r e n tp r o p e r t i e s ，af a s t l c am e t h o db a s e do nt h en e g e n t r o p yi se m p l o y e dt o s e p a r a t et h ew e a ks i g n a l sf r o mt h eu n k n o w nm i x e dc h a o t i cs i g n a l sb l i n d l y t h e s i m u l a t i o nr e s u l t si n d i c a t et h a tt h ew e a ks i g n a l sc a nb es e p a r a t e df a s ta n de f f e c t i v e l y a n dt h ee r r o ri sr e l a t i v el e s s e v e nw h e nt h es i m u l a t i o ni su n d e rt h el o ws n ra s 8 7 6 d b t h ea p p l i c a t i o no fi c ai nc o m m u n i c a t i o ns i g n a l sp r o c e s s i n gi ss t u d i e di nt h e p a p e r i no r d e rt os o l v et h ep r o b l e mo fp o o rr o b u s t n e s sa b o u tt h ek u r t o s i sm e t h o d a n dt h er e l a t i v e l ys l o wc o n v e r g e n c ea b o u tt h en e g a t i v ee n t r o p ym e t h o di nu s i n g f a s t l c af o rt h em u l t i - u s e rd e t e c t i o n ，a ni m p r o v e dn e g a t i v ee n t r o p ya l g o r i t h mi s s t u d i e d ，i nw h i c hw a sm o d i f i e db yac u b i cc o n v e r g e n c en e w t o ni t e r a t i o nm e t h o d ， a n dt h e nc o m b i n e dw i t ht h es u b s p a c em m s em e t h o dt oc o m p l e t et h eb l i n d m u l t i u s e rd e t e c t i o n u s e r s s p r e a d i n gc o d e sw e r ee x p l o i t e dt os o l v et h eo r d e r s u n c e r t a i n t yw h e nt h ei c aw a su s e da l o n ei nd e t e c t i o n 。t h ed e t e c t i o np e r f o r m a n c e w a si m p r o v e db yah i g h 。o r d e rm o d i f yo fs e c o n do r d e rc h a r a c t e r t h es i m u l a t i o n r e s u l t ss h o wt h a tt h e p r o p o s e dm e t h o dh a st h e f a s t c o n v e r g e n c ea n ds t a b l e p e r f o r m a n c e a t1 a s t t h ec o n c l u s i o n sa n df u t u r er e s e a r c h e so fi c ao nt h es i g n a lp r o c e s s i n g a p p l i c a t i o n sa r ep o i n t e do u t k e y w o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，e m p i r i c a lm o d ed e c o m p o s i t i o n ， e c gc h a o s d s c d m a i v 学位论文独创性声明 本人郑重声明： 1 、坚持以“求实、创新的科学精神从事研究工作。 2 、本论文是我个人在导师指导下进行的研究工作和取得的研究 成果。 3 、本论文中除引文外，所有实验、数据和有关材料均是真实的。 4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构 已经发表或撰写过的研究成果。 5 、其他同志对本研究所做的贡献均已在论文中作了声明并表示 了谢意。 ，： 作者签名：拯兰短 日 期：塑盟：上。鲨 学位论文使用授权声明 本人完全了解南京信息工程大学有关保留、使用学位论文的规 定，学校有权保留学位论文并向国家主管部门或其指定机构送交论 文的电子版和纸质版；有权将学位论文用于非赢利目的的少量复制 并允许论文进入学校图书馆被查阅：有权将学位论文的内容编入有 关数据库进行检索：有权将学位论文的标题和摘要汇编出版。保密 的学位论文在解密后适用本规定。 作者签名： 刍耋垄垒 日期：翻! 塑： 第一章绪论 第一章绪论 盲信号处理是在源信号和传输通道几乎没有可用信息的情况下，仅从观测的混合信号 中提取或恢复出源信号的一种信号处理方法，与传统的信号处理方法完全不同。独立分量 分析是一种新兴的，发展快速的盲信号分离方法，其在生物医学信号处理，通信信号处理 等领域有突出的作用。 1 1独立分量分析的发展 在对信源和通道先验知识甚少的情况下，仅由观察信号推断信源的通道的特性，称为 盲信号处理，其中包括盲辨识、盲解卷、盲信源分离等问题。独立分量分析是与盲信源分 离紧密联系的。独立分量分析( i c a ) 是近年来发展起来的一种信号分离技术，“鸡尾酒会” 问题是其典型模型。该方法以非高斯源信号为研究对像，在它们统计独立的假设下，对多 路观测的混合信号进行盲分离，从而较好地分离出隐含在混合信号中的独立源信号。i c a 理论的发展可以追溯到上世纪9 0 年代初期，法国学者c j u t t l e n 和j h e r a u l t 【l 】等人首次提出 i c a 的概念。到9 0 年代中期，i c a 的理论和算法才真正得到信号处理界的广泛关注。 p c o m m o n 于1 9 9 4 年第一个将独立分量分析方法应用于盲源分离【2 】。可应用于生物医学， 雷达，声纳，通信，语音处理，地震预报等许多不同领域。 在其发展中，美国索尔克研究所计算神经生物实验室，加州大学圣地亚哥分校神经计 算研究所，芬兰赫尔辛基理工大学神经网络研究中心，法国学者以及日本r i k e n 脑科学研 究所信号处理实验室对i c a 理论与技术的发展做出了很大的贡献。 美国索尔克研究所计算神经生物实验室，加州大学圣地亚哥分校神经计算研究所的主 要研究者包括s o j n o w s k i ，b e l l ，t e 娟nl e e 等。其中s o j n o w s k i 和b e l l l 3 1 提出了i n f o m a x 法，t e w o nl e e 提出了其扩展算法【4 】。上述两个研究机构合作在i n f o m a x 法及其扩展算法 上有较大的贡献，并且开发了以i n f o m a x 及其扩展算法为核心发展起来的一个m a t l a b 脑电 信号处理工具。其源代码开放，所有的研究者都可提供个人认为成功的算法程序和插件。 芬兰赫尔辛基理工大学神经网络研究中心的主要研究者为a h y v a r i n e n ，e o j a 等人。他们提 出了快速i c a 法，该算法计算效率高，迭代次数少，对i c a 在大规模问题上的应用做出了 贡献1 5 6 】。该中心应用方面主要集中在图像去噪，e e g ，m e g 去噪等。日本r i k e n 脑科学 研究所信号处理实验室中主要研究者为a c i c h o c h k i ，s a m a r i 。s a m a r i 【7 , 8 , 9 】等提出了自然梯 度法和互信息极小化法。该实验室还开发了基于m a t l a b 的i c a l a b 工具箱，功能强大， 包含了多种算法，且提供了测试数据。法国学者j f c a r d o s o 擅长从代数角度讨论和设计i c a 南京信息工程大学硕士学位论文 算法，提出了j a d e 法【1 0 】。上述算法由于稳定，收敛效果好，是常用的经典算法。目前， 以上述为主的大多数国外研究机构正在基于张量和贝叶斯理论开发新的算法。 1 2 独立分量分析的应用领域 生物医学信号处理中的应用是最为广泛的应用。最初该算法的提出就是基于生物医学 信号的背景【l 】。心电信号( e c g ) ，脑电信号( e e g ) ，功能磁共振图像( f m r i ) 等是人体生理活 动的重要表征。临床上测得的这些信号多为噪声与其他信号的混合信号，传统的分离与消 噪方法在干扰与目标信号存在频带混叠时便无能为力，并且各通道间存在串扰和迭加，这 些特点使得非常适合于应用i c a 方法对信号进行分离、去噪，完成目标信号的提取与辨识。 现已有学者成功的将其应用于生物医学信号处理中【。1 5 1 。 通信信号的处理是独立分量分析应用的又一重要领域。在移动通信中，码分多址( c d m a ) 这个特殊分支为有意义地应用i c h 提供了许多可能性u 引。c d m a 系统中，由于多径传播以 及扩频码非严格正交等固有缺陷，使用户信号间存在一定的相关性，产生多址干扰( m a i ) 。 当用户数增加或信号功率增大时，m a i 就成为c d m a 通信系统中的一个主要干扰。多用 户检测能有效地克服c d m a 通信系统中的多址干扰，以及抑制“远一近”效应。由于c d m a 信号模型与i c a 有相同的表达形式，并且盲多用户检测不需要训练序列，仅使用观测数据 来对多址干扰进行抑制，有较好的应用前景。 1 3 本文研究的主要内容与论文安排 独立分量分析在未知信源与传输信道特性的情形下，仅通过各信源为更符合实际情况 的相互独立这一基本假设，依据非线性去相关以及极大非高斯性的基本原则来对混合信号 进行分离与提取。该方法可以看成是主成份分析的延展，但其是一项更强有力的技术。 针对目前研究现状，本文对独立分量分析算法及其在信号处理中的应用进行了研究， 主要内容与安排如下： 第一章主要对独立分量分析的提出及其发展，以及其在生物医学信号处理、通信信号 处理中的应用进行介绍。 、 第二章从p c a 算法着手，分析i c a 算法的基本理论，即对独立分量分析理论的提出、 假设以及其局限性进行讨论，并且指出i c a 算法的优势所在。 第三章对几种独立分量分析算法进行分析研究，并对其算法性能进行仿真。从分离性 能指数与收敛速度上对算法进行比较各算法的分离性能。 2 第一章绪论 第四章对i c a 算法在生物医学信号处理中的应用进行研究。首先针对心电信号去噪 时，导联数小于混合信号数时基本i c a 方法的不适用性，以及采用小波独立分量分析方法 时小波缺乏自适应性，选择最优小波基较为困难的问题，提出了一种基于经验模式分解的 i c a 方法对心电信号进行去噪；其次针对心电信号、脑电信号等具有混沌表征的特性，以 及现有的混合混沌信号中微弱信号的分离一般都要利用各个混沌信号的内在性质等先验知 识的问题，采用基于负熵的快速独立分量分析法对对此类复杂背景下微弱信号的盲分离进 行研究。 第五章对i c a 算法在通信信号处理中的应用进行研究。针对快速独立分量分析法进行 盲多用户检测中峭度法的鲁棒性较差与负熵法的收敛速度较慢的问题，在分析研究基于三 次收敛牛顿迭代的改进负熵法的基础上，将改进负熵法与传统的子空间检测法相结合，对 d s c d 姒系统进行多用户检测。 第六章在前述章节研究的基础上，对独立分量分析在生物医学信号处理中与通信信号 处理中的应用进行了总结，指出了该方法的优势以及其中存在的问题，并指出了进一步的 研究方向。 第二章独立分量分析的基本原理 第二章独立分量分析的基本原理 寻找多元数据一种好的表示方法，即以某种方式对数据进行变换，使得其本质结构更 显著或更容易理解，这是统计学及其相关领域要解决的问题。主分量分析( p r i n c i p l e c o m p o n e n ta n a l y s i s ，p c a ) 与独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是这个统 一框架下既相互联系又有区别的两种方法。在独立分量分析的基本原理之前，我们先对主 分量分析进行简要的介绍。 2 1 主分量分析( p c a ) 理论n 7 叫9 3 主分量分析和与其紧密联系的k a r h u n e n l o 色v e 变换，或称h o t e u i n g 变换，是数据分 析中一种有效手段，是统计数据分析、特征提取、和数据压缩中的经典方法，起源于p e a r s o n 的早期工作。 一般地，设x = i x , ，而，x 。】t 为一个p 维随机向量，如果其均值为0 ，协方差矩阵 为c ，主分量分析法就是要把这p 个随机变量综合成忉仰p ) 个新变量乃，y 2 ，虼，即 i 咒2q l 五+ a i 2 x 2 + + a l p x | p 儿2 哆 + 口2 2 艺+ 一+ 0 2 p 咋( 2 1 ) 。 1 2 一ll i 【虼。l 而+ 2 屯+ + 记为y = a x ，其中 r q 。 4 ：10 ， k p c a 中，变换矩阵彳的系数选择原则为： ( 1 ) 舅和奶“，i ，= l ，2 ，) 互不相关； 珧 ( 2 - 2 ) ( 2 ) y l 是而，x 2 ，x p 的一切线性组合中方差最大的，即使得q x 具有最人方差；y 2 是 4 2 2 2吼呸； 南京信息工程大学硕士学位论文 与m 不相关的，在五，x 2 ，x p 的一切线性组合中方差第二大的；y m 是与m ，y 2 ，都不 相关的，在而，x 2 ，x j 口的一切线性组合中方差第聊个大的。y l ，y 2 ，虼被称为原始随 机变量五，x 2 ，的第1 个，第2 个，第朋个主分量。 2 2 独立分量分析( ic a ) 理论1 6 1 在主分量分析中，给出一组多元测量，寻找变量的冗余度更小的一个子集，作为尽可 能好的一个表示，其目的和思想与独立分量分析的相似，但p c a 中，冗余度用数据间基于 二阶统计量的相关来度量，而在i c a 中用高阶统计量的独立性来度量。下面我们将对独立 分量分析进行介绍。 2 2 1问题的提出 考虑典型的“鸡尾酒会问题”，假如在一个房间中，有两个人同时在讲话( 这里的人数 是随意的，可以是任意大于一的数) ，另外还有两个麦克风，摆放在不同的位置进行录音。 麦克风记录下的两个时间信号可以表示为五( f ) 和吃( r ) ，其中x 1 和吃表示信号幅值，是 时间变量。录音信号中的每一个都是两个说话者所发出的语音盲信号( 分别用s 1 ( f ) 和s 2 ( f ) 表示) 的某种加权和。上述情形可以用线性方程的形式表示如下： 墨( r ) = 口1 1 墨o ) + q 2 s 2 ( f ) ( 2 - 3 ) x 2 ( t ) = a 2 l s i ( f ) + a 2 2 s 2 ( r ) ( 2 4 ) 式中，a g ，f ，_ ，= l ，2 是由麦克风与讲话者距离决定的参数。若我们能仅用记录到的信号 薯( r ) 估计出原始信号量( f ) 和s 2 ( t ) ，这将非常有意义。 我们可以用一些语音信号来对此进行形象的演示，图2 1 表示原始信号，图2 - 2 表示 录音信号，即原始信号经混合后的信号。 若已知混合参数，则可以通过求逆运算得到线性方程式( 2 3 ) 至( 2 - 4 ) 的解。但我们既 不知道混合参数也不知道原始信号s ( f ) ，我们要解决的问题就是在这种“盲”的情况 5 第二章独立分量分析的基本原理 下通过图2 2 中的数据来进行还原，得到图2 1 所示的信号。 1 l 上l 一山- i - 山i u l l 。l j l 山： 可1 r r r1 几一丌吁f 呷7 1 r 叩 f t ”玎r 7 盯 oo 511 522 533 544 5 x1 0 ：l 。l 山。l 。j l k d 血一土。l l l 扯： f 。rr r ”r r v ”r 。r 。r w t 1 1 ”1 f 丌”7 r f r l r 图2 - 1 原始语音信号 l 儿“。止h 1 。l l l u l 山山一“k j 山。l 山l 儿： 1 p r 呵下，r 旷m 期f 叩7 ”i 咿7 ” r7 1 f i j i l 上“。h l k l 山【l jj l l 。j 止一l 山lj l 1 r 。r 飞叩 r r _ 胛丌叩t | w 町。f 甲p w 图2 - 2 观测到的混合语音信号 2 2 2 独立分量分析的模型及定义 我们使用统计上的“隐变量”模型给出i c a 的数学模型及定义。假设刀个观测随机变 量五，x 2 ，矗，而这些变量是由另外甩个随机变量墨，s 2 ，已的线性组合得到的： 葺= q l s l + q 2 s 2 + + a i n s n i = l ，2 ，刀 ( 2 - 5 ) 式中，q ，f ，= 1 ，2 ，刀是实系数，在这个模型中，还假定s j 在统计上为彼此独立的。 上述即为i c a 的基本模型。其是一种生成模型，这是因为该模型描述了观测变量是如 何由s j 成分混合过程得到的。独立分量( i n d e p e n d e n tc o m p o n e n t ，i c ) 被称为隐变量，是因为 它们不能直接被观测得到。另外在模型中，混合系数也假定是未知的，唯一能观测到的 是随机变量薯。所以，我们必须仅用薯就把和独立分量同时估计出来。 上述模型中，我们去掉了时间下标f ，这是因为我们假定在基本的i c a 模型中，所有 6 南京信息工程大学硕士学位论文 混合变量薯与所有的独立分量暑都是一般意义上的随机变量，而不是特别意义上的时间信 号或时间序列。此外，我们还忽略了混合过程中所有可能出现的时间延迟，因此该模型又 经常被称为瞬态混合模型。 我们可以用向量矩阵的形式来将上述模型表达的更简洁。其中，我们用随机向量x 来 表示混合向量，其元素分别为，x 2 ，同样地，用s 来表示元素s 1s 2 ，s n 。用矩 阵4 表示那些混合系数。所有的向量无为列向量，于是i c a 模型的向量矩阵形式就为： x 2 a s ( 2 6 ) 有时我们需要使用矩阵4 中的列向量，若将其表示为口；，则模型也可写为： 2 2 3 对ic a 模型的假设 ( 2 7 ) 为使上述的i c a 模型可被估计，我们需对其进行一些假设。 ( 1 ) 独立分量间是统计独立的。该假设是i c a 模型成立的前提。从基本概念上讲，随 机变量m ，y 2 ，蚝是独立的，是指在f j 时，有关 的取值情况对于y ，如何取值没有 提供任何信息。也可通过概率密度函数从数学式子上来进行定义。设，p ( 咒，y 2 ，虬) 为 只的联合概率密度函数，以( y i ) 为y j 的边缘概率密度。那么我们说咒是独立的是指： p ( m ，儿，儿) 2 岛。( m ) 民( m ) 以( 乃) ( 2 ) 独立分量中最多只有一个为高斯分布，其余的必须为非高斯分布。这是因为对于 高斯分布来说，不相关即为相互独立，并且高斯分布的高阶统计量为零。 ( 3 ) 混合矩阵彳为方阵。即独立分量的个数与观测到的混合量的个数是相同的，也就 是说，传感器的个数与源信号的个数是相同的。 2 2 4lc a 模型的估计 由上述的假设，依据以下的i c a 基本估计原理对模型进行估计，构建解混矩阵， 对独立分量进行分离。 7 仃 。h = x 第二章独立分量分析的基本原理 ( 1 ) 非线性去相关。寻找矩阵w ，使得对任何f ，分量只和乃不相关，而且变换 后的分量9 ( 只) 与h ( y j ) 也不相关，其中，9 和h 是某些适当的非线性函数。 ( 2 ) 极大非高斯性。在j ，的方差为常数的约束下，求线性方组合y = ，岛薯非高斯性 的局部极大值。每个局部极大给出一个独立分量。 当构建解混矩阵= ( ) 。后，对观测混合信号x 进行变换，经过w 变换后，得到 r 维源信号估计值j ，= m ，y 2 y , l t 则i c a 的解混模型可表示为 y = w x = w a s = g s ( 2 - 8 ) 式中g 称为全局( 系统) 矩阵。若通过学习得g = i ( ，z 九单位阵) ，则y ( t ) = s ( t ) ， 从而达到分离目的。实际上，只要g 的各行各列中有一个元素接近l 而其它接近零，则可 认为分离成功。 图2 - 3 独立分量分析原理及其解混示意图 2 。2 5lc a 的不确定性 在由式( 2 7 ) 所描述的i c a 模型中，我们可以发现存在下面一些不确定性。 ( 1 ) 独立分量的幅值( 能量) 与方向( 符号) 不确定。这是因为s 和a 都是未知的，对于某 一个源的任意标量乘积都能通过对a 矩阵对应的列a ，除以对应的标量值a ，而抵消： x 2 军( ) ( 孵) ，根据此式所表达的，猁珂以用相同的方式对其进行修正。因为这 些分量无为随机变量，进行修正的最自然的方式就是假定它们都具有单位方差e t 2 ) = 1 。 8 南京信息工程大学硕士学位论文 然后在i c a 求解中，可以通过调整矩阵4 来实现该归一化约束。但即使这样还存在符号不 确定问题，我们可以对某一独立分量乘以一1 而不影响模型。不过在实际应用中，此不确定 性无关重要。 ( 2 ) 独立分量间的顺序不确定。因为s 和4 是盲的，我们可以任意交换式( 2 5 ) 中各项 的次序，也可以把任意一个独立分量作为第一个。从形式上来说，就是可以用一个置换矩 阵及其逆代入模型，得到x = a p 。a 。两矩阵中的元素仍然是原来的独立变量只，但是 顺序发生了变化。而矩阵4 p 。1 则是另一个新的需要通过i c a 算法求解的混合矩阵。 2 3 小结 本章在p c a 的基础上对独立分量分析的提出，模型定义、约束性以及其不确定性等 进行了详细的描述。 独立分量分析是由统计信号处理、信息论、人工神经网络等的相结合发展起来的新的 研究领域。p c a 算法与i c a 算法是在同一框架下的不同方法，其目的相似，都是为了使一 组多元数据在进行变换后其结构更显著，更容易理解。在p c a 中，只使用了基于二阶统计 量的相关来进行变换，而在i c a 中使用了含义更丰富的独立性来变换，且在i c a 中没有强 调降维。不过在后面的章节中，我们可以看到，p c a 可以作为i c a 算法中一个有用的白化 预处理步骤。 9 第三章独立分量分析算法及其性能仿真 第三章独立分量分析算法及其性能仿真 独立分量分析作为一种新的盲源分离法，是一项热点，学者们提出了多种行之有效的 算法。本章中，我们将介绍几种经典有效的算法，并对其分离性能进行仿真研究。 3 1i c a 算法的预处理1 6 1 应用独立分量分析法进行分离时，分离过程需经过三个步骤，( 1 ) 观测混合信号的中 心化；( 2 ) 观测混合信号的白化；( 3 ) 提取源信号。其中，中心化与白化为算法的预处理 部分。 本文假定在分离过程中，观测混合信号已经过中心化，且均值为零。下面将介绍观测 混合信号的白化。 白化( w h i t e n i n g ) 是指对于观测的混合混沌信号x ，寻找线性变换y ，经过变换所得 信号为 z=vx(3-1) 如果z 中各源信号分量乙是不相关的且具有单位方差，则称z 是白的。式中 z = 毛，2 2 2 n 线性变换y 一般可利用协方差矩阵的特征值法( e v d ) 来求得。混合信号的协方差为： e x x t ) = e d e t ( 3 - 2 ) 式中e 是e x x t 的特征向量的正交矩阵，d 是相应的特征向量的对角矩阵， d = d i a g ( d 1 ，畋以) 则可令线性白化矩阵为： v ：e 1 ) 。e t ( 3 - 3 ) 可以证明，此时z 为白化的，即 e 及r ) ：陋 默t ) y t ：e d 一e t e d e t e d 。e t ：i ( 3 - 4 ) 白化的近意词为球面化，若向量z 密度是径向对称的且经过合适的缩放，则它是球面 的。因为白化本质上为去相关加上缩放，所以可以使用p c a 的展开形式给出变换矩阵y 的 1 0 南京信息工程大学硕士学位论文 一个解。 令e = ( 巳，p 2 ，e 。) 以协方差矩阵c x = e x x t ) 的单位范数特征向量为列的矩阵， d = d i a g ( d l ，吐，以) 是以c i 的特征值为对角元素的对角矩阵，则变换矩阵y 可由下式 给出： v ：d 一e t( 3 5 ) 同上方法相似，也可证明此矩阵确实为一白化矩阵。 e 及r ) ：v e x x t ) y t ：d 一e t e d e t e d 。：i ( 3 - 6 ) 白化常作为数据的预处理部分，通过白化清除原始数据的二阶相关，使得进一步分析 集中在高阶统计量上。 3 2 信息极大( in f o m a x ) 法 3 2 1 有关信息论中的主要关系m 1 3 2 1 1 熵 熵是信息论中的基本概念，是信号中所含有的平均信息量。对于一个离散取值的随机变 量x ，它的熵口定义为： 日( x ) = 一e ( x = a , ) l o g p ( x = q ) ( 3 7 ) 式中，q 是x 的可能取值。对数取不同的基底，将得到熵的不同单位，。通常使用2 作为 基底，此种情况下的单位称为比特。 推广到连续随机变量x 时，则有 日( x ) = 一p ( x ) l 。gp (x)dx(3-8) 式中p ( x ) 为随机变鼍的概率密度，此时，对于连续随机变量的熵常称之为微分熵，这是因 为( 3 1 6 ) 式并不是信源熵含量的绝对度鼍，而是以某值为参照标准在相对意义下的信息量。 第三章独立分量分析算法及其性能仿真 3 2 1 2 负熵 可以简单地由微分熵得出一种度量，称为负熵，它对高斯变量是零，并且永远是非负 的。负熵，的定义如下： 厂( x ) = h ( x g 口。) 一h ( x ) ( 3 - 9 ) 式中，x 函是和x 具有相同的协方差矩阵c 的某个高斯随机变量。其熵可计算出来，即 日( k ) = 1 。gi d e t cl + j n 0 9 2 兀 ( 3 1 。) 3 2 1 3 互信息 ( 1 ) 使用熵的定义 互信息是一组随机变量的成员具有该集合中其他随机变量的信息的度量。利用熵，可以 将刀个( 标量) 随机变量誓，i = 1 ，2 ，行之间的互信息j 定义为： j ( 而，矗) = h ( x ) - 日( x ) ( 3 一i i ) 式中，x 是包含所有葺的那个向量。 ( 2 ) 使用k u l l b a c k l e i b l e r 散度的定义 两个刀维概率密度函数p ) 和g ( x ) 之间的k u l l b a e k - l e i b l e r 距离定义为： 6 ( 蹴贴) ) _ 1 0 9 器出 ( 3 - 1 2 ) k u l l b a e k l e i b l e r 散度可以看成两个概率密度间的一种距离，因为它是非负的，当且仅 当两个密度相等时其为零。 利用k u l l b a e k l e i b l e r 散度可将互信息解释成一个距离。应用其进行解释时，我们考虑 各随机变量五之间相互独立的情形，由独立性的定义它们的联合概率密度可以分解。于是， 可以用p ( x ) 和分解的密度见，( 五) 如( 而) 氏( ) 之间的k u l l b a c k - l e i b l e r 散度作为薯之 间独立性的度量，通过代数运算可以说明这个量与我们用熵定义的互信息相同。 1 2 南京信息工程大学硕士学位论文 由这个解释我们可以知道，互信息总是非负的，并且当且仅当各变量相互独立时其值 为零。 3 2 2in f o r m a x 法她2 1 1 b e l l 和s e j i n o w s k i 在结合了l i n s k e r 的机遇信息传输极大准则的神经网络无监督学习 思想和h e r a u l t 和j u t t e n 的非线性不相关法则后提出了基于信息极大理论的独立分量分析算 法。他们将线性网络的信息极大问题转变为非线性网络的问题，并采用梯度算法对神经网 络连接权值进行调整。我们可以将信息( i n f o m a t i o n ) 与极大化( m a x i m i z i n g ) 合成一个词，取为 i n f o m a x 。 如图3 1 所示，其中x 为多路观测信号，它由个独立信号源线性混合而成。网络输 出为y 是对源信号的逼近。在网络的输出端引入非线性激励函数g ( ) ，使其输出信号y 的 熵最大。由此我们可知，此时独立判据为最大信息准则，即通过对分离矩阵形的调整， 使非线性输出y 和网络输入之间的互信息x 极大，即使输出熵日( ，) 最大。这是因为在信 息论中， 日( y ) = 日( 乃) 一，( m ，y 2 ，虼) ( 3 1 3 ) 式中，j ( 乃，儿，y m ) 总是非负的，且只有当非线性输出m 间彼此互相独立，即 j ( m ，y 2 ，儿) = 0 。 图3 - 1i n f o m a x 算法原理图 期 儿 可以证明，单调有界非线性函数g ( ) 应取对应信号源的累积分布函数，在i n f o m a x 算 法中，非线性函数通常选择如下s i g m o i d 函数， g ( x ) 2 百1 而( 3 - 1 4 ) 1 1 3 第三章独立分量分析算法及其性能仿真 式中，参数a 的大小决定着s i g m o i d 函数上升沿的导函数的陡峭度，参数6 为波形位置偏 移参数。 对于超高斯分布的源信号，网络权值( 分离矩阵) 学习规则可表示为： 芘掣t w - ，妒( u ) u t 】( 3 - 1 5 ) a 。 式中 ， 以= 【，“2 ，u 。】 ， x2 五，x 2 ，】 印( “) 鱼盟望盟蚴 咖，2 吾斗斋，一裔，一斋， 这里得到后便可求出1 4 = w x ，髓时源信号s 的估计。 3 2 3 扩展的i n f o m a x 法2 2 2 帕 传统i n f o m a x 算法只可对超高斯信号进行分离，t w l e e t 4 0 1 等对其进行了改进，提出了 如图3 - 2 所示的一种同样适用于亚高斯信号的算法，即扩展i n f o m a x 算法。该算法中含有 双概率模型，分别对应亚高斯信号与超高斯信号，并定义了模型的切换准则，实现亚高斯 信号与超高斯信号的同步分离。 在算法中，分离矩阵w 的学习规则为： 肌阮+删callh,岫矿ft卅-u矿littanh(u)ul 形l ，l = 1 - k t 础( ) t - - l i t 彬陧。= c 。一 式中，k 为一n 维对角矩阵，称这为切换矩阵，置为k 的对角线元素。 对于切换矩阵，一种常用的模型切换准则为根据峭度符号的变化来确定置的取值，即 南京信息工程大学硕士学位论文 3 3 固定点算法( f a s ti c a 法) 6 1 阳 ( 3 - 1 7 ) 1 9 9 7 年芬兰学者a p r oh y v a r i n e n 等人首先提出基于峭度的固定点算法，其后在1 9 9 9 年以提出了进一步的改进一基于负熵的i c a 固定点算法。由于这一类算法具有更快的收敛 速度，因此又被称为“快速i c a 算法( f a s t i c a ) ”。 3 3 1采用峭度的固定点算法 由i c a 基本估计原理可知，在估计时可利用一个随机变量的非高斯性。此时，则需一 个对非高斯性进行定量化的指标，峭度就为一个经典的非高斯性度量指标。在使用峭度进 行估计时，通过分析可知，独立分量的方向实质上就是使峭度绝对值取最大的方向。 实际应用中，为了极大化峭度的绝对值，我们可以从某个向量w 开始，依据可用的样 本值z o ) ，z ( 2 ) ，z ( 丁) ，计算出使y = w 1 z 的峭度绝对值增大最快的方向，然后将向量缈 转到该方向。这种思路可利用梯度法及其扩展来实现。 w 1 z 的峭度的绝对值的梯度可由下式简单计算得到， _c9 1 k u r t ( w t z ) i ：4 s i g n ( k u r t ( w t z ) ) g ( z ( w t z ) 3 ) 一3w 1 2 ( 3 1 8 ) o w 其中，我们需要注意的是，对于白化过的数据有e ( ( w t z ) 2 ) = 1w l l 2 。又由于我们是在单位 1 1 w 0 2 = 1 上进行优化，梯度法必须进行一定的补充，即在每一步运算后将w 投影到单位 球上，即将w 除以其范数。 因此，我们可得如下的梯度算法： a w 芘s i g n ( k u r t ( w t z ) ) e ( z ( w t z ) 3 ) ( 3 1 9 ) w - - - w m i ( 3 2 0 ) 同时还可得到该算法的在线算法形式，即将算法第二项的数学期望运算忽略如下： a wo cs i g n ( k