（运筹学与控制论专业论文）源信号为ar模型的独立成分分析算法及其应用研究.pdf

大连理工大学博士学位论文 摘要 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是一种新的数据处理与分 析方法，目的在于从观测信号中分离或提取出相互统计独立的未知源信号用i c a 来 解决盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 问题已经引起了广泛的关注，并已成功 地应用到语音信号处理、通信、人脸识剐、图像特征提取、医学信号处理等众多领域 本论文对源信号为自回归( a u t o r e g r e s s i v e ，a r ) 模型的独立成分分析算法及其应用进 行了研究，主要成果如下； 1 对源信号为a r 模型的无噪i c a 算法进行了研究首先详细地推导了源信号为 a r ( 1 ) 时模型的对数似然函数，然后给出了三种情况下的i c a 学习算法；( 1 ) 当 新息的概率密度函数为广义高斯分布时，极大化模型的对数似然函数提出了一个 梯度算法；( 2 ) 由于前一个算法中的参数较多，运行起来较复杂为克服此不足， 用一个非二次光滑的偶函数来近似代替新息的对数概率密度函数时，提出了一个 批算法和一个在线算法，并对这两个算法进行了理论分析应用这两个算法对人 工合成的混合信号进行分离的同时又应用批算法对混合的图像进行了分离，均取 得了很好的分离效果；( 3 ) 由于批算法的收敛性依赖于学习率的选择且收敛速度 较慢，为了克服这个不足，利用近似牛顿法极大化模型的对数似然函数给出了一 个不动点算法。计算机仿真实验结果表明不动点算法的收敛速度较快且应用起来 更为简单 2 。对源信号为a r 模型的有噪i c a 算法进行了研究对于这种有噪模型，分别对噪 声协方差矩阵已知和未知两种情况下的算法进行了探讨在噪声协方差矩阵已知 的情况下，通过最大化新息的负熵，提出了一个不动点算法计算机仿真实验结 果表明同已有的梯度算法相比不动点算法具有较快的收敛速度，同时应用该算法 对有噪的自然混合图像和纹理图像分别进行分离，均取得了很好的分离效果；在 噪声协方差矩阵未知的情况下，通过对已有的复杂寻踪梯度算法的改进，提出了 一个改进梯度算法和一个新算法：其中包括了对解混矩阵和噪声协方差矩阵进行 估计的迭代公式。计算机仿真实验结果表明这两个算法都能够很好地对人工合成 的有噪信号进行分离由于新算法中只涉及一个学习率的选择，因此算法应用起 来较简单且收敛速度较快 3 对源信号为a r 模型、方差非平稳变化的无噪i c a 算法进行了研究2 0 0 5 年， h y v h r i n e n 给出了这种情况下模型的对数似然函数，并提出了一个梯度上升算法， 源信号为a r 模型的独立成分分析算法及其应用研究 但该算法的收敛性依赖于学习率的正确选择为克服此不足，利用近似牛顿法极大 化模型的对数似然函数，推导出了一个不动点算法计算机仿真实验结果表明同 已有的梯度上升算法相比不动点算法具有较快的收敛速度且应用起来更为简单 4 对源信号为a r 模型、方差非平稳变化的有噪i c a 算法进行了研究对于这种有 噪模型，分别对噪声协方差矩阵已知和未知两种情况下的算法进行了讨论在噪 声协方差矩阵已知的情况下，利用高斯矩的性质，给出了有噪模型的对数似然函 数，通过极大化对数似然函数提出了一个梯度上升算法但是由于噪声协方差矩阵 已知往往是不现实的，因此又对噪声协方差矩阵未知情况下的算法进行了研究 通过对上述梯度算法的改进，提出了一个新梯度算法：其中包括了对解混矩阵和 噪声协方差矩阵进行估计的迭代公式计算机仿真实验结果表明这两个算法都能 对人工合成的有噪信号进行很好的分离 5 对源信号为a r 模型的无噪和有噪两种情况下的胎儿心电信号盲提取算法进行了 研究在无噪模型中，利用近似牛顿法极小化目标函数，给出了一个新梯度算法计 算机仿真实验结果表明该算法不但能够较好地对人工合成信号进行胎儿心电信号 的提取，而且对某个孕妇真实的心电信号也进行了较好的胎儿心电信号的提取； 在有噪模型中，利用高斯矩的性质给出了胎儿心电信号提取的目标函数，提出了 一个梯度下降算法计算机仿真实验验证了算法的有效性和可行性 关键词：独立成分分析；盲源分离；盲提取；自回归模型；极大似然估计；复杂寻踪； 高斯矩；k t 最优性条件；不动点算法 s t u d yo ni n d e p e n d e n tc o m p o n e n ta n a l y s i sa l g o r i t h m sa n d t h e i ra p p l i c a t i o n sw i t ha rs o u r c em o d e l a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i san e w d a t ap r o c e s s i n ga n da n a l y s i st e c h - n i q u ef o re x t r a c t i n gi n d e p e n d e n ts o u r c e 8g i v e no n l yo b s e r v e dd a t at h a ta r em i x t u r e so f u n k n o w ns o u r c e s r e c e n t l y , b l i n ds o u r c es e p a r a t i o nb yi c ah a sr e c e i v e dg r e a ta t t e n t i o nd u et oi t sp o t e n t i a ls i g n a lp r o c e s s i n ga p p l i c a t i o n ss u c ha ss p e e c hs i g n a lp r o c e s s i n g ， t e l e c o m m u n i c a t i o n s ，f a c er e c o g n i t i o n ，i m a g ef e a t u r ee x t r a c t i o na n dm e d i c a ls i g n a lp r o - c e s s i n g e c t t 1 1 i sd i s s e r t a t i o ni sd e v o t e dt ot h es t u d yo fs e v e r a la l g o r i t h m sf o rt e m p o r a l i n d e p e n d e n tc o m p o n e n ta n a l y s i sa n dt h e i ra p p l i c a t i o n sb yu s i n ga r s o u r c em o d e l t h e m a i na c h i e v e m e n t sa r ea sf o l l o w s ： 1 t h ea l g o r i t h m so fn o i s e - f l e ei n d e p e n d e n tc o m p o n e n ta n a l y s i sw i t ha r s o u r c em o d e l w e r es t u d i e d t h el o g - l i k e l i h o o do ft h em o d e li sd e r i v e di nd e t a i lw h e ne a c hs o u r c e i saf i r s t o r d e ra rm o d e l t h e nt h ei c al e a r n i n ga l g o r i t h m sa r ep r o p o s e di nt h r e e c a s e s ，( 1 ) ag r a d i e n ta l g o r i t h mi sg i v e nb ym a x i m i z i n gl o g - l i k e l i h o o do ft h em o d e l w h e nt h ep r o b a b i l i t yd e n s i t yf u n c t i o no fi n n o v a t i o ni sg e n e r a l i z e dg a u s s i a nd i s t r i 6 u t i o n ；( 2 ) t h e r ea r em a n yp a r a m e t e r si nt h eg r a d i e n ta l g o r i t h m ，a n dt h ef u n c t i o n sa r e c o m p l e x i t y s ow eu s ean o n q u a d r a t i cf u n c t i o na p p r o x i m a t e t h el o g a r i t h mo ft h ep r o b - a b i l i t yd e n s i t yf u n c t i o no ft h ei n n o v a t i o np r o c e s s ，ab a t e ha n d a no n - l i n ea l g o r i t h m s a r ei n t r o d u c e da n dt h e i rt h e o r e t i c sa n a l y s i sa r ec a r r i e do u ts i m u l t a n e o u s l y c o m p u t e r s i m u l a t i o n ss h o wt h a tt h ea l g o r i t h m sc a ns e p a r a t em i x e ds i g n a l s ，a n dt h eb a t c ha l g o - r i t h mc a ns e p a r a t em i x e di m a g e sa n d ，a c h i e v eb e t t e rs e p a r a t i o ne f f e c t ；( 3 ) t h e r ei sa l e a r n i n gr a t ei nt h eb a t c ha l g o r i t h mw h i c hi n f l u e n c e dt h ec o n v e r g e n c es p e e d i no r d e r t oo v e r c o m ed r a w b a c k ，af i x e d - p o i n ta l g o r i t h mi sd e r i v e du s i n ga p p r o x i m a t en e w t o n m e t h o db ym a x i m i z i n gl o g - l i k e l i h o o df u n c t i o no ft h em o d e l 。c o m p u t e rs i m u l a t i o n s v e r i f yt h ef i x e d - p o i n ta l g o r i t h mc o n v e r g e sf a s t e rt h a nt h eb a t c ha l g o r i t h ma n di ti s e a s yt oi m p l e m e n td u et oi td o e sn o tn e e da n yl e a r n i n gr a t e 。 2 t h ea l g o r i t h m so fn o i s yi n d e p e n d e n tc o m p o n e n ta n a l y s i sw i t ha r s o u r c em o d e lw e r e s t u d i e dw h e nt h en o i s ec o v a r i a n c ei sk n o w na n dt h en o i s ec o v a r i a n c ei su n k n o w n i i i 源信号为a r 模型的独立成分分析算法及其应用研究 w h e l lt h en o i s ec o v a r i a n c em a t r i xi sk n o w n ，af i x e d - p o i n ta l g o r i t h mi sp r o p o s e db y m a x i m i z i n gt h en e g e n t r o p yo fi n n o v a t i o n c o m p u t e rs i m u l a t i o n ss h o wt h a tt h ef i x e d p o i n ta l g o r i t h mc o n v e r g e sf a s t e rt h a nt h ee x i s t i n gg r a d i e n ta l g o r i t h m ，a n dc a ns e p a - r a t et h em i x e di m a g e sa n da c h i e v eb e t t e rs e p a r a t i o ne f f e c t 。w h e nt h en o i s ec o v a r i a n c e i su n k n o w n ，a ni m p r o v e dg r a d i e n ta l g o r i t h ma n dan e w n o i s ya l g o r i t h ma r ei n t r o d u c e d t oe s t i m a t et h em i x i n gm a t r i xa n dn o i s ec o v a r i a n c em a t r i xs i m u l t a n e o u s l y c o m p u t e r s i m u l a t i o n sv e r i f yt h et w oa l g o r i t h m sc a ns e p a r a t et h em i x e ds i g n a l s c o m p a r i s o nr e - s u l t ss h o wt h a tt h en e wn o i s ya l g o r i t h mc o n v e r g e sf a s t e rt h a nt h ei m p r o v e dg r a d i e n t a l g o r i t h m ，a n di t i se a s yt oi m p l e m e n td u et ot h e r ei so n l yo n el e a r n i n gr a t et ob e c h o s e n 3 t h ea l g o r i t h mo fn o i s e - f i e ei n d e p e n d e n tc o m p o n e n ta n a l y s i sw e r es t u d i e dw i t ha r s o u r c em o d e la n dn o n s t a t i o n a r yv a r i a n c e s i n2 0 0 5 ，t h el o g - l i k e l i h o o do ft h em o d e l w a sg i v e na n dag r a d i e n ta l g o r i t h mw a sp r o p o s e db ym a x i m i z i n gl o g l i k e l i h o o do f t h em o d e lb yh y v 琶r i n e n b u tt h ec o n v e r g e n c es p e e di si n f l u e n c e db yt h ec h o i c e o ft h el e a r n i n gr a t e i no r d e rt oo v e r c o m et h i sd r a w b a c k ，af i x e d - p o i n ta l g o r i t h m i sp r o p o s e du s i n ga p p r o x i m a t en e w t o nm e t h o db ym a x i m i z i n gl o g - l i k e l i h o o do ft h e m o d e l c o m p u t e rs i m u l a t i o n ss h o wt h a tt h ef i x e d - p o i n ta l g o r i t h mc o n v e r g e sf a s t e r t h a nt h eg r a d i e n ta l g o r i t h m ，a n di t i sm o r ei m p l e m e n td u et oi td o e sn o tn e e da n y l e a r n i n gr a t e 。 4 。t h ea l g o r i t h m so fn o i s yi n d e p e n d e n tc o m p o n e n ta n a l y s i sw e r es t u d i e dw i t ha rs o u r c e m o d e la n dn o n s t a t i o n a r yv a r i a n c e sw h e nt h en o i s ec o v a r i a n c em a t f i xi sk n o w na n d t h en o i s ec o v a r i a n c em a t r i xi su n k n o w n ，弭伤e nt h en o i s ec o v a r i a n c em a t r i xi sk n o w n t h el o g - l i k e l i h o o df u n c t i o no ft h em o d e li sg i v e nb yu s i n gt h ep r o p e r t yo fg a u s s i a n m o m e n t sa n dag r a d i e n ta l g o r i t h mi si n t r o d u c e db ym a x i m i z i n gt h el o g - l i k e l i h o o d f u n c t i o no ft h em o d e l ；w h e nt h en o i s ec o v a r i a n c em a t r i xi su n k n o w n ，an e wg r a d i e n t a l g o r i t h mi si n t r o d u c e db yd e v e l o p i n gt h eg r a d i e n ta l g o r i t h mt oe s t i m a t eu n m i x e d m a t r i xa n dn o i s ec o v a r i a n c em a t r i xs i m u l t a n e o u s l y c o m p u t e rs i m u l a t i o n ss h o wt h a t t h et w oa l g o r i t h m sc a ns e p a r a t et h ea r t i f i c i a lm i x e ds i g n a l sa n da c h i e v eb e t t e rs e p a - r a t i o ne f f e c t 5 t h ea l g o r i t h m so fb l i n de x t r a c t i o no ff e c gw i t ha rm o d e lw e r es t u d i e d an e w g r a d i e n ta l g o r i t h mi sg i v e nu s i n ga p p r o x i m a t en e w t o nm e t h o db ym i n i m i z i n go b j e c - t i r ef u n c t i o nw h e ng a u s s i a nn o i s ei sn o tp r e s e n t c o m p u t e rs i m u l a t i o n ss h o wt h a t t h ea l g o r i t h mc a ne x t r a c tf e c gf r o mt h ea r t i f i c i a ls i g n a l sa n dt h er e a l w o r l de c g i v 大连理工大学博士学位论文 d a t a ；w h e ng a u s s i a nn o i s ei sp r e s e n ti nt h em o d e l a no n e c t i v ef u n c t i o ni sg i v e n b yu t i l i z i n gt h ep r o p e r t yo fg a u s s i a nm o m e n t s ，a n dag r a d i e n td e s c e n ta l g o r i t h mi s p r o p o s e d c o m p u t e rs i m u l a t i o n sv e r i f yt h eg r a d i e n td e s c e n ta l g o r i t h mi se f f e c t i v ea n d f e a s i b l e ， k e yw o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ；b l i n ds o u r c es e p a r a t i o n ；b l i n d s o u r c ee x t r a c t i o n ；a u t o r e g r e s s i v em o d e l ；m a x i m u ml i k e l i h o o de s t i m a t i o n ； c o m p l e x i t yp u r s u i t ；g a u s s i a nm o m e n t s ；k to p t i m a lc o n d i t i o n s ；f i x e d p o i n t a l g o r i t h m v 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导卞进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或其他单位的学位或证书所使用过的材料。与我一同工作的同志对 本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：章! 趁丝丝亟筮堡塑奎兰塑氅维丝丛堡：豳竭塾 作者签名：二江日期：立望辨盟月乒日 大连理工大学博士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解。大连理工大学硕士、博士学位论文版权使 用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅本人授权大连理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇 编学位论文 学位论文题目： 疆 邀巡趔竖逊薹羞螭益丛蜘霉赳 作者签名：缸垒：刍丝日期： 导师虢其一 导师签名：古9 等仰 啉尹日 大连理工大学博士学位论文 1 绪论 本章首先简单介绍了论文的选题背景与研究意义，其次对i c a 的基本 理论进行了概括：i c a 的数学模型、可解性分析、随机变量的独立性度量、 i c a 的求解过程，最后余绍了i c a 的国内外研究现状及本论文的主要工作 和章节安排 1 1 论文的选题背景与研究意义 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 是盲信号处理的一个重要 分支盲信号处理是二十世纪最后十年中迅速发展起来的一个领域，应用范围非常广 泛，具有重要的实用价值，已经成为当今学术界的研究热点 1 - - 4 i c a 起源于著名的 “鸡尾酒会问题”( c o c k t a i lp a r t yp r o b l e m ) 假设在一个房间里有两个人同时讲话， 在房间的不同位置有两个麦克风，而每个麦克风记录下来的是两个人声音的混合问 题是如何利用麦克风的混合声音信息来获得每个讲话者所说的话( 即源信号) ? 人类复 杂的听觉系统可以很好地解决这个问题，将注意力集中于一个说话者，人们可以听出 他所说的话但如何利用计算机( 或利用机器) ，使其智能化，来模仿人类以便有效地 解决这个问题? 这个问题属于智能信息处理的范畴i c a 是解决鸡尾酒会问题的有 效方法，或者说是解决盲源分离( b l i n ds o u r c es e p a r a t i o n ，b s s ) 问题的有效方法 b s s 是要解决从若干个观测数据( 源信号的混合) 中估计( 分离或者提取) 未知源 信号的问题这个过程中“盲”的地方主要体现在：1 ) 源信号是未知的；2 ) 混合过程 也是未知的缺少了这些先验的信息，使得盲信号分离问题成为一个具有挑战性的问 题，但是同时也正是因为这个“盲”的原因，使得盲分离问题有着广阔的应用空间很 多参考文献往往把i c a 等同子b s s ，事实上两者是有一定的区别的i c a 是解决b s s 的一个常用的方法b s s 的主要任务是在源信号和传输通道参数未知的情况下，根据 输入源信号的统计特性，仅仅从观测信号中恢复出源信号在b s s 的求解过程中常常 假定源信号是统计独立的，因此分离出来的源信号要尽可能的独立i c a 方法能很 好地解决b s s 问题从数学的角度讲，i c a 是一种对多变量数据的非正交的线性变 换方法，其主要目的就是确定一个线性变换矩阵，使得变换后的输出分量尽可能统计 独立此外，i c a 可以看成是主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的一 个推广【扣7 】p c a 只要求分解出来的各个分量相互正交，即互不相关，它只考虑了信 号的二阶统计特性；而i c a 分离出来的各个分量不仅互不相关，而且是统计独立的， 1 源信号为a r 模型的独立成分分析算法及其应用研究 它考虑了信号的高阶统计特性因此，i c a 具有更好的分离效果【1 ，3 ，4 1 应用上的广泛 性和技术上的更高要求，使得i c a 近年来成为国际上的研究热点 i c a 的研究涉及机器学习、多元统计分析、信号处理和信息论的有关知识，受 到了这些领域研究学者的重视i c a 具有重要的理论和应用价值在过去短短的十 几年时间里，有关i c a 的理论和算法研究都得到了较快的发展，包括问题本身的可 解性以及求解原理等基本问题已经在一定程度上得到了解决，并提出了许多有效的 算法 1 , 2 , 8 - n 】目前i c a 已经成功地应用在图像处理、语音信号处理、生物医学信号 处理、模式识别、数据挖掘、通讯和金融等领域1 2 1 信号处理及多元统计分析领域的 基本问题是寻找信号的一个恰当的线性表示、数据压缩和数据的去噪声等，i c a 成 功地应用到这些问题，与传统的方法( 比如傅立叶基表示、h a a r 小波基表示等) 相 比较有许多优点【1 2 】在生物医学信号处理领域，i c a 发挥了巨大的作用，它比传统 的方法更优越( 如主成分分析) ，i c a 已经成功地用于实现e c g ( e l e c t r o c a r d i o g r a m ) 、 e e g ( e l e c t r o e n c e p h a l o g r a m ) 、f m r i ( h m c t i o n a lm a g n e t i cr e s o n a n c ei m a g i n g ) 等医学信 号的处理，特别是近几年来利用i c a 算法对f e c g ( f e t a le l e c t r o c a r d i o g r a m ) 的盲提取 算法的研究受到了很多学者的关注和热衷随着i c a 同模糊系统理论、遗传算法等其 它学科的有机结合，将会具有更加广阔的应用前景【4 】 1 2 独立成分分析( i c a ) 的基本理论 机器学习是现代智能技术研究中的一个重要分支，其主要任务是从有限的观测数 据中寻找规律或模式机器学习包括丰富的研究内容，大体可以分为有监督学习、无 监督学习和自监督学习三种形式i c a 是典型的无监督学习算法中的一个重要方面 它的出现，丰富了机器学习的研究内容，开启了机器学习的一个新的研究领域 1 2 1i c a 的数学模型 以下只给出与本论文有关i c a 的无噪模型和i c a 的有噪模型 ( 1 ) i c a 的无噪模型 2 大连理工大学博士学位论文 假设存在m 个独立的源信号，表示成矢量形式，s ( t ) = ( s 1 ( 芒) ，s m ( ) ) r ，其中上 标丁表示向量的转置，t 表示样本索引，以及竹个观测信号x ( ) = ( z l ( ) ，z n ( t ) ) t 这几个观测信号是由m 个源信号线性瞬时混合而成的，即在每个时刻t 都有如下关 系式： ( 1 1 ) 写成向量矩阵的形式【2 9 ，1 0 ，1 3 1 5 】： x ( t ) = a s ( t ) ， ( 1 2 ) 其中a 是由混合系数组成的混合矩阵，源信号s ( t ) 和a 都是未知的，只有混合信 号x ( t ) 可以观测到 i c a 的目标就是求得一个分离矩阵w ，并通过w 从观测信号x ( t ) 中恢复出源信 号s ( t ) 假设输出的分离信号为y ( ) = ( y l ( 亡) ，( t ) ) ? ，则分离过程为。 y ( t ) = w a s ( t ) ，( 1 3 ) 其中输出信号y ( t ) 是源信号s ( ) 的一个估计，且y ( t ) 的各个分量尽可能的独立【1 】 通常只考虑源信号的个数和观测信号的个数相同的情况，即n = m 对于礼 m 的情况，称为超定( o v e r d e t e r m i n e d ) i c a 问题【1 6 ，1 7 1 ，可以采用p c a 方法降维，使得 n = 仇对于礼 0 ( 2 2 ) 其中丁是时间延迟，新息e i ( t ) 是零均值的且概率密度为q i ( e i ( z ) ) ， e i ( t ) ) 是空间独立、 时间上白化的序列如果新息项e i ( t ) 是非高斯的且自回归系数q 不等于零，则模型 ( 2 1 ) 与( 2 2 ) 结合了非高斯性与自相关性假设源信号是相互独立的，且每个源信号 的方差为1 i c a 的目的就是在只知道观测信号x ( t ) 的情况下去估计混合矩阵a 和源 信号s ( ) 在构造i c a 算法的时候，通常要构造一个目标函数对于i c a 来说，要利用源 信号之间的统计独立性来构造目标函数，极大化或极小化目标函数，使输出的分离信 号之间的独立性最大度量信号之间的独立性的方法有很多，诸如：互信息、k l 散 源信号为a r 模型的独立成分分析算法及其应用研究 度、负熵、对数似然函数等，从信息论的角度出发，利用这些度量所构造的目标函数 在某种条件下是等价的本章利用模型的对数似然函数作为目标函数，推导出算法 不失一般性，下面详细地推导当源信号为a r ( 1 ) 时模型的对数似然函数首先需 要估计自回归系数留，由于它的估计依赖于职，为了强调这一点，记为凹( 瓢) 假设 每个源信号由个时间点值构成的向量： s t = ( s ( o ) ，s i ( 一1 ) ) r ( 2 3 ) 由于新息序列的相互独立性，则s i 的联合概率密度函数为t 其中当t 1 ，可以得到类似于上式的对数似然函数1 1 0 1 】； m ，( w ) = e l o g q i ( w t ( x ( t ) 一a ：- ( w t ) 文( t 一丁) ) ) ( 2 1 1 ) 1 = 1 、 r 0 。 对于上述的目标函数，本章给出了三种情况下的算法首先，当新息的概率密度 函数为广义高斯分布时，提出了一个梯度算法；其次，用一个非二次光滑的偶函数来 代替新息对数概率密度函数时，提出了一个批算法和一个在线算法，并对这两个算法 进行了理论分析；最后，利用近似牛顿法极大化对数似然函数推导出了一个不动点算 法，计算机仿真实验结果验证了算法的可行性与有效性 2 2 新息概率密度函数为广义高斯分布时的梯度算法 2 2 1 广义高斯密度函数 广义高斯密度函数是一个灵活的密度函数模型，它能描述均匀分布、高斯分布、 l a p l a c i a n 分布和其它类型的亚高斯和超高斯分布广义高斯分布的一般形式为： p ( e i 咿，p ) 2 等e x p _ c ( p ) i 孚r 印0 一o o o 簖( w t ) 文( 芒一7 ) ) 这样就得到 了一个参数为w i 与屈的目标函数假定自回归系数簖( 瓢) ，w i 与屈的估计是解偶 的利用梯度上升算法，对于固定参数w i ，目标函数j ( w ，屈) 对参数屈的梯度为： 其中 v 屈止o j ( 粥w , f l e ) = e 豫等一罟) 丽1 训酬z 似嘶南h 忪) | 2 ( 1 圳) ， 1 8 u = r ( 兰( 1 + 屈) ) ，缸= r 7 ( 耋( 1 + 屈) ) ， ( 2 1 9 ) 口= r ( 三( 1 + 屈) ) ，口，= r 心( 1 + 屈) ) ， ( 2 2 0 ) 叫揣 1 剐， ( 2 2 1 ) 止( 蚓 1 1 7 协2 2 ， = u ( 一i j i 瓦f ( 1 1 1u 1 1 1 ) + 互赤( 3 u v - u v ) ) 图2 2 说明了当新息的概率密度函数为广义高斯分布函数时，极大化对数似然函 数所得参数p 的估计值，其中p 是利用一维收索得到的，可见其有效性 2 7 源信号为a r 模型的独立成分分析算法及其应用研究 一 乞8 3 8 - 2 8 4 2 8 4 2 2 8 “ z 8 4 6 l 2 8 柏 图2 2 ：零均值、方差为1 的广义高斯函数的对数似然函数是参数p 的函数( a ) 和 ( c ) 当参数p 分别等于4 和0 时的两个广义高斯分布的直方图( b ) 和( d ) 给出了极 大化对数似然函数时参数p 的估计值分别为矽= 3 7 4 8 6 和矽= 0 0 1 9 1 f i g2 2 ：l o g - l i k e h h o o df u n c t i o n so f 口f o rv a r i o u st e s td a t aw i t hz e r om e a na n du n i t v a r i a n c e ( a ) a n d ( c ) a r et h eh i s t o g r a m so ft w or a n d o md a t ad r a w nf r o mt w od i f f e r e n t g e n e r a l i z e dg a u s s i a nd i s t r i b u t i o n sw i t hp = 4 a n dp = 0 r e s p e c t i v e l y ( b ) a n d ( d ) s h o w t h ec o r r e s p o n d i n gl o g h k e h h o o df u n c t i o n so f8 t h em a x i m u me s t i m a t o r so ft h e s et w o l o g - l i k e l i h o o df u n c t i o n sa r e 口= 3 7 4 8 6a n d s 3 = 0 0 1 9 1r e s p e c t i v e l y 类似地，固定参数风，目标函数j ( w ，屈) 对参数w i 的梯度为： v w t j = - e c ( 反) s g n ( 毛( t ) ) 因此得到了一个梯度上升算法： 2 忸t ) p ( 郎) 一驴( w 游卜卅( 2 2 3 ) 屁( 七+ 1 ) = 屈( 七) + 饥v z , j , w t ( 尼+ 1 ) = w ( 七) + r w 。v w ；z 其中讯与。是学习率 为了提高收敛速度，根据文献【3 s 3 9 ，梯度v w 可由 v 舞= v w w v 南，w 2 8 ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) 大连理工大学博士学位论文 来代替为了同时估计出几个独立成分，可以对分离矩阵进行对称正交化 因此，当新息的概率密度函数为广义高斯分布时，利用对称正交化得到了梯度上 升算法，其迭代步骤如下： s t e p l 中心化观测数据，利用( 1 1 5 ) 式对数据进行白化后得到文( 班随机选择一 个正交矩阵w = ( w 1 ，w 2 ，w 仇) t ，同时给出一组参数屈，i = 1 ，m 的初始值 s t e p 2 计算源信号的估计值鼠( t ) = w 文( 芒) 利用最小二乘法估计自回归系数的 值簖，对于一阶自回归系数有色= 孵。e 文( t ) 文r ( 一1 ) ) 瓢 s t e p 3 计算( 2 i s ) ，作梯度运算( 2 2 4 ) s t e p 4 固定参数屈与簖，计算( 2 2 3 ) ，( 2 0 6 ) 作梯度运算w 卜w + 柳v 锊 s t e p 5 对矩阵w 进行对称正交化：w 卜( 删) 2 w s t e p 6 如果不满足