（计算机应用技术专业论文）基于混合信号概率密度函数估计的盲信号分离.pdf

摘要 摘要 盲信号分离已成为信号处理学界的研究热点领域，并获得了迅速的发展。独 立分量分析是解决盲信号分离问题一种很好的方法。 本文在对传统的独立分量分析理论深入研究的基础上，提出一种基于混合信 号概率密度函数估计的盲信号分离算法，利用g r a m - c h a r l i e r 展开估计混合后信号 的概率密度函数，并由此估计信号的评价函数，可以分离同时包含超高斯信号和 亚高斯信号的混合信号，解决了现有盲信号分离算法中普遍存在的非线性函数只 能凭经验或在某些特定非线性用开关切换的问题，可直接应用予所有以非线性函 数代替评价函数的盲信号分离算法。本文中，我们将它与传统的盲信号分离算法 对模拟数据做以实验并加以比较，证明了该方法的优良性。同时，我们用它代替 传统的生物医学方法进行基因的部分体积修正从而获得真正感兴趣的微阵列数 据。该方法不但降低了生物实验的成本，丽且易于操作实现，具有很强的应用价 值。 在信号源少于传感器观测到的混合信号时，未知信号源数目的估计一直是盲 信号分离算法中一个难题。为了使盲信号分离问题得到更广泛的应用，本文利用 基于特征值估计方法估计源信号的数目，通过实验仿真验证了方法的有效性。 关键宇：独立分量分析盲信号分离部分体积修正 a b s t r a c t a b s t r a c t b l i n ds o u r c e ss e p a r a t i o n ( b s s ) h a v em a d er a p i dp r o g r e s sa n dh a v eb e e nu s e di n m a n yf i e l d s ，i n d e p e n d e n tc o m p o n e n ta n a l y s i si s ae f f i c i e n ta p p r o a c ht ob eu s e df o r b s s a n a l g o r i t h m f o rb h n ds o u r c es e p a r a t i o nb a s e do ne s t i m a t i o no f p r o b a b i l i t yd e n s i t y f u n c t i o no fm i x t u r es i g n a l si sp r o p o s e d b yu s i n gg r a m - c h a r l i e re x p a n s i o n ，w e d i r e c t l y e s t i m a t ep r o b a b i l i t yd e n s i t yf u n c t i o no ft h es i g n a l s ，a n dt h e r e f o r et h es c o r ef u n c t i o n u s e df o rd e m i x i n g t h ea d v a n t a g e so ft h ep r o p o s e da l g o r i t h mo v e rm a n y e x i s t i n gb l i n d s o u r c es e p a r a t i o na l g o r i t h m sa r ei t sa b i l i t yt os e p a r a t eh y b r i dm i x t u r e st h a tc o n t a i nb o t i l s n p e r - g a u s s i a na n d s u b g a u s s i a ns o u r c e sa n di t sr a p i dc o n v e r g e n c et od e s i r e ds o l u t i o n s t h em e t h o dc a nb ea p p l i e dt oa l lt h eb l i n ds o u r c es e p a r a t i o na l g o r i t h m sw h e r et h es c o r e f u n c t i o ni so b m i n e db yan o n l i n e a rf u n c t i o n i n s t e a do ft h et r a d i t i o n a lb i o m e d i c i n e m e t h o d s t h em e t h o da b o v ec a l lb eu s e dt od ot h ep a r t i a lv o l u m ec o r r e c t i o nf o rg e t t i n g t h ep u r em i c l o a r r a yd a t a t h em e t h o di se a s yi no p e r a t i n na n dr e d u c e st h eb i o m e d i c i n e e x p e r i m e n t c o s ta sw e l l t h ed e t e r m i n a t i o no ft h en u m b e ro fu n k n o w ns o u r c es i g n a l sw h e nt h e r ea r ef e w e r s o n r c e st h a nt h em i x t u r e si nb i n ds o u r c es e p a r a t i o n ( b s s ) h a sa l w a y sb e e na nu n s o l v e d p r o b l e m i no r d e r t oi m p r o v et h ea p p l i c a t i o no fb s sb e a e r ，t h e a p p r o a c hb ye s t i m a t i n g t h e e i g e n v a l u eo f c o v a r i a n c eo fo b s e r v a t i o nv e c t o ri sp r e s e n t e d f i n a l l y ，t h ee x p e r i m e n t r e s u l t ss h o wt h a tt h ea p p r o a c hi se f f i c i e n t k e yw o r d s ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，b l i n d s o u r c es e p a r a t i o n s s ) ， p a r t i a lv o l u m ec o r r e c t l o n ( p v c ) 创新性声明 y6 9 5 4 9 8 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以夕 ，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论 本人签名； 不实之处，本人承担一切相关责任。 日期 e 一t 2 0 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名：狴盏 导师签名：蓬蚕塾 日期兰型：! ：堡 日期边翌，l 蟹 第一章绪论 第一章绪论 1 1 盲信号分离的研究背景 近几年来，盲信号分离已成为信号处理学界和神经网络学界共同感兴趣的研 究热点领域，并获得了迅速的发展。在多用户通信、天线阵列信号处理等诸多实际 应用中，多个源信号在传输过程中因传输信道间的耦台而发生混迭，故接收到的 信号是已混合了的数据信号。盲信号分离就是根据观测到的混合数据向量确定一 变换，以恢复原始信号或信源。典型情况下，观测数据向量是一组传感器的输出，其 中每个传感器接收到的是源信号的不周组台。术语“盲的”有两重含义：( 1 ) 源 信号不能被观测，( 2 ) 源信号如何混合是未知的。由于各源信号如何混合不得而 知，因此为了恢复它们，就需要根据各源信号的一些统计特性从混合的数据信 号中将其分离出来。这样一个信号分离或恢复的过程就称为盲信号分离简称盲分 离。 上个世纪8 0 年代末以来，如何对天线阵列或者传感器接收的混合信号实现 盲分离，一直是信号处理领域的难点和热点，有不少学者虽提出过各种方法试图 解决这个闯题，但分离效果都不理想。盲信号研究工作的实质性进展是从l i n s k e r “1 发表的论文( 1 9 8 9 ) 和j u t t e n 与h e r a u l t 。1 提出创造性的h _ j 递归神经元网络( 1 9 9 1 ) 开始的，用卜j 网络解决两个线性混合源信号的盲分离问题。在以后的几年内大 量的盲分离有效算法不断被提出，使盲分离理论在应用中得到很大推广。例如， 在多用户通信、声纳、阵列及通讯信号处理，在地球物理学，在多传感器监测的 生物电信号，以及在图像处理、生物医学工程中，盲信号分离技术都得到了广泛 应用。 目前国际上的研究主要集中在分解算法及其应用i t l 0 , 1 1 , 1 2 l ，主要有：c a r d o s o 提出了基予高阶统计的联合对角化盲信号分离方法，并应用于波束形成；c o m o n 系统分析了混合信号盲信号分离问题，并明确了独立分量的概念，通过对概率密 度函数的高阶近似，给出一类基于特征分解的独立分量分析方法；b e l l 和 s e j n o w s k i 提出了基于l i n s k e r 的信息最大化准则( i n f o m a x ) 的最大熵法：a m a r i 0 1 ( 1 9 9 8 ) 和c a r d o s o 嘲( 1 9 9 6 ) 简化了信息最大化学习规则并且提出了自然梯度的 概念。h y v a r i n e n 和o j a l l m 基于信源信号非高斯性测度( 或峭度) ，给出一类定点训 练算法( f i x e d p o i n t ) ：l e e 和b e l l 将基于信息最大传输的盲信号分离算法应用于语 音信号分离，语音识别率有明显提高：k a r h u n e n 和h y v a r i n e n 等将神经网络盲分离 算法用于提取图像特征和分离医学脑电信号；s a h t i n 和b r o m a n 在移动通信的手机中 增加一个麦克风，用信号分离算法改善通信中信号传输之间的信噪比等等。 基于混合信号概率密度函数估计的盲信号分离 虽然盲信号分离在最近几年已获得了长足的发展，但是还有许多问题有待进 一步研究和解决。尤其是需要发展以下算法： 能够在非平稳环境( 其性质未知) 下工作； 能够在奇异混合情况下工作； 能够在非线性混合情况下工作； 信号个数未知时能够工作； 信号个数动态变化时能够工作； 亚高斯和超高斯信号并存情况下能够有效工作的自适应算法； 此外，模糊系统理论在盲信号分离中的应用可能也是一个有前途的研究方向， 当然在发展上述算法的过程中，学习算法的全局稳定性和收敛分析也需要同时考 虑。 1 2 基因芯片技术 基因研究是最近几十年发展起来的对人类生命科学研究最尖端、最前沿的科 学研究，目前已成为是生物医学、生物化学、电子学、计算机科学、信息科学等 学科的一个研究热点。当前国内外许多专家学者对此问题进行了深入研究，并取 得相当的进展，例如d n a ；测序工程已经完成、后续的工作已经开展、而且有了相 当的基因级别的医学医疗应用，并取得较大的成功。关于基因的信息科学方面研 究主要集中在基因d n a 芯片技术的研究上，主要包括如何高精度的制造d n a 芯片 以及从d n a 芯片提取出来的微阵列数据的后续处理、应用研究。 1 2 1d n a 微阵列提取 在整个基因芯片研究应用中，d n a 微阵列的提取是最基本的也是最关键的过 程，其基本过程大致分以下几步： ( 1 ) 基因芯片的制备 基因芯片的实质是高度集成的寡核苷酸阵列，制造基因芯片首先要解决的技 术是如何在芯片片基上定位合成高密度的核酸探针。目前基因芯片的制备【2 l 主要采 用三种方法：即光蚀刻合成法、压电印刷法、点样法。 ( 2 ) 样品的制备 生物样品成分往往比较复杂，所以在与芯片接触前，必须对样品先进行处理。 为了提高结果的准确性，来自血液或组织中的d n a m r n a ：样本须先行扩增，然后 再被荧光素或同位素标记成为探针。 ( 3 ) 杂交 影响杂交的因素很多，但主要是时间，温度及缓冲液的盐浓度。如果是表达 检测，需要长历时，低温和高盐条件的较严谨性杂交。而如果是突变检测，需要 第一章绪论 短历时，高温和低盐条件高严谨性杂交。总之，杂交条件的选择要根据芯片上核 酸片段的长短及其本身的用途来定。 ( 4 ) 杂交图谱的检测和读出 目前最为常用的是激光共聚焦荧光检测系统，其主要原理是：与芯片发生杂 交的探针上的荧光被激发后经过棱镜恰好能通过共聚集小孔被探测器检测到，两 芯片之外的其它荧光信号则不能被探测器检测到，检测到的荧光信号通过计算机 处理后就可直接读出杂交图谱，此法灵敏度和精确度较高，但是扫描所需时间较 长。此外，近年来还发展了多种检测方法，如质谱法，化学发光法，光导纤维法 等多种方法。 1 2 2 基因芯片技术的应用 基因测序和突变检测。d n a 芯片用于测试基于杂交测序法( s b h ) 发展而来 的，该技术增加了微阵列中寡核苷酸的有效长度，从而增加了测序的准确性，可 对较长的d n a 片段进行测序，另外也适用于对不同基因组同源区序列的比较及含 有内部重复序列d n a 片段的序列分析。 致病微生物的快速诊断。a n t h o n y 等人建立了一个在4 d , 时以内便可检测和识 别出致病微生物的方法，该方法的具体过程是使用随机引物通过p c r 法扩增细菌核 糖体2 3 sd n a ，后通过检测系统来识别。 寻找新基因。定量检测大量基因表达水平在阐述基因功能、探索疾病原因及 机理、发现可能的诊断及治疗等方面是很有价值的。基因芯片技术在发现新基因 及分析各个基因在不同时空表达方面是一项十分有用的技术，它具有样品用量极 少，自动化程度高等优点，便于大量筛选新基因。目前，大量人类e s 髓给c d n a 微 阵列提供了丰富的资源，数据库中4 0 0 0 0 0 个e s t s 代表了所有人类基因，成千上万 的e s t s 微阵列将为人类基因表达研究提供强有力的分析工具。这将大大地加速人 类基因组的功能分析。 后基因组研究。基因组测序完成后，未知基因的功能研究是个十分诱人的 后基茵组研究课题。斯坦福大学的d a v i s 研究小组的研究提示d n a 芯片技术将来可 能应用于人类基因组测序完成后阐明开放读码框架o r f 生物学功能的研究，可能 会对深刻认识生命现象及药物设计带来重大影响。 此外，基因芯片还广泛地应用于药物筛选、药物作用机制研究、毒理学研究、 基因扫描、环境化学毒物的筛选、耐药菌株和药敏检测等多个应用领域。人们相 信，在新的世纪中，基因芯片将会在人类疾病的基因诊断中发挥巨大的作用，为 整个世界带来巨大的社会效益。 1 3 本文工作与结构 作者在剐人研究独立分量分析( i c a ) 的基础上，对独立分量分析的原理及其 基于混合信号概率密度函数估计的盲信号分离 特性进行了深入的研究，致力于在传统最大熵化的基础上，改进了原算法不适合 亚高斯与超高斯的混合模型，提出基于概率密度函数估计的盲信号分离算法，并 详细介绍了在盲信号分离以及在基因数据处理中的应用。 具体章节的内容安排如下： 第一章简单介绍了盲信号分离的背景和研究现状，以及基因芯片技术，包括 d n a 微阵列提取以及基因芯片技术的应用； 第二章主要介绍了独立分量分析以及盲信号分离的典型算法； 第三章重点讲述了基于g r a m c h a r l i e r 的密度估计，最大熵化的盲信号分离算 法，以及应用一种概率密度估计方法提出基于混合信号概率密度函数估计的盲信 号分离新算法，将它应用到盲信号分离问题中： 第四章主要解决基因模式的非生物医学方法获取。应用第三章基于概率密度 估计算法进行分析的基础上，对基因数据进行预处理，获得真正感兴趣的基因微 阵列数据，为最终基因模式的识别任务提供条件； 第五章提出了一种盲信号分离中源信号数目估计的新方法，可应用于包含观 测噪声的盲信号分离问题中，可以更大的提高盲信号分离问题的实用性： 第六章总结本论文的主要研究成果及意义，同时也指出了研究工作中存在的 不足和进一步的解决思路。 本论文的研究工作受到国家自然科学基金( n o 6 0 3 7 1 0 4 4 ) 、国家留学回国人 员科研基金项目和十五国防预研项目( n o 4 1 3 0 7 0 5 0 1 ) 资助。 第二章传统的亩信号分离算法 第二章传统的盲信号分离算法 盲信号分离的核心问题是分离( 或解混合) 矩阵的学习算法，它属于无监督的 学习，其基本思想是抽取统计独立的特征作为输入的表示，而又不丢失信息。当 混合模型为非线性时，一般是无法从混合数据中恢复源信号的。除非对信号和混 合模型又进一步的先验知识可以利用。因此，在大多数的研究中，只讨论线性混 合模型。 2 1 盲信号分离的问题描述 在盲信号分离问题中，源信号的混合分为线性混合和非线性混合。线性混合 的盲分离问题可以用以下方程来描述：x ( t ) = a s ( t ) + 亭o ) x ( t ) ；口。，j ：，聋。r 为实际观测到的l a 维数据向量，s ( f ) h ，s ：，s 。r 为n 维源信号向量；a 为r t t l n 维矩阵称为混合矩阵；芋( f ) 为可加性噪声。由于噪声的存在事盲信号分离实现起来 非常困难，所以在一般情况下不考虑噪声的影响，这时盲信号分离问题可重新表 述为：x ( oa s ( t ) 。 盲信号分离问题的实质就是：在源信号s o ) 和混合矩阵4 都未知的情况下，仅 仅根据已知的观测数据向量x ( o 利用源信号的统计特性确定分离矩阵矽，使得 y ( f ) - w x ( o 成为s ( o 的拷贝或估计。 由于对源信号和混合矩阵无先验知识可以利用，因此必须对源信号和混合矩 阵做出某些附加假设，不同的实际问题和不同的算法虽对源信号和混合矩阵所提 出的假设不尽相同，但本假设却是相同的，那就是：源信号s ( o 各分量5 ，o ) 相互 统计独立。除此之外，还假设： ( 1 ) 源信号各分量为平稳随机过程； ( 2 ) 混合矩阵a 为可逆的或者为列满秩的( 当h s m 时) ； ( 3 ) s ( f ) 是均值、方差为1 的随机信号。此假设为了使盲信号分离过程变得简 便。 由于对混合矩阵和信号源的不了解，盲信号分离存在两种不确定性或模糊性； 分离后信号顺序排列和复振幅( 幅值和初始相位) 的不确定性，盲信号分离的不确 定性主要表现为混合阵a 的非完全辨识。既然爿具有不确定性，所以不失一般性， 假定源信号具有单位方差，即把源信号振幅的动态变化归并到混合矩阵a 相应列 的元素中。归一化只是解决了混合矩阵a 各元素的幅值的不确定性，各列的排列 顺序和初始相位仍然保持不确定性。 1 ) 盲可辨识性 作为混合矩阵a 结构信息未知的一种补偿，必须有关于源信号的某些驸加假 基于混合信号概率密度函数估计的盲信号分离 设。最基本的假设是源信号中至多只能有一个高斯信号，因为两个高斯信号是不 能盲分离的“1 。 由于信号传输( 即信道) 以及源信号知识的缺乏，盲信号分离存在两种不确定 性或模糊性：分离后信号顺序排列和复振幅( 幅值和初始相位) 的不确定性。盲信 号分离的不确定性主要表现为混合矩阵a 的非完全辨识。既然彳具有不确定性， 所以不失一般性，假定源信号具有单位方差，即把源信号振幅的动态变化归并到 混合矩阵a 相应列的元素中。 归一化只是解决了混合矩阵a 各元素的幅值的不确定性，各列的排列顺序和 初始相位仍然保持不确定性。为了描述和解决混合矩阵爿的这些不确定性， c a r d o s o 等人将两个矩阵的“本质相等”的概念引入到盲信号分离中。 定义1两个矩阵m 和称为本质相等，并记作m 盂，若存在一个矩阵 g 使得m 土n g ，其中g 是一广义交换矩阵，并且其元素具有单位模。 因此，盲信号分离问题也可叙述为，只根据传感器输出剐辨识混合矩阵彳 的本质相等矩阵与或恢复源信号。 文献”1 证明了信号的盲可分离性；对于各个元素相互独立，并且只有一个高 斯分量的信号向量5 而言，若y c s ( 其中c 是一任意可逆矩阵) 的元素相互独 立，则y 是s 的一个拷贝。 2 ) 盲信号分离算法所应有的等变化性 除了可辨识性外，盲信号分离还应该具有等变化性。考虑对观测数据向量x 使用一代数运算即左乘一可逆矩阵吖，得m x 。 定义2 令a a o ) 是混合矩阵a 的某个批处理估计器，若对任意可逆矩阵m 恒有： 4 a ( m x ) 一m a 0 ) 则称估计器a 是等变化的，且上式称作等变化条件。 假定源信号的估计为；( f ) - a 。x ( t ) ，其q = a - 爿 ) 是混合矩阵a 的等变化估 计器，则容易证明 ；( f ) 一【彳o ) 】- 1 5 ( f ) 即是说，如果信号分离算法具有等变化性，则该算法的信号分离性能与混合 矩阵( 即信号传输的信道) 完全无关，只决定于原始信号，这一性能称为均匀性能。 很显然，“一个批处理的信号分离算法的性能与源信号如何混合无关”是我们期望 盲信号分离应该具有的基本性能。 对于一个可逆混合矩阵a ，由于不知道源信号在传输过程中如何被混合的，因 此我们期望算法的信号分离性能可以不受混合矩阵a 的影响，就是说算法性能与 第二章传统的盲信号分离算法 传输信道完全无关，只与源信号本身的性质有关。算性能与混合矩阵a 无关，只 与源信号s ( f ) 本身性质有关。因此盲信号分离算法应该具有等变化性质。 3 ) 源信号的统计性质对算法的影响 源信号的随机性质由信号的高阶统计量决定，特别是称为峭度的四阶统计量 起着重要的作用。随机变量y ，( t ) 的峭度定义为： k ( y 。) tc u m ( y ：o ) ) 一e y 。4 ( f ) 卜3 y o ) r( 2 1 ) 对于高斯信号，k ( y ，4 ( f ) ) 0 ，如 果k ( y 0 ) ) 0 ，则称y ，( f ) 为 超高斯信号。亚高斯信号的概率密 度函数相对于高斯信号较为扁平， 也称为轻拖尾信号，超高斯信号则 较为陡峭，也称为重拖尾信号。图 3 1 显示了峭度与高斯密度模型之 间的关系。 将源信号分为亚高斯信号和 超高斯信号是很重要的，因为源信 号的这个性质对许多算法的分离 k t a l 珊i s r o s a i j e 岫o c l a l d 科瞳x d i b d 嘲 y 图3 1 峭度与密度模型之间的关系 效果产生很重要的影响。举一简单例子加以说明： ，。( y ) - j 蝴( y ，4 ( 0 ) i - ；卦硝8 ) 卜3 ( e y t 2 ( t ) i d 2 i(2-2) 设为一准则函数，当 ，。( y ) 最大时能实现盲信号分离。如果源信号都为亚高斯 信号，则，：( y ) z 蜀【y 一4 最小化才能使，最大化：如果源信号都是超高斯信 号，则j ：( y ) 一芝b t y i 4 ) 最大化才能使j 1 ) 最大化。如果源信号是超高斯和亚高 口 斯信号的混合信号，则通过一般梯度算法很难使j 。) 朝一个方向最大化，因而分 离效果不理想。 超高斯和亚高斯混合信号对一般盲分离算法不适用的本质原因是一般盲分离 算法中普遍采用非线性函数来代替评价函数( s c o r ef u n c t i o n ) 1 1 1 。对此， 目前超 高斯和亚高斯混合信号盲分离通常的做法“”是对信号的峭度进行在线估计，根据 信号向量各分量的峭度估计值来动态选取非线性函数，将一类信号分离出，然后 基于混合信号概率密度函数估计的盲信号分离 再对输入数据进行子空间抽取，进而分离出另一类信号。这类方法虽然能够在一 定程度上解决问题，但算法往往比较复杂。 2 2 传统的盲信号分离算法 2 2 1 独立分量分析 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 通常提出以分离矩阵为 因变量的对比函数平( y ；) ( 用来进行优化的准则函数) ，对比函数值的大小表示 了输出y o ) 各分量之间的相互独立程度，通过梯度法等方法迭代更新分离阵矽使 对比函数的值达到最优，进而输出y “) 的各分量达到尽可能相互独立。和其它无监 督学习的优化算法一样，独立分量分析也需要对准则函数进行优化计算，在独立 分量分析中“对比函数”就是其准则函数。 对比函数的定义为：对比函数是一个将向量y ( t ) 的概率密度分布集合映射为 一实值函数的算予，记为1 王，) ，并且满足以下条件： 1 ) 如果y ( o 各分量排列顺序改变而掣o ) ) 的值不变，即 1 王r ( y ( f ”一v ( p y o ) ) ，p 为一个交换矩阵： 2 ) 如果y ( f ) 各分量的幅值改变而掣o ) ) 的值不变，即 v ( y o ) ) 一w ( d y ( f ) ) ，d 为一实对角阵； 3 ) 如果y ( f ) 有独立分量，则v 口y ( f ) ) 1 壬r ( f ) ) 。 对比函数实际上是随机变量概率密度函数的泛函，只有当随机变量相互独立 时，对比函数才能达到最大值或最小值。 独立性用l r 的联合概率密度函数p ( y ；w ) 一p ( y 1 ，y 2 ，y 。；w ) 和边缘概率密度函 数乘积之间的k u l l b a c k l e i b l e r 散度表示： z ( y i d 【p ( 】，忪( m ) 】- ，p ( y ；w ) l o g 黯( 2 - 3 ) 其中多( _ ) ，；矽) n ：。p a ( y 。；) 为y 的边缘概率密度函数的乘积。 z ( r ；缈) 为非负的，当l ，o ) 的各分量相互独立时为最小值。因此当，侈；) t 0 的各分量之间的互信息不断减小时，也就意味着y o ) 各元素之间的独立性在不断增 加。 a ) 固定点算法 h y v a r i n e n 提出的固定点算法汹1 ( f i x e d - p o i n ta l g o r i t h m s ) 是一种快速、鲁 棒的离线算法，不同于其它自适应在线算法，它将 个源信号的独立分量分析变成 了对n 个优化问题的求解，即将混合的信号逐个分离。这种算法的对比函数为： j g ( ) 一 e i g ( 7 工l e i g 缈h 2 ( 2 4 ) 式中g ( ) 为任意非二次型函数，矽为一权向量且满足约束条件e 7 x ) 2 i - 1 ，v 为 第二章传统的盲信号分离算法 一零均值、单位方差的高斯变量。g ( “) 选取依照下列情况而定： 1 源信号为超高斯和亚高斯信号的混合：g m ) t 三l o g c o s h a u 正 1 源信号全为超高斯信号：g ( m ) a 一三e x p ( 一a u 2 2 ) a 源信号全为亚高斯信号；g ) 一1 4 u 4 b ) e a s i 算法 c a r d o s o 和l a h e l d 在1 9 9 6 年提出了著名的基于独立分量分析思想的e a s i 算 法嘲其分离矩阵的迭代核函数为： w q + 1 ) 一i 矿( f ) 一 r q ) v2 ( f ) 一，+ g ( y ) y 7 ) 一y p ) 苫( y ) 2p 旷( f ) 式中g ) 为y o ) 的非线性变换函数，它的选取与信号的高斯性有关。e a s i 算法的 收敛速率和稳定性条件只和源信号的概率密度分布有关，和源信号如何混合无关。 c ) 最大熵化算法 我们将在下一章做详细介绍。 2 2 2 非线性主分量分析 非线性主分量分析( n o n l i n e a rp r i n c i p l ec o m p o n e n ta n a l y s i s ) 算法是将 非线性函数引入标准的主分量分析算法( p c a ) 中，建立非线性p c a 网络实现盲信号 分离。主分量分析( p c a ) 是以输入变量的协方差矩阵的最大特征值以及相应的特钲 向量定义的一种信号分析技术，它能在最小重构误差的意义下提供数据的最佳表 示。常规的p c a 方法仅用到了输入变量的二阶统计量，只能使输出变量互不相关， 为此需要引入高阶统计量。高阶统计量的引入是通过在标准p c a 算法的准则函数 引入一非线性函数，这个非线性函数将数据的高阶统计量以隐含的方式引入运算， 进而迭代学习分离矩阵实现盲分离。 非线性p c a 一般分为两个阶段： a ) 对观测向量x ( t ) 进行预白化 为了使盲分离问题得到简化，一般要求下一阶段分离阶段的输入向量的各分 量为单位方差的自噪声。自化过程如下： x ( o - 石( f ) 一e x ( o -( 2 5 ) y ( f ) - d “2 u 7 2 ( 0 一q i ( f ) v ( t ) 为白化后的数据向量，其均值为零、协方差矩阵为单位阵 也可以通过下面公式在线估计得到： q o + 1 ) 篁q ( f ) + 芦( f ) j y o ) 矿o ) 7 ) 矿( f ) b ) 自适应更新正交分离矩阵 ( 2 6 ) 矽为白化矩阵， ( 2 - 7 ) 1 0 基于混合信号概率密度函数估计的盲信号分离 将合适的非线性函数引入到标准p c a 算法的准则函数中可得非线性p c a 的准 则函数： ，( 矽) - e i 旷( f ) 一豫( 彤7 矿( f ) ) ( 2 - 8 ) 其中为分离矩阵，占( ) 为非线性函数。然后可以利用随机梯度型算法进行自适 应更新。 基于非线性p c a 准则的算法经过多年的发展，形成了很多成熟的算法。下面 简单介绍几种典型的算法： 1 ) r l s 型算法阱1 文献采用i ，( 矽) 一皇爿。扣( f ) 一w o ) g ( w 7 ( f 一涉( f 圳f 2 为准则函数，其中刀一为 遗忘因子；然后对非线性变换后的输出五o ) 。g ( y i o ) ) 运用文献 2 5 提出的p a s t 算 法即可得到r l s 的迭代规则。基于非线性p c a 准则的最小二乘r l s 法相对于梯度型 的堋s 法有着更快的收敛速度和稳定性。 2 ) 非线性p c a 子空间学习算法啪1 该算法从鲁棒p c a 子空间学习算法中改进而来，将其迭代算法中引入非线 性函数9 0 就可得到非线性p c a 子空间分离矩阵迭代计算公式： w ( t + 1 ) 一w ( o + ( f ) 【矿( f ) - w g 】g ( y 1 ) ( 2 9 ) 3 ) 双梯度算法 其分离矩阵的在线估计公式为： w ( t + ”( f ) + p o 少0 ) g o ，7 ) + y o 沙( f ) ( ，一矽7 矽)( 2 1 0 ) 式中y ( f ) 是增益参数，通常取为0 5 或1 。 2 2 3 非线性混合情况下的盲信号分离 前面实现盲分离的大多数算法都是假定混合结构为线性的，但在实际应用中， 源信号的混合大多数情况是为非线性的，那些基于理想的线性混合情况下提出的 方法，在非线性混合的实际问题中一般都失效了。因此对非线性富分离进行研究 就显得更为实际和重要。但是非线性混合盲分离问题相对于线性混合而言是比较 复杂的，没有一种普遍的方法能解决这个问题。不同的具体问题其非线性混合模 型是不同的，因此只有针对不同的模型提出不同的方法，才能获得理想的分离效 果。尽管非线性盲分离问题比较复杂，但还是有不少作者对这一问题做出了开拓 性的研究，提出了许多算法。起初的研究工作主要是t1 9 9 2 年，b u r e l ”1 用神经 网络方法对一个己知的非线性结构进行了盲分离；1 9 9 4 年，k r o b 和b e n i d i r c “1 研究 了利用高阶统计量解决多项式结构的非线性混合问题；1 9 9 5 年，d e c o 研究了一 个基= = v o l u m e - c o n s e r v i n g 结构的非线性变换的非线性盲分离。 下面简单介绍几种典型的非线性盲分离算法： 第二章传统的盲信号分离算法 a ) 自组织映射法( s o m ) o “： 使用k o h o n e n 提出的自组织映射( s e l f o r g a n i z i n gm a p ss o m ) 3 从非线性 混合数据中抽取独立的信号。但是为了使计算精度达到要求，它需要对大量的神 经元进行计算，网络结构的复杂度是指数增加的。 b ) 信息后向传播算法： 这种方法是用于非线性结构扩展的独立分量分析方法，它采用二层感知器模 型通过使用自然梯度导出后向传播算法( b p 算法) 对网络参数进行训练，使互信 息最小或者熵最大从而实现盲分离。 算法的混合模型为：z 一f ( a s o ) ) ，信息后向传播算法假设非线性混合函 数，( ) 存在反变换f - l ( ) 函数，并且它是可以被二层感知器网络估计的。从这里可 以看出这种方法是一种特定非线性混合情况下的盲分离。用二层感知器可以估计 出：，1 膏( f ) - c g ( 丑z ( f ) + ，c 、召都为可逆矩阵。而输出信号 y ( f ) t 啊g o 吒x + 0 ) ，其中g ( ) 为s i g m o i d 函数，可选为双曲正切函数。 c ) 后非线性盲分离算法。1 后非线性混合结构是由t a l e bn j u t t e n 芒e 文献。”3 中提出来的，它是线性混 合经过非线性失真后产生的一种特殊的非线性混合结构。也就是说，源信号在传 输过程中是被线性混合的，但由于接收端的非线性才使信号被非线性混合。它的 模型可表述为：混合信号为e q ) f ( a s 8 ) ) ，( ) 可逆非线性失真函数，_ 为线性 非奇异矩阵；算法分为两阶段：先对非线性变换，( ) 进行非线性校正得出 g ( e o ) ，p ) ，然后像对待线性混合信号一样对非线性校正过的信号实施线性分离。 得到输出y o ) - 耽。岱( f ) ，口) ，g ( ) 为非线性矫正函数，矽为线性分离矩阵。 d ) 贝叶斯集合学习算法 文献洲提出了贝叶斯集合学习算法( b a y e s i a ne n s e m b l el e a r n i n g a l g o r i t h m ) ，该算法采用多层感知器神经元网络( 札p ) 。能够对非线性静态和动 态过程实现盲分离。 2 3 本章小结 本章主要介绍了盲信号分离的些基本的概念及传统的算法。主要指出盲信 号分离问题的盲可辨识性和等变化性，同时指出信号的统计特性对盲信号分离问 题的影响。传统的盲信号分离算法包括独立分量分析算法以及非线性主分量分析 算法。独立分量分析算法使输出各分量达到尽可能相互独立；非线性主分量分析 算法它能在最小重构误差的意义下提供数据的最佳表示。 基于混合信号概率密度函数估计的盲信号分离 第三章基于混合信号概率密度函数估计的盲信号分离 从上一章我们可以看出，传统的盲信号分离算法里，一般都是用固定的非线 性函数代替评价函数( s c o r ef u n c t i o n ) “，只适合超高斯和超高斯，或者亚高斯 和亚高斯混合情况。在亚高斯和超高斯信号同时存在时，则以前的算法失效。文 献1 提出扩展最大熵( e x t e n d e d i n f o r m a x ) 化算法，根据信号的统计特性动态切换 非线性函数，可以分离亚高斯和超高斯信号同时存在的情况。当信号为亚高斯时， 非线性函数取为咖( ) - y l t a n h ( y f ) ，当信号为超高斯时，非线性函数取为 咖( y f ) 一y j + t a n h ( y j ) 。这里m h ( - ) 代表双曲正切函数。我们则直接估计信号的概 率密度函数，并由此得到非线性函数九( y ；) ，可分离亚高斯和超高斯信号并存的情 况。可适用于所有以非线性函数代替评价函数的盲信号分离算法中。 3 1 基于g r a m - c h a r l i e r 展开的密度估计 3 1 1g r a m c h a r l i c r 展开的概率密度估计原理 给定一个未知的概率密度函数) ，一个已知概率密度函数) ，对于分布区间 ( - m ，+ m ) ，则y 可由下式表示“”： p o ) - 罗c i w 耻o )( 3 1 ) 箭 其中系数c 。，c 1 ，c 。的确定基于下式的均方误差最小 n 岸窑竺 下式是g r a m 展开的原始形式： e i o ) 。w o ) 。豪f 【w o ) g o ) 】 上式中， o ) 是多项式。通过上式，也可得出： c t 一最z ( 咖出一瓦1q 仁) 】一百e k 这里，h 。= 亡 w ) 2 0 ) d r 】 当区间0 ，6 ) 取不同的范围时，上式可有几种不同形式。 1 当0 ，6 ) 一( 一呜+ * ) 时，上式成为： 加，一蠢警e - y z l 2 h k ( 3 - 2 ) ( 3 - 3 ) ( 3 4 ) ( 3 - 5 ) 第三章基于混合信号概率密度函数估计的盲信号分离 1 3 正加渺- 去丘- t 2 2 d t _ 荟n 面e k e - t z 2 峨以， 这里，w 0 ) 式高斯密度函数， ( x ) 一h ( z ) 是h e 咖i t e 多项式。 2 当一( o + * ) 时，上式成为： 肿，一毫意t a e - t l k ( a ) p s ， 口一爿 。疵嚷志 这里，w g ) 是g a n l m a 密度函数， 0 ) - l k ( a ) 和) 是归一化的l a 静e 丌e 多项式。 3 当和，6 ) - ( 一埘时，上式成为； 舯毫鲁( 1 叫w 卅吲郇) ( f ) j 二p ( f 渺t 吉j 二( 1 一矿( 1 + 矿出+ 矗触e k 夏( 1 一矿+ 1 ( 1 + 工) 肼b ，“k ) 这里，w ) 是k t a 密度函数， o ) 一耳似，4 ) ) 是j a o o b i 多项式。 1 当( 口，6 ) - ( 一* ，+ * ) 时， 帅) - 磊k ，( 3 - 8 ) k 一糟呶珈一 耋：蓍；萋筹：喜：6h：。0ha 1 j 当女为奇数时；否则h - l - ， i 工t 。( x ) 善。t 一4 z “ l k , n ( a ) - 嗽+ 口) 肚一n ) 豫l ，。扣 k j ( “) o k ) l “i 一1 扣) j o o 。一1 ( 3 9 ) 1 4 基于混合信号概率密度函数估计的盲信号分离 3 当( 口，6 ) - ( 一1 舯时， 最( x ) 一f x ” 岛 p h1 一 ( _ i + n 一1 ) ( 七一n ) 】p t 一2 ，n 当七为偶数时t 否则h h - 0 当k 为奇数时；否则h h = 0 既i 掣p k 嘶1 凡。1 p t ，i 。t 一1 一1 ；p o ，o 。1 ( 3 - 1 0 ) 对于分布区间为( 一* ，+ * ) 的信号y ，其概率密度函数的基于g r a m c h a r h e r 高 斯密度展开式为： m ) 。塞等e - y 2 1 2 i l k ( y ) 其中也( ) ) 为h e r m i t e 多项式；e 代表数学期望。这里，h e r e 多项式h t 【y ) 可通过下式得到： 蹦y 巾( y ) | ( _ 1 ) 争川y ) l 去e ( 3 - 1 2 ) 3 2 基于最大熵化的盲信号分离算法 熵的概念最早由信息论的创始人香农在1 9 4 8 年发表的信息论莫基性论文“通 信的数学理论”中提出。熵是随机变量不确定性的量度，一组随机变量的相互独 立性越强，这组变量的联合不确定性程度越大，联合熵就越大。 图3 1 最大熵化的结构图 ：l 乃 最大熵化的基本思想是利用非线性传递函数对输出进行变换，使得输出分布 包含在一个有限的超立方体中，然后熵的最大化将迫使输出尽可能在超立方体中 均匀散布。当各输出信号互相独立时，它的联合熵最大。图3 1 所示为最大熵化 的结构图。 第三章基于混合信号概率密度函数估计的盲信号分离1 5 让培。( y ) 代表互不相同的单调函数。我们做如下的变换，z a = g 。o ，。) 。令 z - ( g l ( y 1 ) ，9 2 ( y 2 ) ，g ( y 。) ) 代表输出信号y 的变换根据信息论的知识，显然有 地吩= ，功。显然，只有当z 的各个分量相互独立时，输出z 的联合熵取最大 值。输出z 的联合熵通过下式定义： h ( z ；w ) 一y p ( z ；w ) l o g p ( z ；w ) d