（信号与信息处理专业论文）盲信号分离技术及其应用研究.pdf

摘簧 言信号分离技术及其液用研究 摘要 盲信号分离技术是信号处理中用于阵列处理茅日数据分析的一种新的技术， 在源信号和滢台过程未知情猿f ，觚满合信号中分离出源信号。富信号分离技 术可广泛应用于无线通讯、医学信号处理、图像处理以及雷达信号处理等多个 寝瘸领域，己藏为信号熊遴领域黪一个磷究热点。本论文对蛮信号分离技寒理 论及其应用问题进行了研究，主要工作如下： ( 1 ) 援集、整理、总结了国内外裔分离方瑟最新的研究成栗和避震，介绍售分离 基本概念和理论，并着重讨论了几种比较常用的盲分离学习算法及算法特 点。 ( 2 ) 在最小互信息1 葺分离簿法的基础上，提出了基于递归网络形式的改进型算 法，从理论上给予了证明，并通过计算杌仿真模拟t 正实了该方法的可行性。 ( 3 ) 论文瓣蠢售号分离技术在摸式识别以及信号处理方瑟数应耀职究进霉子了探 讨。交通标志识别的实验及浚识别系统的实现表明该方法在模式识别中可以 取季导缎好的效果。氇予盲分离的数字水印研究实验验涯了该方法在傣号处理 方丽的有效性。l 二，、 关键词：宵分离灾独立分餐分析，神经网络i 熵，互信息，累积量 ，、 a b s t r a c t a s t u d y o nb l i n ds i g n a l s e p a r a t i o n a n di t sa p p l i c a t i o n a b s t r a c t b l i n d s i g n a ls e p a r a t i o n i san e wt e c h n i q u eo fs i g n a l p r o c e s s i n g a i m e da t r e t r i e v i n gas y s t e m su n k n o w n i n f o r m a t i o n 。f r o mi t so u t p u to n l y ，w h i c hc a l lb eu s e di n a r r a yp r o c e s s i n ga n d d a t aa n a l y s i s t h e r ea r em a n y p o t e n t i a la p p l i c a t i o n ，e s p e c i a l l yi n w i r e l e s sc o m m u n i c a t i o n ，m e d i c a l s i g n a lp r o c e s s i n g ，i m a g ep r o c e s s i n ga n dr a d a r s i g n a lp r o c e s s i n g i nr e c e n ty e a r s ，b l i n ds i g n a ls e p a r a t i o nh a s b e e na na t t r a c t i v et r e n d i nt h ea r e ao fa c a d e m i a i nt h i st h e s i s ，t h et h e o r ya n da p p l i c a t i o n so fb l i n ds o u r c e s e p a r a t i o nh a sb e e n s t u d i e d 。t h et h e s i sc o n s i s t so f f o l l o w i n gp a r t s ： 1 t h ep a p e rr e v i e w ss y s t e m a t i c a l l yt h ep r e s e n tr e s e a r c hs i t u a t i o no fb l i n ds o u r c e s e p a r a t i o n i nt h ew o r l d t h eb a s i c p r i n c i p l e s a n dc o n c e p t so fb l i n ds o u r c e s e p a r a t i o na n d s o m e a l g o r i t h m sa r ei n t r o d u c e d 2 am i n i m u mm u t u a li n f o r m a t i o na l g o r i t h mb a s e dr e c u r r e n tn e u r a ln e t w o 矗sa r e g i v e n t h em a i np r i n c i p l e ，d e r i v a t i o nh a sb e e np r e s e n t e d c o m p u t a t i o ns i m u l a t i o n e x p e r i m e n t s a r ea l s og i v e nt oi l l u s t r a t et h ep e r f o r m a n c e so f t h e a l g o r i t h m 3 t h et r a f f i c s i g nr e c o g n i t i o n a n d d i g i t a lw a t e r m a r k i n g b a s e db l i n ds o u r c e s e p a r a t i o nt e c h n i q u eh a sb e e nd e m o n s t r a t e do nt h i sp a p e r i ti n d i c a t e dt h a tb l i n d s o u r c es e p a r a t i o nh a v eag o o dr e s u l to nt h er e a l i z a t i o no ft h i sr e c o g n i t i o ns y s t e m a n di t sa p p l i c a t i o nt od i g i t a lw a t e r m a r k i n g t h ee x p e r i m e n t o nr e s e a r c ho f d i g i t a l w a t e r m a r k i n g b a s e db l i n ds o u r c e s e p a r a t i o n a l s ov a l i d a t e dt h i sm e t h o d s a p p l i c a t i o no n t h es i g n a l p r o c e s sd o m a i n k e y w o r d s ：b l i n ds o u r c es e p a r a t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，n e u r a ln e t w o r k ， e n t r o p y ，m u t u a li n f o r m a t i o n ，c u m u l a n t 独创性声明 本人声弱掰嫠交的学位论文是本人在髟师指导下逶行的研究工俸及取得的 研究成果。据我所知，除了文巾特别加以标注和致谢的地方外，论文中不包含 其他人已经发表戏撰写过的研究成果，也不包含为获褥垒l 墨至丝太邀或其链 教育祝构的学位袋证书丽使用过的材料。与我一同工俸i 建的同志所傲酌任何贡 献均已在论文中作了明确的激明并表示致谢。 学位论文 管鬻签名蝴纸签字喻卅年筘冀少 7 学位论文版权使用授权书 本学位论文作者完全了解佥胆互些太盛有关保留、使用学位论文的规 定，有权保留并向因家有关部门或机构递交论文的复印件_ 萃n 磁盘，允许论文被 查黼秘僭褥。本入授权金薹篓纛韭太兰爵淤将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学 位论文。 ( 傈密豹学位论文在解整悉适用本授板书) 学 藏论文作者签名 签字鳓：叫钳月夕同 篡：5 通讯地址：i 导师签名： 签字同期；噼年月，7 日 电话： 邮编： 第一奄序言 第一章序言 随着社会的发展，科按的进步，人类社会已经迈步进入了一个新的时代一 数字化时代，数字信号处理技术则是其中一个非常关键的环节。而盲信号的分 离划是数字售号处理窝神经瓣络领域用予簿襄处理以及数嚣分辑的个毅戆技 术，被广泛的痣用于通讯、生物医学图像处理、语音谈别等众多的领域，其鸯 非常重要的实用价值，是当前学术界一个研究热点。 1 1 砉售号问黢瓣提出 众所周知，人的听觉系统能够使人在众多的声音信号中跟踪一种声音，而 忽略其它的声音，这就怒著名的所谓的“鸡尾酒会效应( c o c k t a i lp a r t y e f f e c t ) ”，也就是在鸡尾淄会那季中环境下，商缀嘈杂的声音，然聪如果你对菜 个人的话语感兴趣，你会嗡列纯的声音，褥忽路萁稔入的声音，聚这种获众多 的混合信号中( 观察信号) ，提取出未知的源信号的过程，就叫作盲信号分离 ( b l i n ds i g n a ls e p a r a t i o n b s s ) ，有时候又称为肖源分离( b l i n ds o u r c e s e p a r a t i o n b s s ) i 疆铂。典型愤猿：毂褒察信号是一系列簧感爨夔竣懑，每一令 传感器的输出郡是一系残未知源信号经道未知的混合之后的信号。这里的术语 “盲”是指源信号是未知的，并且混合的方式也是未知的，典型的是用多个麦 克飙采集众多人的语音信号，从而获得的多路语音信号，从这混念信号中如何 壤复密深霞号阏题藏朝簸蛮僚号分离闻戆。缀显然，警钛信源翻镥感器之阕豹 传输很难建立其数学模型，或者是没有足够的关于传输的先验知识，盲信号分 离则是一种很自然的选择。盲信号分离的核心问题就是分离( 解混合) 矩阵的学 习算法，它藩予无整督学习，其基本豹爨想就是撩取如统诗独立瓣特征终受输 入的表示，丽又尽可能的不磐失信息。根糖不通的分炎标准，信号的盲分离主 骤有以下分类： ( 1 ) 麸混合避道豹个数来分，信号的衰分枣可以分为多通道绩蛩寒分离帮单 通道信号静盲分离。举通道盲信母分离是多路源信号经过混合以卮，我 们只得到一路混合信号，如何从这一路的混合信号中分离出多个源信号 的问题就是单通道盲信号分离。多通道信号分离就是n 个源信号经过混 合滚螽缮到m 路滢会镶号( 逶霉壤魄tm - n ) 。麸这m 鼹滋台售号中滚 复出n 个源信号的过程就是多通道信号的盲分离，典型的多源多传感器 框图如图1 1 所示。很强然，在一般情况下，单通道信号盲分离的难度要 大予多避遵信号的盲分离。 第一帝序言 ( 2 ) 从源信号的混合方式来分，可将盲信号分离问题分为瞬时混合和卷积混 合以及线性混合和非线性混合等方式。所谓卷积混合是指考虑时间的延 迟，观察到的信号应该是源信号和通道的卷积，对这样的卷积混合信号 进行盲分离通常称为盲反卷积( b l i n dd e c o n v o l u t i o b d ) 。在目前的研究文 章中绝大多数集中在线性瞬时混合信号的盲分离，对非线性卷积混合方 式的盲分离问题，一般是无法从混合数据中恢复出源信号的，除非对信 号和混合模型有一定的先验知识，研究人员对这一领域也作了大量的工 作，取得了一定的进展，由于这种方式的盲分离问题难度较大，理论还 不是很成熟，所以本文主要集中讨论线性瞬时混合信号的盲分离问题。 s - ( t )s z ( t ) 源信号s 。( t ) x l ( t )x 2 ( t )x 。( t ) 图1 1 典型的多源多传感器框图 对于盲分离，研究人员提出了许多的方法，主要包括：自适应滤波的方 法、特征值滤波方法、基于统计特性的方法( 包括二阶统计的方法和高阶统计 的方法) 、基于信息理论的方法。每种方法侧重点不同，但都在一定的程度上 取得了一定的成功。对于盲分离问题学者又提出了一种独立分量分析的方法 ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a ) ，有时候又称为独立元分析或独立成分 分析。独立分量分析就是在给定的多变量数据中寻找线性非正交坐标系，使得 输入数据在各个坐标轴上的投影之间的互信息量最小，是从观察信号矢量中提 取出统计独立的数据的一种技术。从数学角度来看，独立分量分析是一种对多 变量数据的非正交的线性变换方法，坐标轴的方向由得到的观察信号的二阶 和高阶统计特性确定，其主要的目的就是确定一个线性变换矩阵，使得变换后 的输出分量尽可能统计上独立1 3 1 。 从i c a 和b s s 的定义我们可以看出来，两者所需解决的问题是非常相似 的。从而导致目前有相当数量的文献对i c a 和b s s 不加以区分。事实上， 第一章序占 i c a 和b s s 相比较，还是有一定的区别的。i c a 是一个理论的问题或者是有 许多不同应用的数据模型，i c a 的主要的任务就是寻求分离矩阵，使得分离矩 阵和观察信号的乘积所包含的各个分量之间尽可能的相互独立；而在b s s 中，各个输出的分量有明确的物理意义，并且b s s 中令人感兴趣的就是分离 后的信号在多大程度上恢复了源信号，往往忽略了分离矩阵，b s s 是一个能 够利用大量的理论方法解决的问题，但是不局限于i c a 方法。严格来说i c a 是解决b s s 问题的一种很好的方法，也是其一种非常重要的方法。 1 2 盲分离的发展及研究现状 盲信号分离技术就是随着数字通讯等行业的飞速发展而在信号处理领域兴 起的一个新的研究方向。它的主要任务就是对于未知的系统，在其输入信号完 全未知或仅有很少的先验知识的情况下，仅仅由输出信号来重构输入信号或进 行系统辨识。对于信号的盲分离的研究，源于阵列信号处理技术。许多的阵列 处理技术都依赖于对阵列响应矩阵的数学模型，对于阵列响应矩阵的参数可以 通过物理建模假定或直接对阵列的测景来获得。然而在许多的实际应用中，这 些参数的值往往是得不到的，在此类情况下，需完全脱离对信号物理传输现象 的建模，即不赋予混合矩阵元素任何的物理常数的含义，从新的角度研究多个 独立源的分离。近来，利用i c a 方法解决盲源分离问题受到了国内外广泛的 重视，这是因为它在信号处理领域的潜在的应用，例如语音识别系统、无线通 信、医学信号处理等、图像处理、生物医学信号处理、声纳等领域具有的广泛 的诱人的前景，对其研究始于二十世纪八十年代中后期，在过去的短短的几十 年间，有关的理论和算法都已经取得了较大的发展，包括问题的建模，可解性 以及求解原理等方面在一定的程度上的得到了解决。 对于这个领域的研究，当前主要有两个方向。一个方面，研究分离阵列传 感器的输出信号，这也是经典的且很难的信号处理问题，先驱性的工作主要由 j u t t e n ，h e r a u l t ( 1 9 8 6 ) 1 5 1 ，他们提出一种自适应的算法，使用简单的反馈网络结 构形式，学习规律是基于神经元方法，通过选取奇次的非线性函数构成h e b b 训练，从而能够同时分离出未知的独立源信号。该方法不能完成多于两个混迭 源信号的分离，非线性函数的选取具有随意性，并且缺乏理论解释。其中c j u t t e n ，j h e r a u l t ，p c o m o n ，e s o r o u c h y a r i 他们于1 9 9 1 年在杂志s i g n a l p r o c e s s i n g 上发表了关于盲信号分离的三篇经典文章，标志着盲分离问题研究 的重大进展【l 】【2 】【4 】。他们不仅提出了盲分离中著名的h j 学习算法，而且设计 了专门的c m o s 集成芯片来首先他们的算法。h j 方法后来由j u t t e n 和 h e r a u l t ( 1 9 9 1 ) ”j ，c o m o n ( 1 9 9 1 ) t 2 l , k a r h u n e n 和j o u t s e n s a l o ( 1 9 9 4 ) 1 6 j ，c i c h o c k i 和m o s z c z y n s k i ( 1 9 9 2 ) j 以及其他研究者解释并发展，后来c o m o n ( 1 9 9 4 ) t 3 】系 第一带序言 绕地分析了瞬时混迭信号的葑源分离问题，同时引入独立分量分析的概念，他 的思想是把神经网络中的主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s p c a ) 力h 以 扩展并提出了娥小化输出传感器问的互髂息的代价函数，通过对搬率密度函数 瓣离阶遥钕敷提取密线 ! 差溅合量中静獗立分量。可黻滋，c o m o n 的工律实际 上使得对盲信母分离算法的研究变成了时独立分量分析的代价函数以及其优化 算法的研究。l t o n g 和r u e y w e nl i u i8 j 给出了完善的盲分离问题的数学框架 并分辑了盲源分离闷题的可分离牲季| l 不确定性，绘出了一类基于麓浍统计豹矩 簿代数特征分解方法，鼠丽可以用成熟的线性代数方法解决，并攒出盲信号分 离问题实际上憋一个多解的问题。k i y o t o s h im a t s u o k a 【9 【m l 找出了一种分离非 平稳信号的算法，把盲分离的研究又向实际应用推进了一步，因为在实际的应 震中，谗多毽号赛是粪孚稳髂号，懿诿褰信号等。 盲分离的另外一个主鼹研究方面是l i n s k e r ( 1 9 9 2 ) t ”l ，b e c k e r 和h i n t o n ( 1 9 9 2 ) 1 1 2 和其他研究人员提如的基于信息理论的无监督学习规则。其主要思想 裁楚最大纯享睾经网终输入凝窭溺豹互镶繇、这秘方法嗣b a r l o w 予1 9 6 1 年掇 出的神经元编码策略的冗余度降低原受l j ( p r i n c i p l eo f r e d u n d a n c yr e d u e t i o n ) h 关， 它使得每个神经元能够对其余神经元尽可能按照统计独立特征进行编码【7 ”。 n a d a l 和p a r g a ( 1 9 9 4 ) 1 1 3 l 在文中阐述在低噪声的情况下，最大化一个神经元处 鬻肇元输入输港闻静互僖惑就意味着输爨分布是可戳分解靛，帮多交量密度露 数可以分解为备个边缘概率密度函数的乘积，此时输出各个分量相互独立，因 此可以这么认为，通过独立分量分析进行盲源分离，就是使得网络输入输出之 瓣获褥最大他售惑传输荠使褥辕出互接爨为零。r o t h 移b a r a m ( 1 9 9 6 ) 4 】戳及 b e l l 和s e j n o w s k i ( 1 9 9 5 ) i ”l 相互独立的鼯出最大纯的随机梯度学习算法并应用 到时间序列分析和盲源分离。b e l l 和s e j n o w s k i ( 1 9 9 5 ) 1 1 5 1 是首先从信息理论观 点来鳃释盲源分离问题，并把信息理沦成用到盲源分离和盲卷积闽题中去，他 翻静垂适应方法，获耱经元楚理麓蠢_ 柬黉，要跑c o m o n l 3 1 戆基予累积量静载 价函数方法具脊更合理的解释。c a r d o s o 和l a h e l d 予1 9 9 6 年提出了一个相似 的自适应盲分离学习方法1 ”1 。 英毽臻究久受甄不嚣戆燕废提爨了不阉兹方浚：最大钕然方法蓄走由 g a e t a 和l a c o u m e 于1 9 9 0 年提出【 l ，g i r o l a m i 和f y f e ( 1 9 9 6 ) t 1 8 1 提出了负熵最 大化，k a r h u n e n 和j o u t s e n s a l o ( 1 9 9 4 ) 州以及o j a 提出了非线性p c a 算法【1 9 】， l e e ，g i r o l a m i 秘s e j n o w s k i ( 2 0 0 0 ) 扛2 l 将这些富源分离方法在售息联论框架下避 行了统一。a m a r i l 2 珥基予信惫理论中概率密度的g r a m c h a r l i e r 溪开，利用最 小互信息代价函数得出一类前馈网络的举习算法，并从理论上证实了c i e h o c k i 镣人1 9 9 4 年提比的自然梯度( c a r d o s o 糊l a h e l d 在文【1 6 】中叫作相对梯度) 的有 效缝【4 7 l 【5 。 第一章弗害 b e l l 和s e j n o w s k i ( 1 9 9 5 ) p s i 蓠先提出的算法由于非线性函数选取为固定的 s i g m o i d 函数，相当于首先固定了源信号的概率密度函数模垂，所以仅适合于 分离超高斯源信号，为了克服这个限制，研究人员又提出了适合于同时分离出 超商新信弩和蓝麓斯信号的混合信号。p e a r l m u t t e r 和p a r r a ( 1 9 9 6 ) 2 l 】觚簸大戗 然估计推姆出通用的i c a 学习规则，他们明确的建模基本的源信号的概率分 布( 这在踉先豹葵法中总楚假设怒固定不交懿) ，虽然密度静傣计是菲常困难 的，并且褥要一定量的数据，但是算法能够分离出概率分布范围很广的源信 号。g i r o l a m i 帮f y f e ( 1 9 9 6 ) ”副鼓受壤最大纯豹撬菠提窦更麓擎蠢效戆学习算 法，h y v a r i n e n 同样基于源信号非高斯性测度，给出了一类定点训练学习算法 1 2 。1 1 ”j ，该方法嗣g i r o l a r m i _ 稃f y f e 抟努攥射影遗踪算法( e x p l o r a t o r yp r o j e c t i o n p u r s u i t ) 相似【2 甜。 麸c j u t t e n ，程j 。h e r a u l t 静蔫于线往辩对混合信号喜滚分凌方法澎现戳 后，人们对卷积混迭信号的盲褥积问题也进行了研究，主要有l l i n 和 w e i n s t e i n 予 9 9 4 年善走将猿立分鳖分瓣萼| 入喜漆积中狰“，其嚣鸯n g y u e n 羁 j u t t e n 于1 9 9 5 年给出了基于高阶累积量和高阶谱多通邋盲反卷积方法，通过 递魑特征分瓣可蔽阉随避行喜系绫爨参数辨谈和蠢反卷辍，由予援到惑除累积 量和高阶谱，所以该方法的运算巅很大1 5 们。t h i 和j u t t e n 【6 2 】同样同样利用四阶 累积量绘爨卷积混迭售号謇源分裹的自避应训练方法。 i b r k k o l a 于1 9 9 6 年接 导出一种基于信息最大化的反馈网络结构形式，完成对线性卷积混合系统的盲 源分离1 6 ”。l e e ，b e l l 和l a m b e r 在1 9 9 7 年将盲源分离阅题扩展到全反馈和全 前馈系统，基于僚息最大化传输戏最大似然估计方法得娃j 的盲源分离训练算法 变换到频域，并利用f i r 多项式代数技术进行首源分离，提出的算法可以成 功分离实嗣。环境下的语音信弓强“。文1 6 5 1 申推导溺一种多输入多输出( m i m o ) 系 统的盲卷积算法，其外研究人员又对卷积混合信号的盲分离算法的稳定性进行 了系统懿分丰厅研究 ”鄹j 。 对于肖分离和i c a ，它们都依赖于一定的限制条件，研究人员开始考虑在 更少翡限麓条佟下爨喜绥号分离耱求解阏遂。麴饕线彀混合，p a j u n e n ，等j | | 薄 自组织特征映射( s e l f - o r g a n i z i n g f e a t u r e m a p s * s o f m ) 提取出非线性分量 3 5 1 1 3 6 】，其宅一些磷究老妇l e e ，k o e h l e r 程o r g l m e i s t e r 等在19 9 7 年 s s l ；t a l e b 和j u t t e n l 9 9 7 年1 5 4 ；y a n g ，a m a r i 和c i c h o c k i f 5 3 j 发表的文章则悬更直接的利用 翦疆提至l 豹学习算法夔扩展形式来辫决嚣线蛙混合闫戆。另终其它鲍一些限 制，如在源信号数目未知的情况下的盲信号分离问题，针对这个实际中常常出 瑰豹闻题，c i c h o c k i 等毒寸论了不阉戆神缀网终结构形式以及自邋应学习算法， 估计出源信号的数目，网络输出冗余的降低以及提取出源信号，通过对自然图 像以及m e g 数攒憋计算枫仿真诚实了这方法的有效性及其性能。 第一帝序言 最近几年的国际声学、语音和信号处理大会( i e e ei n t c o n f ia c o u s t ， s p e e c h ，s i g n a lp r o c e s s i n g ”i c a s s p ) 上，每次都有关于盲信号分离的专题，而 照在信号处理癸的权威刊物i e e et r a n s a c t i o no ns i g n a lp r o c e s s i n g 以及s i g n a l p r o c e s s i n gt 氟容信号处理豹文章氇频繁滋现。当瓣潮际上，对予蛮源分离阏 题研究的主鼹机构和学者有：美国的s a l ki n s t i t u t e s 神经计算实验室的 ( c o m p u t a t i o n a ln e u r o b i o l o g yl a b ；h t t p ：w w w c n l s a l k + e d u ) 的学者 s e j n o w s k i ( 发表主要文章：h t t p ：h w w w i n f o r m a t i k 。u n i t r i e r d e - l e y j 7 r i b i n d i c e s a - t r e e s s e j n o w s k i ：t e r r e n c e j = +和 ，日本的学者主页_html)b e l t a m a r i ( h t t p ：h w w w m n s b r a i n r i k e n g o j p 一a m a r i h o m e - e h t m l ) 以及c i c h o w s k i ( h t t p ：w w w o p e n b r a i n 。r i k e n g o j p c i a j ) ，芬兰赫尔辛基的学者o j a ( h t t p ：f f w w w c i s h u t f i o j a ) ， 法疆学者e c o m o n ( h t t p ：h w w w i 3 s u n i c e 。盼c o m o n ) 、c a r d o s o ( h t i p ：l l w w w t s i e n s t f r - c a r d o s o ) 等。在他们的个人主磺上有他们发袭的关于盲分离以及相关 的文章，可以煦接下载参考。自1 9 9 9 年起，国际上分别举办了三次独立分量 分季厅和盲信号分离鹃国际专题会议( i n t e r n a t i o n a lw o r k s h o po ni n d e p e n d e n t c o m p o n e n ta n a l y s i sa n db l i n ds i g n a ls e p a r a t i o n ) ，1 9 9 9 年1 月 1 1 。1 5 在法国的a u s s o i s ，2 0 0 0 年6 月1 9 - 2 2 在芬兰的首都赫尔辛基 ( t t e l s i n k i ) ，2 0 0 1 年1 2 月9 。1 2 在美国的麓地亚哥。i c a 2 0 0 3 ，第四次国际会议 穆予2 0 0 3 年4 奠1 4 在强零弱奈良洙a r a ) 举行，瑶觅对予这令领域鹣瑗究，正 在越来越受到人们的关注和藿视。 国内对于留信号分离问题的研究相对较晚。清华大学的张贤达在其1 9 9 6 年懑舨豹醇鬻簪麓分掇一裹除统诗虽方法一书中，分绥了鸯关富分离豹理 论基础，并且绘出了相关的算法，其后关于盲分离的研究才逐渐多起来。张贤 达和保铮综述了盲信号分离的理论，方法以及应用，并作了有关的展望【4 ”。 上海交通大学胡光锐、虞晓等研究了蠢信号处理在谬酱分离与识别领域的应 瘸，在分辑了羧大薅算法鞍溱，j 、互信惠算法基礁上，强国了静释愆反渡结穆 的输出信号概帛密度函数估计的增强最大熵算法，新的算法对于解决卷积混合 输入的盲信号分离问题，具有很好的分离性能【4 l 】【4 2 】。在无线通信领域，东南 大学魏鹰援聂、汪军提出懿蕊予裹除落熬售号盲分褒，葶i l 弱三阶鄹强除累积曩 研究了瞬时混迭信号的盲分离问题1 4 4 j 。凌燮亭利丽葳馈神经网络h e b b i a n 学 习算法，实现j 压场情况下一般信号的盲分离，同时对算法的渐近收敛性以及稳 定性进行了讨论。刘琚等从信息理论出发的基于递归神经网络的肖分离，对传 埝中售惠酶按失弓| 入反h e b b 顼，该葵法瓷镶涯最大亿僖惠传输熬溺葭遣最枣 化输出互信息，从而使网络的输出相互独, - r t 钉l 。谭黼丽和韦岗基于最小互信 息的分离准则，应用随机梯度算法确定分离滤波器的系数，给出了卷积混迭信 譬熬富分离冀法，理论分凝萋珏试验绩真诞骥了算法熬露效瞧娜】。 6 第一章序言 1 3 盲分离的应用 对于一个系统，如果我们知道了输入信号、输出信号和系统特征中间的任 意两个，我们就可以求第三者，但是在实际中，我们得到的往往只有观察信 号，需要估计出输入信号和系统特征，对于这个问题以及和这个特征比较接近 的问题都可以利用盲信号分离技术来求解。盲信号分离经过短短的近二十年的 研究，在理论和实际应用上都取得了很大的发展。现在盲信号分离技术在许多 领域都有着广泛的应用，且极具有应用前景。按照其的应用领域来分，它主要 用于无线通讯、语言信号识别处理、生物医学信号处理、阵列信号处理、金融 数据分析以及图像消噪等等，我们将在第五章里对其应用加以详细的描述。 1 4 本论文的框架以及章节安排 由于国内对盲信号分离的研究绝大多数都是针对特定应用领域内的问题来 开展的研究，或是对盲分离具体方法及相应算法的研究，对这一领域的基础理 论研究还很欠缺。本文搜集、整理和总结近年来国内外在盲分离领域的最新研 究成果和最新进展，对盲分离的原理、结构、算法和相关应用问题进行较为系 统的研究和探讨。并根据盲分离算法特点，把盲信号分离技术应用到实际中。 本论文的章节安排：第一章阐述课题的背景以及意义，介绍盲分离问题的 提出、发展以及当前的研究现状。第二章着重介绍盲信号分离的理论基础，包 括盲分离问题的可解性、模糊性以及目标函数的概念和一些常用目标函数。第 三章介绍了当前瞬时混迭信号的盲分离的主要算法以及算法特点。第四章结合 最小互信息盲分离算法特点，提出改进的基于最小互信息的递归网络形式的盲 分离算法，同时给出计算机模拟仿真结果，论证了算法的正确性和有效性。第 五章详细阐述了盲分离的应用，并把盲信号分离技术应用到交通标志识别和数 字水印的应用中，给出实验结果证实了方法的可行性。第六章对本论文进行总 结，并对盲信号分离问题未来进行展望。 第一帝盲分离的理论基础 第二章盲分离的理论基础 本章我们主要介绍盲信号分离问题的理论纂础，包括盲分离的建模，盲分 离通常酶假设条件，盲信号分离润瑟可解聿耋戳及模糊淫，匿标函数等概念，瓣 对奔绍锓标函数弱理论基础。 2 。1 害分蘧的建模 诖我靛曾先考虑著名静鸡蓬灌会翊题，霰设在一个大厅爨，套穰多久在涎 话，他们的语言可以用s 1 ( ，) ，s ：( f ) 最( f ) ，可以认为s ( f ) ，s 2 ( t ) s a t ) 是 一个随机的时间序列，用m 个话筒表示接受信号，用x ( f ) ，x ：( f ) 爿。( r ) 来 表示，它们有如下关系： fx 1 ( f ) 2 a l j s , ( t ) + q n s a t ) 并。8 ，：群。；s ，( ，；+ + 群。s 。8 ， 2 1 其中 s # 是混合系数，嗣话麓与入之蝴豹题褰露关， 群# ) 也是来知的，在蛮分 离间题中j 一般假定 口。 是未知的常数矩阵。商分离问题需要解决的问题就是 如何从接受的观察信号中，估计源信号s ( f ) ，s 。( f ) 鼠( f ) 和混合矩阵的过 程。实际上上式还应该有干扰存在的，如采忽略说话入弼话筒闻的时延，那么 上式可以按广到雯一般的渗况，酆为： 并( f ) = a s ( t ) + 撑( f ) ( 2 + 2 ) 其中x ( t ) = ( 蜀( f ) 五( ，) ，。( f ) ) 7 为接收到的m 维随j ! 1 向量，又称之为观察 向鬣，畿是瞧一可敬利爝酶条件，s = ( 薯( ) ，是( ) ，瓯广是跨维独立鹣源 售号组成戆囱量，送为它们是未皴的溉察不到躲囱攮，又舔之为聪含向量，有 时媳称为独立分量，n ( ) 为噪声向量，a 一 a 。 是混合矩阵，如果一矩阵是通 信中的通道传输函数，解出通道传输函数就可以达到通邋的均衡，则称为“盲 均衡”( b l i n de q u a l i z a t i o n ) 。z 宠4 ，s 霸捧( ) 霆”，a 蒜r 4 ”。当露( 玲穰小辩 候，掌豢不考虑，这融候琢之为茏噪( n o i s ef l e e ) 烽况。从数学双点来番，这是 个无解的问题，因为方程的个数少于朱知爨的个数，但是如果满足一定的假设 条件，还是可以通过一定的方法来解决上述问题的。人们就怒把这种源信号和 混合过稔未知情况下，葳混合信号中分离蹬源信号瓣蠲磁称为盲源分离闯瑟。 盲分离翊题熬假设条传【3 】 3 8 j ： 3 第二章肓分离的理论基础 1 源信号s 。( f ) ，s ：( f ) 最( ，) 在统计上是相互独立的。 2 a 是列满秩的常数矩阵。 3 源信号是非高斯信号且至多有一个是高斯信号。 假设条件( 1 ) 是解决盲分离问题的关键，虽然这是个很严格的统计假 设，但却是一个物理意义上非常合理的假设，因为通常源信号是从不同的物理 系统发出的，一般总是能够满足相互独立条件的。假设条件( 2 ) 是为了保证观 察信号的数目大于未知的源信号的数目，且一般情况下，假定混合系数是不变 的。对于假设条件( 3 ) ，在源信号都是高斯分布情况下，它们的线性混合仍然 是高斯分布，已经证明了这是不可分离的。实际的系统中，这几个假设条件也 是很容易满足的。 s l ( t ) s g ( t ) 图21 盲分离框图 y l ( t ) y ；( t ) 2 2 盲分离问题的可解性和模糊性 在人们对于盲信号分离问题成功建模以后，很自然的想到的一个问题就是 对于这样一个多解的问题，是不是可以解? 满足了什么条件才可解? 解出来的 结果又在多大程度上恢复出了源信号。 盲信号分离是一个十分复杂的问题，文【8 l 已经证明，当满足上述三个假设 条件时，盲分离问题可解。若能够找到分离矩阵，使得输出信号 r ( t ) = w x ( t ) r ，1 、 一一j 且r ( t ) 的各个分量之间也满足相互独立，则r ( t ) 就是原始信号矢量s ( t ) 的完好 恢复，此时矩阵乘积w a 与某一广义交换矩阵g 相等，盲分离问题的框图如图 2 1 所示。以上不仅给出了盲分离问题的可解性，而且指出了盲信号分离的求 解方法，即对混合信号随机矢量( 观察信号) x ( f ) 作适当的变换，以使得变换后 的新的矢量成为各个分量相互独立的随机矢量。 l t o n g 等在1 9 9 1 年就对盲信号分离问题解的不确定性即可辨识性进行了 较为系统的研究，指出盲分离问题是一个多解问题，该问题的多解性可以用一 第二章毒分离抟理论基麟 个任意的满秩矩醛进行参数化。t o n g 攒出，当参数化蠢信号分离问题的满秩 缒阵可以分解为个满秩的对角矩阵和排列矩阵( 即初等矩阵) 的乘积时，此时 源信号的波形可以得到恢复，并幽此定义了盲信号分离问题的可解性【引。事实 上，在毒分离过程中，深信号的分离还鬣有模糊侄，混合矩阵的辨谖怒有关瘸 惑的问题【2 5 】【3 ”。主要表现在： 1 尽管可以正确的将源信号分离开来，但是我们并不知邋它们的排列顺 序，这就相当于嗣时交换输入信号和混合矩阵与之对应的列的使置后，所褥到 的观察信号仍然燕相同的。 2 。一个售号鄹与之对应茨混合矩终懿捌之瓣互换一个固定敬毙铡因子， 对观察向量不产生任何影响。 即畜信号分离豹模獭往表褒为分离镰号摊确镌不确定性稳波形振耩豹不确 定性。但是源信号中几乎所有的信息都融经包含在我们分离出来的波形中，它 麓够满是我销逡行下一步秘分瓤磺究，联班这臻耱不确定牲荠不影穗蛮分离技 术在实际中的应用。 2 3 盲分蔫的估计潦理鞘独立往概念 翦瑟我们已经绘出了喜分离数稷设袋馋，其中源信号之阕在统计上是相互 独立，这是一个j e 常重臻的假设条件，如果源信号已经被很好的分离出来则同 梯应该是满足相互独立这样的条件的，所以我 f = | 可以考虑从分麓出来的信号之 间独立性程度来判定我们的分离迳不是已经完成，完成的效果如何。如果能谤 找到矩阵舻使德其输出r ( t ) = w x ( t ) 的备个分量之间也两两独立，则r ( t ) 就是 藤始信号s ( f ) 的究好的恢复，此时矩阵乘积w a 与某一广义交换矩阵g 稿等。 班上豹可艇矬嗣薅也指出了囊信号分离翊戆豹求解方法，也就是对漤察绩 号的随机矢量x ( t ) 作适当的变换，以使得变换后的新矢量成为各个分量相互 独立约骢枫矢量。憋隧飒矢量俘适当的变换使得各个分量之间尽可熊捆互独 立，通常也称为独立分鬃分析。对于分离出间的独立性量度，我们常常用互信 息和k l 教度来测定。 由中心极限定理我们知道，如果一个随机向量由许多相互独立的随机 爨s ( f ) ，是秘) 受之鄹组戒，只要鑫个独立豹睫枫量具有穷酸豹期攫秘方 麓，且不论各个独立的随机量为何种分布，则。相对于每一个分量s ，( f ) 必定 雯接近予高额分布，也就是说s ，要比岩。的嚣高颠性更强。殿此在分离的过 獠中，可以通过s a t ) 的非高斯性度量来测定分离结果，即当非高斯陡度量得 到最大时候，表明已完成对独立分量的分离。 l o 嚣葶蠹分离的理论耩硝 对予键掰靛独立往帮嚣离斯缝，稻菜一个舀标函数采嚣寇，逶常懿i c a 算法就怒选定菜个翳标涵数，然后硝菜种方法米遴行傻纯f 3 8 】。帮 独立分量分析一目标函数+ 优化算法 攘鼹然，在毽稼函数麓公式表示载清穗下，鼗餐蕤毒戳瑙一骧健耗魏冀 法，魏梯度箨法等亲虢纯臻栝蘧数。对予i c a 算法魏一婆统诗特性，魏致 性、磐姆牲等依赖于目标溺数的选择，面算法特性如收敛性、数德稳定性则依 ， 赖于优化算法。从这里的分析我们已经看出来了，在窗信号分离过程中，目标 函数的概念非常重要，下谳我们将详细介绍嫂常用的目标函数。 波予猿立瞧在寓分离润题串占有嚣鬻藿餐的蘧霞，我鸯】绘窭独立毽熬定 义e 如黎崩( f ) 没有绘囊y 2 ( t ) 豹任何售惑，爱之氇然，捌我翻称y l ( f ) ，y 。 豳2 3 互信息与熵关系 溺样对予述续随税交敲男露1 y ，受似予离敬德援，我髓可戳褥 叠连续交 撼的互信息定义式： 职；耻e “圳。g ( 锴卜 嘲 戴中六，( 工，y ) 是x 和y 的联合概率密度函数，l ( x l y ) 是条件概率密度函数 假定y 的概率密度函数为 ( y ) ，则有： 掰以互信愚也可以写成下式： 舭= 肛“w m s ( 黑潞卜 眨，- ， 如果y 中各个元素相互独立，那么也就愚满足联合概率密度函数燕备个边缘概 率密度函数积的形式，那么骚衡量联合概率密度函数和各个边缘概率密度函数 积之闯靛差，就是要考虑整个系统之闻的关系，我们利用k u l l b a c k - l e i b l e r ( k 己) 激发( d v e r g e 藏c e ) 来表示。设嚣个隧税变量的概率密度函数分瓣为五( 砖帮 ( y ) ，其k i 。散度定义如下f 7 7 1 ： 第二常肓分离的毽论纂础 旷肪嚏( 揣卜 ( 2 1 2 ) k 毛散度有一整独特兹牲屡，摇：k 毛敬凄 受瓣，当五( 毒) 稻六( 岁) 相等对， d f j 帆等于o ，k i ，散穗其有转茕交仡，幅度交化的不交往。等于一对矢量x 和y 间的互信息j 0 h y ) 可以用k i 。散度来解释，首先我们注意捌 六，( x ，少) = f ( ylx ) 兀( x ) 比较互信怠和k - l 散度的定义，我们可以得出下式： ，( x ；y ) = d l l ，。 ( 2 1 3 ) 句话，一对矢鬣x 和yf i _ j 的豆信怠l ( x ；y ) 等于联合概率密度函数 五，( 茗，力鞫壤率密发函数五( 善) 强力y ) 款豢积款k l 敷度。 下面我们来看看m l 矢量x 的褫率密度涵数厶( 并) 和箕m 个边缘概率 密瘦遗数积的k l 教度。瑕设，。( 工；) 表示的是第f 个元素置的边缘概率密度 函数，则它应该等于 夕，( x ；) = e f x ( x ) a x 这里的x 表示的是矢量x 减去第i 个元素墨后剩下的( m 一1 ) 1 的矢 量，那么概率密度函数厶( 爿) 和西予分布( f a c t o r i a ld i s t r i b u t i o n ，郾m 个透缘 概率密度函数积熬形式) 疆，( _ ) 之阀懿k l 教疫必： d 、= x 4fx ( x ) l o g ， 。 上式也可以写成以下的扩展形式