（信号与信息处理专业论文）瞬时混合系统盲源分离的研究.pdf

太原理工大学硕士研究生学位敝 y - 6 2 0 2 5 6 瞬时混合系统盲源分离的研究 摘要 盲源分离是从所谓的“鸡尾酒会”问题中引出的，近几年 来，已经成为信号处理领域的研究热点，并获得了迅速的发展。 本文主要介绍了盲源分离的基本模型、数学原理和研究进 展：分析了各种算法的特点，在现有算法的基础上，针对盲分 离问题中的抑制条件，提出了两种新的算法，并用m a t l a b 对 它们进行了仿真。 一、从参数空间的角度出发，提出了直接在代表正交抑制 的s t i e f e lm a n i f o l d 上对对比函数进行优化的算法，从而减小了 计算复杂度，不需要将参数再精确映射到抑制空间上。此外， 还引入了变步长的思想，用梯度作为控制步长的参数，推导出 相应的迭代公式。仿真表明，新算法不仅能很好的分离出源信 号，而且和同类算法相比，还具有较快的收敛速度和较高的输 出信噪比，对干扰抑制的也最好。 二、从优化方法的角度出发，将罚函数引入盲分离问题中， 把约束优化问题转化为无约束优化问题。该算法在原有对比函 奎垦里兰奎堂堡主竺窒尘兰垡丝兰 数的基础上，增加了一个由约束条件构成的惩罚项，根据乘子 罚函数的思想推导出了相应的各个参数的迭代公式。仿真表明， 该算法能很好的分离出源信号，而且和其它算法相比，还具有 相当快的收敛速度和相对较小的信号间干扰，分离效果和理想 情况最接近。 关键词：盲源分离，自然梯度，变步长，s t i e f e lm a n i f o l d ， 罚函数 i i 太原理丁大学硕士研究生学位论文 r e s e a r c ho fi n s t a n t a n e o u s m i x t u r e sb l i n ds o u r c e s e p a r a t i o n a b s t r a c t b l i n ds o u r c es e p a r a t i o ni sd e r i v e df r o m “c o c k t a i lp a r t y i t i sa t t r a c t i v ei nt h ec o m m u n i t yo fs i g n a lp r o c e s s i n ga n da d v a n c e s h a v eb e e nd e v e l o p e di nr e c e n t y e a r s w ei n t r o d u c et h eb a s i cm o d e lo fb l i n ds o u r c es e p a r a t i o n t h em a t h e m a t i c a l p r i n c i p l e o ft h e ma n dt h el a t e s t p r o g r e s s i n r e s e a r c h w et h e na n a l y z et h ec h a r a c t e r i s t i co ft y p i c a la l g o r i t h m s o nt h eb a s i so ft h e m ，v ep r o p o s et w on e wa l g o r i t h m sa i m e d a tt h e c o n s t r a i n e dc o n d i t i o no fb l i n ds o u r c es e p a r a t i o n t h e n ，w es i m u l a t e t h e mu s i n gm a t l a bs o f t w a r e f i r s t ，i n v i e wo ft h e p a r a m e t e rs p a c e ，w eo p t i m i z e c o n t r a s tf u n c t i o nw i t h i nt h es t i e f e lm a n i f o i dw h i c hs t a n df o r i i i 太原理工大学硕士研究生学位论文 o r t h o g o n a lc o n s t r a i n e d i tc a ns o l v ec o n s t r a i n e dp r o b l e mw i t h o u t e x p l i c i t l yp r o j e c t i n gt h ep a r a m e t e r sb a c kt ot h ec o n s t r a i n ts p a c es o t h a td e c r e a s et h ec o m p u t a t i o n a lc o m p l e x i t y i na d d i t i o n ，w ei n t r o d u c et h ei d e ao fv a r i a b l es t e ps i z e i n t h ep a p e r , w eu s et h eg r a d i e n tt oa d j u s tt h es t e ps i z ea n dd e r i v et h e c o r r e s p o n d i n ge q u a t i o n t h ec o m p u t e rs i m u l a t i o n s s h o wi tc a n s e p a r a t et h es o u r c es i g n a l sw e l l 。i tn o to n l yh a sf a s tc o n v e r g e n c e s p e e da n dh i g ho u t p u ts n rc o m p a r e dw i t ho t h e ra l g o r i t h m s b u t a l s oc a r ls u p p r e s st h ei n t e r f e r e n c eb e s t s e c o n d ，i nv i e wo f t h eo p t i m i z a t i o nm e t h o d ，w ei n t r o d u c e t h ei d e ao f p e n a l t y f u n c t i o n 。i tc a n c h a n g e t h ec o n s t r a i n e d o p t i m i z a t i o np r o b l e mi n t ot h ea b a n d o n e do p t i m i z a t i o np r o b l e ms o t h a tg e tr i do ft h ec o n s t r a i n e dc o n d i t i o n o nt h eb a s i so ft h et r a d i t i o n a lc o n t r a s t f u n c t i o n ，t h i s a l g o r i t h m i n c r e a s e st h e p e n a l t y t e r mw h i c hi sm a d e u p o f c o n s t r a i n e dc o n d i t i o n t h e n ，w ed e r i v et h ec o r r e s p o n d i n gi t e r a t i o n e q u a t i o na c c o r d i n g t ot h ei d e ao fi n c r e m e n t a l l a g r a n g ep e n a l t y f u n c t i o n t h ec o m p u t e rs i m u l a t i o n ss h o wi tn o to n l yc a ns e p a r a t e t h es o d r c e s i g n a l sb u ta l s oh a sr a t h e r f a s tc o n v e r g e n c es p e e da n d 太原理= ：大学硕士研究生学位论文 s m a l ls i g n a l t o s i g n a li n t e r f e r e n c ec o m p a r e dw i t ho t h e r a l g o r i t h m s t h e s e p a r a t i o ne f l l e c ti sc l o s et ot h ei d e a lc o n d i t i o n k e yw o r d s ：b l i n ds o u r c es e p a r a t i o n ，n a t u r a lg r a d i e n t ，v a r i a b l e s t e ps i z e ，s t i e f e lm a n i f o l d ，p e n a l t yf u n c t i o n v 太原理工大学硕士研究生学位论文 一绪论 随着网络、通信及多媒体技术的飞速发展，人类杜会进入了数字化时 代，而数字信号处理技术是其中的一个关键环节。盲源分离则是数字信号 处理领域中用于阵列处理及数据分析方面的一种新兴技术，是一个有着广 泛应用领域的基础性研究课题，它是在诸多需要在不知道传输信道特性的 情况下从检测信号中分离识别出多个源信号的实际问题中被提出的。近几 年来，有关这个方面的研究已经成为信号处理学界和神经网络学界共同感 兴趣的研究热点课题，并获得了迅速的发展。 1 盲源分离问题的提出 在现实生活和自然界中存在大量的信息需要人们去获取和认t ，这些 信息可能是预先己知的，也可能是事先未知的，人们通过对这些信息进行 分析来获得认识和改造自然的能力。然而信息的繁纷复杂也给人们的工作 带来许多困难，人们很难判断信息的准确性和真实性。真实的信息隐含在 大量虚假或无用的信息中，因此人们很容易被它们所迷惑从而做出错误的 判断。信号与信息处理的任务就是从大量的数据中提取人们所希望得到的 信息，提供给人们做出判断或通过一些复杂的逻辑由机器做出判断。 当信号的全部或部分信息己知时，我们可以根据这些己知的信息通过一些 合适的变换或滤波来尽可能地提取信号。因此许多信号处理的算法和准则 都是针对一定的假设条件或应用背景推导的。在这篇论文中，我们主要研 究一种新的信号处理理论盲源分离。 在盲源分离中“盲”是指信号信息和传输信道的信息是事先未知的， 太原理工大学硕士研究生学位论文 即在盲分离算法中无法利用这些信息。这种情形在许多实际环境中常常会 遇到，如“鸡尾酒会问题”在嘈杂的会议大厅中，人耳能够准确地捕 捉所关心和感兴趣的语音，而现有的仪器设备却很难做到这一步。在用脑 电图( e l e c t r o e n c e p h a l o g r a m ，e e g ) 对人的大脑思维活动进行监测和分析 时，大脑产生的脑电波信号随人的思维不同而不同，如何从复杂的数据中 获耿最能体现人的思维特征信息就显得很重要，而这种特征信息事先是未 知的。 分离是指从一组未知源信号混合后产生的信号的观测值来恢复出我 们所感兴趣的信号。在大多数信道均衡和系统辨识问题中，信号在接收到 以后，会与一个叫做训练序列的参考信号进行比较，从而得到传输信道的 特征。而盲源分离是在对源信号和信道都没有任何先验知识的情况下，只 从观测到的几个信号中恢复出未知的源信号。要解决这个问题是很困难 的，但实际上，只要对输入的统计信息做一定的限制，就能解决这个问题。 盲源分离( b l i n ds o u r c es e p a r a t i o nb s s ) 是指在源信号和源信号如何 混合都未知的情况下，从观测到的混合信号中恢复出未知的源信号。典型 的被观测的混合信号是一系列传感器的输出，而每一传感器接收到的是源 信号的不同组合。它的主要任务是从观测数据中恢复出源信号，感兴趣的 是真实的源信号。 根据不同的分类标准，盲源分离问题可以分为以下几类： ( 1 ) 从混合通道的个数上分，盲源分离可以分为多通道盲分离和单 通道盲分离。单通道喜分离是指多路源信号混合后只得到一路混合信号， 设法从这一路混合信号中分离出多个源信号的问题；多通道盲分离是指n 个源信号混合后得到m 路混合信号从m 路混合信号中恢复出n 个源信 号的问题。 ( 2 ) 从源信号的混合有无时间延迟上分，可将盲分离问题分为瞬时 2 太原理工大学硕士研究生学位论文 混合和卷积混合两种。 ( 3 ) 从混合系统输入与输出的映射关系上分，可将盲分离分为线性 混合与非线性混合两种。 ( 4 ) 从源信号的种类上分，也可将盲分离分为多类。在通常的处理 方法上，根据不同种类信号的特点，也有着一些独特的处理技术，这可以 理解为我们已经知道了源信号的某些先验知识，从而加以利用。例如，语 音信号盲分离、水声信号盲分离等等。 在b s s 中最常用的假定是源信号的相互统计独立性，因此分离出的信 号也要尽可能独立。从这个意义上来说，一个非常有名的方法独立分 量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 也可用于实现b s s ai c a 方法是相对于主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s p c a ) 而言， 它不仅含有信号的一、二阶信息，而且利用了信号的高阶信息，因此i c a 方法是处理非高斯信号的一种有效手段，也可看作是p c a 方法的推广。 然而实现b s s 的方法并不仅仅局限于i c a ，还有许多其它的方法，因此 b s s 和i c a 是两个不同的概念，b s s 是从应用的角度来定义一类具体的问 题，而i c a 是一种预处理技术，可应用于许多更广泛的领域。 2 盲源分离问题的发展现状 盲分离问题的研究开始于噪声抵消。b w i d r w 等在1 9 7 5 年提出了著 名的自适应噪声抵消器，并在实际中得到了广泛的应用。噪声抵消可以认 为是信号分离的一个特例，即将噪声与有用信号分离。由于只需要得到有 用信号，从而使嗓声抵消的难度相对降低了一些。但在实际情况中常会 遇到多个有用信号混合在一起的情况。在没有任何先验知识的情况下，要 从混合信号中分离出多个有用信号，这是个难度很大且具有挑战性的研 究课题。由于盲分离问题具有广阔的应用前景，因此得到了学术界的高度 太原理二f ：大学硕士研究生学位论文 重视，并逐渐成为新的研究热点。 盲信号分离的开拓性研究起源于h e r a u l t 和j u t t e n 1 11 9 9 1 年发表的论 文，他们提出了一种类神经盲源分离方法。该方法基于反馈神经网络，通 过选取奇次非线性函数构成h e b b 训练，从而达到盲源分离的目的。 c o m o n 【2 l 系统的分析了瞬时混合信号盲源分离问题，并明确了独立分量 分析的概念。利用了可以测量源信号统计独立性的k u l l b a k - - l e i b l e r 准则 作为对比函数( c o n t r a s tf u n c t i o n ) ，通过对概率密度函数的高阶近似，得出 用于测量信号各分量统计独立的对比函数，并由此给出一类基于特征分解 的独立分量分析方法。 s e j n o w s k i 和b e l l 3 l 基于信息理论，通过最大化输出非线性节点的熵， 得出一种最大信息传输的准则函数并由此导出一种自适应盲源分离方法， 当该方法中非线性函数的选取逼近源信号的概率分布时，可以较好的恢复 出源信号。该算法只能用于源信号峰度( k u r t o s i s ) 为正时的信号盲分离。 a m a r i 和c i c h o c k i 【4 1 基于信息理论中概率密度的g r a m - - c h a r l i e r 展开，利 用最小互信息量( m i n i m u m m u t u a li n f o r m a t i o n m m i ) 准则函数，得出一类 前馈网络的训练算法，可以有效分离具有负峰度的源信号，算法具有等变 特性( e q u i v a r i a n t ) ，即不受混合矩阵的影响。 h y v a r i n e n 5 1 基于源信号非高斯性测度( 或峰度) ，给出一类定点训练算 法( f i x e dp o i n t ) ，该类算法可以提取单个具有正或负峰度的源信号。 虽然盲分离还处在研究阶段，但在某些特定的情况下，已开始实际应 用，并获得比较理想的效果。可以预见，随着盲分离技术的不断成熟，它 的应用也会更加广泛，这对信息处理技术的发展会起到更加重要的作用。 虽然人们已经研究出多种信号盲分离的方法，但是每种方法都有其局限 性，对信号及数学模型提出了不同的要求，因此只适用于特定的情况。 4 太原理：【：太学硕士研究生学位论文 3 盲源分离的应用 和任何一种信号处理的新技术一样，盲源分离的发展也离不开实际的 应用。事实上，盲源分离已经在语音数字信号处理( 如鸡尾酒会问题) 、 多用户通信、阵列处理、生物医学、图像增强、雷达等众多领域中有成功 的应用，具有重要的实用价值。下面简单的介绍几个方面的应用。 ( 1 ) 在鸡尾酒会问题中，很多人同时在一个房间里说话时，声音信 号由一组麦克风记录下来，这样每个麦克风记录的信号是所有人声音的一 个混合，也就是我们所晚的观测信号，从这些观测信号中提取说话者的声 音信号： ( 2 ) 在波达方向估计问题中，当抵达的波形受到扰动或者接收阵列 阵形存在不规则崎变，而且难以精确校正时，对目标方位的估计； ( 3 ) 在复杂的水下声传播信道中，针对实际环境可能出现线性或非 线性卷积混合信号，此时，对目标信号的检测、目标的识别和参数的估计； ( 4 ) 在数字无线通信中，如何充分利用有限的频带，服务尽可能多 的客户，扩频技术通过伪随机信源编码，将窄带信号功率扩展到一个宽频 带中，以增加信道的通信容量，实现同信道多用户信号的分离，可以在同 一信道同时传送多个用户信号，从而大大提高信道容量。 ( 5 ) 在图像恢复中，由于各种各样的原因而引起了图像的模糊，在 很多特定情况下，模糊系统的传输函数和原始图像的信息都几乎是完全未 知的，要求只根据模糊图像来恢复原始图像。 4 论文结构 整个论文的结构安排如下： 第一章：阐述了本课题的提出背景，综述了其发展历史、研究现状及 5 太原理工大学硕士研究生学位论文 应用领域。 第二章：阐述了盲源分离的概念和数学模型，简单介绍了有关本课题 的一些基本知识以及评价盲分离算法的几个性能标准。 第三章：综述了近十多年来提出的一些典型算法并对这些算法进行 了分析比较。 第四章：简述了在盲源分离问题中最常用的优化方法一一自然梯度算 法，简单介绍了变步长的思想以及其中的一种变步长算法。针对这些算法 存在的问题，提出了在代表正交抑制平面的s t i e f e lm a n i f o l d 上对算法进行 优化，并且采用梯度作为控制步长的参数，推导出相应的算法形式，并通 过实验仿真对算法进行了分析。 第五章：简述了解决分离矩阵的正交性问题的经典算法一一等变化自 适应独立分离算法( e a s i ) ，介绍了罚函数的思想以及目前提出的简单罚 函数法( 双梯度算法) 。针对这些算法存在的问题，提出将乘子罚函数的 思想引入盲源分离中，推导出相应的算法形式，并通过实验仿真对算法进 行了分析。 第六章：对全文进行了总结，并提出了进一步的研究方向。 6 太原理了大学硕士研究生学位论文 二瞬时混合盲源分离的数学模型 1 盲源分离的数学模型 对n 个统计独立的源信号s ( ) = b ，( ) ，s 。( ) 】7 ，经过信道的传输， 在m 个传感器上得到观测数据向量x ( ) = i x 。( 女) ，x 。( 女) 】7 ，通过对观 测数据x ( 女) 的一系列运算，获得源信号的估计y ( 女) = l y ( t ) ，n ( 七) r a 定义两个函数厂( ) 和g ( ) 来描述相应的混合过程和分离过程，即 ，( i ) = g b ( ) ) ( 2 1 ) 这里并没有考虑噪声的影响。b s s 的最终目的是找出合适的分离函数 g ( ) ，使估计的输出y ( 女) = g 口g ( 七) ) ) 是源信号s ( ) 的一些简单变换a 依照混合函数厂( ) 的不同形式，可把b s s 问题分为三类 1 ) 瞬时混合：厂0 ( ) ) = a s ( k ) ，其中a 是肌 维的混合矩阵 2 ) 卷积混合：0 ( ) ) = a + 5 ( 七) ； 3 ) 时延混合：厂( ) 中含有延迟环节。 这三种模型在实际应用中都存在对应的应用实例，在论文中我们只讨 论第一种最常用的模型线性瞬时混合模型。其表达式为： 一( ) = 嘞5 舻) 用矩阵形式表示为： x ( k ) = a s ( k ) 7 2 2 ) ( 2 3 ) 太原理r 大学硕士研究生学位论文 盲源分离原理图如图2 1 所示。值得注意的是，在盲分离中，一般 假定观测数据不含有噪声或噪声的影响忽略不计。 图2 1盲源分离原理框图 f i g2 - 1p r i n c i p l ea r c h i t e c t u r eo f b l i n d s o u r c es e p a r a t i o n 我们只知道1 2 1 个混合信号工( 女) ，面临的任务就是在混合矩阵和源信 号都未知的情况下，通过对x ( 女) 进行处理、分析，希望能陕复出源信号 j f 1 。我们设定一分离矩阵，则 y ( k ) = w x ( k ) = w a s ( k ) ( 2 - - 4 ) 是源信号s ( k ) 的一个拷贝或估计。 混合及分离部分如图2 2 所示。 q “的= 鼢) 图2 2混合及分离框图 f i g2 - 2 a r c h i t e c t u r eo fm i x t u r ea n ds e p a r m i o n 8 太原理1 大学硕士研究生学位论文 ( 1 ) 统计独立性与独立性的度量 统计独立性 源信号间的统计独立性是盲源分离的关键条件，下面给出统计独立的 数学描述。 用y ，y 2 ，y 。表示一组随机变量，其联合概率密度用厂，y ：，y 。) 表示假设y ，具有零均值和单位方差，且相互独立，则式( 2 - - 5 ) 成立 s ( y ，j ，：，y 。) = f ( y 。) ( y ：) f ( y 。) ( 2 5 ) 式中f ( y ) 表示y ，的边缘概率密度。反之，如果式( 2 5 ) 成立，则称 y 统计独立。 如果满足式( 2 - - 6 ) ，则称y 互不相关。 e y , y ， _ e y ， 研y ， ，ij(2-6) 统计独立比互不相关一般要更加严格些，如果儿是统计独立的，则对 于任意的非线性函数g ( l g ：( ) ，式( 2 7 ) 成立 e g ( y ，) 9 2 ( y ；) = e 9 1 ( y ，) 】e 【9 2 ( y ，) 】v f j ( 2 7 ) 不相关是独立要求的较弱形式，y ，互不相关不等于独立，而儿独立， 则肯定互不相关。 信号独立性的度量 常用的独立| 生的度量有峰度、负熵、互信息等。 1j 峰度 经典的峰度【6 1 定义中使用了四阶累积量 9 太原理工大学硕士研究生学位论文 七( y ) = e y 4 】一3 e 2 ，2 】 ( 2 8 ) 如果y 具有单位方差，则( ，) = e y 4 卜3 。对高斯信号，峰度 k ( y ) = 0 ：当峰度k ( y ) 0 时，则称信号为超高斯 ( s u p e r - g a u s s i a n ) 的，其概率分布要比高斯信号的尖。 非高斯性是与独立性紧密相关的一个量，要使输出的各分量统计独立， 就要使各分量的非高斯性最大化。 2 ) 负熵 随机变量y 的微分熵定义为： j v ( y ) = 一f f ( y ) l 。g f ( y ) d y 信息论中最基本的结论是：所有方差相同的随机变量中，高斯随机变 量具有最大熵。这意味着熵可以作为非高斯性的度量。为了得到一个对高 斯变量为零而对其它变量总为负值的非高斯性的度量，将以上微分熵的定 义稍做修改，定义负熵 j ( y ) = h ( y 口，。) 一日( y ) ( 2 9 ) 式中y g a u s s 是与y 有同样协方差矩阵的一个高斯随机变量。负熵总为负 值，当且仅当y 具有高斯分布时，负熵为0 。 3 ) 互信息 定义n 个随机变量儿问的互信息为： i ( y l ，y 2 ，y 。) = h ( y ，) 一日( y ) ( 2 1 0 ) i = 1 互信息是随机变量间独立性的一个自然度量。它等同于随机变量联合 1 0 一 奎墨堡三盔堂堡主堑茎兰堂垡堡茎 概率密度，( y ) 和它的边缘概率密度乘积间的k l ( k u l l b a e k l e i b l e r ) 散度i t j 。 互信息总为负值，当且仅当变量为统计独立时等于0 。 ( 2 )可辨识陛 可辨识性研究的是混合矩阵a 和源信号s 各满足什么样的条件，才能 确保a 和j 同时是可辨识的。常规的可辨识条件为： 信号是相互统计独立的： 信号中至多只能有一个高斯信号； 观测信号的个数1 2 1 至少要与源信号的个数n 相等，即m n ： 混合矩阵a 必须是列满秩阵。 此外，还要求各个源信号都要具有零均值和单位方差以保证源信号 的协方差阵为单位阵，即 r ，= e s ( k ) s ( ) 】- i 如果不满足，则要对源信号进行去均值和归一化预处理【g 】： i ( 女) = j ( ) 一e 【s ( ) ( 2 1 1 ) i u ( k ) = e 【i ( 女) i 。( 女) 2 s ( k ) ( 2 1 2 ) 式( 2 1 1 ) 表示零均值化：式( 2 - - 】2 ) 表示使协方差阵为荦位阵。 2 盲源分离的一些基本知识 人们在提出盲分离问题后，很自然的，首先要考虑什么情况下能将混 合信号x ( k ) 分离，又能在多大程度上恢复出源信号s ( k ) 。这里我们首先来 讨论盲分离的可实现性。 奎垦望王查兰堡主塑壅圭堂生堡奎 ( f ) 盲源分离的可实现性 在盲源分离问题中，由于没有其它先验知识，所以如果能得到源信号 的一个拷贝，就可以说完成了盲分离的工作。 盲源分离的可实现性 9 j 就是要研究混合矩阵a 对分离矩阵w 的影响 程度。 如果一个方阵在每行及每一列中有且仅有一个非零元素则称此方 阵为非混合阵a 若c 是一个非混合阵，则称，( 女) 是5 ( t ) 的一个拷贝。y ( 女) 和j ( 女) 的差异仅表现在各元素的排列顺序及各元素的幅度值上。 上面介绍了盲分离能在多大程度上恢复出源信号s ( k ) ，下面讨论为什 么在观测信号x ( k ) 已知的情况下，仅仅根据“源信号之间是相互独立的” 就能得到源信号的一个拷贝。 首先介绍一下d a r m o i s 定理( 9 j ，内容如下： 假设s ( 丘) 为一个各分量相互独立的矢量( 其中至多有一个高斯分量) ， c 为一任意的可逆矩阵，如果j ( ) = o ( 女) 的各分量间也是相互独立的， 那么，( t ) 就是s ( k ) 的一个拷贝。 从该定理中我们发现，除非矩阵c 是非混合阵，否则将把一个各分量 相互独立的向量( 至多有一个高斯分量) 转换成为一个各分量不相互独立 的向量。这一结论很关键，它意味着只要设法使模型中的输出信号j ，( 女) 的 各分量相互统计独立，便可以实现信号的盲分离。事实上，这一点正是许 多算法的基本出发点。算法的最终目的，是要使经过分离矩阵之后的输出 信号的各分量问独立性最大，以此为根据来调整分离矩阵的参数，从而实 现信号的盲分离。 1 2 太原理工大学硕士研究生学位论文 ( 2 ) 盲源分离的不确定性 在盲分离问题中，除了统计独立的假设外，我们不知道任何的先验知 识，这就造成了盲分离存在两种内在的不确定性。 出于观测信号是源信号与混合阵之积，由观测信号无法确定后二者的 尺度值。这由式( 2 1 3 ) 可以看到： nn ，( ) = 口。j 。( 女) = ( 叩j 订。) ( 玎，s ) ) ，i = l ，2 ，n ( 2 1 3 ) j = it l 其中订。是a 的第i 行、列元素。若j ，( t ) 乘以任何非零系数7 7 ，而爿的 第列各元素都乘以酊1 ，则不管各叩，取何值，一( 七) 不变。因此由观测信 号试图获得各源信号时存在尺度不确定性。 另外，由于我们无法了解所抽耿的信号应浚是s ( k ) 中的哪一个分量 因此存在排列顺序上的不确定性。 由于条件的限制，我们只能对源信号进行估计，所以这两种不确定性 在盲分离问题中，可以不予考虑。 ( 3 ) 盲源分离解的等价性 盲源分离的目标是寻求一个变换矩阵( 或称分离矩阵) ，使得 ，( ) = w x ( k ) 与5 ( t ) 对应。这种对应并不意味着二者的排序一一对应，也 不意味着各y ，( 女) 与各( 女) 的尺度完全一致。按照这种理解，盲分离就会 有许多等价解。设是一个解，那么p a w 也是一个解，其中人是一个对 角阵，p 是一个交换矩阵，即它的每行、每列中只有一个元素为1 ，其他 元素为0 。 可以看到，实现币确信号分离的结果只能表现在j ，( 的各个分量统计 1 3 太原理工大学硕士研究生学位论文 独立上，这时j ，( t ) 的自相关阵是对角阵，即e y ( k ) y7 ( t ) 】_ 人。这样，盲 分离的约定条件和待解决问题可由下列流图表明： 4 j ( t ) + 箨分姑统计独立 ( 含有e s ( k ) s7 ( i ) 】= ，) w x ( ) ，( ) 各分量统计各分量统计独立 不独立 ( 含有q ，( t ) j 7 ( t ) 】：1 ) ( 4 ) 盲源分离的等变化牲 除了一l 述& p 特性之外，盲源分离还应该具有等变化性。考虑对观 测数据向量x 作一代数运算，左乘一个可逆矩阵m ，得到m x 。 令= 爿f x l 是混合矩阵a 的某个批处理估计器，若对任意可逆矩阵m 恒有 a ( m x ) = m a ( x ) 则称估计器是等变化的。 假定源信号的估计为j ( 女) = - 一x ( t ) ，其中- = 4 ( 工) 是混合矩阵a 的 等变化估计器，则容易证明 ；( t ) = ( 一( x ) ) x ( 七) = ( 爿( 爿s ) ) 1a s ( k ) = ( 几4 ( s ) ) a s ( k ) = ( s ) ) s ( 女) 即是晓，如果盲分离算法具有等变化性，则该算法的信号分离性能与 混合矩阵完全无关，只决定于原始信号，这一性能称为均匀性能。很显然， 这一性能是我们期望盲分离应该具有的基本性能。 等变化性也可用另一种方式描述。令( 女) 是盲分离算法求得的分离 矩阵且c 【k ) = w ( k ) a 是分离与混合合成的系统矩阵，若c ( t ) 满足 1 4 太原理工大学硕士研究生学位论文 c ( k + 1 ) = c ( t ) 一, u h ( c ( ) 5 ( ) ) ( ( ) ( 2 一 则称算法是等变化的。其中( c ( n f ( ) ) 是矩阵乘积c ( ) s ( 女) 的函数 与混合矩阵4 和分离矩阵( 女) 无关。 3 盲源分离一般方法研究 按采取的技术路线，盲源分离分为“从上至下”和“从下至上”两种 方法。 从上至下的方法指根据统计独立性的要求，需要建立独立性的度量， 以度量直接估计出独立性而推导算法。常用的方法如互信息度量，互信息 一般用概率密度的累积量展开式近似，由于对比函数中含有高阶统计量， 算法计算量较大，通常设计的分离估计器具有较大的方差。 从下至上的方法是指从任意的对比函数出发，优化对比函数得到相应 的梯度下降算法，但需要证明对比函数的极值点对应于独立分量。从下至 上的方法相对简单，常常将非线性函数以隐含的方式引入计算，计算量小， 也适合神经网络的计算环境，缺点是要选择合适的非线性函数，非线性函 数对算法的统计特性影响较大。 根据分离估计器输出间统计独立性的度量建立对比函数，然后对对比 函数最优化求解，这是统计信号处理中普遍采用的技术，该方法同样适用 于盲源分离。 盲源分离通常是采用以下过程： ( 1 ) 根据分离估计器的输出向量问统计独立性的度量推导一个对比函 数，使得该函数最大或最小时等价于使输出信号之间统计独立。该函数代 表一种分离准则，依据不同的分离准则，将推导出不同的算法。 ( 2 ) 用一种优化手段来推导出一种学习算法。 15 太原理工大学硕士研究生学位论文 如果用神经网络来实现，则首先要选取一个合适的神经网络模型。 经过对现有基本模型的算法分析，大部分算法由两个环节构成，一是 对比函数：二是最优化算法。在对比函数为显式的情况下，可以使用任何 经典的最优化算法优化对比函数。但在某些情况下，算法与估计准则很难 分。从而。盲源分离算法的特性取决于对比函数和最优化算法。 目前存在的对比函数1 1 1 【1 2 l 主要有：最大似然函数、互信息、最小边缘 熵、累积量等：而优化算法有随机梯度、自然梯度、共轭梯度”1 、牛 顿法等等。 4 盲源分离算法性能评价准则 混合信号经过算法处理后得到混合矩阵和源信号的估计序列，然后与 已知的混合矩阵和源信号序列进行比较，依次评价算法的性能。常用的量 化评价准则分为两类：基于混合矩阵的和基于信号的。 ( 1 ) 基于混合矩阵的评价准则 系统矩阵与单位阵之间的误差 在理想情况下，盲分离算法应能使分离矩阵收敛于最优值肌使得 w a = ，或者使系统矩阵c = w a 收敛于单位阵j 。我们用系统矩阵c 和 单位阵，之间的距离来度量盲分离算法的分离程度。定义两者之间的误差 为： p = ：1 c ；( 女) m a x c i 。l ( 2 1 5 ) 其中，n 表示源信号的个数。p 越小，说明算法分离的效果越好。 1 6 奎堕堡三查竺婴主堕壅生堂垡笙塞 信号间干扰 前面已经说明了盲分离存在尺度和排列上的不确定性，下面定义的信 号间干扰在这种情况下保持不变。我们采用它作为一个评价准则，来衡 量信号的分离效果。定义该量为： s = 如端一h 喜揣一t c z 叫， 对于一种好的分离算法，g 应该接近于0 。 ( 2 ) 基于信号的评价准则 输出信号y 的均方误差 定义该量为： m s e r2 万1 善刈) 】2 ( 2 - - 1 7 ) 其中，n 表示选取的数据长度，即采样点数。可以根据m s e ，的变化曲线 来判断算法的分离特性。 输出信噪比 由于信号间不可避免的存在相互干扰，我们采用信噪比作为一个度 量，定义如下： s _ 2 ( ，) 毗。1 0 1 0 8 i 赢 ( 2 1 8 ) 相关系数 我们以分离输出信号儿( f _ 1 , 2 ， ) 与源信号s ，0 = 1 ，2 ，n ) 的相关 系数作为一个度量。 1 7 太原理工大学硕士研究生学位论文 定义该量如下 f 。= f ，s ，) = ( 2 一1 9 ) 如果f 。= 1 ，说明第f 个分离输出信号与第个源信号完全相同，由于估计 误差不可避免，当分离完成后，乞的值只能接近于1 ；如果乞的值趋于0 ， 说明弘与5 不相关。如果所有的厶的值距离1 较远，说明分离并未完成a 5 本章小结 本章分析了瞬时混合盲源分离的数学模型，归纳总结了统计独立的度 量方法，阐述了盲分离算法应该具有的几个基本性质以及解决盲分离问题 的一般思路，提出了盲分离算法的几个性能评价准则。 1 8 太原理工大学硕士研究生学位论文 三 盲源分离的典型算法 盲源分离问题在许多领域中都有成功的应用，近十多年来，受到了越 来越多的重视，已有大量的算法不断提出。下面对它的几种典型算法做 简单介绍。 1基于高阶统计的算法 现有的大多数信号处理方法都是基于二阶统计的。对高斯信号，不相 关和独立是等价的。但对非高斯信号，独立是比不相关更强的条件，它意 味着在包含二阶统计在内的所有更高阶统计上相互独立。如果没有任何其 他约束条件，仅通过二阶统计不足以解决盲源分离这问题。所以从研究 盲源分离问题的开始阶段，人们就试图寻求所熟悉的二阶统计之外的解决 方案，并取得进展。 c a r d o s o “】较早地用四阶矩进行盲辨识( f o u r t h o r d e rb l i n d i d e n t i f i c a t i o nf o b i ) ，提出了一种简单的正交和加权两步代数算法，独立 源成分可以较容易地作为改进了的协方差的特征矢量被辨识出来，但该算 法未能辨识相同概率分布的成分：t o n g 和1 i u ( 1 9 1 等基于以上算法，首先通过 f 交变换，然后对观测到的混迭信号的四阶矩进行奇异值分解( s v d ) ，得到 一类扩展的四阶盲辨识( e x t e n d e df o b ie f o b i ) ：c a r d o s o 2 0 1 还提出了基于 四阶累积量的联合对角化( j o i n ta p p r o x i m a t ed i a g o n a l i s a t i o n o fe i g e n m a t r i c e s j a d e ) 进行盲波束形成的方法，通过联合对角化累积量矩阵，使 得对所有的累积量集合处理的计算效率同基于特征分解的技术类似。 基于高阶统计的自适应盲源分离算法大致可分为两类：隐累积量算法 1 9 太原理二：大学硕士研究生学位论文 ( a l g o r i t h m su s i n gh i g h e r o r d e rc u m u l a n t s i m p l i c i t l y ) 和显累积量算法 ( a l g o r i t h m su s i n gh i g h e r o r d e rc u m u l a m s e x p l i c i t l y ) 。 ( 1 ) 隐累积量算法 这类方法中较典型的是由h e r a u l t 和j u t t e n 1 】较早提出的神经网络算 法，通常称为h j 算法。他们选用递归网络结构，逐一调整权值，原理图 如图3 一l 所示。在整个过程中，权值w 。设置为1 a 从图3 一l 可以看出分离网络的输出为 y l ( 七) = 。e ( 。) 一w 1 2 y z ( )( 3 1 ) 【y 2 ( 女) = ( 女) 一w 2 i y l ( k ) 简写成 只( 尼) = t ( 七) 一w j ，( 女) ( 3 2 根据式( 2 2 ) 可得 儿( k ) 声，( 女) + ( 尼) 该算法采用均方误差作为对比函数 ( 3 3 ) e 防( ) _ 窆b ，一p e 【，2 、k ) 】+ 陆2 ( t ) 】 ( 3 4 ) 户l ，t 其中歹( 女) = y ( 七) 一e b ( 七) ) ，亨( j i ) = 5 ( ) 一e 帖( ) ) 】。采用梯度下降法对其 进行最小化，得到权系数训练公式为 w 。( 女+ 1 ) = k ( 女) + f ( y 。( ) ) g ( y ，( 七) ) 其中f ( y ，( ) ) 和g ( 只( 女) ) 均为奇函数。 ( 3 5 ) 实际上，用非线性函数代替线性函数就是在算法中隐含地引入了高阶 2 0 太原理工大学硕士研究生学位论文 统计量。 x 图3 1t i e r a u l t 和j u t te n 仿神经网络原理图 f i g3 - 1p r i n c i p l ea r c h i t e c t u r eo f t h e h jn e u r a ln e t w o r k ( 2 ) 显累积量算法 这是一类以简单的高阶统计量一峰度( k u r t o s i s ) 作为对比函数，利用随 机梯度算法来得到分离阵的自适应训练算法，通常称为基于峰度极值的 算法。 盲分离的性能在很大程度上与信号的随机性质有关，这些性质由信号 的高阶累积量决定。特别的，称为峰度的四阶累积量起着重要的作用。对 第f 个源信号分量s ，( ) ，它的归一化的峰度定义为刚 酬功= c t t m 4 耐) = 勰_ ( 3 - - 6 ) 峰度的模可以用来衡量信号的非高斯性。对于高斯信号，该值为0 ； 对于非高斯信号，该值大于0 。定义峰度作对比函数，也就是用它来衡量 信号的分布与高斯分布之间的距离。 对该对比函数的最大化( 对f 峰度源) 或最小化( 对负峰度源) 可求得分 离阵，但不能同时分离具有f 峰度和负峰度的源信号，而且需预先知道峰 2 l 奎堕翌兰查堂堡主塑窒竺鲎垡堡壅 度符号。目前已有的k a r h u n e n 等人提出的非线性p c a 类算法和c a r d o s o 等的等变自适应算法【i o 】都属于此类算法。 2 基于信息理论的算法 从信息科学的角度出发，信息论是解决这类问题的一个重要的理论工 具。现阶段基于信息理论准则的盲源分离算法研究大致可分为最大信息传 输( i n f o r m a t i o n m a x i m i z a t i o n i n f o m a x ) ，最大似然估计( m