盲信号分离基础知识推荐文档

1、专业课程设计 学习材料源信号分离Source Signal Separation第一部分简单介绍目标我们的目标就是学习源信号分离理论的基础知识和源信号分离时涉及的相 关学科知识，最终从观测信号中将源信号分离开来。 注意：此时信号源和混合形 式可能是未知的。1.51.00.50.0-0.5-1.0-1.5图1源信号波形图2混合信号波形图3分离信号波形二、分离方法1、FFT法；条件：不同源信号占有不同的频带2、自适应滤波方法；条件：已经信号的某些特征3、盲信号分离方法；条件：遵从某些统计假设条件三、盲分离的基本模型盲信号分离的基本模型如图(1)所示n(t)图1盲信号分离的基本模型其中：-(t),

2、S2(t),Sn(t)为 n 个源信号;X1(t), X2(t),Xm(t)为 m个观测信号；y1(t), y2(t),，yn(t)为待求解的n个分离信号；”(t),n2(t),，nm(t)为m个噪声信号，t =1,2,，T。将其分别写成矩阵形式为： s(t)=s4),s2(t),，Sn(t)T(1)X=Xi(t), X2(t),Xm(t)y(t) =yi(t), y2(t), , yn(t)Tn(t) =n(t), n2(t), nm(t)T向量s(t)、X、y(t)、n(t)分别称作源信号、观测信号、分离信号、噪声 信号。通常意义的盲信号分离是指只有观测信号x(t)已知，并且x中含有目标源

3、信号和混合系统的未知信息，而目标源信号特性、源信号的混合信息、噪声信 号对观测者来说都是未知的。盲信号分离的任务就是利用某些统计假设条件完成 从x(t)中估计源信号波形及参数，使得分离信号满足y(t)之s(t)。图(1)的盲信号分离模型可以概括表示为通式(2)和式(3)的数学模型， 分别称为系统混合模型和系统分离模型(3)X (t) = f s(t) +n (t)(2)y(t) = g x (t)式中：f =fl, f2,，fnT表示未知混合系统的混合函数； g =gi,g2,，gmT表示分离系统的分离函数；没有噪声的情况下，”和史互 为反函数，此时混合系统与分离系统互为逆系统。依据混合系统的

4、混合方式，盲信号分离问题分为线性瞬时混合盲信号分离、 线性卷积混合盲信号分离及非线性瞬时混合盲信号分离 三种主要形式，线性瞬时 混合盲信号分离是最简单、最经典的盲信号分离模型，其理论和算法的发展最完 善、最系统、最成功。令f = A, g = B即得线性瞬时混合模型的数学表达式：(4)x (t) = As(t) n(t)y(t) =Bx (t)(5)其中：A为mMn混合系数矩阵，称为系统混合矩阵；B为nMm分离系数矩阵，称为系统分离矩阵。线性瞬时混合表示接收器“同时”接收到多个源发射来 的信号，信号传输过程无延迟滤波仅有缩放作用，本论文主要针对线性瞬时混合 模型进行研究第2部分盲信号分离理论基

5、础BSS是盲信号处理领域的研究内容之一，主要目标是从观测信号中获得源信 号的最佳估计。它是统计信号处理、信息论及神经网络等多学科相结合的综合性 分支内容，涉及概率统计、矩阵论、信息论、泛函及人工神经网络等学科基础知 识，本章主要总结BSS理论的基础知识和研究盲信号分离时涉及的相关学科知 识，为进一步研究BSS问题做准备。线阵列信号的盲分离数学模型若测量向量x(t)来自间距为d的m个各向同性阵元组成的均匀线列阵，n个 点源向量s(t)位于远场，来自a,外，仇方向，记为8 =仇也，而nT ,如图(2.1) 所示。图2.1线列阵接收模型Fig2.1 The model of linear array

6、 receive signals以阵元Xi作为参考阵元，式(1-4)与式(1-5)可写为：x(t) =A( 0)s(t) +n(t)(2-1)y(t) = B( 9)x(t)(2-2)A( 8)=a(e1),a(82)，an)T(2-3)a(耳)=1 e-j(4sinc e-j2tdsin6/c .T-1)那访 0/c (2-4)a(0)表示阵列对第i个源的方向向量；0为中心角频率；令T=dsin6/c,表 示期望信号波前到达相邻两阵元的时间差。 设(t)、X(t)、3(t)分别为s(t)、x 与n(t)的解析形式。均匀线列阵接收远场信号，可将式(2-1)表示为：x(t) =A( 0)s(t)

7、 +n(t)(2-5)其中,(t) =5(t)$(t),冬(t)Tx(t) =Xi(t),X2(t),，Xm(t)T TTTTIn(t)二口口,m(t)在水声信号处理领域中系统混合矩阵A( 9)是基阵对n个目标入射方向的响应向量构成的mxn矩阵，又称为基阵的阵列流形。相应的系统分离模型可表示为：y(t) =B(8) X(t)(2-6)B(8)是n Mm的分离矩阵，n(t)是分离信号y(t)的解析形式。盲信号分离的任务就是寻找合适的分离矩阵 B(0),使式(2-6)成立，再取 y(t)的实部，即：y(t) =Real (y(t) , y(t)恰好是独立源信号s(t)的一个估计，即 y=卿)。盲信

8、号分离的代价函数及优化准则在BSS问题中，不仅需要建立系统数学模型，还要考虑 BSS算法的代价函 数,使得BSS的分离系统对应于代价函数的极值点(极大值点或极小值点)，再 选用某种优化算法寻找代价函数的极值点。 当代价函数达到极值点后，对应的系 统即为待求解的分离系统。BSS算法的代价函数大都是建立在独立分量分析(Independent complement Analysis： ICA )数学模型基础之上，ICA是为了解决盲分离问题而提出并发展 起来的一类信号处理技术，现已成为解决盲分离问题的有力工具。然而 ICA和 BSS方法并不能完全等同或相互替代，BSS比ICA具有更宽广的适用范围，原

9、因是：ICA只在源信号相互独立的条件下适用，而对 BSS而言，即便源信号之 间存在相关甚至完全相关，依然可能采用其它方法分离信号；BSS的目的是分离 源信号，而ICA的目的是寻找某种变换，保证输出信号的各分量之间尽可能地 相互独立；另外，很多情况下BSS方法经常使用随机向量的二阶统计量 (SOS), 而ICA则常常使用更高阶的统计量(HOS)。如果源信号之间满足相互独立的假 设条件，ICA和BSS方法可以用相似甚至相同的数学模型来描述，并使用相似 的或相同的算法实现源信号的分离，因此， BSS和ICA二者极其相似而又相互 区别。根据中心极限定理，独立随机变量和的分布比其中任何一个随机变量更接近

10、 高斯分布，因此非高斯性可以作为随机信号相互独立性的度量。目前， ICA理论 的优化准则主要有基于信息论的优化准则和基于高阶累积量的优化准则。基于信息论的代价函数及优化准则基于信息论的评价准则主要包括最大似然估计准则、最大嫡准则、信息最大化法准则、最小互信息准则和负嫡最大化准则，分别介绍如下。最大似然准则最大似然估计(maximum likwlihood estimator ： MLE )是检测理论中常用的 一种统计检测方法，它的目标是根据观测数据样本估计信号的参数。K-L散度(Kullback-Leibler divergence用来度量随机变量概率密度函数的 相似程度，也就是衡量各种分布之

11、间的接近程度。设p1(x谆D p2(x)是关于随机向量X的两种不同分布的概率密度函数，则Pi(x)相对于p2(x)之间的散度定义为：KLPi(x) | P2(x) =，Pi(K)10gx TP2 (xi )TTP1(xi)10gP1(xi)-% Pi (xi)logp2(xi) yy(2-7)T-HIX)-% P1(xi)logp2(xi) i 1-H (X)-logp2(xi)TH(X)=c P1(xi)10g P1(xi)(2-8)当P1(x)与P2(x)同分布时,KLPi(x)| P2(x)=0;式(2-8)是X的自信息 量的平均值，称为嫡，用来描述随机事件的不确定性程度。使用 K-L散

12、度作为 最大似然估计的似然函数，建立似然函数的代价函数。针对式(2-1)的混合模型，设pX(x)为观测向量x(t)的概率密度，pS(s)为 源信号s(t)的概率密度，由概率论及矩阵论理论，知Px(x)与Ps(s)满足：Px (x)= ps (A-1 x)/det( A)(2-9)则观测信号Mt)的似然函数定义为：(2-10)L( A)=Elog p x (x) L p x (x) log Lp x (x )dx =Px (x) log ps( A1 x) dx - log det A令式(2-2)的分离矩阵满足B = A时，根据矩阵论理论将对数似然函数改 写为：L(B) = px(x)log

13、lps(Bx) Idx log det B1T , 玉(2-11)log Lps(Bx) V log det BT i4T为独立同分布观测信号的快拍数。最大似然估计就是选取使L(B)达到最大 值的白作为B的估计，即需要满足：L( 4)=maxL( B)(2-12)b?b.I? = (Xi,X2，Xt),可见，估计参数B的最大似然估计值问题，就是寻找似然函数L(B)的极大值问题。2.2.1.2最小互信息准则互信息量(Mutual Information )用来度量两个随机变量的概率密度函数的相 似性。从信息理论角度看，如果源信号相互独立，要将其从它们的混合信号中分 离出来，要保证分离信号之间相互

14、独立。所以在源信号统计独立条件下，最小化输出信号之间的互信息量可以作为独立性的分离准则，输出信号之间的互信息量越小，说明信号之间的相关性越小。设任意随机变量x和y ,先验概率和后当概率分别为p(x)和p(x y) , 丫对*互 信息量定义为x的后验概率与先验概率比值的对数，即p(xy)I(x, y) =log(2-13) p(x)则定义随机向量y(k)对x(k)的平均互信息量可推导出：I(x,y)=H(x)-H(xy)(2-14)同理，定义x(k)对y(k)的平均互信息量为：I(y,x)=H(y)H(yx)(2-15)从而有：I(x, y) =I (y,x) =H (x) H (y) -H(x

15、y) (2-16) 根据上式/&出信号y(t)之间的互信息量I (y1，y2,，yn)可表示为：nI(y1,y2, ,yn)八 H(yi) -H(y)(2-17)i 1H(yJ为分离信号的边缘嫡，H(y)为联合嫡。针对式(2-2)的分离模型，输出 信号之间的互信息量表示为：nI(yi,y2,，yn)= Ey)H( x) -logdet( B)(2-18)i 1因为h(x)与3(。)无关,互信息量I (y1，丫2,，yn)的代价函数可表示为:n如i(B)=Z H(y。10gdet(B)(2-19)i 4最小化式(2-19),可使输出信号y的各分量趋于独立，即得到最小互信息(Minimum Mut

16、ual Information : MMI )准则：min (*mi (B) )(2-20)信息最大化准则(最大嫡准则)由互信息I( x,y)的定义可知，I( x,y)表示系统输出信号y的不确定性测量， 输出信号y使输入信号x的不确定降低，因此最大化输入输出间的互信息的 Infomax准则实际上就是最小化输出和输入信号之间的信息冗余度。根据式(2-17),最小化互信息量I(yy2,，yn),也就是最大化输出信号的 联合嫡H(y),即为最大嫡准则，也称信息最大化(Infomax)准则。负嫡最大化准则负嫡(Negentroy)用来度量非高斯分布分布相对高斯分布的偏离程度。它是度量信号非高斯性的一种

17、准则，定义为高斯分布嫡H(yg)与随机向量嫡H(y)之间的偏差，即：J(y) = H( yg)-H( y)(2-21)负嫡可以使用任意概率分布和具有相同协方差的高斯分布之间的散度表示， 即J P(x) =KLp(x) | Pg(x) = p(xi) 10g xJj(2-22)yPg (xi)负嫡是ICA中的重要概念之一，它是非负值，因为在所有方差相等的随机 变量之中，高斯随机变量的嫡最大，所以只有当y(t)是高斯分布时负嫡等于零，因而可以利用负嫡来度量非高斯性。负嫡与互信息之间的关系可表示为：n|(Y)=J(Y)-工 J(yi)(2-23)i 1因此最小化互信息等价于最大化边缘负嫡，边缘负嫡最

18、大化的代价函数可表 示为：(2-24)nm(W) =H(Y)-H(X)-log det(W)，J(y。i 12.2.2基于高阶统计量的代价函数及优化准则基于高阶统计量的算法可大致分为两类：显累积量算法和隐累积量算法。显累积量算法是指代价函数或优化算法中明确含有高阶累积量，如基于峭度(Kurtosis)的算法；而隐累积量算法是指高阶累积量隐含地嵌入到代价函数或 优化算法中，代价函数或优化算法中不明确含有高阶累积量，如固定点算法或快速ICA算法、H-J算法等；可以选取合适的非线性函数引入高阶统计量，如tanh()函数、sigmoid()函数等。选择合适的分离准则是实现盲信号分离的关键，常用的分离准

19、则经常需要计算互信息量、嫡或负嫡等物理量，这些量的计算往往很复杂，甚至无法求解，因 此通过引入高阶矩和高阶累积量来估计这些量。高阶矩和高阶累积量是描述随机变量统计特性的基本工具。基于高阶统计理论的盲分离算法包括基于二阶统计量 的盲分离算法和基于高阶统计量的盲分离算法，基于高阶统计理论的盲分离算法 主要有典型的H-J隐累积量算法和基于峭度的盲分离算法。前者的训练算法中可 以选取任意合适的非线性函数，这个非线性函数中其实隐含地引入了高阶统计 量；后者是以峭度(Kurtosis)作为代价函数的盲分离方法，二者一般都是利用 梯度搜索算法来逐步逼近分离矩阵，是一种自适应训练算法。(1)负嫡和互信息负嫡和

20、互信息作为一种独立性度量的分离准则其实质是一种基于高阶累积 量的非高斯性分离准则，因为信号的联合概率密度和边缘概率密度直接计算比较 困难，因此引入高阶矩、高阶累积量来逼近负嫡或嫡、互信息量，计算相对简单。(2)峭度峭度(kurtosis)是一种衡量源信号随机性质的重要高阶统计量，定义为：_422,、kx(k) = Ex (k)3Ex (k)(2-25)实际应用时，经常使用其归一化定义：kx(k)=Ex4(k)22Ex2(k)2-3(2-26)峭度是描述随机变量概率函数同高斯分布的偏离程度，即表示随机变量分布 的平坦程度：当峭度等于0时，信号为高斯信号；峭度大于0时，信号为超高斯 信号；峭度小于

21、0时，信号为亚高斯信号，所以峭度的大小也就是表示信号高斯 性的强弱。当信号经过预白化处理后，Ex2(k)2=1,即功率为1,则式(2-26)可简化为:k(xj = Ex4(k) 3 = m4 -3(2-27)基于峭度的目标函数一般表示为：n*(x) =Z k(Xi)u(2-28)基于峭度的目标函数运算简单、容易实现，但是它对野值”比较敏感，因为峭度直接从观测样本中计算获得。盲信号分离的优化算法对盲信号分离算法而言，依据评价准则建立代价函数后，需要选用某种优化 算法计算代价函数达到极值点的解。一种性能良好的优化算法应该同时具有高效 性、鲁棒性、全局收敛性等优点。高效性指的是计算简单，且收敛速度快

22、；鲁棒 性指的是当系统受外界干扰后，算法条件改变时，优化算法的性能而受其影响较 小。盲信号分离算法发展至今，已总结出许多有效的优化算法，主要包括自适应 算法、批处理算法、智能算法。自适应算法主要有基于梯度的自适应梯度算法和RLS算法，自适应梯度算法又可分为随机梯度算法、相对梯度算法和自然梯度算法等。固定点算法和联合 近似对角化法(JADE法)是主要的批处理盲分离算法。智能算法主要有基于遗 传算法的盲分离算法、基于神经网络的盲分离算法、基于粒子群的盲分离算法、 基于蚁群算法的盲分离算法等。本课题优化算法大家自选。老师推荐一种自然梯度算法，具体见参考文献“盲 源分离算法研究”，24-26页；“自适

23、应盲信号处理理论及应用研究”12-14页性能评价指标盲信号分离的效果好坏程度需要有一定的评价标准来衡量，不同的算法选取的评价标准会有所不同，常用的评价标准有：性能指数、相似系数、最大信噪比 等。这些评价标准都是假设已知真实源信号信息，如已经源信号波形时，可以采用“相似系数”这个评价准则；如果已知混合矩阵情况下，比较方便的评价准则 是“性能指标”。但是在实际的盲分离过程中，源信号的信息都是未知的，所以 这些评价准则只适用于仿真分析， 无法在实际工程应用中使用。目前，还没有针 对可测数据评判的实用准则。相似系数相似系数是描述分离信号与源信号相似程度的一个非常有效的参数，定义为：n工 Yi(t)Sj

24、(t)二 (Yi)= - n(2-29)“ Y2(t尸 S；(t) (t 4t 4品的值介于0与1之间，当Y =CSj时，马=1 ; Yi与Sj相互独立时，鸟=0 ； 当。越接近1,表示丫与Sj越相似。由此可见：分离信号与源信号之间允许幅 度上存在差异，但不允许相位上存在差异。根据式(2-29),若源信号之间相互独立，则当由相似系数构成的矩阵是每 行每列有且仅有一个元素接近于1,其它元素都接近于0的矩阵时，此时我们认 为信号分离效果比较理想520性能指数本文选用对相干源的情况也适用的性能指数指标(performance index: PI), 它定义为：d n fn -、/n nPI工 gik

25、 -1 + Zgy -1 ;(2-30)n(n D 坦 Kmaxjj,、kmaxj|gji|,gij为全局传输矩阵G的元素；maxj g0表示G的第i行元素绝对值中的最大 值；maxj gji表示G的第i列元素绝对值中的最大值。分离信号与源信号波形完 全相同时PI =0。实际上当PI达到10，时认为分离算法效果非常理想。数据预处理观测的混合信号中一般包含了期望信号、 噪声信号及干扰信号，为了更好地 完成盲信号分离任务，可以对观测信号进行一些有用的预处理， 以便为后面的盲 信号分离工作提供方便。预处理方法主要包括：中心化处理、主分量分析(PCA)、 白化处理(Whitening)、降噪(Deno

26、ising)、滤波(Filtering)等。中心化处理中心化处理是信号最简单最基本的预处理方法，中心化就是从观测数据x (t) 中去除均值E k,使得父(t)成为零均值的向量，即(2-31)父(t) = x(t) - E X(t)中心化处理可以可以简化盲信号分离算法，减化计算过程、减少计算量主分量分析PCA方法是盲信号处理领域的基本预处理方法，是数据分析中的有效手段， 可用于减少数据特征空间维数、确定向量的线性组合、选择主要分量或异常分量 分析等。PCA已广泛应用于信号处理、特征提取、噪声处理、模式识别、数据 挖掘、图像处理、计算机视觉、信号恢复和分类等方面。设零均值的n维随机向量x(t),其协方差矩阵为：R x =E x x(t)T (2-32)Xt R x进行特征值分解R x=VAVT(2-33)其中，A =d i a双，九n 为n个特征值组成的对角阵， V = k，V2,，Vn k内刈为特征值对应的特征向量矩阵。选择适当的主特征信 加, 及其对应的特征向量Vi构成信号子空间Vs = k，V2,，Vmk Rmx：m, i =1,2,，m。 则随机向量x(t)在单位正交向量Vs上的投影向量u(t)即为主分量。u(t)