[信息与通信]盲信号分离技术及小波变换的应用ppt.ppt

盲源分离技术及小波变换的应用,徐鹏程,盲信号分离技术概述,盲信号处理 最近十余年发展起来的一门新兴学科，计算机、神经网络、信号与信息处理的交叉学科。是计算机与信号处理研究领域中的一个热门学科。 应用领域 盲信号处理在生物医学信号处理、地球物理、雷达、通讯、图像和语音信号处理，以及数据挖掘、财经数据分析、机械设备状态检测和故障诊断等许多领域都极具应用价值。,问题的提出,鸡尾酒会问题 一间大厅里有两个人同时讲话，两个源信号s1(t), s2(t) 用两个麦克风同时记录两个人的音频信号，两个测量信号x1(t), x2(t) 测量信号x1(t), x2(t)建模为源信号s1(t), s2(t)的线性变换 x1(t) = a11 s1(t)+a12 s2(t) x2(t) = a21 s1(t)+a22 s2(t) 或：X(t)=AS(t) 问题：在A和S(t)均未知的情况下，能否仅仅根据X(t)恢复源信号S(t)，估计混合矩阵A 1986 年，法国学者Herault和Jutten利用神经网络知识实现两个独立源信号混合的分离 开启了一个新的研究领域：盲信号处理,盲信号分离技术的研究背景,在现实世界中得到的信号都是不纯的 传感器测量信号一般是由若干个源信号以某种方式混合而成的信号。 如：语音信号、脑电与心电信号、无线通讯信号、机械设备振动信号、雷达信号与地震波信号。 如果能从测量信号中把各个源信号恢复出来，对信号探测与处理有重要意义。 盲信号分离(Blind Source Separation, BSS。也称盲源分离) 目的：在源信号及其混合方式均未知的情况下，寻找某种算法，从测量信号中把各个源信号恢复出来。,盲信号分离技术的研究背景,此处“盲”的意思是： 源信号是不能被直接观测到的 测量信号中源信号的混合方式是未知的 如果从源信号到传感器之间的传播路径的数学模型很难建立，或关于信号产生与传播的先验知识无法获得时，盲信号分离就是一个重要的信号分析方法。 脑电与心电信号、机械设备振动信号、雷达信号与地震波信号都存在类似的问题。,盲信号分离的一般模型,图中: X(n)=x1(n),x2(n),xN(n)为测量信号向量 S(n)=s1(n),s2(n),sN(n)为相互统计独立的源信号向量 测量信号X(n)是由源信号S(n)以某种方式混合而成的,盲信号分离的一般模型,混合信号 X(n)=FS(n),S(n-1),S(0)+D(n) 其中:F=f1(.),f2(.),fN(.)为混合函数向量 S(n-1),S(0)为源信号S(n)的时间延迟 D(n)为噪声信号向量。 盲信号分离的基本问题 在混合函数F(.)和源信号均未知的情况下，仅仅根据测量信号来X(n)设计分离函数向量G(.)，恢复(分离)源信号，或求源信号S(n)的一个估计U(n)。,盲信号分离的基本问题,混合模型(混合方式) 非线性混合：一般情况下，混合函数 F(.) 是源信号的非线性函数,这时从混合信号中恢复源信号非常困难。 线性瞬时混合：传感器与信号源距离较近，信号延迟可以忽略不计，如：医学信号处理、图像、音频信号处理等，可以简化为线性瞬时混合模型。 线性卷积混合：信号传递距离较远，存在时间延迟以及存在多条传播路径，如：大型机械设备振动信号可建模为线性卷积混合模型。 目前的研究主要集中在线性瞬时混合和线性卷积混合的盲分离，线性瞬时混合盲分离已有很多有效算法,线性瞬时混合模型,测量信号xi(n)为源信号向量S(n)的线性组合 x1(n) = a11s1(n) + a12s2(n) + a1NsN(n) x2(n) = a21s1(n) + a22s2(n) + a2NsN(n) xN(n) = aN1s1(n) + aN2s2(n) + aNNsN(n) 或者写成向量形式： X(n)=AS(n) A=aij是N*N维混合矩阵，其元素为混合系数 线性瞬时混合的盲分离问题又称为独立分量分析(Independent Component Analyze, ICA) 在A和S(n)未知的情况下，求分离矩阵W使U(n)=WX(n)=WAS(n) 为源信号的估计。 ICA问题的理想解为W=A-1，但不易实现。,线性卷积混合模型,测量信号是源信号的线性卷积混合,混合系统A(k)是N*N矩阵，其元素aij(k)为信号源到传感器的冲激响应序列。 求A(k)的一个稳定的逆系统W(k) , 使,为源信号S(n)的估计。,表示两种重要的传播方式： 源信号不是同时到达所有传感器的 信号源与传感器之间存在多条传播路径,盲信号的可分离性,假设： 测量信号数量大于或等于源信号的数量 源信号在任意时刻都是相互统计独立的 源信号中最多只有一个是高斯(正态)分布的 测量信号中没有噪声或噪声很小 如果存在一个变换W，使 U(n)=WX(n) 相互独立，则U(n)是源信号S(n)的一个估计。,高斯分布与非高斯分布比较,盲信号分离算法的不确定性,不能唯一确定源信号的次序，即U(n)的S(n)的排列顺序可能不一致 设P是一置换矩阵，线性瞬时混合模型： X(n)=AP-1PS(n) X(n)=AS(n) PS(n)是源信号S(n)的次序重排后的信号向量，而AP-1是一个新的混合矩阵。 分离信号U(t)与源信号S(t)的幅度可能不一致 设D是一对角矩阵，线性瞬时混合模型可表示为 X(n)=AD-1DS(n) X(n)=AS(n) 分离信号与源信号的幅度大小可能不一致。,独立分量分析（ICA）,独立分量分析的目的 求分离矩阵W，使得 U(n)=WX(n) 相互统计独立，则U(n)为源信号S(n)的估计。 基本思路 根据信号独立性准则设计一个以W为变量的目标函数对信号的独立性进行度量，如果存在W使目标函数达到极大(小)值，则该W为所求的分离矩阵. 两个关键 独立性准则目标函数 优化算法,独立性的判定目标函数,非高斯性最大化目标函数 根据中心极限定理，相互独立同分布的随机变量之和趋于高斯分布。而任何一个随机变量都不同于高斯分布。 独立性判定可转化为非高斯性最大化问题。 1. 高阶统计量方法-峭度(Kurtosis)最大化,高斯变量的峭度值为0，而非高斯变量的峭度不是0；一般情况下亚高斯信号峭度小于0；超高斯信号峭度大于0。因此峭度最大化目标函数定义为：,独立性的判定目标函数,2. 负熵(Engentropy)最大化 随机变量X的熵定义为,方差相等的随机变量中具有高斯分布的变量的熵最大. 负熵定义为,Xg是与X具有相同均值与方差的高斯变量。J(X)0 只有当X为高斯变量时，J(X)=0。负熵最大化目标函数,L(X;wi)=J(X)=H(Xg)-H(x),独立性的判定目标函数,3. 互信息最小化目标函数 设p(X)为N维随机向量X=x1,x2,xn的联合概率密度函数，pi(xi)为xi的边缘概率密度函数，则随机向量X的互信息可用K-L散度定义为,由KL散度的性质，I(X)总是非负的，当且仅当随机向量X=x1,x2,xn相互独立时，I(X)=0。因此，互信息最小化目标函数：,独立性的判定目标函数,最大似然目标函数 设源信号向量S的概率密度函数为,pi(si)为si边缘密度，根据概率论知识，混合信号X(n)的似然概率密度,最大似然目标函数,如果有W使L(X)的值达到最大，则为所求的解。,独立性的判定目标函数,信息最大化(infomax)目标函数 信息最大化方法是基于神经网络的算法 对测量信号X进行线性变换U=WX，通过非线性函数yi=gi(ui)求输出信号Y=y1,y2,yN 信息最大化(infomax)目标函数,如果选择合适非线性函数gi，最大化L(X)能够实现独立分量的盲分离,独立性的判定目标函数,统一形式 已证明，在一定条件下，信息最大化、极大似然估计及互信息最小化目标函数是等价的 目标函数可用下式最小化表示,独立分量分析的实现,预处理 去均值 把测量信号变换为0均值信号向量，已知测量信号X X=X-EX 源信号S也将是0均值向量。去均值也称为中心化 白化 对测量信号X进行适当的线性变换，使测量信号为单位方差、互不相关的信号，变换后的测量信号的协方差矩阵为单位矩阵,信号白化用其协方差矩阵的特征分解来实现,独立分量分析的实现,ICA优化算法 建立ICA的目标函数后，需选择合适的优化算法求解 典型的算法有相对梯度算法及快速定点算法 相对梯度(自然梯度)算法,相对梯度,迭代算法: U(t,k)=W(k)X(t), W(k+1)=W(k)+W(k) k=0,1,独立分量分析的实现,快速定点算法 Hyvarinen提出的快速定点算法，是一种快速稳定，计算效率较高的独立分量分析算法。 是一种“逐个提取”的算法 目标函数：近似负熵最大化目标函数,迭代算法: 随机选择初始向量w(0)，|w(0)|=1；u(t)=w(0)x(t),该算法每次提取一个源信号,仿真结果示例,正弦波、矩形波和锯齿波等三个源信号,仿真结果示例,源信号的随机的瞬时线性混合,仿真结果示例,用快速定点算法对混合信号进行盲分离的结果,本文的研究背景和主要工作：独立分量分析是基于信源独立性假设的盲源分离技术，而本文提出了基于时移-尺度特性的盲源分离技术，扩展了盲源分离的应用范围。,1 模型和假设,线性瞬时混合模型：X(t)=AS(t),假设：1、信源具有不同的时移-尺度特性，亦即各信源通过小波变换后，在时移-尺度域上位置不同。 2、M=N,1 模型和假设,为了解决上述问题，基于信源具有不同的时移-尺度特性的假设，文章进一步探讨了信源二次型通过小波变换后的特性。 给定时移尺度，对于同一个信源而言 对于不同的信源而言 归纳起来，可以用矩阵表示为 上式即为信源二次型经小波变换后的矩阵表示式,1 模型和假设,对于不同的时移和尺度，我们将得到不同的矩阵表示式，文章认为，总体而言各矩阵表达式可以归纳为三类： 第一类：时移和尺度值是专属于某一信源的，也就是说，任取的时移和尺度值恰巧在某一信源的时移-尺度域上。因此二次交叉项全为零，此时矩阵是对角的。,1 模型和假设,第二类：时移和尺度值落在交叉项的时移尺度域上，此时，时移和尺度值无法落在各个信源自身的时移尺度域上。此时的矩阵可以表示为 第三类：时移和尺度值既没有落在自项的时移尺度域上，也没有落在交叉项的时移尺度域上，落在了空域上。此时矩阵就是零矩阵了。,2 联合对角化求解,当时移、尺度的选择，使得源信号二次型经小波变换后的矩阵为第一类矩阵时，求解解混矩阵就比较容易了。因为此时要做的事情就是将矩阵 做对角化处理，得以让 演化为对角阵的矩阵就是解混矩阵了，而理想的解混矩阵应当是混合矩阵的逆，然而实际用算法求解时很难完全等于混合矩阵的逆。,2 联合对角化求解,由此，一个问题产生了：如何选取满足上述要求的时移、尺度点呢？,2 联合对角化求解,在本文的求解过程中，实际上运用了联合的对角化方法。所谓“联合”，就是选取一系列满足第一类矩阵条件的时移、尺度点，然后使得要求的解混矩阵对这些时移、尺度点下的 总体的对角化效果最好。衡量总体对角化效果的目标函数表示为： Off()表示对矩阵的非对角元素平方求和，N为选取的时移尺度数，该目标函数越小表明联合对角化效果越好，求解的解混矩阵越接近理想值。联合对角化相对于单一的对角化方法的优点在于可靠性较高。,3 时移尺度算法归纳,综上所述，本文提出的基于时移尺度特性的分离算法，可以归纳为以下四个步骤： 1、计算全域内（时移尺度域）接收信号的二次型小波变换矩阵 2、选择满足第一类矩阵条件的一系列时移尺度数值 3、通过优化目标函数，求解解混矩阵 4、根据 得到最终的估计信号,4 仿真实验结果,本文选取了一组源信号，分别为两个高斯信号和一个非高斯信号，进行仿真验证。 任意生成一可逆混合矩阵： 仿真实验分别运用了传统的SOBI分离方法（基于独立分量分析）和本文提出的方法，实验表明本文提出的方法效果较好。,4 仿真实验结果,第一行：源信号 第二行：混合后的信号（即接收信号） 第三行：运用本文的方法得到的估计信号 第四行：运用传统的SOBI方法得到的结果,4 仿真实验结果,上述实验从定性