盲信号分离基础知识

专业课程设计学习材料源信号分离SourceSignalSeparation第一部分简朴介绍目的我们的目的就是学习源信号分离理论的基础知识和源信号分离时涉及的有关学科知识，最后从观察信号中将源信号分离开来。注意：此时信号源和混合形式可能是未知的。图1源信号波形图2混合信号波形图3分离信号波形二、分离办法1、FFT法；条件：不同源信号占有不同的频带2、自适应滤波办法；条件：已经信号的某些特性3、盲信号分离办法；条件：遵从某些统计假设条件三、盲分离的基本模型盲信号分离的基本模型如图（1）所示。图1盲信号分离的基本模型其中：，，……，为个源信号；，，……，为个观察信号；，，……，为待求解的个分离信号；，，……，为个噪声信号，。将其分别写成矩阵形式为：（1）向量、、、分别称作源信号、观察信号、分离信号、噪声信号。普通意义的盲信号分离是指只有观察信号已知，并且中含有目的源信号和混合系统的未知信息，而目的源信号特性、源信号的混合信息、噪声信号对观察者来说都是未知的。盲信号分离的任务就是运用某些统计假设条件完毕从中预计源信号波形及参数，使得分离信号满足。图（1）的盲信号分离模型能够概括表达为通式（2）和式（3）的数学模型，分别称为系统混合模型和系统分离模型（2）（3）式中：表达未知混合系统的混合函数；表达分离系统的分离函数；没有噪声的状况下，和互为反函数，此时混合系统与分离系统互为逆系统。根据混合系统的混合方式，盲信号分离问题分为线性瞬时混合盲信号分离、线性卷积混合盲信号分离及非线性瞬时混合盲信号分离三种重要形式，线性瞬时混合盲信号分离是最简朴、最典型的盲信号分离模型，其理论和算法的发展最完善、最系统、最成功。令,即得线性瞬时混合模型的数学体现式：（4）（5）其中：为混合系数矩阵，称为系统混合矩阵；为分离系数矩阵，称为系统分离矩阵。线性瞬时混合表达接受器“同时”接受到多个源发射来的信号，信号传输过程无延迟滤波仅有缩放作用，本论文重要针对线性瞬时混合模型进行研究。第2部分盲信号分离理论基础BSS是盲信号解决领域的研究内容之一，重要目的是从观察信号中获得源信号的最佳预计。它是统计信号解决、信息论及神经网络等多学科相结合的综合性分支内容，涉及概率统计、矩阵论、信息论、泛函及人工神经网络等学科基础知识，本章重要总结BSS理论的基础知识和研究盲信号分离时涉及的有关学科知识，为进一步研究BSS问题做准备。2.1线阵列信号的盲分离数学模型若测量向量来自间距为的个各向同性阵元构成的均匀线列阵，个点源向量位于远场，来自方向，记为，如图（2.1）所示。图2.1线列阵接受模型Fig2.1Themodeloflineararrayreceivesignals以阵元作为参考阵元，式（1-4）与式（1-5）可写为：（2-1）（2-2）（2-3）（2-4）表达阵列对第个源的方向向量；为中心角频率；令，表达盼望信号波前达成相邻两阵元的时间差。设、、分别为、与的解析形式。均匀线列阵接受远场信号，可将式（2-1）表达为：（2-5）其中， 在水声信号解决领域中系统混合矩阵是基阵对个目的入射方向的响应向量构成的矩阵，又称为基阵的阵列流形。对应的系统分离模型可表达为：（2-6）是的分离矩阵，是分离信号的解析形式。盲信号分离的任务就是寻找适宜的分离矩阵，使式（2-6）成立，再取的实部，即：，正好是独立源信号的一种预计，即。2.2盲信号分离的代价函数及优化准则在BSS问题中，不仅需要建立系统数学模型，还要考虑BSS算法的代价函数，使得BSS的分离系统对应于代价函数的极值点（极大值点或极小值点），再选用某种优化算法寻找代价函数的极值点。当代价函数达成极值点后，对应的系统即为待求解的分离系统。BSS算法的代价函数大都是建立在独立分量分析（IndependentcomplementAnalysis：ICA）数学模型基础之上，ICA是为理解决盲分离问题而提出并发展起来的一类信号解决技术，现已成为解决盲分离问题的有力工具。然而ICA和BSS办法并不能完全等同或互相替代，BSS比ICA含有更广阔的合用范畴，因素是：ICA只在源信号互相独立的条件下合用，而对BSS而言，即便源信号之间存在有关甚至完全有关，仍然可能采用其它办法分离信号；BSS的目的是分离源信号，而ICA的目的是寻找某种变换，确保输出信号的各分量之间尽量地互相独立；另外，诸多状况下BSS办法经常使用随机向量的二阶统计量（SOS），而ICA则经常使用更高阶的统计量（HOS）。如果源信号之间满足互相独立的假设条件，ICA和BSS办法能够用相似甚至相似的数学模型来描述，并使用相似的或相似的算法实现源信号的分离，因此，BSS和ICA两者极其相似而又互相区别。根据中心极限定理，独立随机变量和的分布比其中任何一种随机变量更靠近高斯分布，因此非高斯性能够作为随机信号互相独立性的度量。现在，ICA理论的优化准则重要有基于信息论的优化准则和基于高阶累积量的优化准则。2.2.1基于信息论的代价函数及优化准则基于信息论的评价准则重要涉及最大似然预计准则、最大熵准则、信息最大化法准则、最小互信息准则和负熵最大化准则，分别介绍以下。最大似然预计（maximumlikwlihoodestimator：MLE）是检测理论中惯用的一种统计检测办法，它的目的是根据观察数据样本预计信号的参数。K-L散度（Kullback-Leiblerdivergence）用来度量随机变量概率密度函数的相似程度，也就是衡量多个分布之间的靠近程度。设和是有关随机向量的两种不同分布的概率密度函数，则相对于之间的散度定义为：（2-7）（2-8）当与同分布时，；式（2-8）是的自信息量的平均值，称为熵，用来描述随机事件的不拟定性程度。使用K-L散度作为最大似然预计的似然函数，建立似然函数的代价函数。针对式（2-1）的混合模型，设为观察向量的概率密度，为源信号的概率密度，由概率论及矩阵论理论，知与满足：（2-9）则观察信号的似然函数定义为：（2-10）令式（2-2）的分离矩阵满足时，根据矩阵论理论将对数似然函数改写为：（2-11）为独立同分布观察信号的快拍数。最大似然预计就是选用使达成最大值的作为的预计，即需要满足：（2-12），可见，预计参数的最大似然预计值问题，就是寻找似然函数的极大值问题。互信息量（MutualInformation）用来度量两个随机变量的概率密度函数的相似性。从信息理论角度看，如果源信号互相独立，要将其从它们的混合信号中分离出来，要确保分离信号之间互相独立。因此在源信号统计独立条件下，最小化输出信号之间的互信息量能够作为独立性的分离准则，输出信号之间的互信息量越小，阐明信号之间的有关性越小。设任意随机变量和，先验概率和后验概率分别为和，对互信息量定义为的后验概率与先验概率比值的对数，即（2-13）则定义随机向量对的平均互信息量可推导出：（2-14）同理，定义对的平均互信息量为：（2-15）从而有：（2-16）根据上式输出信号之间的互信息量可表达为：（2-17）为分离信号的边沿熵，为联合熵。针对式（2-2）的分离模型，输出信号之间的互信息量表达为：（2-18）由于与无关，互信息量的代价函数可表达为：（2-19）最小化式（2-19），可使输出信号的各分量趋于独立，即得到最小互信息（MinimumMutualInformation：MMI）准则：（2-20）由互信息的定义可知，表达系统输出信号的不拟定性测量，输出信号使输入信号的不拟定减少，因此最大化输入输出间的互信息的Infomax准则事实上就是最小化输出和输入信号之间的信息冗余度。根据式（2-17），最小化互信息量，也就是最大化输出信号的联合熵，即为最大熵准则，也称信息最大化（Infomax）准则。负熵（Negentroy）用来度量非高斯分布分布相对高斯分布的偏离程度。它是度量信号非高斯性的一种准则，定义为高斯分布熵与随机向量熵之间的偏差，即：（2-21）负熵能够使用任意概率分布和含有相似协方差的高斯分布之间的散度表达，即（2-22）负熵是ICA中的重要概念之一，它是非负值，由于在全部方差相等的随机变量之中，高斯随机变量的熵最大，因此只有当是高斯分布时负熵等于零，因而能够运用负熵来度量非高斯性。负熵与互信息之间的关系可表达为：（2-23）因此最小化互信息等价于最大化边沿负熵，边沿负熵最大化的代价函数可表达为：（2-24）2.2.2基于高阶统计量的代价函数及优化准则基于高阶统计量的算法可大致分为两类：显累积量算法和隐累积量算法。显累积量算法是指代价函数或优化算法中明确含有高阶累积量，如基于峭度（Kurtosis）的算法；而隐累积量算法是指高阶累积量隐含地嵌入到代价函数或优化算法中，代价函数或优化算法中不明确含有高阶累积量，如固定点算法或快速ICA算法、H-J算法等；能够选用适宜的非线性函数引入高阶统计量，如tanh()函数、sigmoid()函数等。选择适宜的分离准则是实现盲信号分离的核心，惯用的分离准则经常需要计算互信息量、熵或负熵等物理量，这些量的计算往往很复杂，甚至无法求解，因此通过引入高阶矩和高阶累积量来预计这些量。高阶矩和高阶累积量是描述随机变量统计特性的基本工具。基于高阶统计理论的盲分离算法涉及基于二阶统计量的盲分离算法和基于高阶统计量的盲分离算法，基于高阶统计理论的盲分离算法重要有典型的H-J隐累积量算法和基于峭度的盲分离算法。前者的训练算法中能够选用任意适宜的非线性函数，这个非线性函数中其实隐含地引入了高阶统计量；后者是以峭度（Kurtosis）作为代价函数的盲分离办法，两者普通都是运用梯度搜索算法来逐步逼近分离矩阵，是一种自适应训练算法。（1）负熵和互信息负熵和互信息作为一种独立性度量的分离准则其实质是一种基于高阶累积量的非高斯性分离准则，由于信号的联合概率密度和边沿概率密度直接计算比较困难，因此引入高阶矩、高阶累积量来逼近负熵或熵、互信息量，计算相对简朴。（2）峭度峭度(kurtosis)是一种衡量源信号随机性质的重要高阶统计量，定义为：（2-25）实际应用时，经常使用其归一化定义：（2-26）峭度是描述随机变量概率函数同高斯分布的偏离程度，即表达随机变量分布的平坦程度：当峭度等于0时，信号为高斯信号；峭度不不大于0时，信号为超高斯信号；峭度不大于0时，信号为亚高斯信号，因此峭度的大小也就是表达信号高斯性的强弱。当信号通过预白化解决后，，即功率为1，则式（2-26）可简化为：（2-27）基于峭度的目的函数普通表达为：（2-28）基于峭度的目的函数运算简朴、容易实现，但是它对“野值”比较敏感，由于峭度直接从观察样本中计算获得。2.3盲信号分离的优化算法对盲信号分离算法而言，根据评价准则建立代价函数后，需要选用某种优化算法计算代价函数达成极值点的解。一种性能良好的优化算法应当同时含有高效性、鲁棒性、全局收敛性等优点。高效性指的是计算简朴，且收敛速度快；鲁棒性指的是当系统受外界干扰后，算法条件变化时，优化算法的性能而受其影响较小。盲信号分离算法发展至今，已总结出许多有效的优化算法，重要涉及自适应算法、批解决算法、智能算法。自适应算法重要有基于梯度的自适应梯度算法和RLS算法，自适应梯度算法又可分为随机梯度算法、相对梯度算法和自然梯度算法等。固定点算法和联合近似对角化法（JADE法）是重要的批解决盲分离算法。智能算法重要有基于遗传算法的盲分离算法、基于神经网络的盲分离算法、基于粒子群的盲分离算法、基于蚁群算法的盲分离算法等。本课题优化算法大家自选。老师推荐一种自然梯度算法，具体见参考文献“盲源分离算法研究”，24-26页；“自适应盲信号解决理论及应用研究”12-14页2.4性能评价指标盲信号分离的效果好坏程度需要有一定的评价原则来衡量，不同的算法选用的评价原则会有所不同，惯用的评价原则有：性能指数、相似系数、最大信噪比等。这些评价原则都是假设已知真实源信号信息，如已经源信号波形时，能够采用“相似系数”这个评价准则；如果已知混合矩阵状况下，比较方便的评价准则是“性能指标”。但是在实际的盲分离过程中，源信号的信息都是未知的，因此这些评价准则只合用于仿真分析，无法在实际工程应用中使用。现在，还没有针对可测数据评判的实用准则。2.4.1相似系数相似系数是描述分离信号与源信号相似程度的一种非常有效的参数，定义为：（2-29）的值介于0与1之间，当时，；与互相独立时，；当越靠近1，表达与越相似。由此可见：分离信号与源信号之间允许幅度上存在差别，但不允许相位上存在差别。根据式（2-29），若源信号之间互相独立，则当由相似系数构成的矩阵是每行每列有且仅有一种元素靠近于1，其它元素都靠近于0的矩阵时，此时我们认为信号分离效果比较抱负[52]。2.4.2性能指数本文选用对相干源的状况也合用的性能指数指标（performanceindex：PI），它定义为：（2-30）为全局传输矩阵的元素；表达的第i行元素绝对值中的最大值；表达的第i列元素绝对值中的最大值。分离信号与源信号波形完全相似时。事实上当PI达届时认为分离算法效果非常抱负。2.5数据预解决观察的混合信号中普通包含了盼望信号、噪声信号及干扰信号，为了更加好地完毕盲信号分离任务，能够对观察信号进行某些有用的预解决，方便为背面的盲信号分离工作提供方便。预解决办法重要涉及：中心化解决、主分量分析（PCA）、白化解决（Whitening）、降噪（Denoising）、滤波（Filtering）等。2.5.1中心化解决中心化解决是信号最简朴最基本的预解决办法，中心化就是从观察数据中去除均值，使得成为零均值的向量，即（2-31）中心化解决能够能够简化盲信号分离算法，减化计算过程、减少计算量。2.5.2主分量分析PCA办法是盲信号解决领域的基本预解决办法，是数据分析中的有效手段，可用于减少数据特性空间维数、拟定向量的线性组合、选择重要分量或异常分量分析等。PCA已广泛应用于信号解决、特性提取、噪声解决、模式识别、数据挖掘、图像解决、计算机视觉、信号恢复和分类等方面。设零均值的维随机向量，其协方差矩阵为：（2-32）对进行特性值分解（2-33）其中，为个特性值构成的对角阵，为特性值对应的特性向量矩阵。选择适宜的主特性值，及其对应的特性向量构成信号子空间，。则随机向量在单位正交向量上的投影向量即为主分量。