（应用数学专业论文）盲抽取与svm方法在地球化学异常下限提取中的应用.pdf

摘 要 i 盲抽取与盲抽取与 svm 方法方法在在地球化学异常下限地球化学异常下限 提取提取中的应用中的应用 作者简介：曾玉祥，男，1973 年 6 月生，师从成都理工大学郭科教授和陈 聆教授，2010 年 6 月毕业于成都理工大学应用数学专业，获得理学硕士学位。 摘摘 要要 地球化学探矿是探测矿产资源的一种重要手段，区域化探数据的数学地质 处理方法是一个热点研究方向。化探数据处理的首要任务是确定测区异常元素 并确定相应元素的异常下限，传统的异常下限确定方法是把地球化学元素分布 规律满足正态分布或者对数正态分布作为前提条件，直接以均值加上两倍标准 离差作为异常下限，这种方法越来越多的显出其局限性。因为地球是一个非常 复杂的系统，而深部矿床的信息其实是很有限的，所以不断探索异常处理的数 学地质方法非常必要。 盲信号处理方法是当前研究热点之一，在语音信号与图像分离等方面的应 用取得了很大的成功。盲信号抽取的核心问题是一种分离或解混合矩阵的学习 算法，属于无监督的机器学习，在尽量不丢失信息的前提下抽取其中统计独立 的特征。在先验知识缺乏的情况下，盲信号方法是一个自然的选择，从算法的 角度看，盲信号抽取算法是局部学习算法，算法相对比较简单。以非高斯性度 量为优化准则，从能量最大化的角度提出了联立盲抽取算法，把感兴趣的信号 同时提取出来。在源信号数目较大的时候，这明显优于逐个抽取的方法，可以 大大减少运算量。把盲信号抽取方法用于识别异常元素的组合是可行的。 支持向量机的理论基础是统计学习理论，它基本不涉及概率测度和大数定 理。相对于神经网络来说其有很多的优势，首先是其理论基础很完善；此外， 其基于结构风险最小化准则，可以有效地解决机器学习的过学习问题，具有很 好的泛化性；在理论上一定存在全局最优解，不会陷入局部最优；在结构上采 取核函数方法，向高维空间映射时不增加运算的复杂性，可以有效地克服维数 灾难。在针对缺乏先验知识的小样本数据时显得特别有效。对于大样本的数据 处理，现在有很多的变形和改进算法，能够有效地进行海量数据的处理。 在仔细研究盲信号分离理论和支持向量机的特点的基础上，利用 matlab 成都理工大学硕士学位论文 ii 平台，把二者结合起来，首先利用联立盲抽取算法识别元素组合异常，在此基 础上利用支持向量机算法分离相应元素的异常数据并确定异常下限，圈定异常 浓集中心，这在地球化学数据处理方法研究上是一种具有创新性的尝试。本文 对测区 1:5 万土壤实际测量数据进行了处理，从实际处理效果来看，算法实现 比较客观而全面的反映了实际矿化情况，主要元素组合异常与实际相符，异常 下限的选择比较合理，所圈定的异常区域与测区实际吻合较好。这表明结合支 持向量机的盲信号抽取算法用于处理地球化学数据是可行的，算法本身是有效 的，在地球化学异常识别处理方法研究上具有一定的参考和推广价值。 关键词：地球化学异常 盲信号抽取 支持向量机 异常下限 abstract iii application in geochemical anomaly identification with blind signal extraction and svm method introduction of the author: zeng yuxiang, male, was born in june,1973 whose tutor was professor guo ke and professor chen ling. he graduated from chengdu university of technology in applied mathematics major and was granted the master degree in june, 2010. abstract geochemical exploration is an important means of detecting mineral resources. mathematical geology treatment in regional geochemical exploration data is one of the important focuses of research. the primary task of geochemical exploration data processing is to determine the geochemical anomaly and its lower limits. in the tradition way of determination, it is taken as a prerequisite that the distribution law of geochemical elements satisfies with normal distribution or log-normal distribution. then it takes the mean plus twice the variance as the lower limit. and this way gradually shows its limitation. as the earth covers an extremely complicated system, but the information in deep deposit is too limited, so it is necessary to continuously explore the mathematical geology treatment in geochemical anomaly. blind signal processing is one of the hot spots of contemporary research and great success has been made in application of voice signal and image separation. the core issue of blind signal extraction is the learning algorithm about separation or solution of mixing matrix and it belongs to unsupervised machine learning. it draws out the statistically independent characteristics without the loss of information. under the circumstance of want in priori knowledge, blind signal processing is a natural choice. from the perspective of algorithm, it is partial learning algorithm and comparatively simple. for the optimization criteria of non-gaussian metric, it is from the perspective of energy maximization to put forward the simultaneous blind extraction algorithm to extract simultaneously the signal of interest. when the signal source number is large, this method can greatly reduce the computation, obviously better than one by one extraction. so it is feasible to use blind signal extraction to identify the geochemical anomaly. the theoretical basis of support vector machine is statistical learning theory and basically, it does not include probability determination and the law of large numbers. compared with neutral network, it has much superiority. first, the theoretical basis is mature. moreover, based on the law of structural risk minimization, it can sufficiently solve the problem of over-fitting in machine learning and has a feature of generalization. theoretically, there definitely exist a global optimal solution and it will not fall into local optimum. structurally, it employs the way of kernel function and it will not add the complexity when mapping to high dimensional space and effectively overcome the curse of dimensionality. and it is especially effective in small sample statistics without priori knowledge. for the 成都理工大学硕士学位论文 iv processing of large sample statistics, there are many variations and improved algorithm to enable the processing of massive data. with careful study of blind signal separation theory and the characteristics of support vector machine, based on the platform of matlab, this thesis combines the two factors , firstly, with the simultaneous blind extraction algorithm to recognize the elements of variance then based on this, using support vector machines to separate the corresponding data and draws out the lower limit of anomalies, separates the anomaly data and delineates the abnormal concentration focuses. all these mark an innovative attempt in research of geochemical data processing. this thesis makes a comprehensive processing about the data in the tested region of 1:50,000 soils. from the real processing effect, the realization of this algorithm objectively and comprehensively reveals the actual mineralization situation. the main elements of variance are consistent with the fact, and the lower limit of geochemical anomaly is reasonable, the delineated abnormal region basically coincides with the tested region. this shows that it is feasible to use blind signal extraction algorithm and support vector machine to the processing of geochemical data. the algorithm itself is effective and has referential and promotion value in research of processing way of geochemical anomaly identification. key words: geochemical anomaly blind signal extraction support vector machine the lower limit of anomalies 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得 成都理工大学 或其 他教育机构的学位或证书而使用过的材料。与我一同工作的人员对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 成都理工大学 有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被 查阅和借阅。本人授权 成都理工大学 可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 （保密的学位论文在解密后适用本授权书） 学位论文作者签名： 学位论文作者导师签名： 年 月 日 第 1 章 引言 1 第第 1 章章 引引 言言 1.1 选题根据与研究意义选题根据与研究意义 化探的主要工作方式是系统地测量岩石、水系沉积物等天然物质中的地球 化学元素分布等性质，以期发现与矿化或矿床有关的地球化学异常，勘测技术 手段主要包括对岩石、土壤、水系等的地球化学测量，而在判别含矿与非矿、 成矿与矿化的评价上常常遇到很大困难，检验异常和见矿率都比较低，所以正 确、快速评价异常的含矿性仍是化探普查找矿工作中非常突出的关键环节，基 于技术、成本等多重因素，区域化探仍将在未来的找矿工作中发挥其潜在的作 用。在区域化探数据处理中，重点是确定地球化学异常下限，传统方法主要是 基于元素的地球化学分布呈正态分布或元素含量在空间上呈连续变化这一假设 为基础来计算地球化学异常下限值。不同尺度的地球化学数据对异常的辨识有 不同的作用，中大比例尺数据对普查起到了关键作用1，而进一步的细查和验 证则需要使用小比例尺的数据，探寻适当的数学地质方法，研究复杂地质地貌 下的异常识别是很有必要的。 盲信号处理已成为信号处理学界和神经网络学界共同感兴趣的热点研究领 域，从研究目标不同的角度可以分为盲源分离、盲信号抽取、盲反卷积和盲均 衡、盲辨识等子区域，其中盲源分离和盲信号抽取成为其主要的研究内容。盲 源分离就是根据观测到的混合数据向量通过确定的变换来恢复原始信号或信 源。其核心问题是分离或解混合矩阵的学习算法，属于无监督的机器学习，在 尽量不丢失信息的前提下抽取其中统计独立的特征。在一定的条件和理论框架 下研究处理非线性的盲信号处理问题，是目前的热点，盲信号处理广泛地应用 在通信系统、遥感、医学成像、数据挖掘、语音增强、地震探测、地球物理、 计量经济学等诸多领域。当源信号与大量的噪声或干扰信号混杂在一起时，为 分离具有所期望随机特性的源信号，可以利用所抽取源信号的特性，采用不同 准则和相应的算法来实现。盲信号抽取算法是盲源分离的扩展，其不同之处是 盲信号抽取只抽取部分感兴趣的信号，属于局部学习算法，算法相对比较简 单，把盲信号抽取方法用于求取异常下限是可行的。 支持向量机(support vector machine，svm ）2是一种有坚实理论基础的 小样本机器学习方法，它基本上不涉及概率测度及大数定律等，因此它从很大 程度上不同于现有的统计方法。支持向量机的思想是通过某种事先选择的非线 性映射也就是所谓的核函数将输入向量映射到一个高维特征空间，在这个空间 中寻找最优分类超平面，使得其能够尽可能多的将两类数据点正确的分开，同 成都理工大学硕士学位论文 2 时使分开的两类数据点距离分类面最远。统计学习理论使用了与传统方法完全 不同的思路，不像传统方法那样试图将原输入空间进行特征选择和特征变换即 降维，而是设法将输入空间升维，以求在高维空间中问题变得线性可分或接近 线性可分。svm 避开了从归纳到演绎的传统过程，实现了高效的从训练样本到 预报样本的转导推理，大大简化了通常的分类和回归等问题。svm 的最终决 策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而 不是样本空间的维数，可以有效避免所谓的维数灾难。而少数支持向量决定了 最终结果，可以帮助我们抓住关键样本以及剔除大量冗余样本，算法简单且具 有较好的鲁棒性，增加或者删除非支持向量样本对模型没有影响，有的时候 svm 方法甚至对核函数的选取不敏感。在具体方法上是利用内积核函数代替 向高维空间的非线性映射，目标是对特征空间划分的最优超平面，训练结果就 是所谓的支持向量，在 svm 分类决策中起决定作用。从最初的简单模式输入 的 svm 方法研究，进入到多种方法取长补短的联合应用研究，对 svm 方法 有了很多改进3。svm 以统计学习理论作为坚实而完备的理论依据，较之神经 网络方法来说这是一个很明显的优势，其基于结构风险最小化准则，在学习效 果上有效地克服了传统的神经网络方法中所谓的的过学习和易陷入局部最小的 问题，从而具有很强的泛化能力；在构造上采用核函数方法，向高维空间映射 时并不增加计算的复杂性，还能有效地克服维数灾难问题等等。这些优点决定 了其在许多方向的应用研究上具备有效性和可行性，可以研究将其用于地球化 学数据的处理。 综上所述，一方面地球化学勘探工作特别是异常下限的提取需要有新的有 效的数据处理方法，另一方面，盲信号抽取方法在处理先验知识缺乏的数据时 具有比较明显的优势，而支持向量机是一种有效的小样本分类学习算法，所以 可以结合支持向量机方法和盲信号抽取技术来进行化探数据处理，无疑是一个 有益的尝试。将盲信号处理和 svm 这两个当前热点研究内容相结合，用于处 理地球化学异常数据，这个方面研究的文献很少见到，成都理工大学教授、博 士生导师郭科老师提出了很多具备前瞻性、建设性和开拓性的建议并做了一些 具体而卓有成效的工作。 1.2 研究现状研究现状 1.2.1 盲信号方法的研究现状 盲信号处理是当前信号处理研究的热点之一，得到了广泛的应用，并且还 具有很多潜在的应用。盲信号处理的“盲”一词意味着不使用训练数据，对系 第 1 章 引言 3 统参数没有任何先验知识的假设，所以该方法能够用于更广泛的环境。盲信号 处理包括盲信号抽取与分离、盲解卷积和盲均衡等目标不同而又相互关联的子 区域4。盲源分离是在输入信号未知时，只由观测到的输出信号来辨识系统， 以达到对多个信号分离的目的，从而恢复原始信号或信号源，无疑它能对广泛 领域的多信号处理与识别提供很大方便5。comon 首先提出了盲源信号分离的 独立分量分析方法，盲源分离是基于神经网络和统计学的基础上发展起来的一 种技术方法，在语音信号处理、通信、阵列信号处理、生物医学信号处理以及 通用信号分析等方面有广泛的应用前景6。盲源分离问题早在上个世纪中期就 已提出，但是直到 1991 年 herault 和 jutten 提出了基于反馈神经网络的盲源分 离方法，即著名的 h-j 算法7，但是缺乏相应的理论解释。实质上他们引进了 仿神经学习方法，引入这种神经网络的结构是因为在他们闸述独立分量分析这 个问题之前，还没有合适的工具来获得独立的源，也不知道如何去计算一个变 换以在输出端去获得尽可能大的相互独立，但是可以去定义一个准则函数去测 定独立，这种正是构成神经元的基础。随后 tong 和 liu 从理论上分析了盲源 分离问题的可辨识性以及不确定性8；1993 年 cardoso 提出了基于高阶统计的 联合对角化盲源分离方法9，并将其应用于波束形成分析而取得了较大的成 功；1994 年 common 将主分量法加以扩展成为独立分量分析法，提出了基于 最小互信息量的独立分量分析方法10；1995 年 bell 和 sejnowski 提出了基于 熵最大思想的盲源分离方法11；1997 年 hyvariene 等人根据峰度的概念，提出 了基于独立分量分析的快速分离算法 fastica12；1998 年 armari 提出了自然 梯度算法13，大大加快了算法的收敛速度。随着盲源分离研究的深入，研究范 围不断拓展，理论也逐渐完善，一些学者开始研究相关源信号的盲分离问题， 提出了时-频分析方法；近年来，状态空间法在实际应用中得到了逐步的发展， 它从控制工程的角度重新描述了混合矩阵和解混矩阵，转换了盲源分离的研究 思路，为盲信号技术的发展提供了更多的思考空间。近年来，为了在未知信号 源个数的情况下有效地提取出源信号，盲信号抽取技术得到了较快的发展， 1995 年，delfosse 与 loubaton 首先提出了盲信号抽取的概念和方法14,该方法 首次成功实现了信号源个数未知时源信号的提取；1997 年 cichocki 等人提出基 于峰度的顺序抽取源信号的方法15；2000 年 cruces 提出了能够在线性混合模 型下的多个源同时抽取的算法，从理论上证明了该方法具有稳健的抗高斯干扰 性16；同年，cichocki 等人提出基于二阶统计量的相关源信号的盲提取17； 2002 年 yuanqing li 和 jun wang进行了盲提取的可行性分析，并提出了基于四 阶累积量的盲信号提取方法18。 成都理工大学硕士学位论文 4 1.2.2 svm 的研究现状 svm 是一种基于统计学习理论的机器学习算法，统计学习理论起源于二十 世纪六十年代，早期的统计学习理论提出了 vc（vapnik-chervonenkis）维理 论，它是建立在经验风险最小化原则即以训练的平均误差为最小的模型作为期 望的最终模型这个基础之上的，统计学习理论最初一直只是作为一个小样本预 测问题的的纯理论分析工具。直到二十世纪九十年代中期，vapnik 和他的 at&t 实验室小组提出了 svm 算法，进一步丰富和发展了统计学习理论，使它 不仅是一种理论分析工具，还是一种能构造具有多维预测功能的预测学习算法 的工具，使抽象的学习理论转化为通用的实际预测算法。支持向量机的发展可 以概括为以下几个阶段：二十世纪六十年代，vapnik 完成了统计学习理论的基 本框架，其中包括经验风险最小化原则下统计学习一致性的条件、关于统计学 习方法推广能力的界的理论以及在此基础上建立的小样本归纳推理原则等；七 十年代初期，vapnik 和 a.chervonenkis 提出了支持 vc 维理论，这是一个关于 svm 的一个非常重要的基础理论；八十年代初期，vapnik 提出了结构风险最小 化原理，这个原理被称为 svm 算法的基石；进入九十年代以后，首先是 boser，guyon 和 vapnik 提出最优边界分类器理论，并首次成功地使用了核函 数，并从理论上证明了由此得到的解不仅具有稀疏性，而且不存在局部最小， 换句话说这样得到的解一定就是全局最优解；接着在 1995 年 vapnik 完整地提 出 了 svm 理 论 方 法 ， 并 成 功 应 用 于 模 式 识 别 等 人 工 智 能 领 域 ， v.vapnik,s.gokowich 和 a.smola 将其用于函数的回归和信号处理中，a.smola 详细研究了 svm 算法中各种核的机理和应用，进一步从理论上完善了非线性 的 svm 算法。国内在二十世纪九十年代末就有学者关注统计学习理论，近年 来一些国际、国内学术会议也把统计学习理论和 svm 作为研究和探讨的专 题。svm 是统计学习理论中最年轻也是最实用的部分，而且是近十年来机器学 习、模式识别及神经网络界最有影响力的成果之一。目前对 svm 的研究主要 集中在对 svm 本身的研究和完善以及加大 svm 应用研究的深度和广度两方 面，除了在模式识别等人工智能领域，其在数据挖掘、非线性系统辨识、软测 量模型及应用、函数回归、预测控制、计算机入侵检测等应用问题中，都显示 出了良好的性能。由于 svm 本质上是一种非线性数据处理工具，故而在信号 处理、图象处理、智能控制等领域有巨大的应用潜力。作为机器学习的一种， svm 和神经网络有相似的一面，也有很大的差异，尽管神经网络在设计者的经 验和先验知识的基础上在应用上取得了很大的成功，但是却在事实上存在结构 和参数调整的难度和依赖性和理论上的不完备性以及容易陷入局部最优这些缺 点，而这些方面恰恰是 svm 的优势所在，其优势主要体现在以下几个方面： 第一，svm 具备完善的理论系统；第二，svm 应用核函数技术，将输入空间 第 1 章 引言 5 中的非线性问题，通过非线性函数映射到高维特征空间中，在高维空间中构造 线性判别函数，巧妙的解决了算法复杂度与输入向量维数密切相关的问题；第 三，svm 算法最终转化为一个凸优化问题 19，保证了算法的全局最优性，解 决了神经网络无法避免的局部最小问题；第四，svm 是基于结构风险最小化原 则，从而保证了学习机器具有良好的泛化能力。这些优点决定了利用 svm 处 理地球化学数据以及进行异常识别的可行性。 1.2.3 地球化学异常下限识别的研究现状 一般说来，地球化学异常的圈定首先要确定异常下限。地球化学家一般认 为地球化学元素的分布服从正态分布或者对数正态分布20。所以传统的异常下 限计算方法都假设原始数据服从相应规律。随着研究的不断深入，人们逐渐认 识到这个方法本身的局限性。常见的筛选地球化学异常的方法中，概率格纸法 是基于正态分布为地球化学的，另外一些方法尽管注意到了元素含量分布的空 间信息，却都是以地球化学含量数据在空间的变化是一个至少分片光滑的连续 曲面这一假设为前提的。在二十世纪末，很多人利用分形方法对地质现象和数 据进行了深入的研究和探索，并在此基础之上提出了多种确定异常下限的分形 方法。由于不同成矿元素在不同岩石中的背景值有的差异很小，有的差异很大 21，这导致了分析结果之间明显的差异。传统方法采用全区统一的异常下限圈 定异常，使得背景值偏高地区出现大面积异常，背景值偏低地区异常变小或消 失，难以被发现。在地质情况复杂的区域内，不同地质体中元素含量值可能会 有很大的差异，所以采用统一的背景和异常下限圈定地球化学异常是不合理 的，为了消除背景因素引起的差异，人们提出了一些新的确定异常下限的方 法，主要有地质子区划分法、移动平均法、趋势面法，克立格方法等22，近年 来，随着计算机技术和信息技术的长足发展，国内外已经有很多学者使用结合 神经网络的方法来处理地球化学异常，也取得了较好的效果，但是神经网络方 法在一定程度上依赖于模型设计者依据经验和先验知识对结构的确立和参数的 合理选定，而这在一定程度上对使用者提出了一定的限制。作为地球化学异常 处理中最基础的一环，异常下限的提取方法的不断改进是很有必要性的，有人 提出了分片处理，在不同的分片区域内使用不同的异常下限，这样可以更精确 的进行异常识别。会有更多的研究人员去尝试从数学地质方法的研究出发寻求 更有效更适合的异常下限提取方法。 1.3 本研究的特色和创新点本研究的特色和创新点 本研究的特色和创新点主要体现在如下一些方面： 成都理工大学硕士学位论文 6 1、使用盲信号处理方法，可以比较有效地降低对经验和先验知识的依赖，有助 于更好的预测和评价。 2、利用基于统计学习理论的机器学习的优势，使用支持向量机分类算法，对小 样本数据的处理非常有效，并且可以避免局部最优和维数灾难，一定存在全局 最优解。 3、结合支持向量机和盲信号抽取算法用于异常下限提取，目前只有少量的相关 研究文献，对地球化学异常数据处理的方法研究来说应该是一个有意义的尝 试。 4、对实测数据进行处理并与其他处理方法的结果进行横向比较研究，验证方法 的有效性，并对算法的改进进行一些展望和探索。 第 2 章 盲信号处理理论 7 第第 2 章章 盲信号处理理论盲信号处理理论 2.1 盲信号处理模型盲信号处理模型 解决盲信号分离问题首先要建立相应的数学模型，从信号混合的方式来 说，有线性混合的，也有非线性混合的，还有的信号时卷积以后再叠加的23， 最常见的盲信号处理模型有以下几种。 2.1.1 线性瞬时混合/分离模型 首先以线性瞬时混合问题为例来说明盲源分离的基本原理，如图 2-1 所 示。通常观测信号来自一组传感器的输出，其中每一个传感器收到多个原始信 号的一组组合，n 个信号源 12 , n s ss所发出的信号被 m 个传感器收到后产生的 输出 12 , m x xx，这里假设传输是瞬时的，并且传感器收到的是各个源信号的 线性混合，则第 i个传感器的输出可以表示为： 1 ( ) ,1, 2 , n ii ji j xa stntim (2-1) 其中 ij a表示混合系数， i n t表示第i个传感器的观测噪声，则上式可以用 向量和矩阵表示为： x tas tn t (2-2) 为简单起见，先不考虑噪声，此时问题可以简化为 x tas t，盲分离 的含义是在信号源波形未知，并且混合系数也未知的情况下仅仅根据传感器所 收到的混合信号 x t对源信号 s t或混合矩阵 a 进行估计，换句话说就是求一 个矩阵 m，使得 m 对 x t的线性变换 y tmx t是对源信号向量 s t的一个 可靠的估计，通常将矩阵 m 称为分离矩阵。盲分离或者独立分量分析的目的是 寻找一个逆变换 w，使观测信号经过这个逆变换以后得到的信号 y t各个分量 之间尽可能地相互独立。 盲信号分离问题实际上是一个多解问题，为了使问题有意义，必须做出一 些基本假设4：1） 、混合矩阵 a 为列满秩矩阵；2） 、源信号向量是零均值的平 稳随即向量过程，各个分量之间相互统计独立，并且其分量中服从高斯分布的 分量不超过一个；3） 、噪声为零均值的随机向量，并且与源信号向量相互统计 成都理工大学硕士学位论文 8 独立，或者假设噪声向量可以忽略不计。 图图 2-1 瞬时线性混合/分离模型 2.1.2 多通道盲解卷积/均衡模型 在瞬时线性模型中，我们所描述的信道其实是没有记忆的，而在实际问题 中，信道往往是有记忆的，例如在通信问题或者所谓的鸡尾酒会问题中，信号 实际上是通过卷积后线性叠加在一起的。针对这个问题，可以考虑一种多输入 多输出(multi-input multi-output,mimo )模型24，如图 2-2 所示。观测信号与源 信号的联系可以表示为： -p xka kskapskp (2-3) 其中 a k是对应系统冲击响应的的矩阵序列，p 只取有限个值0,1,l，将观 测信号经过一个多输入输出系统处理 y km kx k， m k是对应分离 系统的有限冲击响应(fir)矩阵序列，写成均衡器的形式 x ka z s k (2-4) y kw z x kg z s k (2-5) 其中 - ( ) , ( ), pp pp w zw p za za p zg zw z a z 分别表示信 道、均衡器和系统冲击响应的 z 变换。盲解卷积/均衡的目标是求得 w k， . n2(t) n1(t) x1(t) xm(t) 混合系统 a 分离系统 w 自适应算法 s1(t) sn(t) y1(t) yn(t) 第 2 章 盲信号处理理论 9 使 g zw z a zpd z 。 图图 2-2 盲解卷积/均衡模型 2.1.3 非线性混合模型 非线性混合模型25是线性混合模型的一个自然拓广，一般地，非线性混合 模型可以表示为： x kf s kn k，其中 x k是m维观测信号向 量， s k是n 维未知源信号向量， n k是m维观测噪声，与信号统计独立， nm frr：为未知的可逆实值非线性混合函数。非线性盲处理即通过观测信 号 x k来找到一组映射 mn grr：使得通过g尽可能恢复源信号 s k，数学 模型为： y kg x k，其中 y k为n维输出。 鉴于完全非线性混合模型的复杂性，现在研究得更多的是所谓的后非线性 混合 (post-nonlinea mixture，pnm) 模型，也就是源信号线性混合后再加入非 线性影响24,26，如图2-3所示，其分离网络包括两个部分，第一部分是非线性部 分，用来实现对反函数的估计，并用以抵消和补偿混合过程中产生的非线性。 第二部分为线性部分，即实现传统的盲源线性分离。 其研究思路现在主要有两种，一种是将现有的线性分离方法直接引入非线 性进行扩展的方法，另一种方法是提取非线性特征进行直接分离。基于神经网 络的盲信号算法是比较常见的27,28。 x1(k) xm(k) 卷 积 a(z) 解 卷 w(z) 自适应算法 s1(k) sn(k) y1(k) yn(k) 成都理工大学硕士学位论文 10 图图2-3 后非线性模型 2.2 盲信号分离的优化准则盲信号分离的优化准则 一个有效的盲信号分离算法，应该解决两个问题，第一个问题是要建立度 量分离结果独立性的判据，也就是所谓的优化准则29；第二个问题是要使用合 理的优化手段对上述判据进行优化，从而获得分离矩阵，进而解决盲源分离问 题。从判据的角度来说，盲信号分离方法主要有两大类，一类基于信息理论， 另一类基于非高斯性的度量的高阶统计量。 2.2.1 基于信息理论的盲信号分离 信息理论是从信息科学角度解决盲源分离问题的重要工具，基于信息理论 的算法主要有最大似然估计法、最小互信息法和信息传输最大化法。本处重点 介绍最小互信息法，其余两种算法只做简单说明。 最小互信息法（minimum mutual information，mmi）是建立在信息理论基 础上的一种常见的盲分离算法，nadal 和 parga 的研究表明30，在对权矩阵 w 进行优化时，一个非线性神经网络的信息传输的最大化与输出之间的互信息最 小化是对应的，互信息最小化算法31对变量间整体之间的依赖结构做了深入的 考虑，对于随机向量 12 , t n yy yy，它的互信息被定义为： 1 n i i i yh yh y (2-6) 这里定义的互信息是一个非负的量，并且当且仅当y中各分量相互独立 时，其值为零，所以有： (b) 混合系统 yn(t) y1(t) xn(t) x1(t) sn(t) s1(t) a w f1 f m gm g1 (a) 混合系统 第 2 章 盲信号处理理论 11 1 n ii i p ypy (2-7) 其中 ii py为y的边缘密度函数，即有 1211 iiiin pyp y dy dydy dydy (2-8) 考虑线性关系ymx，有 log det det p x p yh yh xm m 和 (2-9) 由互信息的定义可以得到互信息函数 1 log det n mmi i imh yih xm (2-10) 将上述互信息函数最小化，使输出的 y 的各分量趋于相互独立，这就是所 谓的最小互信息法，可以利用自然梯度法来进行求解，按照自然梯度法算法可 得其学习规则为 1 tt mmy xt m miy yt m (2-11) 其中 11 1 / , t nn n p yyp yyp yy y p yp yp y (2-12) 称为核函数。 基于信息理论的盲分离方法除了上述最小互信息法以外，还有信息传输最 大 化 法 (information maximization,infomax) 和 最 大 似 然 估 计 法 (maximum likelihood estimation, mle)，前者是一种在前向神经网络中基于熵最大化的自 组织学习算法，其特点是通过在神经网络的各个输出端引入非线性环节，将输 出 i u转换为使输出 ,1,2, iii yguin，使输出 12 (,)t n yy yy的熵最 大化，后者通过使归一化的对数似然函数的期望最大化，而最终实现盲源分 离。吉林大学高颖博士通过对三种算法进行仿真比较试验研究32，实验结果表 明三种方法虽因分离矩阵初值的随机选取不同，在方法初期存在分离性能的差 别，但当三种方法均稳定后，其性能曲线完全重合。因此，通过对 infomax 方 法、mmi 方法和 mle 方法的分离性能的比较，证明这三种算法的基于信息论 的理论本质是相同的，而不同的只是表达形式的差异。 成都理工大学硕士学位论文 12 2.2.2 基于非高斯性度量的盲信号分离 上述基于信息理论的盲分离方法的分离原则的指标和参数都用到了信号的 概率分布函数，实际应用中的概率分布函数往往是未知的，这就要求直接从信 号本身去估计或者推测其概率密度，为了避开概率函数未知这个难题，可以将 非高斯性作为一种判别分离结果的依据或原则，经典而常用的非高斯性度量是 一些高阶累积量比如峭度，基于峭度的盲分离研究在实际问题的解决中比较常 见，本处主要介绍以峭度为最优判据的盲信号处理。 峭度的定义为33： 422 ( ) ()3()kurtye yey (2-13) 为简化起见，不妨设随机变量y具有零均值和单位方差，事实上，这个可 以由数据的预处理而满足条件，则上式化为 4 ( ) ()3kurtye y (2-14) 随机变量的分布为高斯分布时，峭度等于 0，分布为非高斯分布包括超高 斯分布和亚高斯分布时，峭度都不为 0，且非高斯性越强，峭度的绝对值就越 大。由中心极限定理可以分析，一般说来，源信号的非高斯性比混合信号的非 高斯性强，所以越接近独立，则非高斯性越强，基于这个原理，可以考虑将非 高斯性作为判别分离结果的一个优化判据，据此提出了基于非高斯性最大化 （maximization of nongaussianity）的盲源分离算法。峭度的绝对值是度量随机 变量非高斯性大小的良好工具34。考虑最简单的情形，设分离后的输出向量只 有两个，即 1 12 2 yq sq s，由峭度的基本性质有： 44 1122 kurt yq kurt sq kurt s (2-15) 若假定独立分量与分离信号具有零均值和单位方差，则有 222 12 1e yqq (2-16) 则峭度绝对值极大点 12 ( ,)qq q的位置显然在单位圆上，根据下面的目标函 数公式： 44 1122 maxqkurt yq kurt sq kurt s (2-17) 容易看出，目标函数(2-17)在 12 ( ,)qq q的坐标为(1,0),( 1,0),(0,1),(0, 1)时 取得极值，而在这些位置上，输出向量必为 1212 ssss、 、 、，显然分离成功，这 表明当峭度绝对值最大时，就意味着一个独立分量的成功提取。将这种思想推 第 2 章 盲信号处理理论 13 广就可以建立以如下的以峭度为准则的梯度算法，为简化表达，都事先假定观 测信号已经经过白化处理。 目标函数为： 42 2 3 ttt mkurt m xem xemx (2-18)