【毕业学位论文】（Word原稿）盲源分离及其在图像处理中的应用-软件工程

硕士学位论文 （专业学位） 盲源分离及其在图像处理中的应用 姓 名：卢婧妍 学 号： 0921170417 所 在院系：软件学院 职业类型：工程硕士 专业领域：软件工程 指导教师：张惠娟 王冬青 副指导教师：陆敏 二 一三年二月 A in 2013 0921170417 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学 位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 2013 年 2 月 12 日 同济大学学位论 文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 2013 年 2 月 12 日 同济大学 工程硕士学位论文 摘要 I 摘要 盲信 号处理 ( 目前信号处理领域中最热门的新兴技术之一 ， 它 有坚实的理论基础和很多潜在的应用，并在许多 应用 领域得到了发展。盲源分离 (题 是指在 信号的 混合 模型和源信号无法精确获知的情况下 ， 如何从观测信号中分离出各源信号的过程。 独立分量分析 (解决盲源分离 问题 的主要方法之一 。本文开展 的是 盲 源 分离 及其在 图像处理中的应用 研究 ， 主要研究 内容 有： 分析对比几种现有的盲源分离方法，研究它们的分离性能 。 针对在视频图像传输过程中，多幅视频图像在传输过程中有可能经过混叠、衰减、叠加等混合情形使得接收到的是原来视频 图像的线性组合，而不能对视频图像进行有效的接收，这就需要对这些接收的混合的视频图像进行处理， 这可以 使用盲源分离技术，将混合后的视频图像分离成原来未经混叠、衰减、叠加的源视频图像。 关键词 ： 盲信号处理 ， 盲源分离 ， 独立分量分析 ， 图像处理同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 is of in a in of of is an of is on of to In we on in is as of be of be it to To we to 录 录 第 1 章 绪论 . 1 究的目的和意义 . 1 源分离研究现状和发展趋势 . 1 源分离的应用 . 2 文的主要研究工作 . 3 第 2 章 盲源分离的理论基础 . 5 率论和统计分析基础 . 5 息论基础 . 7 高斯性度量 . 10 章小结 . 10 第 3 章 盲源分离算法 . 11 型假设及其可实现性 . 11 源分离的几种常用算法 . 12 分量分析 (. 13 于极大化非高斯性的 法 . 14 于极小化互信息的 法 . 15 于信息最大化的 法 . 15 于极大化似然的 法 . 16 法 . 17 合近似对角化 (法 . 19 法仿真实验及分析 . 20 章小结 . 25 第 4 章 盲源分离在图像去噪和图像分离中的应用 . 26 像处理概述 . 26 于盲源分离的图像去噪 . 31 像噪声分类和常用图像去噪方法 . 31 于盲源分离的图像去噪方法 . 33 真实验 . 34 同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 于盲源分离算法的图像分离 . 37 源图像分离模型 . 38 真实验 . 39 章小结 . 42 第 5 章 盲源分离在图像加密中的应用 . 43 像加密方法 . 43 于盲源分离的图像双重加密系统 . 43 真实验 . 44 章小结 . 50 第 6 章 结论与展望 . 51 论 . 51 一步工作的方向 . 51 致谢 . 53 参考文献 . 54 第 1 章 绪论 1 第 1 章 绪论 究的目的和意义 在现实生活和自然界中存在大量的信息需要人们去获得和认识，这些信息可能是预先己知的，也可能是事先未知的，人们通过对这些信息进行分析来获得认识和改造自然的能力。然而，信息的纷繁复杂也给人们的工作带来许多困难，人们很难判断信息的准确性和真实性。真实的信息隐含在大量虚假或无用的信息中，因此人们很容易被它们所迷惑从而做出错误的判断。信号与信息处理的任务就是从大量的数据中提取人们所希望得到的信息、提供给人们做出判断或通过一些复杂的逻辑由机器做出判断。 当信号的全部或 部分信息己知时，我们可以根据这些已知的信息通过一些合适的变换或滤波来尽可能地提取信号。因此许多信号处理的算法和准则都是针对一定的假设条件或应用背景推导的。盲信号处理 (是在儿乎没有可利用信息的情况下根据某些假设条件仅从观测到的信号中提取或恢复出信源信号的一种新的信号处理方法。本文工作就针对盲信号处理中的主要内容 法展开讨论 ， 它 是盲信号处理的一个重要分支 。 独立分量分析 (解决盲源分离 问题 的主要方法之一。 盲源分离，是 20世纪最后十年迅速发展起来的一个新研究领域，是人工神经网络 与统计信号处理以及信息理论相结合的产物，已经成为一些领域研究与发展的重要课题，特别是在生物医学工程、医疗图象、语音增强、远程传感、雷达与通信系统、地震勘探、地球物理、计量经济学、数据采掘等方面均具有突出的作用。 具有 很高的理论研究价值和 广阔的应用前景 。 因此，对于 盲源 分离的研究具有重大的理论和现实意义 。 源分离 研究现状和发展 趋 势 盲源分离 这一名词最早于 上个世纪八十年代在法国有人 提出。 盲源分离 1研究 在 整个八十年代 期间 只 在法国开展。 从上个世纪 九十年代 以 后， 盲信号 迅速成为 信号处理领域的一大研究热点。 1991年 ， 在 之后， 盲源分离 开始 在国际上 进行 研究。 1994年 式 提出了 给出 其 数学模型 。 在 许多 文献 中常常 把 而不加区分， 其 原因 在于 以 使用 很好 地 解决。 1995年应用信息论 准 则 结合神经网络 得到 了 一种 成功 地 解决了鸡尾酒会问题， 实现了对 十个人的声 音 进行 分离 。 这 在 信号处理的 学术界 引起了 巨 大 轰动， 极大 地 推动了 对 工程硕士学位论文 盲源分离及其在图像处理中的应用 2 研究的发展 和深入 。 1996年 总结了 以前人们 的研究成果。1997年 提出了 一种称之为固定点 算法 ( 经典的 1998年对 然梯度算法作了详细的分析。 2000年 以后 ， 对 究更加注重于 讨论 实际 问题 。 82004年 给出了 一种新 的 定点算法。 9在 2006年给出了 盲源分离 的一种修正的信息最大化算法。 102011年 研究了二阶统计的四元组 盲源分离问题根据时域混合情形可以分为欠定、适定和过定三类情形，上面介绍的是适定情形下的一些研究 工作 。 对于过定和欠定情形下的盲源分离问题，11999年 给出 过定和欠定下的自 然 梯度学习算法。 22005年 研究了 相关源信号的欠定混合情形 下的盲源分离方法 。 3研究了适定和欠定线性混合情形下 盲源分离 的 时域和时频相关方法。 42009年 研究了基于子空间表示的欠定盲源分离方法。 15研究了语音信号卷积型 欠定 混合的 盲源分离 方法。 62011年研究了语音信号瞬时型 欠定 混合 的 盲分离方法。 71999 年 研究了 卷积型混合的自适应盲分离算法。 82002 年研究了联合使用 盲源分离 与几何波束形成实现 了 几何 盲源分离 。2003 年， 9利用去相关的方法研究了卷积型混合的 盲源分离 技术，给出了去相关标准的充要性。 人 202005 年研究了利用因果 波器的自然梯度多通道盲解卷积 (语音分离方法。 1在 2006年研究了语音信号卷积型混合源信号分离的多通道盲解卷积方法。 2在 2009 年讨论了盲卷积型 离的一般化可辨识条件，其基于高阶统计量，并在平稳但不必是独立同分布的信号场合下适用。 在 盲源分离 技术的综述方面。 1998年 3综述了自适应 盲 信号处理的神经网络方法。 4在 1998年从统计特性 角度 研究了 盲源分离 技术。 25在 2005年综述了 6于 2005年 综述了鸡尾酒会问题。 27给出了卷积型混合 盲源分离 方法的综述。 国内 ， 何振亚、张贤达 等在 展初期也开始对其研究 。何振亚等人 28张贤达朱孝龙等 30 研究进行的比较深入 。 盲信号处理经过多年来的发展，已经成为一个比较全面的学科， 盲源分离 技术是现代信号处理领域 中一个重要的研究方向 ，得到了国内外专家学者的广泛 关注和 讨论。 源分离的应用 近年来，随着数字信号处理理论和技术的发展及相关学科的不断深入， 盲源第 1 章 绪论 3 分离 逐渐成为当今信息处理领域中最热门的课题之一 ， 并且已经在地震勘探、移动通讯、语音处理、阵列信号处理及生物医学工程等领域中显示出诱人的应用前景 。 特别是盲信源分离技术的不断发展和应用最为引人注目。下面介绍几种 盲源分离 的主要应用。 1、 生物医学领域 生物电子医学领域是 盲源分离 的发源地。生物医学上的源信号通常都很微弱、不稳定，并且容易被各种噪声和干扰所污染，并且通常还相互混叠在一起。盲源分离一个成功并且很有发展潜力的应用领域是用多电极装置获得的生物医学信号： 心电图 (肌电 图 (脑电图 (及脑磁图 (。 盲源分离在生物医学领域有的 具体 的应用 包括胎儿和母体心电图信号的盲分离，号的增强与分解， 据处理等。 2、 阵列信号处理领域 在阵列信号处理中，传感器从各个信号源处接收到信号，而源信号完全未知。在军事领域， 雷达的作用越来越重要。但是随着现代电子侦察技术的发展，传统的主动雷达为了探测目标必须发出电波信号，很容易因暴露自己而遭到攻击，所以使用受到很大限制。相反，近年来发展起来的被动雷达由于只接收信号而不发出任何信号就可以探测到目标，因而受到 国内外专家学者 的广泛重视。这种被动雷达工作的基本原理就是盲 源 处理技术。 3、 语音、图象处理领域 盲源分离 在语音处理领域最典型的应用就是声控计算机。在实际使用中，计算机所接收到的语音指令 一般 带有各种 噪声 ， 并且还可能存在其它 语音信号 (如有其他人在说话 )， 计算机需要识别出正确的语音命 令。 这又是盲 源 分离 的一个典型 应用。盲 源 分离同样可以应用于二维数据， 如图象的处理。在图象恢复和重构问题中，主要任务就是从被污染的图象中恢复出图象原本的面目。有各种可能造成图象的污染，如相机抖动、镜头变形、传输噪声迭加等等，这些因素都是未知的。 图像盲恢复是指只 是用退化原图和图像系统中的部分信息，从退化图像特征中估计原图和污损的过程。 到目前为止，盲 源 分离方法己在图象处理领域取得 了很大的成功。 盲源分离 在其它诸如地球物理信号处理、回波抵消、数据采掘、机械故障检测 、脸部特征识别 等方面也 有很大的应用价值 。 文的主要研究工作 盲源分离是盲信号处理中的重要内容，是现代数字信号处理的前沿方向。本文主要针对线性盲源分离算法 及其在图像处理中的应用 进行研究。 由于进行盲源同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 4 分离需要相关的信息论基础知识，因此 ， 第二章介绍和盲源分离相关的理论基础。 第三章将讨论 分析几种经典的盲源分离方法，并用仿真实验验证它们的有效性。 解决 题的主要工具之一，因此，首先介绍 型及其可辨识性，接着讨论分析 包括独立分量分析的固定点 算法 (联合近似对角化(内的几种经典的盲源分离方法，最后用仿真实验来验证两 种盲源分离算法的有效性。 第四章 分析研究图像处理中存在的问题，并用盲源分离的方法来解决 。 针对在视频图像传输过程中，多幅视频图像在传输过程中有可能经过混叠、衰减、叠加等混合情形使得接收到的是原来视频图像的线性组合，而不能对视频图像进行有效的接收，这就需要对这些接收的混合的视频图像进行处理， 这可以 使用盲源分离技术，将混合后的视频图像分离成原来未经混叠、衰减、叠加的源视频图像 。最后用仿真实验验证盲源分离方法可以很好地应用在视频图像传输的图像处理之中。 第五章继续深入研究了盲源分离在图像处理中的应用， 分析了 盲源分离 在 保障图像数据安全 即图像加密中的应用 。 首先介绍了传统的图像加密方法，接着研究分析了基于盲源分离的图像双重加密系统，即将盲源分离和传统的图像加密方法相结合，在传统的图像加密处理之前，对明文加密图像和噪声遮盖图像进行特殊混合，让这些特殊混合后的遮盖图像经过传统的图像加密解密过程进行处理，对经过传统加密解密处理后的图像再运用盲源分离算法对其进行处理，以恢复出最终的需要的明文机密图像并提高中间传输加密效果的目的。 最后一章对盲源分离及独立分量分析进行总结，同时指出其进一步的研究和发展方向。 第 2 章 盲源分离 的 理论 基础 盲信号处理问题 (以表示如下：源信号 经过 动态 混合 系统 后得到 观测信号， 在 仅知道 观测信号 情况下 要求找到一个 解混系统 来估计源信号。 一般 情况下， 多个 源信号同时经 过线性滤波 后并 相互混合 。对观测信号进行 盲 处理的目的就是 对解混系统进行估计进而 提取出源信号。 盲信号处理可以 概括为一些相关的问题：独立分量分析 (盲源分离 (盲信号提取 (。 由于盲源分离 和独立分量分析 经常涉及到随机变量的统计分析基础、高阶统计特性分析以及信息论基础等 32。因而 本 章 对 这些 内容做 简单的介绍。 率论和 统计 分析 基础 首先给出一些概率论和统计 分析中 的基本概念。 设随机变量 X 的概率密度函数为 ()则随机变量 X 关于函数 ()数学期望为 : ( ) ( ) ( )E h x h x p x d x (当 ()同的形式时， 可以 得到 一些 描述 随机变量 的 常用 数字特征。 若 ()kh x x ，可以得到随机变量 X 的 k 阶原点矩： ( ) ( )kx k x p x d x (一阶原点矩 表示的是 随机变量的 期望 (x)， 二阶原点矩 表示的是 均方 ( 随机变量 X 的 k 阶中心矩 表示为 ： ( ) ( ) ( )k x p x d x(二阶中心距表示 的是 随机变量的 方差 ( 2x)，x称为标准差。 当 2k 时的原点矩或中矩成为随机变量的高阶矩。 非高斯性分布的随机变量在现实世界中是普遍存在的，用基于高斯性假设的随机信号分析方法去处理非高斯性随机信号一般不能获得好的结果，只能是一种近似。因此有必要研究非高斯随机变量的高阶统计特性，以便更彻底地了解非高斯 分布的随机变量。高阶矩和高阶累积量是描述非高斯随机变量统计特性的基本工具，但高阶累积量较之高阶矩具有更优良的性质 。盲源分离中就有很多算法基于高阶矩。下面对高阶累积量做一个简单的介绍。 首先，给出 连续 型 随机变量 X 的 特征函数x的定义如下 ： 同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 6 ( ) ( )s x s xx s E e p x e d x (X 的 k 阶 原点矩 就 可以写为： 00 ( ) | | ( )kk k s s p x x d (因此，也称 随机变量 X 的矩的生成函数。 随机变量 X 的 k 阶累积量定义为： 00( ) ( ) | |kk xk x s s s ， ( ) ) (通常也称 ()x s为随机变量的累积量生成函 数。 对于 随机向量12( , , , ) Xx，它 的 特征函数 为： 1 1 1( , , ) e x p ( ) x N N NE j x x (11( , , ) l n ( , , )x N x N (对应地， 随机向量 x 的 k 阶累积量 定义为： 1111101( , , )( , , ) ( ) |k X j (对于零均值的随机向量，若1 2 3 4X X X X ，随机向量退化为随机变量 ，其 2、 3、 4 阶累积量分别为 ： 222 ( ) E X (33 ( ) c X E X(4 2 24 ( ) 3 ( )c X E X E X(也就是说，零均值随机变量的 2 阶累积量即为方差， 3 阶累积量是 3 阶原点矩 ，它可以用来描述随机变量的概率密度函数与均值之间的偏离程度 (4 阶累积量可以用来描述随机变量概率密度函数的陡峭程度 (随机向量的相关性通常可以用两两随机变量之间的协方差构成的协防差矩阵来描述。因而， 随机变量的二阶统计特性 可以揭示 随机变量间 的 相关 性 ，随机变量之间 的 不相关 仅仅 是二阶统计意义上 的。 但是， 在很多 盲源分离的实际 情况中 ， 仅仅用 去相关还不能揭示多维 数据 信号之间 的本质特征，需要从观测信号中分离出相互独立的源信号。 随机变量之间 是相互 独立 的 ， 指的是 随机变量的联合概率密度 是可分的，即 ： 1 1( ) ( , , ) ( )NN i p X X p x x(其中， () 当随机变量相互独立时，随机变量之间是彼此互不相关的。但是随机变量之间互不相关并不意味着它们是相互独立的。 因此，要 确定随机变量间是否相互独第 2 章 盲源分离的理论基础 7 立，需要用到随机变量的所有高阶统计特性。 这里，值得一提的是，若 随机变量 服从 高斯分布 ， 那么 不相关性和独立性相互等价。由于高斯随机变量完全由其一 、 二阶统计特性所确定，所以传统的随机信号分析中总是假设随机变量 服从 高斯分布。 为了 形象地说明不相关性和独立性之间的关系，这里 用二维随机向量的 联合散点 图来说明。假设1从 0,1 区间上 均匀分布且相互独立的 随机 变量。令向 量12s， 通过一个旋转矩阵 R ，这样便 可以得到 x 可以发现1不相关但却 不相互 独立。从图 2 2对比 可以看出，独立变量的 二维联合散点 图更加分散、 更加 均匀 ， 也就是说 联合概率密度 是可分的 ，1 2 1 2( , ) ( ) ( )p s s p s p s。 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 100 . 10 . 20 . 30 . 40 . 50 . 60 . 70 . 80 . 91 . 2 0 . 4 6 0 . 8 1 1 . 2 1 . 4 1 . 6 1 . 800 . 0 50 . 10 . 1 50 . 20 . 2 50 . 30 . 3 50 . 4立源12点 图 图 22 , 点 图 息论基础 在研究盲源分离和 独立分量分析算法时，需要构造一个代价函数， 用于描述离结果之间相互独立程度 的 代价函数 。这些 都与随机变量的信息熵、互信息等概念之间 密切 相关，因此 有必要 介绍与 切相关的信息论基础 32。 随机变量可以是连续的也可以是离散的。 离散随机变量值范围在集合12 , , , nA a a a中。集合 A 中各个元素那么息熵 定义为： 1( ) l o g ( ) l o g ( )nn i i E p p p (对于确定性事件 ( 1或者不可能事件 ( 0而言，其信息熵为零。 熵具有可加性、极值性和凸性等一些重要且有用的性质。 随机变量 X 和 Y 分别在离散集合12 , , , nA a a a和12 , , , nB b b b中取值， 它们的 联合概率密度 函数 为 ( , )ij n i m jp p X a Y b ， 1, ,， 1, ,，那么 X 和 Y 的 联合熵 为： 同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 8 ,( , ) l o g ( )( ) ( | ) ( ) ( | )i j i Y p H Y X H Y H X Y (式中 ， ( | )H Y X 和 ( | )H X Y 为条件熵， 它们 表示 的是 一个随机变量 在 另一个随机变量取值已知 时 的信息熵。 这样便可以定义 随机变量 X 和 Y 的 互信息 ( ; )I X Y ： ( , ) ( ) ( | ) ( ) ( | )( ) ( ) ( , )I X Y H X H X Y H Y H Y H Y H X Y (熵的极值性 告诉我们 ，无条件熵必定大于或等于条件熵，因而互信息的值满足关系式： 0 ( , ) m i n ( ) , ( ) I X Y H X H Y (当随机变量 X 和 Y 相互独立时， 联合熵 是可分的，因此有 ， ( , ) ( ) ( )H X Y H X H Y (从而 ， ( , ) ( ) ( ) ( , ) 0I X Y H X H Y H X Y (互信息 是 一个非常重要 且有用 的概念，可以用 互信息 来度量随机变量之间相互独立的程度， 它 是 盲源分离 算法的重要依据。 一维连续信号源可以用 连续随机变量来表示，取值范围可以使某个有限的区间也可以是整个实数轴。连续随机变量的熵可以借助于离散随机变量熵的定义而得到。 连续随机变量可以 用离散随机变量来逼近，可以认为是离散随机变量的极限形式。 设 X 的取值区 间为 ( , ) ， 概率密度函数为 () 把 区间 ( , )割成 n 个 等宽的小 区间， 则 ( ) /b a n ，那么 ；连续随机变量 X 处在第 i 个小区间的概率 约 为： : ( )p x x x 的信息量为： ( ) : l o g ( )iI x p x 它的 平均 信息量为： ( ) : ( ) l o g ( ( ) )( ) ( l o g ( ) ) ( ) ( l o g )i p x p xp x p x p x (当 n ， 0 ， 时， (中的 第二项将趋于无穷大，这说明连续随机变量的潜在信息量是无穷的。但是在实际中， 一般 丢掉 (中第二项 来 定义的连续随机变量的熵为： 第 2 章 盲源分离的理论基础 9 ( ) ( ) l o g ( ( ) ) p x p x d x (这样 定义的熵 具有相对性 ， 因而也称其为 称为连续随机变量的 相对 或微分熵。 同样 可以定义多个随机变量的联合微分熵 、 条件微分熵 和互信息等概念 。 以下 介绍两个连续随机变量联合微分熵和条件微分熵的定义。两个 以上的 随机变量的情形可以 进行 类推。 X 和 Y 的联合微分熵 ( , ) Y 定义为 ： ( , ) ( , ) l o g ( ( , ) )c X Y X Y p x y p x y d x d y (X 和 Y 的条件微分熵 ( | ) Y 定义为 ： |( | ) ( , ) l o g ( ( | ) )c X Y X Y p x y p x y d x d y (X 和 Y 之间的 互信息 定义为 ( , ) ( , ) ( ) ( | ) ( ) ( | )c c c Y I Y X H X H X Y H Y H Y X (假设 X 经 ()g 变换后的输出为 ()Y g X 。 若 X 是 离散随机变量， 并且 ()g 是单调函数， 那么 ： ( ) ( )( | ) ( | ) 0( , ) ( ) ( )H Y H X H X Y H X H Y(若 X 是 连续随机变量，则经过可逆函数变换后，输入输出熵一般都 是不相等的 。输出随机变量 Y 的熵： ( ) ( ) l o g ( ) ( ) l o g | | c Y Y c p y p y d y H X E J (第二项为 l o g | | ( ) l o g | ( ) | p x g x d x (只要雅克比行列式 |， 那么 连续随机变量变换前后的熵不相等。 利用 度 的概念 ，可以把互信息解释为一种距离。 随机变量 X 和 Y 的概率密度函数分别为定义L)散度 为： ()( | | ) ( ) l o g() X p p p (可 以 把 度看成 是 两个概率密度之间的一种距离，因为它总是非负的，当且仅当这两个概率密度相等时它等于零。 但是 度不是一个真正的距离，因为它不是对称的。 同济大学 工程硕士学位论文 盲源分离及其在图像处理中的应用 10 高斯性度量 前文已经提到零均值随机变量的 4 阶累积量，可以用其定义 零均值随机变量X 的 峭度 )X ： 4 2 2k u r t ( ) 3 | |X E X E X (若 假设 X 是已经被标准化了的，其方差为 1。这样 其 峭度定义为 4 3 (对于一般非零均值的情况，峭度的定义则略为复杂一些。峭度实际上就是四阶矩的一种规范化形式。峭度 可以用来 描述随机变量概率密度函数的陡峭 程 度 或者说是随机变量的非高斯性 。随机变量具有高斯分布时， 其 峭度为 0； 具有超高斯分布 时 ， 其 峭度为正值；具有次高斯分布 时 ， 其 峭度为负值。峭度的绝对值越大 表示其 非高斯 性越强。 可以简单地从微分熵得出一种新的度量，称为负熵，它对于高斯变量是零，并且永远都是非负的。 若随机变量 Y 的概率密度函数且和随机变量 X 具有相同的期望和协方差矩阵 ，则随机变量 X 的 负熵 ()度： ()( ) ( | | ) ( ) l o g()( ) l o g ( ) ( ) l o g ( )( ) ( ) X D p p p p d p p H X (其中 ()的值可以 通过下式 计算出来 ： 1( ) l o g | d e t | ( 1 l o g 2 )22G (由负熵的定义可知 负熵 总是 非负的。而且，它等于零当且仅当 X 服从高斯分布。 在方差相等的条件下，随机变量的非高斯性越强，它的负熵就越大。从而可以用负熵来描述随机变量非高斯性的程度。 由于涉及到对随机变量概率密度的估计， 其 计算非常困难 。因此 在使用负熵时 ， 通常对其进行近似计算。 目前主要采用对概率密度函数进行 3 2 211( ) ( ) k u r t ( )1 2 4 8N X E x x(章小结 本章介绍了盲源分离的理论基础，首先介绍了概率论和统计分析基础，接着介绍了信息论基础和随非高斯性的度量的相关知识。第 3 章 盲源分离算法 11 第 3 章 盲源分离算法 本 章首先概括地介绍盲源分离的几类分离算法 。 已有的盲源分离方法都 利用了源信号统计独立的假设，主要的方法 都 基于信息理论和高阶统计 特性 。 然后介绍盲源分离模型 假设 及其可辨识性， 最后详细分析介绍 以非高斯性 作 为代价函数的 固定点 (法 和联合近似对角化 (法 。 型 假设 及其可 实现 性 盲源分离就是要在源信号和传输信道特性未知的情况下，根据源信号的统计特性，从观测信号中恢复或者分离出源信号。“盲”有两层含义，即源信号未知且混合过程也是未知的。盲源分离按混合方式可以分为瞬时型混合和卷积型混合两种，由于卷积型混合比瞬时型混合更为复杂，本文仅 讨论 瞬时型混合模型。 人们对 盲源分离 ( 独立分量分析 (常 不加区分。实际