（信号与信息处理专业论文）独立分量分析及其在图像去噪中的应用研究.pdf

study on independent component analysis method and its applications to image denoising thesis submitted to nanjing university of posts and telecommunications for the degree of master of engineering by du juan supervisor: prof. qiu xiaohui april 2013 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ i 摘要摘要 独立分量分析(independent component analysis，ica)是新近发展起来的一种非常有效的 盲源分离技术。因具有优异的盲辨识、表示能力和特征提取，在实际应用领域得到广泛关注， 特别是在生物医学信号处理、远程通信、语音信号处理、图像处理等领域具有良好的应用前 景。在过去短短的十几年里，相关的理论和算法得到快速的发展，并涌现出许多有效的算法。 目前，ica 已经成为多个学科领域的研究热点。 本论文对 ica 算法的理论进行详细的分析与研究，从理论上分析 ica 经典算法的不足， 提出一种改进的 ica 算法。并研究 ica 方法在图像去噪中的应用，且提出一些改进的方法。 本文主要的贡献及创新点包括以下几个方面： （1）归纳 ica 的基本原理，从信息论的角度推导出衡量 ica 独立性的度量准则，对现有的 ica 算法进行整理，并总结 ica 求解的一般过程和比较各算法的性能。 （2）从理论证明 ica 经典算法存在局部最优的问题。针对这一问题，在基于粒子群优化的 ica 基础上加入混沌遍历，提出一种基于粒子群优化的 ica 的算法。通过仿真实验，表明该 算法的性能优于一般的 ica 算法。 （3）基于 ica 变换的图像去噪是采用软阈值收缩函数去噪，往往会使图像边缘模糊及特征 损失，针对此对收缩函数进行改进，使之有效的避免上述的现象。 关键词关键词: 独立分量分析独立分量分析，混沌局部搜索混沌局部搜索，粒子群粒子群优化优化算法算法，图像去噪图像去噪 ii abstract independent component analysis (ica) is a recently developed a very effective blind source separation, has excellent blind identification, capacity and feature extraction, widespread concern in many practical applications. ica not only has important theoretical but also high value, especially in the field of biomedical signal processing, telecommunications, speech signal processing, image processing has a broad application prospects. many literatures on ica were published and lots of algorithms were proposed during the past ten years in a large number of journals and conference proceedings. currently, ica has become a hot research topic. in this thesis, the principle and algorithms of ica are researched in detail. theoretical analysis of the lack of the classic ica algorithm, proposed an improved ica algorithm. and do some researches in image denoising which is based on ica. contribution and innovation of this paper include the following aspects: (1) arranged the basic principles of the ica. meanwhile derived from the perspective of information theory the metric measure ica independence standards, and summed up the general process of ica solution, also compared the performance of the algorithm. (2) ica classical algorithm local optimum problem that is theoretically proved, as to this issue, this paper presents an algorithm based on chaotic particle swarm optimization ica. in the end, simulation results show that the algorithm is better than the others. (3) ica transform image denoising based denoising using soft threshold shrinkage function, and tend to make the edges of the image is blurred and characteristic loss. improvements on the systolic function can effectively avoid the fuzzy image edge and feature loss phenomenon. key words: independent component analysis, chaotic local search, particle swarm optimization, image denoising iii 目录目录 专用术语注释表 . 1 第一章 引言 . 3 1.1 独立分量分析的研究背景及意义 . 3 1.2 独立分量分析的研究历史 . 4 1.3 独立分量分析研究的现状 . 5 1.3.1 常见的独立分量分析算法 . 5 1.3.2 独立分量分析研究的趋势 . 6 1.3.3 独立分量分析在图像处理中的应用. 7 1.4 本文的主要研究内容 . 8 第二章 ica 的基本理论 . 9 2.1 ica 的数学模型 . 9 2.1.1 ica 的基本模型. 9 2.1.2 ica 的含噪模型. 10 2.1.3 ica 的卷积模型.11 2.2 ica 独立性的度量准则 . 12 2.2.1 随机变量独立性的概念 . 12 2.2.2 非高斯性 . 13 2.2.3 互信息 . 17 2.2.4 ica 的最大似然估计方法 . 18 2.3 ica 的求解过程 . 20 2.3.1 ica 的预处理 . 20 2.3.2 ica 中常用的优化方法. 21 2.4 本章小结 . 23 第三章 ica 的经典算法 . 24 3.1 infomax 算法 . 24 3.2 fastica 算法 . 26 3.3 实验结果及比较 . 27 3.4 本章小结 . 30 第四章 基于混沌粒子群优化的 ica. 31 4.1 局部极值点存在性的证明 . 31 4.2 全局优化算法 . 34 4.3 混沌粒子全优化算法 . 35 4.3.1 混沌模型 . 35 4.3.2 粒子群优化算法 . 37 4.3.3 混沌粒子群优化算法 . 38 4.4 基于混沌粒子群优化的 ica. 39 4.4.1 基于粒子群优化的 ica. 39 4.4.2 本文提出的基于混沌粒子群优化的 ica . 40 4.5 实验结果及比较 . 41 4.6 本章小结 . 44 第五章 基于 ica 的图像去噪 . 45 5.1 引言 . 45 5.2 图像去噪方法简述 . 45 5.2.1 噪声分类及表示 . 45 iv 5.2.2 图像去噪的经典算法 . 46 5.2.3 图像评价方法 . 49 5.3 基于 ica 变换的图像去噪方法. 52 5.3.1 ica 变换的基向量. 52 5.3.2 非高斯随机变量的最大似然去噪. 53 5.3.3 基于 ica 的去噪方法. 56 5.3.4 改进的 ica 的去噪方法. 56 5.3.5 实验结果及比较 . 59 5.4 本章小结 . 61 第六章 总结与展望 . 62 参考文献 . 63 附录 1 程序清单 . 66 附录 2 攻读硕士学位期间撰写的论文 . 67 致谢 . 68 南京邮电大学硕士研究生学位论文 专用术语注释表 1 专用术语注释表专用术语注释表 符号说明：符号说明： 2 方差 i 单位矩阵 ()l w 目标函数 ( )p x 概率密度函数 , ( , ) x y px y 联合概率密度 e x 数学期望 ( , )cov x y 互协方差 ( )f x 分布函数 (0,1)n 均值为 0，方差为 1 的高斯分布 ()h x 熵 ( )j x 负熵 ( )kurt x 峭度 xi 互信息 j 雅可比矩阵 y 评价函数 相似系数 ( | )e x y 条件期望 var( | )x y 条件方差 n 噪声 均值 )(x 基本小波 , ( ) a b x 一组小波基函数 , x y 内积 , j k c 变换系数 mse 均方误差 nmse 归一化的均方误差 mae 平均绝对误差 nmae 归一化绝对误差 pmse 峰值均方误差 psnr 峰值信噪比 isnr 改进峰值信噪比 南京邮电大学硕士研究生学位论文 专用术语注释表 2 缩略缩略词词说明：说明： bsp blind signal processing 盲信号处理 bss blind signal separation 盲信号分离 cls chaotic local search 混沌局部搜索 clspso chaotic local search by particle swarm optimization 混沌粒子群优化 fastica fast fixed-point algorithm 快速定点独立分量分析方 法 ica independent component analysis 独立分量分析 jade joint diagonalization estimation 联合对角化法 pca principal component analysis 主分量分析 pso particle swarm optimization 粒子群优化算法 som self-organizing maps 自组织映射 南京邮电大学硕士研究生学位论文 第一章 引言 3 第一章第一章 引言引言 1.1 独立分量分析的研究背景及意义独立分量分析的研究背景及意义 在当今信息社会中，信号处理扮演着越来越重要的角色，对人类社会的科学研究、国防 事业、经济建设、日常生活等方面有着卓越的贡献。特别是在核磁共振成像、脑磁波扫描、 脑电图仪、无线通信等领域发挥着巨大的作用。 盲信号处理（blind signal processing，bsp）是 20 世纪后期迅速发展起来的一个新型课 题，涉及到的理论有：人工神经网络、统计学、信息理论以及最优化理论。bsp 是在源信号、 信道传输特性未知的情况下，仅对检测信号（或观测信号）进行分析而获得信号传输通道特 性及源信号。bsp 作为一门交叉学科具有重要的理论和应用价值，现已成为当今学术界的研 究热点之一。 bsp 主要包括盲辨识、 盲解卷积 （blind deconvolution)/均衡 （blind equalization） 、 盲信号分离（blind signal separation，bss）/提取（blind signal extraction，bse）等，其中 bss 为 bsp 的一个难点与热点。 独立分量分析（independent component analysis，ica）是在盲信号处理中发展起来的一 种多维的信号处理方法，是解决 bss 的最为有效工具之一1。ica 因具有优异的盲辨识、表 示能力和特征提取，在生物医学信号处理、远程通信、语音信号处理、图像处理等领域都有 着广泛的应用。 在数学领域中，ica 是一种线性变换方法，经过该变换后的各分量之间相互独立。在信 号处理领域中，ica 不同于基于二阶统计量的传统方法，而是一种基于高阶统计量的信号处 理和分析的方法2-4。主分量分析（principal component analysis，pca）是典型的基于二阶统 计量的传统方法，该方法只考虑信号二阶统计特性，分解出来的各分量是相互正交；而 ica 考虑到信号的高阶统计特性，分解出来的各分量是相互独立的。因此，具有更好的分离效果。 虽然从数学和信号处理两个视角对 ica 的理解不尽相同，但目标是一致的，在一定条件下它 们近似等价5。 ica 是人工神经网络、信息论、最优化理论等学科相互交叉的产物，具有重要的理论和应 用价值，在无线通信、语音处理、图像处理和生物医学等领域具有良好的应用前景。近十年， ica 的相关理论和算法研究都得到较快的发展，其中可解性以及求解原理等基本问题己经在 一定程度上得到解决，并提出许多有效的算法。ica 发着越来越重要的作用，现已成为人工 神经网络、信号处理等领域的一个研究热点。 南京邮电大学硕士研究生学位论文 第一章 引言 4 但目前 ica 现有的算法和理论本身并非尽善尽美，还存在一些缺陷。在实际应用中，经 常会发现混合信号的分离效果并不令人满意，可能得到伪解。本论文主要针对 ica 的基本理 论及其在图像处理中的应用展开工作，根据现有的 ica 算法存在局部最优的问题，将其与具 有全局最优的混沌粒子群算法结合起来，应用于图像去噪等方面。 1.2 独立分量分析的研究历史独立分量分析的研究历史 独立分量分析的思想最早起源于 20 世纪 80 年代初，由几位从事神经生理方面的法国学 者进行这方面研究的67。当时，ica 的研究主要集中在法国学者中，在国际上影响很小。到 了 20 世纪 80 年代中期，少量的关于 ica 的介绍开始出现在国际神经网络会议中。在另一个 相关领域，高阶谱分析中，j-f.cardoso 和 p.common 于 1989 年发表了 2 篇 ica 方面的早期 论文89。j-f.cardoso 在文献10将其应用高阶累积张量，后来该方法命名为特征矩阵联合近 似对角化(joint approximate diagonalization of eigen-matrix，jade)的算法。1991 年，j.herault 和 c.jutten 为解决两个源信号混合的盲源分离 （blind source separation， bss） 问题， 将 hebbian 学习准则和神经网络模型相结合，提出了的 h-j 算法11，但该算法是建立在原信号是相互统 计独立、已知源信号的统计分布特征且是亚高斯这两个条件，解决 bss 仍然存在着一定的困 难。不久 e.sorouchyari 和 p.common 等人在文献1213中研究该算法的稳定性、收敛性。 20 世纪 80 年代，ica 的研究始终没有出现高潮。直到 1994 年，法国学者 common 给出 ica 变换的的数学定义，并系统的阐述 ica 的理论14；定义 ica 的对比函数（衡量变换后各 个信号之间相互独立程度的指标函数） ， 提出基于最小互信息的独立分量分析方法。 至此， ica 有明确的理论依据。1995 年，基于信息最大化(informax)的独立分量分析算法1516的提出， 标志着 ica 进入了一个新的发展阶段，从此引起广泛的关注。接着，amari 为提高 informax 收敛速度与统计有效性，在此基础上提出自然梯度的概念1718；lee 等人在 infomax 算法的 基础上，提出适用于亚/超高斯分布的源信号的盲分离算法19。1997 年，a.hyv rine 和 e.oja 等人提出快速定点独立分量分析方法 （fast fixed-point algorithm） ， 即经典的 fastica 算法20。 该算法的思想源于非高斯极大似然估计，是以输出信号的负熵最大化原则，采用牛顿近似迭 代算法来实现盲源分离的。 因该算法运算效率很高， 掀起 ica 理论研究和应用的又一新高潮。 自上世纪 90 年代中期以来，ica 得到了迅速的发展，大量关于 ica 的论文发表在各会 议与期刊。1999 年和 2000 年相继在法国的 aussois、在芬兰赫尔辛基召开 ica 的第一届、第 二届国际研讨会， 会议议题集中于 ica。 此时 ica 己成为一个比较成熟的研究领域。 随着 ica 的研究不断的深入和发展，ica 在处理多维数据处理方面越来越具有强烈的优越性，同时涉 南京邮电大学硕士研究生学位论文 第一章 引言 5 及到领域越广泛。 国内对 ica 的研究，虽然起步比较晚，在其理论和应用方面都取得很大的进展。张贤达 是最早将有关 ica 的基本理论引入国内的研究者，并给出一些相关 ica 的算法21；何振亚等 人在 infomax 的基础上，提出一种能分离超/亚高斯混合信号的新算法22等。目前国内关于盲 信号处理的研究内容比较广泛。 1.3 独立分量分析研究的现状独立分量分析研究的现状 1.3.1 常见的独立分量分析算法 ica 问题的求解通常可看作一个最优化问题，先确定衡量独立性准则的目标函数（如： 最小化互信息、最大化非高斯性、信息最大化等，这些目标函数建立的基础和出发点不尽相 同， 但在一定条件下它们是等价的 23） ，再采用优化算法（如：梯度法、牛顿法、蚁群算法 等24）来优化目标函数，求出最优解。该最优解是各个源信号的最大程度地逼近。ica 算法 可以用下面的方程来描述： ica 算法=目标函数十优化方法 ica 算法的收敛速度一般取决于优化方法的选择，而一致性则取决于目标函数的选取。 目前 ica 常用的方法有： （1）基于信息最大法（最大熵法） 信息最大法（infomax） 25算法以信息最大化为目标函数，采取非线性函数来间接获得高 阶累积量。infomax 算法能够有效的分离出超高斯分布的信号，amari 等人又提出自然梯度和 极大似然估计方法17，使之能够分离亚高斯分布的混合信号。但该类算法的计算量很大、收 敛速度慢、对非线性函数的选择较为敏感，在实际应用中还是有很多的局限性。 （2）最小互信息方法 互信息表达了信息源独立的关键性质，是 ica 算法中一个规范的目标函数2627。当且仅 当各随机变量相互独立时，互信息的值等于 0。通过寻找一个线性变换，使随机变量之间的 互信息最小，从而估计出独立分量。互信息一般用随机变量的熵之和的形式表示，在优化的 过程中需要对随机变量的熵估计，而熵的估计是一个非参数估计，须采用某种方法直接逼近 熵。目前常用的方法有：利用高阶累计量的方法和基于信息论上的极大熵原理的方法。因高 阶累积量的有限样本估计器对异常值非常敏感，容易出错。基于信息论上的极大熵原理的方 法，需要估计分量的概率密度，运算量较大。一般最常用的优化方法为梯度法、牛顿法，虽 南京邮电大学硕士研究生学位论文 第一章 引言 6 然效率高但只能给出局部最优解，不能给出全局最优解。 （3）极大似然估计法 极大似然估计算法是用观测信号来估计源信号概率密度函数中的未知参数向量28。在信 噪比较高的情况下，采用参数化概率密度函数估计找出参数向量，使该参数生成的概率密度 函数与观测信号的差别最小。该算法的主要缺点为需输入信号概率分布函数的先验知识。 （4）fastica 算法 fastica 算法，又称不动点(fixed-point)算法，是由 hyvarinen 等人提出29，为目前较流 行的 ica 算法。该算法最大的优点是不需要设置学习速率，收敛速度快于一般的神经网络型 算法。该算法是从三个不同的非线性函数来中选出其中一个函数作为信息熵的近似，选定后， 在分离过程中该函数不可更改。该算法对源信号不具有自适应性质、对初始值的选取比较敏 感，且无法保证得到均匀的收敛速度及收敛的稳定性。对于目前越来越多的在线数据处理和 某些海量数据处理，fastica 需进一步提高 ica 算法的性能、收敛速度、减少算法的计算量 等。 （5）基于粒子群优化的 ica 粒子优化算法因其简单、易于实现、且是智能的，现已广泛的应用到独立分量分析中。 基于粒子群优化的 ica 其基本思想76是将 ica 中的目标函数作为粒子群优化的适应度函数， 根据一定的准则不断的更新粒子的位置，使得目标函数取得极值，此时各粒子的位置为全局 最优位置，就是分离矩阵的最优解。粒子群优化算法容易早收敛，陷入局部最优。针对这一 现象，需要进一步改善基于粒子群优化的 ica 算法的性能。 1.3.2 独立分量分析研究的趋势 目前 ica 的研究主要包括 ica 基本模型理论的研究和 ica 基本模型的拓展。 ica 理论的 主要内容有：目标函数的近似度、优化算法的性能分析等，其中研究的热点为：算法的可行 性、收敛性和唯一性等。ica 算法的可行性和唯一性的研究已经比较成熟，而算法的收敛性 上还需进一步研究。 在 ica 基本模型中， 一般要求观测源个数和独立源个数相等， 源信号之间统计相互独立、 线性混合、混合过程中没有噪声项，或者仅包含一个高斯噪声项等。实际环境中的模型往往 并不满足这些要求，导致 ica 的应用效果不太理想。需对 ica 的基本模型进行扩展，使之能 够应用到复杂的环境中。 南京邮电大学硕士研究生学位论文 第一章 引言 7 ica 研究的主要方向包括： （1）含有噪声 ica 在实际环境中，噪声是不可避免的，含有噪声 ica 的模型更能适应实际的应用。目前含 噪声的 ica 算法主要是针对独立的高斯噪声3031，如稀疏编码、六阶累积量、去偏等。噪声 种类繁多，处理起来仍很困难。 （2）欠定 ica 欠定 ica 是指观测信号个数少于独立源个数，目前解决的方法主要有利用源信号的稀疏 性来处理3233；或采用高阶统计量进行处理，如四阶累计量34等。 （3）非线性 ica 在实际应用过程中，观测信号常常是源信号的非线性混合，使用线性 ica 进行处理时就 会存在着一定的误差，甚至会导致算法不可以使用。当前的研究主要包括3536：唯一性和存 在性分析、 自组织映射(self-organizing maps, som)方法、 后非线性模型(post nonlinear model) 分析、基于多层传感器的整合学习等。非线性 ica 模型可用于分析数据的局部特征。 （4）算法的收敛性。 目前 ica 现有的算法和理论本身并非尽善尽美，还存在一些缺陷。在实际应用中，经常 会发现混合信号的分离效果并不令人满意，可能得到伪解。为提高算法稳定性，可将 ica 与 蚁群算法、遗传算法等具有全局收敛性的优化算法结合起来。 1.3.3 独立分量分析在图像处理中的应用 ica 在许多领域都得到广泛的应用，尤其是在地球物理数据处理、医学信号分析与处理、 语音处理、图像处理以及无线通信等方面3738。ica 在图像征提取3940、图像去噪4142、图 像分离4344等方面有着卓越的贡献， 随着 ica 算法不断的改善， 图像处理中的作用越发显著。 将 ica 应用到图像去噪中一般可以从两种不同的思路出发。一种是从数学的角度出发， 类似于传统的去噪方法， 将 ica 看作一种线性变换。 具体实现的方法是先对噪声图像进行 ica 域变换，接着通过收缩函数对得到的每个独立分量进行去噪处理，最后逆变换得到去噪后的 图像。另一种是从信号处理的角度出发，将含噪图像视作噪声和源图像的混合，并将噪声和 源图像当作两个相互独立的信息源来处理，用盲源分离的方法分离出独立源噪声以达到去噪 效果。该方法的主要困难是观测向量只有一个含噪图像，需要分离出两个相互独立的噪声和 源图像，将其转化为欠定的 ica 问题，即问题的关键在于如何解决欠定的 ica。 南京邮电大学硕士研究生学位论文 第一章 引言 8 1.4 本文的主要研究内容本文的主要研究内容 第一章：介绍 ica 问题的意义、研究历史、现状以及应用。总结 ica 目前常用的方法、 他们的缺点及 ica 的研究趋势。 第二章：ica 的储备知识，即对相关