资源目录
压缩包内文档预览：(预览前20页/共49页)
编号：155459184
类型：共享资源
大小：5.64MB
格式：RAR
上传时间：2021-10-17
上传人：好资料QQ****51605
认证信息
个人认证
孙**（实名认证）
江苏
IP属地：江苏
20
积分
- 关 键 词：
-
聚焦
图像
融合
算法
研究
- 资源描述：
-
多聚焦图像融合算法研究,聚焦,图像,融合,算法,研究
- 内容简介：
-
西北工业大学明德学院本科毕业设计论文本科毕业设计论文题 目 多聚焦图像融合算法研究 专业名称 自动化 学生姓名 李 帅 指导教师 王红梅 毕业时间 2014年6月 设计论文毕业 任务书一、题目多聚焦图像融合算法研究二、指导思想和目的要求本题目来源于科研，主要研究多聚焦图像的概念，学习多聚焦图像的常用融合算法，进而实现相关算法。希望通过该毕业设计，学生能达到：1利用已有的专业知识，培养学生解决实际工程问题的能力；2锻炼学生的科研工作能力和培养学生团队合作及攻关能力。三、主要技术指标1学习多聚焦图像的特点；2研究多聚焦图像的融合算法；3实现多聚焦图像的融合。四、进度和要求第01周-第02周：参考翻译英文文献；第03周-第04周：学习多聚焦图像的特点；第05周-第08周：研究多聚焦图像的融合算法； 第09周-第14周：编写多聚焦图像的融合程序；第15周-第16周：撰写毕业设计论文，论文答辩。5、 主要参考书及参考资料 1.张德丰.MATLAB数字图像处理M.北京：机械工业出版社，2012. 2. 敬忠良. 图像融合理论与应用M.北京：高等教育出版社，2010.3. 郭雷.图像融合M. 北京：电子工业出版社，2011.4. 孙巍. 孙巍. 像素及多聚焦图像融合算法研究D.长春：吉林大学，2008.5. 马先喜. 多聚焦图像融合算法研究D.无锡：江南大学，2012.学生 李帅 指导教师 王红梅 系主任 _史仪凯_摘 要 图像融合是将同一对象的两个或多个图像按一定规则合成为一幅图像。其关键是抽取每幅源图像中的清晰区域，并将这些清晰区域以一定的规则融合起来，从而生成一幅清晰且信息量完整的融合图像。多聚焦图像融合的具体目标在于提高图像的空间分辨率、改善图像的几何精度、增强特征显示能力、改善分类精度、替代或修补图像数据的缺陷等。本文概括了多聚焦图像融合的一些基本概念和相关的基本知识，对DWT分解的层数和方向子带的个数对融合结果的影响进行了初步的研究。并就加权平均法、单层DWT分解、二层及二层以上DWT分解对多聚焦图像的融合进行了算法研究和编程实现，并对这些方法的仿真结果进行了比较分析。仿真结果表明，基于空间域的加权平均法的融合效果非常一般，在图像的细节表现力方面存在很大的不足；而基于变换域中的小波变换的低频取平均、高频取绝对值最大的融合算法在小波分解层数达到三层时，所得融合图像的性能指标，如信息熵、空间频率和清晰度都较为理想，达到了预期目的。可见多层DWT分解融合方法具有较高的应用价值，可以将其用于图片的判读分析，如指纹识别、人脸鉴别、不完整图片的复原等。关键词：图像融合，多聚焦图像，加权平均，DWT ABSTRACT Image fusion is two or more images of the same object according to certain rules of synthesis of an image. The key is to extract every source image in a clear area, and these rules must be clear and the region to come together. The amount of information to generate a clear and complete fusion image is its ultimate goal.Multi-focus image fusion specific objectives is to improve the spatial resolution of the image, to improve the image geometric accuracy, enhanced features display capabilities, improve classification accuracy, replace or repair the defects and other image data.This paper summarized some basic concepts and knowledge of multi-focus image fusion and did a preliminary study about the impact of DWT decomposition layers and the number of directional subbands related to multi-focus fusion results. And the weighted average method, single DWT decomposition, second floor and the second floor above DWT decomposition of multi-focus image fusion algorithm performed research and programming, and the simulation results of these methods were compared.It was found that the effect of the weighted average method of integration is very general and there is a big shortage in detail expressive aspects of the image.However, based on averaging the low-frequency and getting the largest absolute value of high frequency of wavelet transform fusion algorithm in transform domain performed good when wavelet decomposition level reaches three.The resulting image fusion performed indicators, such as information entropy, spatial frequency and clarity are more ideal to achieve the desired purpose.It is visible that multi-DWT decomposition fusion method has a high value, and its interpretation can be used to image analysis, such as fingerprint recognition, face identification,incomplete pictures recovery and so on.KEY WORDS: image fusion，multi-focus image，weighted average，DWT 目 录第一章 绪论5 1.1课题研究的背景和意义51.2 研究现状及存在的问题51.2.1 研究现状51.2.2 存在的问题61.3多聚焦图像融合技术71.3.1 多聚焦图像成像特点71.3.2 多聚焦图像融合层次81.4 本文章节的安排8第二章 多聚焦图像融合的基础理论102.1多聚焦图像成像原理102.2 多聚焦图像融合主要算法112.2.1 空间域多聚焦图像融合122.2.2 变换域多聚焦图像融合172.3 多聚焦图像融合质量评价19 2.3.1 主观评价192.3.2 客观评价192.4 本章小结21第三章 基于小波变换的多聚焦图像融合223.1 引言223.2 小波变换的基础理论223.2.1 小波定义223.2.2 连续小波变换233.2.3 离散小波变换243.3 小波的分解253.3.1小波基的选择与分解层数263.4算法仿真与结果分析273.4.1算法仿真273.4.2融合结果分析303.5 本章小结30第四章 总结与展望314.1 全文总结314.2 工作展望32参考文献33致 谢35毕业设计小结36附 录A37附 录B38附 录C40附 录D43第一章 绪论1.1课题研究的背景和意义 自第一台具有光学镜头相机的出现开始，便出现了能生成场景中物体信息的图像。而图像融合1是将同一对象的两个或多个图像按一定规则合成为一幅图像，以便它比原来的任何一幅更能容易的为人们所理解。这一技术可应用于多频谱图像理解、目标识别、机器视觉及医学图像处理等领域，在这些场合，同一物体部件的图像往往是采用不同的成像机理得到的。传统的图像融合方法主要是在时间域通过算术运算实现融合，具有算法简单直观，融合速度快，适合实时处理等优点，但其没对频率变化进行考虑。而多分辨率图像融合算法则是在频率域实现图像融合。根据分解形式的不同，多分辨率图像融合算法又可分为多分辨率金字塔方法和小波变换方法。近年来，基于小波变换的图像融合越来越受到重视。由于人的视网膜图像是在不同频带上分别以不同算子进行融合，而基于小波分解的图像融合也是以同样方式进行，所以，其可获得与人的视觉特性更为接近的融合效果。多聚焦图像融合是信息融合的一个重要分支，近年来被越来越多的研究机构所重视。由光学系统成像原理可知，物体在镜头的共轭物平面时，成清晰的像，处于共轭物平面以外的物体，将呈现出不同程度的模糊，当模糊程度不超过光学系统的景深时，则物体所成的像仍可以看做清晰像。光学系统的景深指保证在像平面能获得清晰的像的物体在物放空间前后移动的最大距离2。由于光学镜头的景深有限，使得在拍摄时很难获取一幅所有景物都聚焦清晰的图像3。因此仅仅依靠成像系统本身很难解决这一问题。但是可以加上一些后续处理，就可方便地获取一个场景清晰的图像，即采用图像融合算法。这一技术定将在现代医疗、军事侦查、产品防伪及文化艺术方面占据愈发重要的地位3。1.2 研究现状及存在的问题1.2.1 研究现状 就研究层次和研究算法来看，早期的图像融合由于技术不发达，而且研究的人员较少，因此大多是针对像素级的。此阶段的方法有滤波法、加权法、IHS变换等。早期的算法都是属于空间域上的算法，没有很多计算，复杂性较小。在融合处理阶段，不需要对融合的图像进行分解变换，只是对每幅图片中的单个离散的像素值进行简单的数据运算。80年代中期金字塔算法被许多学者陆续提出，其中有比率低通金字塔、拉普拉斯金字塔、梯度金字塔等。这些算法都具有较强的实用性，所以有学者开始尝试将这些技术应用到图像处理中来，如多聚焦图像的融合，可见光图像和红外图像的融合等。90年代初期，又有学者提出变换域的小波方法，随着小波理论的逐渐丰富，小波变换技术为图像融合技术提供了新的方法与思路8。而且学者及科学家对小波算法进行了众多改进，其主要针对的是小波分解后低频系数和高频系数的选取，使图像融合技术不断上升。随着不断研究，人们发现金字塔算法和小波变换都有其局限性，所以提出了一些改进算法。Contourlet变换5是一种灵活的多尺度、局部的、方向性的分析算法，而且可以很好地捕捉图像中的几何结构，克服了小波变换中一个很难解决的问题平移不变性问题，因此陆续有人提出将Contourlet变换用于图像融合中。1.2.2 存在的问题 随着人们对多聚焦图像融合研究的不断深入，一些问题也随之产生，目前主要有如下几个问题：1.算法研究尚不够完善。常用的算法目前有金字塔变换，小波变换等。但这些算法都存在一些缺点和不足。其中小波变换算法中存在的问题有：(1) 不能最优地表示含有线或面奇异的高维函数6；(2) 只能捕捉到水平、垂直和对角线方向的信息；(3) 无平移不变性。2. 待融合的多聚焦图像的质量很难得到保证。在多聚焦图像数据方面，图像易受噪声等外界因素的干扰，并且不同传感器所获得的图像差异较大，往往对融合的性能产生较大的影响。3. 图像融合没有统一的评价标准。目前有主观评价和客观评价。主观评价容易因人的情绪、爱好等因素影响；客观评价有信息熵、均方根误差、空间频率、清晰度等众多参数，它们只能反映图像质量中的一个信息。一个算法用一个参数来衡量时可能是好的，但用另一个参数来衡量时，可能又是差的。所以需要制定一个统一、完善的融合标准出来。4. 融合模型不统一。在多聚焦图像融合模型方面，目前仍缺乏统一的融合模型，特别是数学模型。 1.3多聚焦图像融合技术 多聚焦图像融合的关键是在源图像中寻找每幅图像中的清晰区域，滤除图像中的模糊部分，然后将这些清晰区域以一定的算法进行融合，从而得到一幅清晰且信息量完整的图像。多聚焦图像融合示意图如图1-1所示。 清晰区域 模糊区域 清晰区域 图像A 清晰区域 模糊区域 融合图像 图像B 图1-1多聚焦图像融合示意图1.3.1 多聚焦图像成像特点 多聚焦图像指的是由同一传感器（如相机）在成像条件相同而镜头聚焦目标不同时所得到的多个图像。多聚焦图像的产生主要是由光学镜头的景深所决定的9。当人或事物处在光学镜头的景深范围外时，就会引起图像模糊；反之，所得图像清晰。所以，多聚焦图像的产生主要是由成像镜头所造成的。可以认为，对于场景中的任一人或物都存在一幅聚焦良好的多聚焦图像。为了便于说明，论文仅对两幅多聚焦图像进行融合，这就要求用于实验的源图像满足以下条件：1. 对同一场景成像。2. 对场景中的不同物体聚焦。3. 对于场景中的任一区域，可在其中一幅源图像中找到其对应的清晰区域。在实际应用中，为了得到一个场景中每个人或物都清晰的图像，就需要对多幅多聚焦图像采用一定的算法进行融合操作，提取出每幅图像中的清晰区域，并将这些清晰区域整合起来，生成一幅能够包含完整场景的融合图像。1.3.2 多聚焦图像融合层次 按照图像融合所处理的层次的不同，目前主要分为三层：像素级图像融合、特征级图像融合及决策级图像融合9。这三个层次是从低到高的，具有阶段性和递进性，不仅可以单独进行，而且可以组合使用。实际应用中，针对所给的条件和目标，可以选择及结合不同层次融合的特点，以达到最优效果。像素级图像融合方法简单并且提供的信息丰富、可靠，便于图像的进一步分析、处理与理解10。其他的两种融合策略，虽然都可以进行实时处理，且都可以进行信息压缩，但是算法的复杂性比像素级的高，而且这两种算法目前还不是研究的重点，还没有实用的算法来实现它们。1.4 本文章节的安排 本文共分为五章，具体内容和章节安排如下：第1章 ：绪论本章从总体上简要介绍了课题研究的背景及意义，并指出了目前多聚焦图像融合的研究现状和所存在的一些问题。同时简述了多聚焦图像融合的成像特点和融合层次，为后续章节的展开做铺垫。第2章 ：多聚焦图像融合的基础理论本章首先介绍了多聚焦图像的成像原理，并概要介绍了多聚焦图像融合的基本算法：空间域算法和变换域算法。在空间域算法中主要介绍了基于像素点和基于分块的算法。在变换域算法中主要介绍了小波算法。此外还简述了融合结果的评价标准，并列出了当前常用的一些评价指标。第3章 ：基于小波变换的多聚焦图像融合算法本章首先介绍了小波变换的基础理论，包括小波的定义、连续小波变换和离散小波变换，并以图解的方式对二维离散小波分解进行了可视化分析。此外，还简述了小波基及小波分解层数对图像融合质量的影响，并就基于小波变换的低频取平均值、高频取绝对值大的融合算法进行了算法仿真。最后对融合图像进行了主观分析，并以信息熵、空间频率和清晰度三项指标对融合图像的质量进行了客观分析。仿真结果论证了该算法的有效性。 第四章：总结与展望 本章总结了全文的主要内容，并展望了多聚焦图像融合算法的未来。 第二章 多聚焦图像融合的基础理论 2.1多聚焦图像成像原理 P 聚焦平面 非聚焦平面 f D P 2R U V s 图2-1 光学镜头成像原理图 图2-1表示了相机光学镜头的成像原理9，其中U表示物距，V表示焦平面的像距，S表示非聚集平面的像距。由成像原理可知，在聚焦平面成像时，图像清晰；在非聚焦平面成像时，图像模糊4。如上图可，可做以下论证：根据三角形相似定理，有 （2-1）经过变换，可以得到 （2-2）光学镜头是凸透镜，由其成像方程可知 （2-3）将式（2-3）代人式（2-2）中，可得 （2-4）其中，R表示物体成像时模糊圈的大小。假设R一定，改变物距U的大小，由 （2-5）可得： （2-6） 其中，等于图中的非聚焦平面的像距S，由式（2-2）可知，即： （2-7）时，有 （2-8）否则， （2-9）将式（2-8）和（2-9）分别代入式（2-6），可得 （2-10） （2-11） （2-12） R一定时 ，分别为U的最大值和最小值。两者之差表示镜头景深。2.2 多聚焦图像融合主要算法 多聚焦图像融合算法要解决的主要问题是如何准确提取源图像的清晰区域。其关键在于正确地判断清晰区域的位置。这里所说的清晰是人类视觉系统主观上的感觉，而融合时使用的图像是由像素点组成的，图像的效果由各像素点的灰度值决定。因此，融合算法需要将各像素点的灰度值与人类主观上的“清晰区域”联系起来，寻找“清晰区域”中像素点应具备的特征，这样才能准确找到“清晰区域”并将其提取出来。可见，寻找像素值与“清晰区域”之间的对应关系是多聚焦图像融合算法首先要解决的问题。目前像素级多聚焦图像融合算法主要分为两类：1. 空间域多聚焦图像融合算法。2. 变换域多聚焦图像融合算法。2.2.1 空间域多聚焦图像融合 空间域融合算法不需要对配准后的源图像进行任何变换，仅根据源图像中像素点的灰度值进行融合，算法简单，容易执行。根据融合时所取源图像中区域大小的不同，空间域融合算法分为基于像素点的融合算法和基于分块的融合算法。1. 基于像素点的融合算法 该类算法是根据各个源图像中对应位置上每个像素点的灰度特征值进行融合的。计算公式如下： （2-13）其中，A，B为源图像，为图像在点的灰度值，m=1，2，M；n=1，2，N，为源图像大小，(m,n)表示图像中像素点的位置，和为加权系数，满足。式（2-13）中加权系数和根据像素点的特征值计算。按照像素点特征值的不同，基于像素点的融合算法可分为基于单个像素点的融合算法和基于区域的融合算法，如图2- 2所示。 基于单个像素点的融合 基于区域的融合 融合图像 输入图像 图 2-2基于像素点的融合算法示意图 （1）基于单个像素点的融合算法这种算法仅根据每个离散的像素点灰度值的大小计算加权系数。该算法下的加权系数是独立的，相邻像素之间没有相关性。常见的灰度值取大法、灰度值取小法、加权平均法10都属于这种算法。对于式（2-13），当和中有一个数为0，另一个数为1时，即为灰度值取大（取小）法。当=0.5时，即为加权平均法。这些融合算法计算简单，但是降低了图像的对比度，融合图像中的边缘、轮廓等容易出现模糊，纹理不清晰，难以得到令满意的融合结果。这主要是因为单个像素点的灰度值大小不能体现该像素点处的清晰或模糊特征。（2）基于区域的融合算法 基于区域的融合算法根据像素点所在区域的特征因子计算加权系数。该算法不仅考虑了单个像素点的灰度值，还考虑了该像素点所在区域内各像素点之间的相关性，在体现像素点所在区域的清晰度方面得到了改善。与基于单个像素点的算法相比，提高了提取源图像清晰区域的准确性。常见的区域特征因子有邻域能量、邻域方差和邻域梯度，计算公式如下：（区域为33）1） 邻域能量 （2-14） （2-15）2）邻域方差 （2-16） （2-17）3） 邻域梯度 （2-18） （2-19）其中，i=A 或 B（A,B 为源图像），为 i 图像在 点的灰度值，S 代表窗口区域， H 为掩模矩阵。 加权因子，的求取方法有两种：特征因子取大法和特征因子加权法。特征因子取大法计算公式如下：1） 邻域能量取大法 （2-20） 2）邻域方差取大法 （2-21） 3）邻域梯度取大法 （2-22）特征因子加权法计算公式如下： 1）邻域能量加权法 （2-23） 2）邻域方差加权法 （2-24） 3）邻域梯度加权法 （2-25）特征因子加权法是一种“折中”算法，在提高模糊区域图像质量的同时，降低了清晰区域的图像质量，融合图像不是最佳的。但是，多聚焦图像满足“模糊区域不重叠”，这使得最佳融合图像的获得存在可能。因此，多聚焦图像融合应该采用特征因子“取大法”，从而得到最佳的融合图像。2. 基于分块的融合算法基于像素点的融合算法得到的融合图像中相邻像素点之间一致性差，虽然可以对其进行一致性校检，但仍难以避免这一现象。针对这一问题，研究者们提出了分块融合算法。分块融合法是多聚焦图像融合特有的算法，该算法充分利用了多聚焦图像的特点，能够准确地提取源图像的清晰区域，保留源图像的有用信息，提高了像素点之间的相关性。分块融合算法首先将源图像分别分割成若干个子块，通过计算对应子块的特征因子，将源图像中清晰区域的子块放到融合图像对应的位置上。可见，子块特征因子能否准确反映子块的清晰度，直接影响融合图像的质量。融合过程如图2-3所示。源图像A 分割 规则源图像B 重构 分割 合并子块 融合图像 图2-3分块融合算法示意图目前常用的子块特征因子有以下几种:1. 空间频率（SF）12：反映子块的活性程度，定义如下。 （2-26） （2-27） （2-28） 其中，RF和CF分别代表行频率和列频率，MN为子块大小。2. 显著度参数（VI）9：反映子块的均匀度，定义如下 （2-29） （2-30） （2-31)其中，为源图像的某个区域，大小为，为处的灰度值，为一固定值，在0.6到0.7之间取值。3. 边界特征12：反映图像子块的边界数量。对于两幅多聚焦图像，清晰的图像比模糊的图像具备更多的边界。基于空间频率的分块融合算法步骤如下：步骤1 将源图像 A，B分割成若干个大小为的子块，设，分别表示图像 A和B 的第i个子块。步骤2 分别计算子块和的空间频率和。步骤3 比较两幅图像对应子块的空间频率和，得到融合图像的第i个子块。 (2-32) 其中，TH为阈值。步骤4 对所有子块进行上述操作，将融合子块重构得到融合图像。为了进一步提高子块选取的准确性，李树涛12等通过人工神经网络进行子块选取。这些算法虽然可以准确地选取清晰子块，但是子块尺寸的选择难以统一：子块尺寸过大将导致清晰区域、模糊区域位于同一子块；子块尺寸过小则不能充分反映子块特征，容易造成子块的误选。由于子块尺寸的选择难以划分源图像的清晰区域与模糊区域，融合图像容易出现块效应，这正是分块融合算法存在的最主要问题。空间域多聚焦图像融合算法根据像素点或子块的灰度值特征因子进行融合。但是，图像的清晰程度主要体现在物体的边缘等细节上，与像素点的灰度值之间不存在直接的对应关系。可见，空间域融合算法缺乏细节表现力，因此难以准确选取源图像的清晰区域。2.2.2 变换域多聚焦图像融合 空间域多聚焦图像融合算法缺乏细节表现力，融合图像存在对比度低、模糊以及块效应等问题。人类的视觉系统对事物的局部对比度变化（边界、拐角等）十分敏感。一般来说，图像中物体边缘的对比度变化较大，图像的清晰程度主要体现在物体的边缘等细节上。可见，融合算法的细节表现力决定了算法提取清晰区域的能力。多分辨率分析方法具有良好的细节表现能力，被广泛应用于多聚焦图像的处理，形成了变换域多聚焦图像融合算法。该方法首先对各个源图像进行多分辨率分解，得到源图像在不同分解层上的子带图像。然后对分解得到的各子带图像进行融合，融合时，不同分解层上的子带图像可以采用不同的融合准则。最后，将融合后的子带图像进行逆变换，得到融合图像。根据多分辨率分析方法的不同，变换域多聚焦图像融合算法主要有基于金字塔变换的融合算法、基于小波变换的融合算法和其他多尺度分析的融合算法。 1. 基于小波变换的融合算法小波变换是一种类似于金字塔变换的多分辨率分析方法。小波变换将图像分解成低频子带和不同尺度、不同方向的高频子带。其中，低频子带包含图像的平均信息，占整个图像的大部分能量；高频分量包含了图像在不同尺度、不同方向上的细节信息。 基于DWT的图像融合过程如图2-4所示，概括如下：步骤1 对源图像A和B进行二维DWT分解，得到各源图像的低频分量和高频分量。 步骤2 根据低频和高频分量的特点，按照各自的融合算法进行融合处理。 步骤3 对以上得到的高低频分量，经过小波逆变换得到最终融合图像F。 DWT F融合算子 源图像A 融合规则 融合图像 DWT 融合后的小波分解系数 源图像B 图2-4基于DWT的图像融合过程 在基于多分辨率分析的图像融合算法中，系数融合准则的好坏直间影响到融合图像的质量。因此，大多数基于多分辨率分析的融合算法都致力于系数融合准则的研究。根据融合对象的不同，融合准则分为低频系数融合准则和高频系数融合准则。 1. 低频系数融合准则在基于小波变换的融合算法中，低频系数的融合多采用加权平均法，定义如下 (2-33) 其中，A和B为源图像，F为融合图像，为图像i分解得到的低频子带在处的系数。加权平均法将清晰区域的系数与模糊区域的系数进行“结合”，在提高模糊区域质量的同时，造成了清晰区域信息的损失，表现为融合图像的对比度下降。 2. 高频系数融合准则在图像的小波分解中，绝对值较大的高频系数对应于图像中对比度变化较大的边缘特征9，而人眼对于这些特征比较敏感。所以，对于高频系数多采用绝对值取大的融合准则，原理如下: (2-34)其中，j=1，2，.，N代表分解的层数，i=1,2,3代表每一层高频系数的3个方向。2.3 多聚焦图像融合质量评价 采用科学合理的算法对融合图像的质量进行评价，对于在实际应用中选择适当的融合算法、对现有融合算法的改进及研究新的融合算法等都是非常重要的。多聚焦图像融合结果的评价主要分为主观评价和客观评价。2.3.1 主观评价 主观评价法就是依靠人眼对融合图像的质量进行主观评估的方法。主观评价法具有简单、直观的优点，对明显的图像信息可以进行快捷、方便的评价。这种算法对图像中一些较为明显的信息，如是否有重影，边缘信息是否损失，纹理和色彩是否丰富等能很快做出判断。但是，图像的视觉质量主要取决于观察者，具有主观性强、片面、可重复性差等缺点。因此，需要与客观评价标准相结合进行综合评价。2.3.2 客观评价 常用的判断多聚焦图像融合好坏的评价指标有以下几种： 1.均方根误差6 RMSE表示标准图像与融合图像灰度差的统计。RNSE越小，说明标准图像与融合图像差异越小，融合效果越好。其定义如下： (2-35)其中，R，F分别为标准图像和融合图像，大小为MN。2. 信息熵6 信息熵用来描述一幅图像所含信息量的大小。一般来说，熵值越大，图像所含的信息量就多，融合效果就越好。其定义如下： (2-36)其中，L为图像的灰度级，为图像中灰度值为的概率，为熵值。3. 峰值信噪比9 PSNR表示图像中所含高频信息量的大小。其值越大，融合图像就越好。定义如下： (2-37) 4. 清晰度12图像在人眼中的清晰程度就是清晰度。一般采用平均梯度作为清晰度指标，平均梯度能敏感地反映出图像中的微小细节反差，平均梯度越大，图像越清晰。其定义如下： (2-38)其中，为窗口的大小，计算时，一般用来代替，用来代替。5. 空间频率6空间频率反映图像的全面活跃水平，其值越大，图像越清晰。定义如下： (2-39) (2-40) (2-41)其中，RF和CF分别代表行频率和列频率，MN为图像的大小。2.4 本章小结 本章首先介绍了多聚焦图像的成像原理，并概要介绍了多聚焦图像融合的基本算法：空间域算法与变换域算法。在空间域算法中主要介绍了基于像素点的算法和基于分块的算法。在变换域算法中，主要介绍了小波算法。此外还简述了融合结果的评价标准，并列出了当前的一些评价指标。 第三章 基于小波变换的多聚焦图像融合3.1 引言由第二章可知，多聚焦图像融合算法主要有两类，一类是空间域上的，它主要选取图像中清晰部分的像素构成融合图像18。该类算法一般根据某一指标，如清晰度、空间频率、显著度参数等来抽取出源图像中的清晰区域。这种算法的优点是没有对图像进行分解和重构，没有破坏图像的完整性。但这类算法对模糊区域和清晰区域的交界区域的处理不够理想，大多是取均值的算法，不能体现出图像的边界信息。另一类是变换域上的算法，该类算法是将源图像在不多的频段上进行分解，得到不同尺度、不同频段上的图像，对分解后的不同尺度的图像进行处理后，再进行逆变换，就可以得到最终的融合图像。该类算法能够把握图像的整体信息，较空间域算法运用更广。单纯的空间域算法和变换域算法都不能达到令人满意的效果，而将空间域算法和变换域算法相结合所取得的效果，比单纯的空间域算法或单纯的变换域算法(如金字塔算法，小波算法)，无论在视觉上还是在客观的标准上都要好。变换域算法中的小波变换在多聚集图像融合上有不错的效果。小波分解是无数据冗余的分解，具有方向信息的分解8。源图像经小波分解后得到的低频信息包含了图像的主要信息，因此源图像的低频图像能否得到很好的融合将影响最终融合图像的质量。绝对值较大的高频系数对应于图像中对比度变化较大的边缘特征，所以，对于高频系数多采用绝对值取大的融合准则。3.2 小波变换的基础理论3.2.1 小波定义小波分析19是当前数学中的一个迅速发展的新领域，它同时具有先进理论和应用十分广泛的双重意义。小波变换的定义为： (3-1) 其逆变换为 (3-2) (3-3)其中，为傅里叶变换，取有限值。3.2.2 连续小波变换小波是通过对基本小波进行尺度伸缩和位移得到的。基本小波是一个具有特殊性质的实值函数，其震荡快速衰减，且在数学上满足积分为零的条件： (3-4)其频谱满足条件 (3-5)即基本小波在频域也具有良好的衰减性质。 一组小波基函数是通过尺度因子和位移因子由基本小波产生的： (3-6)连续小波变换19也称为积分小波变换，定义为 (3-7)其逆变换为 (3-8) 二维连续小波基函数定义为 (3-9) 二维连续小波变换是 (3-10) 二维连续小波逆变换为 (3-11)3.2.3 离散小波变换 连续小波具有很大的理论研究价值，但由于在计算机上不能实现它，所以引入离散小波变换19的概念。设，其傅里叶变换为，当满足允许条件（完全重构条件或恒等分辨条件） (3-12)时，称为一个基本小波。将基本小波经伸缩和平移后得 (3-13)称其为一个小波序列。其中，a为伸缩因子,b为平移因子。对于任意的函数的连续小波变换为 (3-14) 其逆变换为 (3-15) 3.3 小波的分解如图3-1所示，对图像进行两层小波分解6，主要生成4个部分，即,。其中，集中了源图像中的主要低频部分，为水平方向的高频信息，为垂直方向的高频信息，为对角线方向的高频信息。 图3-1 两层小波分解图以图3-2 pepsi图二维小波分解为例。从图中可以看出，小波分解后的低频部分包含了图像的主要信息，而在其他部分如水平方向、垂直方向、对角线方向的高频信息所含的信息量都较少，因此基于小波算法的图像融合，低频部分的好坏直接影响最终图像融合的质量7。 图3-2 pepsi图二维小波分解3.3.1小波基的选择与分解层数小波变换与经典的傅里叶变换不同，傅里叶基是固定的三角函数，而小波函数只要满足容许条件，就可以称为小波基。在各类研究中，如果需要采用小波变换来进行实验和分析，小波基的选择就成了一个重要问题。具体情况具体分析，主要根据所分析信号本身的特点和需要提取的信号特征来选择小波基。对于图像融合，选择小波基需要使小波变换能更好地反映图像的细节特征。不同的小波基进行小波变换后得到的小波系数有所差异，而小波系数会影响最终的融合结果。本文使用db1小波基进行小波变换。小波分解层数的确定也是一个不容忽视的问题。不同的分解层数将影响小波变换后的系数，进而影响融合图像的分辨率。分解层数较大时，能够有效地丢弃信息量不大的系数，有利于提高图像的压缩质量。然而，分解层数并不是越多越好，也会出现物极必反的效果。最佳的小波分解层数依赖的因素有多个，包括图像本身的特征、所选小波基的特性等。目前还没有完整的选择方案，需要针对具体的图像通过大量的实验来确定最终的分解层数。基于db1小波分解1到5层的融合效果图如图3-3所示，源图像如图3-3中（a）、（b）所示，图像的性能指标如表3-1所示。这里的融合规则采用传统的低频平均法和高频取大法。从图3-3可以明显看到当分解2层和3层的时候，融合结果相对较好，分解3层的视觉效果是最优的，其他层次的融合图像会出现一定的模糊。从表3-1中的性能指标中可知，分解3层的融合图像的空间频率、清晰度均比分解2层的好。3.4算法仿真与结果分析3.4.1算法仿真 在实验中，融合了两幅不同聚焦的pepsi图像（如图3-3中的（a）、（b）所示），从图中可以看出，这两幅图像都为多聚焦图像。基于小波变换的低频取平均值、高频取大的具体算法实现是，先将源图像进行小波分解，得到不同层的不同子带图像并对低频子带图像的像素值取平均值，对高频子带图像的像素值取绝对值最大。对不同层处理完的融合结果进行逆变换，就可得到经小波变换处理的融合图像。本章研究的算法与其他算法如平均法、加权平均法都做了对比，其融合结果对比图见图3-3pepsi图融合算法的比较。 （a）左聚焦源图像1 （b）右聚焦源图像2 （c）权值a=b=0.5 （d）权值a=0.3，b=0.7 （e）DWT分解1层 （f）DWT分解2层 （g）DWT分解3层 （h）DWT分解4层 （i）DWT分解5层 图3-3 pepsi图融合算法的比较 由于没有标准图像，本章采用本文2.3节提到的信息熵（公式2-36），空间频率（公式2-39-2-41）和清晰度（公式2-34-2-35）作为融合图像的客观评价指标。各算法的性能指标如表3-1。 表3-1 pepsi图融合结果的比较 融合算法 信息熵(E) 空间频率(SF) 清晰度(AVEGRAD)a)左聚焦pepsi图 7.0880 9.7028 3.5597b)右聚焦pepsi图 7.1085 13.6358 5.1649c)平均法(a=b=0.5) 7.0883 10.5935 3.9988d)加权平均法(a=0.3,b=0.7) 7.0878 11.6324 4.4158e)单层DWT分解 7.1115 12.4017 4.9394f)二层DWT分解 7.1158 13.6901 5.6442g)三层DWT分解 7.1152 14.0242 5.7456h)四层DWT分解 7.1259 14.1077 5.7900 3.4.2融合结果分析1. 主观评价由图3-3可以看出：（1） 平均法和加权平均法所得的融合图像（如图3-3中(c)、(d)所示），其算法的实现是按本章第二节的原理进行仿真的。所得融合图像均有模糊区域，效果一般。（2） 单层DWT分解所得的融合图像如图3-3中的(e)所示，在该算法的实现中，低频和高频系数分别采用平均法和绝对值取大法。可以看出其效果较平均法和加权平均法较好，但整体效果不够清晰。（3）二层DWT分解和三层DWT分解所得的融合图像如图3-3中(e）、(f）所示，在该算法中，低频和高频系数仍分别采用平均法和绝对值取大法。可以看出二层DWT分解和三层DWT分解所得的融合图像较单层DWT分解均较为清晰，三层DWT分解所得图像更胜一筹。（4）当DWT分解层数大于三层时，随着分解层数的增加，所得融合图像的效果会有所增强，但效果不明显；同时会出现重影等不良影响。 2.客观评价从表3-1可以看出，本章主要研究的基于DWT分解的多聚焦图像融合算法，无论在信息熵、空间频率还是清晰度上都大于平均法及加权平均法，融合效果较为理想，达到了预期的效果。3.5 本章小结本章主要研究了基于小波变换的多聚焦图像融合算法，并将空间域算法和变换域算法以简单的方式紧密联系起来。实验结果表明，经小波变换后所得的融合图像较好地保存了原始图像中的清晰区域，较单纯的加权平均法取得了较为满意的效果。 第四章 总结与展望4.1 全文总结随着传感器技术和计算机技术的飞速发展，图像处理领域得到了人们日益广泛的关注。然而，图像信息的多样化使得人类无法从单一传感器所获得的图像得到全面的信息21。图像融合技术恰好可以解决这一问题，它综合所有输入图像的特点，以一定的融合规则得到最终清晰而信息量完整的融合图像。随着图像融合技术的发展，其在军事国防和民用等领域将会创造出更大的价值22。像素级图像融合是各层次图像融合的基础，基于变换域的图像融合算法也是图像处理领域的一个研究热点和难点。本文的工作内容总结如下：1. 简要介绍了多聚焦图像融合的概念、课题研究的背景及意义，并指出了目前多聚焦图像融合的研究现状和所存在的一些问题。同时简述了多聚焦图像融合的成像特点和融合层次。2. 较为详尽地描述了多聚焦图像的成像原理，并概要介绍了多聚焦图像融合的基本算法：空间域算法与变换域算法。在空间域算法中主要介绍了基于像素点的融合算法和基于分块的融合算法。在变换域主要介绍了小波变换算法。3. 介绍了相对全面的图像融合评价指标。对源图像经小波分解的结果进行了概要的图解分析，并就以db1小波基为基础对源图像做了五层以内的分解，同时对各层的融合效果做了较为详细的对比。此外，也对基于小波变换的多聚焦图像融合算法与加权平均法做了对比分析，就信息熵、空间频率和清晰度三个指标对融合结果做了具体的数据统计与分析。4.2 工作展望 本文主要是对基于变换域的多聚焦图像融合算法的研究，由于课题研究时间和条件的限制，本文在理论分析和实验仿真方面还有待加强。1. 小波基有许多种，不同的小波基有许多种滤波器组可以选择，还可以自己构造小波基和滤波器，如何选择适当的小波基和滤波器组用于图像分解和融合到目前为止还没有统一的方法和规则。如何针对具体的图像特点来选择小波基和设计滤波器组还有待深入研究。2. 对于多聚焦图像的特征，空间域上的算法是最理想的。然而在空间域算法上，一些算法虽然能够准确分辨和提取出源图像中的清晰区域和模糊区域，但对清晰区域和模糊区域的临界区域的处理不够理想。现在最常见的解决办法就是像素取均值，但这影响了最终融合图像的清晰度。因此，如何合理地解决临界区域的像素值问题，是空间域算法上下一步的研究方向。3. 融合结果的评价标准有待进一步确定。目前对于融合图像质量的评价指标只能反映图像的某一特征，还没有一个能完全与主观评价相一致的客观评价标准，通常是采用多个客观指标来评价融合图像的质量。因此，建立一种既能够全面反映融合图像的质量，又能与主观评价结果相一致的客观评价指标是今后的研究重点。4. 本文所做的研究都是针对匹配好的多聚焦图像进行仿真研究的，我们需要将其应用到实际生活中。因此，如何将当前多聚焦图像融合理论知识更好地融入实际生活中则是进一步研究的重点。参考文献1 张德丰.MATLAB数字图像处理M.北京：机械工业出版社，2012.2 郭雷. 图像融合M.北京：电子工业出版社，2011.3 敬忠良. 图像融合理论与应用M.北京：高等教育出版社，2010.4 王珂,欧阳宁. 图像融合技术及评价方法J,数字电视与数字视频,2007,31(1):2023.5 Do M N,Martin V M.The Contourlet Transform:An Efficient Directional Multiresolution Image ResentationJ,IEEE Trans,On Image Processing,2005,14(12):2091-2106.6 孙巍. 像素及多聚焦图像融合算法研究D.长春：吉林大学，2008.7 邓艾. 基于变换域的图像融合算法研究D.武汉：武汉科技大学，2012.8 飞思科技产品研发中心. Matlab 6.5辅助小波分析与应用M.电子工业出版社，2003.9 马先喜. 多聚焦图像融合算法研究D.无锡：江南大学，2012.10 周品，李晓东. MATLAB数字图像处理M.北京：清华大学出版社，2012.11 李树涛,王耀南,张昌凡.基于视觉特性的多聚焦图像融合J.电子学 报,2001,29(12):1699-1701.12 阳方林,郭红阳.像素级图像融合效果的评价方法研究J,测试技术学报,2002,16(4):22627.13 苗启广,王宝树.基于改进的拉普拉斯金字塔变换的图像融合方法J.光学学报,2007,27(9):1605-1610.14 王宏,敬忠良,李建勋.一种基于图像分割的多聚焦图像融合方法J.上海交通大学报,2003,37(11):1743-1750.15 龚昌来.基于局部能量的小波图像融合方法J.激光与红外,2008,38(12):1266-1269.16 梁栋,李瑶,沈敏,等.一种基于小波 Contourlet 变换的多聚集图像融合算J.电子学报,2007,35(2):320-322.17 李伟.像素级图像融合算法及应用研究D. 广州:华南理工大学,2006, 4-5.18 樊启斌.小波分析M.武汉：武汉大学出版社,2008.19Ingrid Daubechies 著, 李建平, 杨万年译. 小波十讲. 北京: 国防工业出版社, 2004:127-153.20 Toet.A.Hierarchical image fusionJ.Machine Vision and Applications,1990:1-11.21 Mallat S.G. A theory for multi-resolution signal decomposition the wavelet representationJ. IEEE Transactions on pattern analysis and machine intelligence, 1989,11(7): 647-693.22 Wang W W, Shui P L, Song G X. Multifocus image fusion in wavelet domainC.Proceedings of the Second International Conference on Machine Learning andCyberenetics, Xian, 2003: 2887-2890.23 .24 . 致 谢在学士论文完成之际，谨向我的老师、同学和亲人表示最衷心的感谢。感谢我的导师王红梅教授三个月来对我的指导和鼓励。王老师严谨的治学作风、求实的科学态度以及宽以待人的胸怀给我留下了深刻的印象。从王老师那里我不但学到了不少的专业知识，还学到了一种对待生活、对待工作的积极态度，这些将使我终身受益。感谢我的父母亲，感谢他们多年来对我无私的爱和支持。感谢所有在学习和生活中帮助过我的同学们。感谢对本文进行评审的各位教授。 毕业设计小结 通过自身的不懈努力，在老师及同学的帮助下我比较详细地研究了“多聚焦图像融合算法研究”这个毕业设计课题。多聚焦图像融合算法涉及到许多种研究方向和应用领域，而我主要对空间域中的加权平均法和变换域中的DWT进行了学习和研究。通过matlab软件编程，我对自己所研习的算法进行了验证和仿真，仿真结果表明：基于加权平均法的多聚焦图像融合算法虽然原理简单、计算量小，但所获得的融合图像的质量非常一般，在所获得的仿真数据上表现为融合图像的信息熵、空间频率和清晰度值均偏小；而小波变换算法虽然原理较为复杂，但所获得的融合图像质量却较为理想，具有很强的实用性和广阔的发展空间。然而，在本次毕业设计中我也深深察觉到自身还存在许多的不足，如查阅资料的主动性不够强，利用网络资源检索信息的能力不够全面，思考及处理问题的想法不够成熟以及与老师的交流不够主动等。此外，通过本次毕业设计的学习与研究，我更加坚信了一个道理：遇到难题绝不能轻言放弃，只要认真思考、善于查找资料、主动请教他人，那么自己总会取得进步。在一次次处理问题的过程中我们的思想终将变得更加缜密。附 录A空间域中的加权平均融合算法：clear all;I=imread(pepsi1.bmp);subplot(2,2,1);imshow(I)xlabel(a)左聚焦源图像1)J=imread(pepsi2.bmp);subplot(2,2,2);imshow(J)xlabel(b)右聚焦源图像2)K=imadd(I,J,double); %将两幅图像转换为double型，再相加L=imdivide(K,2);subplot(2,2,3);imshow(L,)xlabel(c)权值a=b=0.5结果)M=immultiply(I,0.3);N=immultiply(J,0.7);P=imadd(M,N,double); subplot(2,2,4);imshow(P,)xlabel(d)权值a=0.3,b=0.7) 附 录B单层小波变换算法（低频取平均、高频取绝对值较大）24clear all;x1=imread(pepsi1.bmp);x1=im2double(x1);subplot(2,2,1);imshow(x1);xlabel(a)原始图像1);x2=imread(pepsi2.bmp);x2=im2double(x2); %也可double(x2)/255，将uint转换为double型subplot(2,2,2);imshow(x2);xlabel(b)原始图像2);ca1,ch1,cv1,cd1=dwt2(x1,db1); %单层二维离散小波分解ca2,ch2,cv2,cd2=dwt2(x2,db1); %ca为近似小波系数矩阵；ch、cv、cd分别 水平细节系数、垂直细节系数、对角细节系数 row,col=size(ca1); for i=1:row for j=1:col ca(i,j)=(ca1(i,j)+ca2(i,j)/2; if abs(ch1(i,j)abs(ch2(i,j) ch(i,j)=ch1(i,j); else ch(i,j)=ch2(i,j); end if abs(cv1(i,j)abs(cv2(i,j) cv(
- 温馨提示:
1: 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
人人文库网所有资源均是用户自行上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作他用。
川公网安备: 51019002004831号