第8章图像融合技术.ppt

第8章图像融合技术,主要内容图像融合分类图像融合算法图像融合的评价标准图像融合应用,第8章图像融合技术,图像融合是指将一个或一个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，通过对多幅图像信息的提取与综合生成一个新的图像，该图像包含了从多个传感器获得的信息。图像融合可以减少图像信息的不确定性，获得对同一场景/目标的更为准确、全面、可靠的图像描述，进而实现图像增强、特征提取、去噪、目标识别与跟踪、三维重构等作用。应用于军事、医学成像、遥感、计算机视觉、气象预报、军事目标探测与识别等方面。,8.1图像融合分类,8.2图像融合算法-像素级融合,随着图像融合技术的发展，相继出现了许多不同的图像融合方法。这些方法注重图像不同方面的信息，例如一般的基本融合方法直接在空间域对图像进行融合，注重的是直观的灰度或彩色信息，而像Laplacian金字塔融合方法与小波融合方法注重的是图像频域信息。,8.2.1基本图像融合算法,线性加权法,相关系数加权法,8.2.1基本图像融合算法,图像代数法,主成分分析法（PCA）,8.2.1基本图像融合算法,HIS变换法,HIS变换适合于分辨率不同的两个图像间的融合，两个图像间的分辨率差异为23倍时得到的融合图像的效果最佳，若相差太大，则应将高分辨率图像的分辨率通过插值方法降低。参与融合的图像若一个为多光谱、低分辨率图像，另一个为高分辨率图像，两者的融合可以兼取前者的多光谱和后者的高分辨率的优点，使融合图像成为一幅多光谱、高分辨率的图像。HIS变换的本质是原图像与替代图像的波段的加权结合。先将待融合的多幅图像作RGB-HIS变换，然后对变换后的HIS进行平均加权，最后再进行HIS-RGB变换，得到融合图像。,基于小波分解的图像融合方法原理图,8.2.3小波变换图像融合算法,对于图像处理，需要将连续小波变换与逆变换离散化，在此给出经典Mallat算法的离散形式,8.2.3小波变换图像融合算法,图像融合图像重构,8.2.3小波变换图像融合算法,8.3图像融合的评价标准,主观评价法（目视评价方法）客观评价法,8.3.1主观评价标准,主观评价尺度评分表,8.3.2客观评价标准,基于信息量的评价,信息熵,交叉熵,互信息,8.3.2客观评价标准,基于统计特性的评价,均值,标准差,均方根误差,8.3.2客观评价标准,平均梯度,空间频率,其中,8.3.2客观评价标准,基于信噪比的评价,信噪比,峰值信噪比,8.4图像融合应用,本节对主要的融合算法在XAVIS系统中进行了实现，包括基本图像融合算法、金字塔融合算法和小波融合算法等，实现多光照、多聚焦、异质图像融合应用。,8.4.1多光照图像融合,待融合图像A待融合图像B标准参考图像,线性加权相关系数加权图像代数算法,8.4.1多光照图像融合,多光照图像融合方法的评价,8.4.1多光照图像融合,Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionAver(image,image1,image2,7,20);/线性加权TimerEnd(cccc,dddd);showimage(image2);,在XAVIS代码区中编写线性融合代码：,8.4.1多光照图像融合,方法1（YUV）方法2（RGB）方法3（HIS）,各种小波融合方法的评价（不同光照）,8.4.1多光照图像融合,Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);/小波融合（HIS法）TimerEnd(cccc,dddd);showimage(image2);,在XAVIS代码区中编写HIS的小波融合算法代码：,8.4.2多聚焦图像融合,多聚焦待融合图像A多聚焦待融合图像B,方法1（YUV）方法2（HIS）,8.4.2多聚焦图像融合,两种小波融合方法的评价（多聚焦）,Readimage(21.bmp,image);showimage(image);Readimage(22.bmp,image1);showimage(image1);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);/小波融合算法（YUV）TimerEnd(cccc,dddd);showimage(image2);,8.4.3异质图像融合,异质图像,异质图像是指两幅图像的光谱特性不同，如红外和可见光图像，此外还包括可见光和毫米波图像、医学的CT和NMR图像、IR和TV图像等等。异质图像融合是基于多传感器的，主要指基于不同电磁波波段的不同类型传感器。因此在学习异质图像融合之前，了解电磁波的频谱特性是十分必要的。光是电磁波能量的一种形式，下图为电磁波谱。它表明可见光辐射仅占其中很小的一部分。,8.4.3异质图像融合,异质图像融合方法及特点,1）提高信息的可信度2）增加目标特征矢量的维数3）提高获得信息的效率4）提高了系统