【毕业学位论文】（Word原稿）以影像融合为基础之对比强化方法-信息工程学

1 以影像融合为基础之对比强化方法 指导老师： 朝阳科技大学 资讯工程系 摘要 本专题主要是结合直方图均化技术与 影像融合技术来强化影像对比，直方图均化是简单的影像 加强方法；影像融合是利用两张影像 (原图与均化图 )做线性内插法达到融合成一张合成图，其中 值为原图与均化图撷取的比例。在本专题里，我们找出较适合影像融合的权重 值，而针对这个 值下去做实现。实验结果中，本 专题影像融合技术可呈现出较为自然且清楚的融合影像，使部分因昏暗而不清楚或细节遗失的地方显现出来，达到强化效果。 关键词： 影像融合，直方图均化，内插法 2 he to is in of to E is a to In we an to of 致谢 时光飞逝，转眼之间，大学的生活已经快要过完了，然而辛苦、努力、奋斗了一年多的专题也很顺利的完成了。回想这些日子，有开心、痛苦、有很多记忆是不会忘记的，我们在这要感谢所有帮助我们的人。首先要感谢的是我们指导教授谢政勋老师对我们 的细心教诲，以及苦口婆心、不厌其烦的督促我们，他让我们从一开始没有碰影像方面的概念，到现在了解了许多相关的资讯，从基本的想法慢慢到融会贯通，而现在已把专题完成了。接下来要感谢谢老师的研究生林志明学长和陈柏璋学长，只要我们哪边有不懂的或是想不通的地方，你们都会很有耐心的一一讲解， 再加以教导我们到真正了解，使我们真正了解其中的道理。接着还要感谢曾经借助过我们器材、场地的同学和老师们，没有你们我们没有办法完成这个专题，你们让我们的专题环境能够更完善，谢谢你们。最后我要感谢我们每个人的家人，感谢你们在我们求学的过程中默默的帮助我们、关心我们 ，使我们可以顺利的完成大学的学业。 4 目录 _ 摘要 .谢 .录 .目录 .一章 简介 .究背景及动机 .题报告架构 .二章 回顾相关影像强化技术 .E 技术 .术 .术 .三章 .术 .四章 实验结果与比较 .灰阶影像 实验结果与比较 .彩色影像实验结果与比较 .面展示 .五章 总结与未来展 望 .考文献 . 图目录 _ 图 像 图 2.1(a) 原始影像 . 2.1(b) 图 (a)之 直方图 . 2.1(c) 图 (a)之 像 . 2.1(d) 图 (c)之 直方图 . 像 图 2.2(a) 原始影像 . 2.2(b) 图 (a)之 r=. 2.2(c) 图 (a)之 r=. 2.2(d) 图 (a)之 r=1. 3.1(a) 程图 . 像 图 3.2(a) 原始影像 . 3.2(b) 图 (a)之 直方图 . 3.2(c) 图 (a)之 像 . 3.2(d) 图 (c)之 直方图 . 3.2(e) 图 (a)之 =. 3.2(f) 图 (e)之 直方图 . 3.2(g) 图 (a)之 =. 3.2(h) 图 (g)之 直方图 . 图 3.2(i) 图 (a)之 =. 3.2(j) 图 (i)之 直方图 . 3.2(k) 图 (a)之 =. 3.2(l) 图 (k)之 直方图 . 像 图 4.1(a)原始影像 . 4.1(b)图 (a)之 直方图 . 4.1(c)像 . 4.1(d)图 (c)之 直方图 . 4.1(e)像 . 4.1(f)图 (e)之 直方图 . 4.1(g)像 . 4.1(h)图 (g)之 直方图 . 4.1(i)像 . 4.1(j)图 (i)之 直方图 . 像 图 4.2(a). 4.2(b)图 (a)之 直方图 . 4.2(c)像 . 4.2(d)图 (c)之 直方图 . 4.2(e)像 . 4.2(f)图 (e)之 直方图 . 4.2(g)像 . 4.2(h)图 (g)之 直方图 . 4.2(i)像 . 4.2(j)图 (i)之 直方图 . 图 像 图 4.3(a)原始影像 . 4.3(b)图 (a)之 直方图 . 4.3(c)像 . 4.3(d)图 (c)之 直方图 . 4.3(e)像 . 4.3(f)图 (e)之 直方图 . 4.3(g)像 . 4.3(h)图 (g)之 直方图 . 4.3(i)像 . 4.3(j)图 (i)之 直方图 . 像 图 4.4(a)原始影像 . 4.4(b)图 (a)之 直方图 . 4.4(c)像 . 4.4(d)图 (c)之 直方图 . 4.4(e)像 . 4.4(f)图 (e)之 直方图 . 4.4(g)像 . 4.4(h)图 (g)之 直方图 . 4.4(i)像 . 4.4(j)图 (i)之 直方图 . 像 图 4.5(a)原始影像 . 4.5(b)图 (a)之 直方图 . 4.5(c)像 . 图 4.5(d)图 (c)之 直方图 . 4.5(e)像 . 4.5(f)图 (e)之 直方图 . 4.5(g)像 . 4.5(h)图 (g)之 直方图 . 4.5(i)像 . 4.5(j)图 (i)之 直方图 . 4.6(a)面 . 4.7(a)-(j)面流程图 . 第一章 简介 究背景及动机 近年来由于数位科技越来越发达，数位相机、数位摄影机越来越普遍，几乎是人手一台，每个人都想用手中的数位相机拍出美丽漂亮的照片，想把美丽漂亮的东西变为永恒，但因为拍摄的场景、光线、气 候、仪器、或人为操作不当，所以往往都会影响拍摄的品质或画面，可能会拍到过亮或过暗的影像，可能解决的方式是重拍，若遇到天气不好或者没办法再重回现场拍摄或仪器不佳，此时就可运用影像处理的技术来强化图片，目的是影像加强，让过暗或过亮的图片变成较合适的图片。 影像融合亦用于找出影像中细节较好的部分，当拍照时，拍的照片过亮或过暗时，我们可以用影像强化的方式，让这张图片能有效的解决问题，让大家能够清楚分辨。在一张照片中较暗部分找出墙壁上的图腾、在道路上找出不明显的轮胎胎痕、在白净如雪的花朵上看到花朵本身的纹路等等这 些都是影像融合的应用。 而要怎么做到呢？我们的想法是利用直方图均化影像可以很清楚的看到影像中的许多细节，但由于影像均化后，会对整张影像造成不自然的现像，破坏整张影像的视觉品质，所以我们就利用原始影像和均化影像成比例的融合，使均化影像的优点和原始影像作结合，改善原始影像的状况，利用这简单的方法，而藉此达成我们的目的。 10 本专题将提出我们的方法 “以影像融合为基础之对比强化方法 ”m 与 3和 a 2做比较，来实现上述说法 题报告架构 本专题报告架构如下：第一章说明研究背景及动机。第二章回顾相关影像融合技术。第三章介绍 四章展现 后一章则是对这次的专题做总结以及未来的展望。 11 第二章 回顾相关影像强化技术 当我们得一张数位影像的时候，常常因为 外在的因素或是人为的控制不当，而导致，影像有所瑕疵，变得跟真实的有所差距。为了要让这些具有瑕疵的影像变得跟真实的影像一样，近年来关于解决影像相关问题的方法有非常的多，我们就从中挑选出一种方法，那就是影像融合。它主要是把均化影像中较清楚的部分与原图做内插，融合出一张让人更赏心悦目的影像，也可以用在辨识影像里的东西上面。接下来，我们将介绍常用的相关影像融合的技术 : E 技术 主要的概念是将直方 图均匀延展来改善直方图过度集中的情况以及增加动态范围，藉此来强化影像对比与细节，增加人类视觉品质。 可以有效的增强影像对比与细节。 假设影像中有 、 1、 2、 . 1L 。在影像中出现了i 。并假设影像中的所有像素数目为 n (因此0n+ 1n + 2n + .+ 1。要得到对比较佳的影像，就必须将灰阶层次 i 变为 n i. 1L (1) 这个数字会四舍五入成最接近的整数。 12 直方图均化的实作步骤如下 : 步骤 1. 先计算每个像素值 1,., 位元的灰阶影像中， 56。 步骤 2. 机率 以所有的像素数目为 1,., o rN (2) 步骤 3. 对机率做累加密度函式运算 , 公式如下： ) 步骤 4. 利用下列公式给予 c(x)一个范围后，将原始像素值对应到新的像素值 010 (4) 13 (a) (b) (c) (d) 图 (a)原始影像 ； (b)图 (a)之 直方图 ； (c)图 (a)之 (d)图 (c)之 直方图 由上面两张影像我们可以发现原始影像以及均化之后的影像的差异很大，均化后的影像可以显示出原始影像所没有的细节，好比说是道 路的纹路，均化影像可以很凸显它，使我们能够更清楚知道路面的状况，但也因为过度的强化，导致影像变得非常不自然，所以我们后面介绍更多改善的方法。 14 术 善 影像对比加强。 步骤 出每个像素值出现的次数。 步骤 出每个像素出现的机率。 步骤 (k)代入以下公式 (5)，把每一个像素机率代 入以下公式 依照门槛值 5) 上述为 数学运算式，而其中的 ； v 为变数，变数范围为 0-1；r 为变数，变数范围为 0骤 公式如下： km kf 1,.,1,0 ),()( (6) 步骤 ad t )()( (7) 在公式 (7)当中，调整亮度范围的因素，当亮度范围为 (0,，。 15 (a) (b) (c) (d) 图 (a)原始影像 ； (b)图 (a)之 r=(c)图 (a)之 r=(d)图 (a)之 r=1 由 上面的几张影像可以得知，不同的 如 :可从上图看的出来，以原图跟 以看得出来图片变得比较生动，如果 是 时，有过黑的感觉，因此我们是使用了 节部分能够清楚展示，影像也不会有过黑的效果。 16 a 在一张影像中，找出亮度平均值后，利用亮度平均 值将直方图分为两个子直方图，在分别对两个子直方图做均化。 以下为 步骤 出影像 X 的平均亮度 步骤 U，从 着定义出 U，如公式（ 8）（ 9）所示： 11 (8) 1 1 )()1( 1 (9) 步骤 超过平均值则将此亮度的数量设置为平 均数量，改变后的区域数量可定义为 制公式如（ 10）和（ 11）： e l s e w h e r )( )()( （ 10） e l s e w h e r )( )()( （ 11） 17 步骤 1与 如公式（ 12）与（ 13）： L 1 )( （ 12） 11)(2 （ 13） 步骤 14)与 (15)及累积密度函数 U，如公式 (16)与 (17)。 1)()( M （ 14） 2)()( M （ 15） )()( （ 16） 11)()( （ 17） 步骤 ，接着执行直方图均化，其亮度值之对应关系如公式（ 18）与 （ 19）所示： )()()( 00 （ 18） )()()( 111 （ 19） 18 第三章 术 我 们 提 出 的 方 法 为 “ 以 影 像 融 合 为 基 础 之 对 比 强 化 方 法 ” (简称为 为第二章的方法，还是有过度增强的问题，所以我们用了 个方法为了要将影像中无法看到的细节显示出来，我们发现均化影像可以有效的将来源影像中看不 见的细节显现出来，因此透过均化影像之后凸显的细节与来源影像做互补，我们再使用线性内插的方法使影像融合，让我们可以从原本在原始影像中看不到的东西，藉由我们的方法让它显示，希望能够对影像的品质有所改善，让影像辨识度能够更高更自然。 数学运算式为 )1(* 0) ，其中后的影像；最后 为 01 之间的可变权重变数。 执行步骤： 步骤 量做均化。 步骤 之均化影像像素值分别乘上权重 与 (1- )后相加。 步骤 。 19 以下为 流程图 图 a)程 图 均化； 线性内插。E I a) (b) (c) (d) (e) (f) 21 (g) (h) (i) (j) (k) (l) 图 像 (a)原始影像 ； (b)图 (a)之 直方图 ； (c)图 (a)之 像 ； (d)图 (c)之 直方图 ； (e)图 (a)之 =(f)图 之直方图 ； (g)图 (a)之 =(h)图 (g)之 直方图 ； (i)图 (a)之 =(j)图 (i)之 直方图 ； (k)图 (a)之 =(l)图 (k)之 直方图 22 由上面几张影像，我们可以得知， 值的不同所影响的差异，好比说，均化后的影像，它的差异最大，把地面原本是灰灰的变成比较亮或比较暗，从影像中也可得知；图 b 的影像让原图路面看不到的地方都凸显出来了；图 c 权重 实跟均化后的影像没有太大的差异， 从直方图上看得出来与原图几乎没有差异；图 d 权重 取 致上看来是还可以接受的，但是下方的地面依然有点不自然的情形，譬如说 :道路有点太亮，有不自然的感觉，还有改善的空间；接着图 f 权重 取 方图跟原图相差不多，整张影像都略亮了一点，也就是说，改善的幅度并不明显；最后来看我们的方法图 e，权重 取 然让影像偏向原图但又取 化影像的细节融合，可以看得出来将直方图 明显的均匀延展开来并使直方图趋于平坦，符合直方图均化原始的期望，从结果看既不会太亮，也不会太暗，可以有效的提高对比，并清楚的显示出原始影像所看不出来的细节部分而又不会造成不自然的情形，改善了其他方法的缺点，整张影像看起来很自然。经过我们的实验， 值设定为 在大多数的影像中都能够有很不错的改善效果，所以我们此次的研究把 值设定为 过，如果本身的影像就是过暗或是过亮时，那么 值就要试着找出适合那张影像的 值，而就不是一直都是使用 个值。 23 第四章 实验结果与比较 这章节是针对 像、 像以及 像和我们的方法。 下有各种方法的影像以及它的直方图，可以很清楚的看到各个方法的差异，让我们做更深入的分析和讨论。 灰阶影像实验结果与比较 (a) (b) (c) (d) 24 (e) (f) (g) (h) (i) (j) 图 像 (a)原始影像 ； (b)图 (a)之 直方图 ； (c)像 ； (d)图 (c)之 直方图 ； (e)像 ； (f)图 (e)之 直方图 ； (g)像 ； (h)图 (g)之 直方图 ； (i) (j)图 (i)之 直方图 25 从这个例子可以得知，在原始影像本身的很多细节都看不清楚的情况下，我们从均化影像可以看得出很多在原始影像看不到的细节，但是影像也因为要显示原本看不清楚的细节，反而造成过度强化了；从 像可以看出地面上的纹路比图 a 影像来的清楚，但是整张影像会有过亮的效果 ； 像来说比起 像稍微有改善过度强化的效果，但是还是会有过亮的情形；而我们的方法 善了 像过度强化的问题，可以保留原始影像的平均亮度，而且在原始影像不明显的地面上纹路，经过 理之后就能够清楚的显现出来。 就直方图来看，原图的动态范围为 0右，动态范围是够的，如果要将原图对比强化，只要将原图集中于 100像素值拉开，即可做强化的效果。而 直方图把整张的像素值拉开，虽然可以明显强化细节，但却会造成影像有过度强化的情形发生。 个方法的都有将 100分的像素值拉开，但同时的也将动态范围拉的过大，所以导致影像过度增强； 成了像素值过于集中的问题，而又不使动态范围整个拉开，所以 此影像看来为最佳的方法。 26 (a) (b) (c) (d) (e) (f) 27 (g) (h) (i) (j) 图 像 (a)原始影像 ； (b)图 (a)之 直方图 ； (c)图 (a)之 像 ； (d)图 (c)之 直方图 ； (e)图 (a)之 像 ； (f)图 (e)之 直方图 ； (g)图 (a)之 像 ；(h)图 (g)之 直方图 ； (i)图 (a)之 像 ； (j)图 (i)之 直方图 这张影像在原图里面无法看到地面细部的地方，我们用了几种方式去把这个地方改善，首先是先用传统的均化的方法 飞机前方的轮胎痕迹，但也很明显的他造成了过度强化的情形； 整体看来还是有过亮的感觉； 大致上已经改善