改进的基于暗原色先验的图像去雾算法

1、第 16卷 第 2期 电路与系统学报 Vol.16 No.2 2011 年 4月 JOURNAL OF CIRCUITS AND SYSTEMS April , 2011 文章编号:1007-0249 (2011 02-0007-06改进的基于暗原色先验的图像去雾算法 *蒋建国 1,2, 侯天峰 1, 齐美彬 1,2(1. 合肥工业大学 计算机与信息学院,安徽 合肥 230009;安全关键工业测控技术教育部工程研究中心,安徽 合肥 230009摘要:分析讨论了原暗原色先验去雾算法原理,指出其不足之处并推导出改进方法。通过引入一种容差机制,算 法能更有效地处理不满足暗原色先验的明亮区域,纠正了这

2、类区域错误估计的透射率,从而克服原算法在处理这些区 域时产生的色彩失真。实验结果表明,这样的修改切实可行,恢复图像消除了色彩失真,视觉效果得以显著提高。 关键词:去雾;暗原色先验;色彩失真;容差中图分类号:TN911.73 文献标识码:A1 引言在雾天环境下,由于大气散射影响使得拍摄出来的景物能见度和对比度降低,直接影响航空、海 运和道路交通的安全,同时使各种户外监测系统,如视频监控系统,在恶劣的天气下往往无法可靠工 作。因此,简单有效的图像去雾对提高视觉系统的可靠性和鲁棒性具有重要意义。当前,对于图像的去雾算法主要分为两类:一类是基于图像增强的方法,如文献 1,2的基于移动 模板的直方图均衡

3、化技术。由于图像的质量降低与场景点到成像传感器的距离成指数关系,因此这种 假设场景景深不变的图像增强技术不能很好地对雾化图像去雾恢复。另一类是基于大气散射物理模型 的方法。这类方法基于大气散射规律建立了图像退化模型,能够利用先验知识,具有内在的优越性。 不足的是这类方法一般需要求得场景深度或大气条件信息。而现实条件下,获取的降质图像并没有附 加任何景深与大气条件的信息。由于已知信息量不足,因此图像去雾恢复是个不适定的反问题。为了 消除这种不确定性, 许多研究者利用在不同天气条件下的拍摄的同一场景的图像 3,4, 或通过用户交互 提供的附加信息进行从一幅图像的恢复工作 5,6。 然而, 这些算法

4、对图像采集仍然具有较高的要求。 Tan 7观察到无雾图像比有雾图像具有更高的对比度, 他通过扩大复原图像的局部对比度来达到去雾的目的, 这样得到的结果只是在光学原理上达到去雾,忽视了透射率,处理结果的一些色彩经常会出现过度饱 和。文献 8提出一种基于统计学的去雾方法,取得了很好的效果。但该方法需要足够的颜色信息以及 差异性,当雾很浓时,颜色很微薄,差异也不够明显,该方法估计出的透射率就不可靠。近来, He 9等基于对户外无雾图像数据库的统计规律,提出一种简单有效的暗原色先验单一图像 去雾方法,对一般户外图像取得了很好的去雾效果,但该算法建立在暗原色假设之上,对不满足这个 假设的明亮区域,算法估

5、计的透射率偏小,恢复结果出现色彩失真,影响了图像的视觉效果。为此, 本文提出了改进方法。第 2部分简单介绍基于暗原色先验的去雾算法原理;第 3部分分析了产生失真 的原因,并导出改进算法;第 4部分的实验结果表明这样的改进是可行且很有效的。2 暗原色先验去雾算法 92.1 大气散射模型解决问题之前, 通常要对所研究的问题建立数学模型。 大气散射模型描述了雾化图像的退化过程: (xt1AxtxJxI +=(1 (1式中, I 是观测图像的强度, J 是景物光线的强度, A 是无穷远处的大气光, t 称为透射率。* 收稿日期:2010-08-24 修订日期 :2010-09-30基金项目:特种显示技

6、术教育部重点实验室开放课题基金项目 (2008HGXJ0350 ; 安徽省信息产业厅信息产业发展基金项目 (20080128 电路与系统学报 第 16卷去雾的目标就是从 I 中复原 J 。方程中的第一项 ( (x t x J 叫做直接衰减项, (1(x t A 是大气光成分。 2.2 暗原色先验暗原色先验是通过对大量户外无雾图像的统计观察得出的:在绝大多数图像的局部区域里,某一 些像素总会有至少一个颜色通道具有很低的值。 换言之, 该区域光强度的最小值是很小的数。 对图像 J , 定义:(min (min (, , y J x J x y c b g r c dark = (2c J 代表 J

7、 的某一个颜色通道, 而 (x 是以 x 为中心的一块方形区域。经统计观察得出, dark J 的强度总是很低并且趋近于 0。如果 J 是户外无雾图像,把 dark J 称为 J 的暗原色,并且把以上观察得出的 经验性规律称为暗原色先验。 2.3 通过暗原色先验去雾首先假设大气光 A 是给定的,进一步假定在一个局部区域的透射率恒定不变。对方程(1使用取 最小运算符,并同除以 A ,得到: (1(min (min(x t x t A y J x y A y I x y +=cc cc (3三个颜色通道中使用最小运算,有:(1(min min (min min ( ( (x t x t A y J

8、 x y A y I x y +=c c c c (4 根据暗原色先验的规律,无雾自然图像的暗原色项 dark J 应该接近于 0:0 (min min ( (=y J x J x y c c dark (5 由于 c A 总为正数,导出:0min min (=c c A y J x y (6把上式带入(4 ,可简单地估算出透射率 t :=c c A y I x y x t (min min 1 ( (7如果彻底地移除雾的存在,图像会看起来不真实,并且深度感会丢失。所以可以通过在方程(7 中引入一个常数 (0< 1 ,保留一部分覆盖遥远景物的雾:=cc A y I x y x t ( (

9、min min 1 ( (8 由上式估计出透射率是粗略的,为了提高精度,应用一种软抠图算法 10来完善透射率分布函数。 记经完善后的透射率函数为 (x t ,通过求解下面的稀疏线性系统得到:(t t U L =+ (9是一个修正参数, L 是 Levin 提出的抠图拉普拉斯矩阵,详细定义可参考文献 10。根据完善后的透射函数 (x t ,由下式计算去雾后的图像 (x J : A x t Ax I x J +=, (max( ( (0t (10大气光 A 的估计方法为:先取暗原色 dark J 中 0.1%亮度最大的像素,然后取这些像素对应在原图 I 中的最大值作为 A 的值。注意 A 不一定是

10、整幅图像里最亮的点。对于多数户外雾化图像,上述算法能取得非常好的效果,如图 1所示,恢复结果去雾效果明显且 色彩自然真实,这是因为图像中的大部分像素点都满足暗原色先验,即 0 (x J dark 。从图 2的暗原色 直方图中也可以看出,暗原色像素值分布总体偏低,趋近于 0,暗原色假设成立,因此恢复效果很好。3 改进算法第 2期 蒋建国等:改进的基于暗原色先验的图像去雾算法 9 通过 大量实验 得知,对 另外一些 含 雾 图 像,基于 暗原色先 验的去雾 结果出现 色 彩 失 真,如图 3(b所示,某些 区域的色彩严重背 离原图像。根据观 察统计,此类图像中一般包含天空、偏白色物体、水面 等 大

11、 面 积 明 亮 区 域。实际上,这些 明亮区域即使在无 雾的条件下,它们 的像素值也很大,区域内找不到像素值接近于 0的暗原色点,所以暗原色假设在这些区域是不成立的。图 3(d的暗原色 直方图进一步说明了这个问题。为了克服这个缺点,必须改进原有算法,扩展暗原色先验,以应对不 同场景的雾化图像,提高算法鲁棒性。从估计大气光 A 的算法出发,当图像存在明亮区域时, A 基本落在这些明亮部分。利用(8式 求透射率 t 的分布:当 I 与 A 越接近其 t 值越小,由于明亮区域与 A 接近,所以其对应的 t 会趋于很小 的值,图 3(c所示的透射率分布图可以直观地看出这一点。需要注意的是,如此计算出

12、的 t 的正确性 是建立在暗原色假设成立的基础之上,但通过前面的分析得知,这类区域显然不满足暗原色先验,故(a 雾化图像 (b 去雾图像 (c 透射率 (d 暗原色图 1 暗原色先验去雾算法效果展示区域 1 10 电路与系统学报 第 16卷此计算出的透射率是不准确的。如果不考虑暗原色假设,直接根据方程(4推导出的准确透射率函数应该为:=c c cc c actual A y J x y A y I x y x t ( ( ( (min min 1min min 1 ( (11 在明亮区域, c cc A y J x y ( (min min 不能近似为 0,上式分母小于 1,因此实际的透射率

13、(x t actual 要大于 根据暗原色先验估计的透射率 (x t 。再来看明亮区域的去雾修复过程。一般来说,明亮区域大体偏白色,三个颜色通道的差异不大, 所以:, , ( (b g r c c c c b g r =, , A x I x (12c 在 本 文 中 称 为相对颜色值,因为考察 cI 和 cJ 通道间颜色值的差异,与考察 cc AI 和 ccA J 是等同的, 所 以 为 了 便 于 说 明 和 比 较,此处用相对颜色值 代替颜色值。经前面的 分析知道,明亮区域对 应着错误估计的偏小的 透 射 率 t , 所 以 即 便r、 g、 b之间相差只有几个像素,除以很 小的 t (

14、尽管原文中取 1. 0min =t 后,通道间颜色值的差异会被放大 几倍乃至数十倍,最终 使(10式计算结果与 原图的色彩有较大的落 差,特别当 3通道方向 不一致(有的通道大于 A ,有的通道小于 A 时,落差得到叠加,类似天空这般性质的明亮区域自然会有偏色不和谐出现,即所谓的色彩失真。图 4展示了去雾处理前后图 3(a的红色矩形框区域各通道间相对颜色值差异的变化情况。上边两 幅图对应区域 1, 下面两幅图对应区域 2。 从图中可以看出原本通道间仅有几个像素的差异, 经去雾处 理后变得很大,故此才导致偏色的出现。另外需要指出的是,如果三个通道的像素值均大于 A ,一般不会出现严重的色彩失真,

15、因为 A 本 来就靠近 255, (10式的计算结果很可能会被截断至最大值 255,从而减小通道差异,缓解了偏色的 出现。综上所述,若想消除色彩失真,就必须调整明亮区域的透射率函数,使估计的 (x t 更加符合 (x t actual ,同时最好能够不破坏暗原色去雾统一框架。基于此,本文引进一个参数 K ,定义为容差,对(a 原图像相对颜色值曲线 (b 去雾图像相对颜色值曲线图 4 RGB通道相对颜色值曲线图 含大面积明亮区域的雾化图像, 但并没有脱离暗原色先验,而是在其基础上对部分区域的透射率做了修正,仍旧统一于原框架之内。它也可以理解成:对接近 A 的区域把去 雾 力 度 降低,因为从实际

16、情形考虑,雾化在接近偏白的场景里是不明显的, 也就是说可以弱化处理这些明亮区域。 图 6为算法改进前后去雾效果的对比。 4 实验与分析本文所有实验图片均来自百度、谷歌、 Flickr 等网站,大小统一剪裁在 400×300左右,使用 11×11的卷积核, 设置为 0.95。 软抠图部分使用文献 10的算法, 方程 (9 的线性系统求解直接使用 matlab 的矩阵相除运算符, matlab 版本为 7.0。在一台处理器为 2.0G Intel Pentium 4 Processor、操作系统为 Windows XP SP3的 PC 机上处理一幅雾化图像,用时在 100s 上

17、下。 因为去雾后图像会整体变暗, 所以 对结果很暗的图像,用 Photoshop 增加其曝光度。第三例实验中,选取的雾化图像包含天空、地面等明亮区域。原算法在处理这些部位时存在色彩失真,特别天空区域,出现不规则的彩色光晕,而改进算法则很 图 5 容差机制对透射率的影响曲线(a 原算法 (b 改进算法 (c 原算法透射率 (d 改进算法透射率图 6 去雾效果对比图(上边一组图片称为实例 1,下面一组图片称为实例 2 (a 雾化图像 (b 原算法 (c 改进算法 (d 暗原色的直方图 图 7 去雾效果对比图(上边一组图片称为实例 3,下面一组称为实例 412 电路与系统学报 表1 去雾处理相关参数

18、 第 16 卷 好地克服了这个问题，去雾图像色彩自然真实，与原图十分相 符。第四例实验是针对道路上拍摄的含雾图像的处理。恢复结 果的天空方位，色彩噪声严重，引入容差机制后，有效缓解了 这个问题，图像的整体对比度得以提高。总之，从实验结果可 以看出，相比原算法，改进算法可以有效改善明亮区域的色彩 失真，使恢复结果更加符合实际情况，视觉效果更佳。表 1 列 出了四组实例的相关参数。 第一例 第二例 第三例 第四例 Ar 203 197 201 230 Ag 209 197 211 224 Ab 219 199 212 224 K 70 50 85 75 运行时间 94s 109s 97s 113s

19、 5 结束语 本文对基于暗原色先验的去雾算法进行了理论分析和实验观察，指出其不足之处并提出利用容差 对其进行改进的方法。容差机制纠正了暗原色先验在明亮区域估计偏小的透射率，以使其更靠近实际 情况，避免在处理这些区域时产生色彩失真。多例实验证明，改进算法可以更加有效地处理包含大面 积明亮区域的雾化图像。暗原色去雾方法虽然简单有效，但计算量很大，特别是抠图部分占据了整个 算法大半的时间。下一步的工作是发展一种快速抠图算法，或是找到一种同样能够细化透射率的其他 简便算法，以期望实时处理雾化视频图像。 参考文献： 1 2 3 4 5 6 7 8 9 Kim J Y, Kim L S, Hwang S

20、H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization J. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(4: 475-484. 祝培, 朱虹, 钱学明, 等. 一种有雾天气图像景物影像的清晰化方法J. 中国图像图形学报, 2004, 9(1: 124-128. Narasimhan S G, Nayar S K. Vision and the atmosph

21、ere J. IJCV(S0920-5691, 2002, 48(3: 233-254. Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images J. PAMI(S0162-8828, 2003, 25(6:713-724. Narasimhan S G, Nayar S K. Interactive (DeWeathering of an Image using Physical Models A. IEEE Workshop on Color and Photometric Methods in

22、Computer Vision C. France, 2003. Kopf J, Neubert B, Chen B et al. Deep photo: Model-based photograph enhancement and viewing A. SIGGRAPH Asia C. 2008. Tan R T. Visibility in bad weather from a single image A. CVPR C. 2008. Fattal R. Single image dehazing A. In SIGGRAPH C. 2008. 1-9. He Kaiming, Sun

23、Jian, Tang Xiaoou. Single image haze removal using dark channel prior A. CVPR C. 2009. 1956-1963. 10 Levin A, Lischinski D, Weiss Y. A closed form solution to natural image matting A. CVPR C. 2006, 1: 61-68. 作者简介：蒋建国（1955-） ，男，教授，博士生导师，主要研究方向为数字图像处理、DSP技术应用、智能信息处理 等；侯天峰（1985-） ，男，硕士研究生。研究方向为数字图像超分辨率

24、重建、图像去雾、图像复原；齐美彬（1969-） ，教授，硕士生导师，主要研究领域为信号与信息处理、DSP技术及应用、数字图像分析与处理等。 Improved algorithm on image haze removal using dark channel prior JIANG Jian-guo1,2, HOU Tian-feng1, QI Mei-bin1,2 (1. Department of Computer and Information, Hefei University of Technology, Hefei 230009, China; 2. Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hef