基于物理模型的低照度图像增强算法

基于物理模型的低照度图像增强算法基于物理模型的低照度图像增强算法

中图分类号：TP391.413

文献标志码：A

Lowilluminationimageenhancementbasedonphysicalmodel

WANGXiaoyuan1，2，ZHANGHongying1，2*，WUYadong3，LIUYan1，2

1.SchoolofInformationEngineering，SouthwestUniversityofScienceandTechnology，MianyangSichuan621010，China

；

2.RobotTechnologyUsedforSpecialEnvironmentKeyLaboratoryofSichuanProvince〔SouthwestUniversityofScienceandTechnology〕，

MianyangSichuan621010，China

；

3.SchoolofComputerScienceandTechnology，SouthwestUniversityofScienceandTechnology，MianyangSichuan621010，China

Abstract：

Sincealowilluminationimagewillbecomeapseudofogmapafterinversion，andtheconcentrationofthispseudofogmapisdecidedbyilluminationratherthandepthoffield，alowilluminationimageenhancementmethodbasedonphysicalmodelwasproposed，whichprovidedafastandaccuratemethodtoestimatethetransmittance.

Firstly，darkchannelpriorwasusedtoestimateatmosphericlightvalueofpseudofogmapandthetransmittancewasestimatedaccordingtotheillumination.Secondly，theimagewithoutfogwasrestoredbasedontheatmosphericscatteringmode.Finally，theenhancedimagewasobtainedbyinversingtheimagewithoutfog.Furthermore，theclearimagewasgotbymakingdetailcompensationontheenhancedimage.Alargenumberofexperimentsshowthattheproposedalgorithmisfasterandperformswellwithoutlosinginformationcomparedwiththeexistingalgorithmsincludingtheenhancementalgorithmsbasedondarkchannelprior，defoggingtechniquesandthemultiscaleRetinexwithcolorrestoration，meanwhileitcanimprovetheefficiencyofimageanalysisandrecognitionsystem.

英文关键词Keywords：

lowillumination；imageenhancement；atmosphericscatteringmodel；dehazing；darkchannelprior

0引言

在图像采集或视频监控的应用中，经常会遇到夜视或背光等低照度的情况，这种情况下采集到的图像比照度较低，细节信息严重丧失，给很多工作带来不便。利用低照度彩色图像增强技术，可以有效减小低照度环境对图像或视频获取装置的影响，提升视频监控、图像辨认、计算机视觉等系统在低照度情况下的性能，因此研究低照度图像的增强非常必要。

目前低照度图像增强的算法主要有三大类：空域法、变换域法和融合法。空域法主要有直方图法、灰度变换法、Retinex算法等。直方图法简单有效且处理速度快，但是这种算法对噪声敏感，细节易丧失。韩殿元[1]提出了一种改良的直方图均衡化算法，该算法能有效改善传统直方图法灰度级过度合并以致细节易丧失的问题，但是对彩色图像易发生颜色失真现象。灰度变换法运算速度快，但是参数难以确定，针对不同的图像无法自适应调节，有时存在过增强的问题。Zhou等[2]提出了一种同时增强全局亮度及部分比照度的办法，该算法有效地解决了灰度变换中算法的自适应问题，但是对较暗图像的效果有待改善。Retinex算法是模拟人类视觉系统而提出的，该算法可有效改善图像的视觉效果，但算法复杂度高且色彩失真严重。之后有很多改良算法被提出，如肖进胜等[3]提出的基于改良的带色彩恢复的多尺度Retinex〔MultiScaleRetinexwithColorRestoration，MSRCR〕算法，该算法可有效改善色彩失真、噪声放大等问题，但算法复杂度较高，无法应用于实时处理中。当前较常用的变换域法是小波变换，它通过选取小波基对图像进行分解，能同时体现时域与频域特性，但这种办法由于需要预先定义小波基而使算法的应用受到限制。图像融合法效果较好，但拍摄时间较长，无法应用于实时处理，对单幅图像无效，而且该办法对于亮度很低的图像效果较差。近年来，图像去雾技术取得了很大的开展，局部去雾算法[4-9]取得了良好的效果。2022年，Dong等[10]发现低照度图像反转后与雾天图像相似，提出采用去雾技术来实现低照度图像的增强〔下列简称Dong算法〕，这一思想为低照度图像增强开辟了新的途径。刘洋等[11]在Dong算法的根底上对其作了进一步加速，且噪声得到了很好的抑制，但是该算法对透射率的估计依然采用去雾的理论，导致透射率估计不够准确。Zhang等[12]对透射率估计中参数的选取通过经验获取的，鲁棒性较差。

在Dong算法的根底上，根据低照度图像反转后与雾天图像的相似性，结合其自身的特性，基于光照情况对透射率进行重新估计，本文提出了一种基于物理模型的低照度图像增强算法。该办法在提高处理速度的同时使得透射率更接近真实值，更加合乎低照度图像的特性。实验结果说明，该算法可克服现有算法计算量大、颜色失真严重、比照度下降等缺乏，在保证实时处理的前提下依然能到达较好的视觉增强效果。

1低照度图像增强

基于低照度图像反转后与雾天图像的相似性，本文算法通过对反转图像即伪雾图进行去雾，然后对去雾结果反转得到低照度图像增强效果，最后进行细节补偿，得到最终增强结果。

首先，将低照度图像反转，如式〔1〕所示，其结果与雾天图像非常相似。

Icinv〔x〕=1-Ic〔x〕

〔1〕

其中：c表示图像的RGB三个颜色通道；x表示图像的坐标点；I表示输入的低照度图像；Iinv表示反转图像，即伪雾图。

雾天图像的形成模型可以简化为：

R〔x〕=J〔x〕t〔x〕+A〔1-t〔x〕〕

〔2〕

其中：R表示察看到的有雾图像；J表示场景辐射照度，即要恢复的无雾图像；A是全局大气光值；t表示透射率图，用来描述光线通过媒介透射到相机过程中没有被散射的局部。

根据式〔2〕知，伪雾图基于大气物理模型去雾后得到的无“雾〞图像Jinv：

Jinv〔x〕=A+Iinv〔x〕-At〔x〕

〔3〕

与雾天图像不同，A被称为伪雾图的环境光值。将无“雾〞图像反转即得到低照度增强之后的图像Jen：

Jen〔x〕=1-Jinv〔x〕

〔4〕

因此，低照度图像增强的核心是准确估计出伪雾图的环境光值A及透射率t。

1.1基于暗原色先验估计环境光值A

经过对低照度图像反转后伪雾图的统计与测试发现，清晰无“雾〞的图像对应的暗原色图的像素值接近零，而有“雾〞的图像对应的暗原色图的像素值较高，这表明低照度图像反转后的伪雾图同样满足由何凯明博士提出的暗原色先验规律，其暗原色图可以很好地估计“雾〞的浓度，因此采用暗原色办法来对环境光值A进行估计。具体步骤如下：

1〕求取伪雾图的暗通道图；

2〕从暗通道图中按照亮度大小选取前0.1%的像素点作为“雾〞浓度最大的像素点；

3〕在原始伪雾图中寻找对应位置的最高亮度像素值作为A值。

这种办法受环境影响较小，较其他办法鲁棒性更高，同时算法简单，可以实现对环境光值的快速估计。

1.2基于亮度分量估计透射率t

基于低照度图像取反后生成的伪雾图与雾天图像有一定的相似性，Dong算法将去雾技术直接应用于伪雾图上，估计的透射率thaze不够准确且速度较慢，因为这种办法没有考虑伪雾图其“雾〞的浓度是由光照而非景深决定这一特性。具体表现为，低照度图像中光照强度越大，经反转后其“雾〞越淡薄；而低照度图像中光照强度越小，经反转后其“雾〞越浓厚。因此，提出基于亮度分量来对伪雾图的透射率进行估计。首先，提取伪雾图Iinv的亮度分量：

Y=0.299×Rinv+0.587×Ginv+0.114×Binv

〔5〕

其中：Rinv、Ginv、Binv分别为伪雾图Iinv的三个颜色通道；Y为其亮度分量。

如图1展示了下列内容：〔a〕为一幅低照度图像I；〔b〕为低照度图像经反转后得到的伪雾图Iinv；〔c〕为伪雾图的亮度分量Y；〔d〕为将去雾技术直接应用于伪雾图上获取的透射率图thaze。

基于伪雾图“雾〞的浓度由光照情况决定，因此需要察看透射率与亮度分量的关系，分别选取图1中的〔c〕和〔d〕两幅图像的前1000个像素点察看其像素值的分布情况，如图2所示。

图2中Y为亮度分量的分布，thaze为将去雾技术直接应用于伪雾图上获取的透射率图。

经过察看发现两幅图灰度值分布大致关于直线y=l对称〔l为常数〕，即满足：

Y〔x〕-l=-〔thaze〔x〕-l〕

〔6〕

对数百幅图像作了同样的实验，统计发现这些图像均根本满足伪雾图的亮度分量Y与其透射率thaze大致关于直线y=l对称这一规律，因此估计伪雾图的透射率：

t〔x〕=k-Y〔x〕；k=2l

〔7〕

其中k的变化会直接影响透射率图t，最终影响低照度图像的增强结果Jen。如图3所示为k变化时增强结果的变化。

经过实验发现，当k值较小时，增强后的图像会出现过饱和现象，并引入大量噪声；当k值较大时，增强后图像亮度提升不明显，对于图像分析辨认效果提升甚微。因此需要准确的估计k值来获取最正确的增强效果。

为了保证图像在增强之后信息不丧失，具体来说需要RGB三通道增强之后均不存在溢出现象，为了减少计算量，选取RGB三通道的最大值分量V，当V经过增强之后不会溢出时，即说明RGB三通道增强之后不会溢出，图像信息不会丧失且不会发生色偏，因此k需满足如下条件：V=max〔R，G，B〕

〔8〕

Jen〔x〕≤1；x∈V

〔9〕

其中：R、G、B分别为低照度图像I的三通道图像，V为其最大值通道。结合式〔3〕、〔4〕最终得出：

k≥1+Y〔x〕-Vinv〔x〕A

〔10〕

由上文可知，k越大增强后亮度越低，在满足信息不丧失的情况下故选取最小的k值。所以：

k=min1+Y〔x〕-Vinv〔x〕A

〔11〕

对图3中的图像采用式〔11〕计算得k≈1.2，增强结果如图3中〔e〕所示，可实现在不丧失信息的情况下，最大限度地提升图像亮度，获得较为称心的效果。这种办法可以有效提高透射率的获取效率，且更加合乎低照度图像的光照特性。

此时，环境光值A与透射率t均可求得，基于物理模型，即式〔3〕、〔4〕，得到增强之后的图像Jen。

1.3边缘补偿

图像的边缘信息对视觉效果，尤其对于图像的分析辨认具有十分重要的意义，所以有必要对图像的边缘进行补偿。图像的边缘信息及噪声都属于高频分量，而低照度图像大局部区域均是黑暗区域，噪声极少，因此可以通过低照度图像I与其高斯滤波后图像I′作差来获取边缘信息D：

D=I-I′

〔12〕

其中采用7×7的高斯模板进行滤波。

将边缘信息D与增强图像Jen相加，边缘信息得到补偿。

J′en=Jen+D

〔13〕

为了更好地验证其效果，对边缘补偿前后图进行了部分放大。如图4所示为边缘补偿前后增强结果的部分放大区域。可以看出，边缘补偿后的图像Jen′较之前的图像Jen，其边缘局部得到了明显的锐化，比照度明显提高视觉效果更佳，可进一步提高图像分析辨认等系统的工作效率。

2实验结果与分析

在操作系统为Windows7，配置为IntelCorei52520MCPU@2.5GHz，4.0GB内存的计算机上使用Matlab2022软件环境对本文算法进行验证。He等[13]提出的基于暗原色先验去雾算法是去雾领域的经典算法〔下列简称He算法〕，Dong算法首次提出将去雾技术应用到低照度图像增强上，而带色彩恢复的多尺度Retinex算法〔MSRCR〕[14]是目前效果较为良好的图像增强算法。因此，本文算法与He算法、Dong算法和MSRCR算法进行了比拟。

2.1主观评价

图5给出了不同算法的增强结果。从图5中可以看出：MSRCR算法处理结果整体亮度较高，局部区域发生饱和现象，出现一定程度的颜色偏移且引入了大量的噪声；Dong算法得到的图像光照不均，视觉效果不佳；He算法得到的图像当参数选择不当时会导致光晕现象的发生；而本文算法可在不发生饱和现象不引入噪声情况下，最大限度地提升图像亮度复原图像细节，有效改善视觉效果。

2.2客观评价

本文采用平均梯度、信息熵和结构相似性〔StructuralSimilarity，SSIM〕等三个客观指标对各算法的增强效果进行客观评价，如表1所示。其中：平均梯度是对图像细节清晰度的反映，一般而言，平均梯度越大，图像层次越多，也就越清晰；信息熵是从信息论的角度反映图像信息丰盛程度，通常情况下，图像信息熵越大，其信息量就越丰盛；结构相似性反映了相邻像素之间的关联性，而这样的关联性承载了场景中物体的结构信息，用来衡量图像的结构失真程度，其值越高表明两者结构相似性越高。

从表1可以看出，四种算法处理结果平均梯度和信息熵都有较大提高，表明都较好地改善了低照度图像的比照度和可见度。MSRCR虽有较高的平均梯度和信息熵，但它的结构相似性SSIM最低，表明该算法处理结果的结构遭到了严重破坏，这是由于该增强办法会增加噪声，同时存在一定的颜色偏移而引起的；

虽然Dong算法和He算法处理结果的平均梯度及信息熵普遍高于本文算法，但它们是以光照不均及引入噪声得到的，破坏了图像的结构；