【《夜间视频图像增强处理技术研究的国内外文献综述》4000字】

夜间视频图像增强处理技术研究的国内外文献综述目录TOC\o"1-3"\h\u18426夜间视频图像增强处理技术研究的国内外文献综述 1231651.1直方图均衡化 1102201.2Retinex理论图像增强 2236571.3基于暗通道的图像增强算法 496041.4卷积神经网络增强算法 5夜间视频图像增强处理是通过图像增强处理技术对一个视频的每一帧进行细节和亮度增强，作为数字图像处理的热点问题，许多的学者对低照度条件下的图像增强技术进行了研究。比较常见的方法有：直方图均衡和Retinex理论，暗通道图像增强算法，卷积神经网络增强算法等。1.1直方图均衡化直方图均衡化的理论基础是灰度直方图。直方图均衡化是基于不同灰度直方图进行增强的一种图像处理方法。直方图均衡具有运算简单、复杂度低的优点。但直接用这种方法处理图像可能会导致增强过度和噪声较多的问题，由此在该算法的基础上产生了许多优化算法。国外学者中，J.A.Stark建立了一个局部直方图均衡化的数学描述，通过对局部的参数值的调整实现了控制部分区域直方图均衡效果的目标[1]。J.C.Fu等人利用小波变换的技术与直方图均衡化相结合，得到的结果更好地保留了图像信息，减少了噪声[2]。Kim于1997年提出了一种亮度保持的双直方图均衡化（BBHE）算法[3]，将图像的一个完整直方图分为两部分。分离之后，这两个直方图被分开进行独立处理。得到的图像的平均亮度将位于图像输入灰度平均值和中间灰度级之间。该方法能够在保持灰度图像细节的同时，保持平均亮度。遵循与BBHE方法相同的基本思想，Y.Wang等人提出了等面积的DSIHE方法[4]。这个算法把原始图像分解为上下两个子对象图像，然后分别均衡子对象图像的直方图。DSIHE方法不是基于平均灰度来分解图像，而是针对输出图像的熵最大化来分解图像。考虑到两个相等的超大面积图像特性,将每个输入的图像子集分解定义为具有两个子集的图像,一个为暗，一个为亮。通过DSIHE方法生成的输出图像的亮度相对于输入图像的亮度没有明显的变化，尤其是对于具有相同灰度级的图像的大区域。OoiCH等人提出的平均亮度保持直方图均衡（MBPHE）方法[5]实际上有两个部分，分别为二等分的MBPHE和多部分的MBPHE。二等分的MBPHE是将输入直方图分为两个部分。然后，将这两个直方图进行独立均衡。但是，二等分MBPHE只能在一定程度上保留平均亮度。多部分MBPHE组与两等分MBPHE组相比，平均亮度保持效果更好。在多部分MBPHE中，输入直方图分为R个子直方图，其中R是任何正整数。然后，每个子直方图被独立均衡。可以以递归方式或者基于输入直方图本身的形状来执行子直方图的创建。但是，这个方法对保持平均强度值都施加了太多限制，无法获得很大的增强。Abdullah-Al-WadudM等人提出了一种基于HE算法的智能对比度增强技术[6]。这种动态直方图均衡化（DHE）技术可以对图像进行分区，分区的参照是局部区域的最小值。并且为每一个分区都分配了一个特定的灰度范围。该方法能够有效地增强对比度而不引入严重的副作用。H.Ibrahim等人提出的亮度保持动态HE算法是HE的扩展[7]，可以产生平均强度几乎等于输入平均强度的输出图像，从而满足保持图像平均亮度的要求。该方法实际上是MPHEBP和DHE的扩展。与MPHEBP相似，该方法也是基于平滑直方图的局部最大值进行分区。但是,在开始进行直方图均衡之前,该方法可能会将每个动态分区范围映射到全新的一个动态分区范围,类似于DHE。由于动态范围发生了变化，直接导致了平均亮度的改变。因此该方法的最后一步涉及到输出强度的归一化。因此，所得图像的平均强度将与输入的相同。按照这个标准，与MPHEBP相比，BPDHE将产生更好的增强效果，与DHE相比，BPDHE将更好地保留平均亮度。国内学者中，韩少刚等人首先提出了双边直方图像的均衡化[8]，算法通过使用K-Means的图像聚类技术得到了两个子图像，再分别对两个子图像单独进行直方图均衡处理，再把两个子图重新融合。该算法不仅保持了原图像亮度，而且对比度强，效果更好。Yang等人提出了一种自适应的gamma校正直方图[9]，通过分离亮部和暗部，分别对直方图进行处理，更好地保留了图像的原始色彩，不会产生过曝的现象。1.2Retinex理论图像增强Retinex算法不但可以实现夜间图像全局的增强，还可以实现对局部对比度的针对性增强。随着彩色恢复处理技术的不断进步创新发展，Retinex算法也在不断寻求创新。从单尺度Retinex算法[10]发展到多尺度的Retinex算法[11]，再到能够进行彩色恢复的多尺度Retinex算法[12]。D.J.Jobson等人提出了单尺度SSR算法[10]，这是一个围绕着中心点进行计算的retinex算法。它提供了保持图像高度色彩和动态范围压缩的功能。但是它的缺点是不能同时提供动态范围压缩或色调再现，而且还会遭受颜色失真。JobsonDJ等人提出的多尺度retinex（MSR）[11]结合了多个SSR输出，并且它是本地Retinex的多层版本。MSR将低亮度范围下的retinex的亮度动态范围压缩与高亮度范围下的retinex的色调结合在一起。优点是它通过保留大多数细节而提供了动态范围压缩和音调再现，同时消除了晕影伪影。但是，它会使统一的场景变灰，并且色调再现取决于场景并且效果很差。Horen等人[13]提出来一种基于PDE模型的算法，这种算法应用拉普拉斯算子获得泊松方程，并且提出了一种迭代过程，该过程可以有效地将拉普拉斯算术求反。之后，Blake等人对Horen的方法进行了改进[14]。他建议从图像梯度幅度中提取不连续点，而不是拉普拉斯算子，从而提出更好的边界条件，以解决沿图像边界的琐碎情况。还有其他类似的方法，例如Morel，Petro和Sbert[15,16]，他们使用了相同的假设（照明的梯度相对较小），首先将阈值函数应用于逐分量梯度，然后通过考虑散度来获得泊松方程。所有PDE公式都具有以下相似之处：该公式使用原始模型的对数形式，并且在考虑分段连续性的前提下用梯度来提取反射率。Kimmel等人为retinex提出一个变体模型[17]。出于对身体动机的考虑，作者定义了retinex重构。将问题转换为二次规划（QP）优化问题。然后使用加速项目归一化最速下降（PNSD）算法解决QP问题，该算法利用了有关照明空间平滑度的知识。陈少华等提出了一种基于Retinex（NRCIR）的彩色图像自然渲染的新方法[18]，在增强后不更改图像的色调（暖色或冷色）。它用于自然地渲染彩色图像。在整合一个滤镜的Retinex和直方图缩放后，可以改善图像的自然外观，但是该方法在非自然图像（如医学图像）中效果不佳。现在许多学者也开发出了许多优化算法，如欧嘉敏等人提出的改进的retinex-Net方法，引入了注意力机制模块和颜色损失，能够在增加光照亮度的同时降低图像的噪声[19]。常戬等人提出的改进的利用双边滤波器实现Retinex的多聚焦图像融合算法，将原始图像与最亮的一个区域图像进行多焦图像融合，有效地抑制了原始图像的部分区域灰度过高的问题，减少了光晕和边界突出现象[20]。1.3基于暗通道的图像增强算法暗通道先验法是何凯明博士在2009年提出的一种通过图像分析去除图像烟雾的先验方法[21]，启发了学者们，在处理夜间图像时也可以参考对雾天图像的增强方式。Dong等人[22]通过实验发现，对夜间图像的直方图进行反转后的图像与雾天图像的直方图像用很多共同点。这种改进算法将相机拍摄的夜间视频图像进行反转图像处理,然后用图像去雾算法对反转后的视频图像进行增强。为了大大提高这个算法对帧计算的工作效率,此算法还引入了一个相邻两帧之间的高度相关性计算系数，将其作为这个算法中的重要参数。这种增强算法与基于视频帧速率增强的其他算法相比,在保证增强效果不变的前提下，计算速度提高了3倍。图1-1Dong等人算法效果图[22]之后，Jiang等人[23]提出了一种改进的模型，将其与针对局部区域的图像平滑算法和图像高斯金字塔算子集成在一起。实验结果表明，该方法不仅可以增强细节，而且可以有效避免过度的增强现象，从而可以实时提高夜视的感知质量。Jiang等人设计的算法增强效果如图所示，其中第一列为原图，第二列为增强后图像。此算法可以在一定程度上减少光晕伪影的产生，但是计算的复杂度和算法运行时间也会有所增长。图1-2Jiang等人[23]算法效果图1.4卷积神经网络增强算法最近，卷积神经网络（CNN）在几种新型计算机图像视觉技术应用中取得了令人瞩目的重大进展。可以在CNN中实现上述三种方法以实现低照度图像增强。CNN可以学习用不同的内核过滤弱光图像，然后将多尺度特征图和单特征弱光图像组合在一起，这样就能快速生成增强后的图像。CNN能够帮助重建更加准确的图像纹理。2016年，JiwonKim等人[24]首先提出了一种CNN模型。这种模型在深度网络结构中重复使用了多次小型过滤器，这样可以有效地获取到图像区域上的信息，并使用可调整的梯度裁剪实现极高的学习率。Y.Wang[25]等人提出了一种能够增强水下图像的框架，其中提出了一个基于CNN的网络，称为UIE-Net。UIE网络能够实现两个功能：颜色校正和图像去雾。这种训练方法可以同时学习和训练两个数据集的特征表示。在提出的学习框架中采用了像素破坏策略，可以更有效地获取局部图像中的特征，大大提高了收敛速度和准确性。L.Tao等人[26]提出了一种有效的方法，将降噪和对比度增强相结合，用于弱光图像。设计了一个卷积神经网络来去除图像噪声，提出了一种弱光模型，使用了明亮通道先验来计算透射率。此外，还提出了一种有效的方法来自适应地估计环境光。实验结果表明，与其他方法相比，该算法可以更好地提高亮度，增强对比度并保留细节。参考文献StarkJA.Adaptiveimagecontrastenhancementusinggeneralizationsofhistogramequalization[J].IEEETransactionsonimageprocessing,2000,9(5):889-896.FuJC,LienHC,WongSTC.Wavelet-basedhistogramequalizationenhancementofgastricsonogramimages[J].Computerizedmedicalimagingandgraphics,2000,24(2):59-68.KimYT.Contrastenhancementusingbrightnesspreservingbi-histogramequalization[J].IEEEtransactionsonConsumerElectronics,1997,43(1):1-8.WangY,ChenQ,ZhangB.Imageenhancementbasedonequalareadualisticsub-imagehistogramequalizationmethod[J].IEEETransactionsonConsumerElectronics,1999,45(1):68-75.OoiCH,KongNSP,IbrahimH.Bi-histogramequalizationwithaplateaulimitfordigitalimageenhancement[J].IEEEtransactionsonconsumerelectronics,2009,55(4):2072-2080.Abdullah-Al-WadudM,KabirMH,DewanMAA,etal.Adynamichistogramequalizationforimagecontrastenhancement[J].IEEETransactionsonConsumerElectronics,2007,53(2):593-600.IbrahimH,KongNSP.Brightnesspreservingdynamichistogramequalizationforimagecontrastenhancement[J].IEEETransactionsonConsumerElectronics,2007,53(4):1752-1758韩少刚,江巨浪.基于图像分割的双直方图均衡算法[J].安庆师范大学学报(自然科学版),2021,27(01):66-69.K.Yang,H.Li,H.Kuang,C.LiandY.Li,"AnAdaptiveMethodforImageDynamicRangeAdjustment,"in

IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.29,no.3,pp.640-652,March2019,doi:10.1109/TCSVT.2018.2810212.JobsonDJandRahmanZandWoodellGA.Propertiesandperformanceofacenter/surroundretinex.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(3):451-62.JobsonDJandRahmanZandWoodellGA.Amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(7):965-76.JobsonDJandRahmanZandWoodellGA.Amultiscaler