【《基于深度学习的欠曝光图像增强方法研究文献综述》2700字】

第二章数学模型6基于深度学习的欠曝光图像增强方法研究文献综述随着信息化数字化时代的来临，科技飞速发展，数字图像处理技术和多媒体信息技术的不断发展也伴随着成像设备的不断更新。最初人们采集图像是运用光学成像原理和光敏感材料底片等成像，随着科技的进步，时代的发展，成像设备逐渐出现数码照相机，红外成像仪，激光扫描仪以及便携的手机等等，它们有效满足满足了人们各种图像采集的需求，但是采集图像的质量依然受到前端过程的很大影响即采集设备的质量、光照条件的好坏及色差等因素，在一些特殊条件下比如夜晚或阴天，自然光照不足人为打光也难以普及，采集的图像曝光不足导致丢失了很多细节，尤其在计算机视觉系统大量运用的今天，有些图像不仅视觉效果差不能令采集人员捕捉到有用的信息，而且也给基于图像信息的计算机视觉系统正常工作任务增加了难度，例如图像分割、目标检测和跟踪等。其中最常见的问题就是欠曝光图像。1.1.1欠曝光定义曝光是指光学镜头从目标景象中吸收光，汇聚并投射到光敏材料或光导上，并将其记录在数字光敏元件上。曝光量指的是光源的照度和曝光时间的乘积，即曝光=曝光×时间，这是一个因变量维光敏材料或光导材料接收到的照度和曝光时间的函数。在摄影中，调整孔径大小和快门速度来控制曝光量的大小。过度曝光即过曝是指照片亮度太高，而且亮的部分没有层次或细节（对比度低）。反之如果环境太暗，照片太暗，不能真正反映景物的颜色，那就是曝光不足（欠曝光）。所谓正确的曝光也就是适当曝光量的曝光，此时被摄景象的亮度，层次，质感和色泽在图像中处于最佳状态。这是客观广泛的理解，当然正确曝光的图片也存在个性化的理解：为了获得创作者想要的符合设计要求的图像（这种图像在客观的标准下可能属于过曝或欠曝光），只要说这个大小的曝光量适合创作主体的要求，也可以说这是一张正常曝光的图像。使用数码相机拍照时我们能通过相机的液晶屏幕可以让你通过相机的液晶屏幕实时地观察景物的成像，但是液晶屏幕通常只有几十万的图片像素，基于此它并不能完全地展现拍摄景象的细节。更加糟糕的是液晶显示器对光不敏感，也就是说即使曝光过度或曝光不足，也很难通过液晶显示器看到照片的差异但这样质量劣质的照片会给计算机视觉系统带来很大的挑战，如果要进行后续操作任务会十分艰难。庆幸的是许多数位相机内置的【色阶分布显示】功能弥补了我们人类肉眼的不足。其原理是透过波形参数来确定图像曝光精准度，用曲线峰图的形式来展现不同光度的图像元素在图片中的分布情况，以及图片在暗调（色阶分布图的左侧显示）、中间调（中间部分显示）和高光（右侧显示）中是否包含足够的细节，以便用户进行色彩校正。在数字图像处理领域，正常的曝光图像应该做到保留物体的细节，图像具有较强的可分辨能力和识别性能，如图-图一·1（b）-;而曝光不足的图像会丢失大龄细节，图像的可分辨能力和识别性能不好,如图-图一·1（a）-。这样的图像不仅给用户带来较差的视觉体验而且给基于图像信息的计算机视觉系统正常工作任务增加了难度，例如图像分割、目标检测和跟踪等。（a）(b)-图一·1欠曝光图像和正常曝光的图像-1.1.2欠曝光图像增强研究背景及发展随着各种相机设备技术的发展，其分辨率，曝光时间等性能都有了较大的提高，但是硬件升级提升分辨率的方法成本高，可移植性差，难以普及，所以数字图像处理技术更为便捷划算，该技术较高的应用价值推动了大量相关算法的研究，技术的进步为人类生活提供了便捷。目前，研究者针对欠曝光图像增强的方法做的工作主要分为三种类别，基于直方图均衡化的增强方法，基于Retinex理论的增强方法以及基于深度学习的增强方法。基于直方图均衡化的增强方法著名的直方图均衡化方法是具有开创性的，其主要思路是把要提升图像的视觉效果就要增加图像的对比度，而统计直方图就隐形的包含了这一指标，从而联想到可以通过对直方图的像素动态范围进行拉伸达到目的。该类方法适用于前景和背景都过暗的图像，同时因为计算量小，该方法在处理时间上也具有优势，唯一的局限性在于其在整个图像上全局调整对比度，在处理复杂场景的图像时往往出现对某些区域增强过度而产生细节丢失和偏色等问题基于Retinex理论的增强方法-图一·2Retinex理论图示-基于Retinex的方法依据物体的反射特性和入射特性（照明）共同决定人眼看见物体的颜色和亮度这一理论，如图-一·2-。假设图像可以分解为反射量和入射量（照明量或着色量）的像素级乘积。其数学模型如下：S=R∗L#其中S代表获取的欠曝光图像（输入），R代表正常曝光图像（理想输出），L是光度图，符号“*”代表逐像素点乘。该算法的核心思想是首先估计光度图L，然后从欠曝光图像S中去除L分量得到正常曝光的图像R，其数学表达式：R=S∗然而，由于颜色通道的非线性和数据的复杂性，该方法对颜色的增强能力有限，因为颜色很容易在局部失真。基于深度学习的欠曝光图像增强方法近年来兴起的基于深度学习的增强方法主要得益于神经网络以及人工智能在数字图像处理领域的飞速发展。这些算法往往是利用端到端的网络直接学习欠曝光图像到正常曝光图像的映射关系。基于上述分析，本文在学习总结大量前任的研究成果后针对先现有的欠曝光图像增强方法存在的不足，提出一点改进，本文提出一种通过估计原图到亮度图的映射来实现对原图的增强方法。因为亮度图较为简单，而且其中蕴含着的先验知识使亮度图具有很强的参考作用，可以通过亮度图估计模型设计具有很强泛化能力和可移植性的网络来达到各种复杂光照条件下的摄影调整。本文设计一种端到端的网络，首先估计输入的欠曝光图像S到光度图L的映射，采集不同光照条件下的欠曝光图像及其光度图，准备了一个包括3000张欠曝光图像对的数据集，涵盖了不同的照明条件，以补充现有的基准数据，通过大量的训练，提升网络的学习效果并据此针对不同的光照条件做出调整。此外，本研究采用基于双边网格的上采样方法来降低计算量，并设计一个采用光照约束和先验的损失函数。通过这些方法可以有效地恢复欠曝光图像已达到对比度适中、色彩鲜艳、细节清晰、曝光自然的效果。参考文献LinL,WangR,WangW,etal.Alow-lightimageenhancementmethodforbothdenoisingandcontrastenlarging[C]//IEEEInternationalConferenceonImageProcessing.IEEE,2015.S.C.F.Lin,C.Y.Wong,M.A.Rahman,G.Jiang,S.Liu,NgaimingKwok,HaiyanShi,Ying-HaoYu,TonghaiWu.Imageenhancementusingtheaveraginghistogramequalization(AVHEQ)approachforcontrastimprovementandbrightnesspreservation[J].ComputersandElectricalEngineering,2015,46.SujeeR,PadmavathiS.Imageenhancementthroughpyramidhistogrammatching[C]//InternationalConferenceonComputerCommunication&Informatics.IEEE,2017:1-5.LandEH.TheRetinexTheoryofColorVision[J].ScientificAmerican,1978,237(6):108-128.JobsonDJ,RahmanZ,WoodellGA.Propertiesandperformanceofacenter/surroundretinex.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(3).JobsonDJ,RahmanZ,WoodellGA.Amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(7).YingZ,GeL,WenG.ABio-InspiredMulti-ExposureFusionFrameworkforLow-lightImageEnhancement[J].2017.GuoXiaojie,LiYu,LingHaibin.LIME:Low-lightImageEnhancementviaIlluminationMapEstimation.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,2016.Zhen-ZhongWU.ResearchonImageEnhancementAlgorithmBasedonRetinexTheory.ModernComputer,2016.BychkovskyV,ParisS,ChanE,etal.Learningphotographicglobaltonaladjustmentwithadatabaseofinput/outputimagepairs[C]//ComputerVisionandPatternRecognition(CVPR),2011IEEEConferenceon.IEEE,2011.YanJ,LinS,KangSB,etal.ALearning-to-RankApproachforImageColorEnhancement[C]//CVPR2014.IEEE,2014.YanZ,ZhangH,WangB,etal.AutomaticPhotoAdjustmentUsingDeepNeuralNetworks[J].2014.LoreKG,AkintayoA,SarkarS.LLNet:ADeepAutoencoderApproachtoNaturalLow-lightImageEnhancement[J].PatternRecognition,2017,61:650-662.MichaëlGharbi,JiawenChen,JonathanT.Barron,SamuelW.Hasinoff,FrédoDurand.Deepbilaterallearningforreal-timeimageenhancement[J].ACMTransacti