图像去噪及增强ppt课件.ppt

图像去噪及增强,1,1,图像处理中所用到的图像往往含有噪声，需要用图像滤波的方法去除噪声。,噪声图像,滤除噪声图像,1图像滤波,2,直方图是一个二维坐标系，横轴表示整幅图像上灰度值的变化范围，纵轴表示每个灰度值的统计个数。直方图能够反映灰度图像的灰度分布特征。,原始图像,直方图,1图像滤波,3,r,s,r,s,1图像滤波,4,灰度直方图反映图像的灰度分布特征,1图像滤波,5,1图像滤波,6,1图像滤波,7,1图像滤波,8,直方图均衡算法可以有效地提高图像视觉的对比度,直方图均衡算法不增加图像的灰度分辨率,直方图均衡算法可能丢失图像细节,直方图均衡算法用于图像处理流程的显示环节,自动处理/分析过程中不使用直方图均衡算法,1图像滤波,9,原始图像,平滑图像,1图像滤波,10,原始图像,平滑图像,1图像滤波,11,线性平滑滤波邻域平均,邻域平均每个像素点用它邻域像素的平均值作为平滑结果33模板：邻域平均，平滑滤波确实会将噪声点减弱，但是同时也是整个图像的跟为模糊，可视的细节逐渐减少，而且运算量也非常大。有关模板与图像的运算涉及到图像卷积，接下来介绍一下图像卷积的原理。,1图像滤波,12,图像卷积,图像平滑中，有关模板的运算都用到了图像卷积的概念。卷积模板中的各个位置对应的是权重系数，例如：a1a9可以根据具体需要来确定数值。卷积就是将模板的中心a5对应好所处理的当前像素点，系数与图像上的灰度值一一对应相乘，得到的数值作为所处理像素点的新的灰度值。,1图像滤波,13,噪声图像,2x2,3x3,4x4,1图像滤波,14,33,55,1图像滤波,15,单帧,8帧迭加,16帧迭加,64帧迭加,128帧迭加,1图像滤波,16,加权平均,同一尺寸的模板，不同位置的系数不同；距离模板中心越近的像素点的权重越大，同理越远的越小；为了减少计算量，将模板系数最小值设为1，其他的按等比数列递增，中心系数最大；,1图像滤波,17,根据高斯分布确定模板系数,高斯函数：代表邻域像素点距离中心像素点的距离，可以用欧几里德距离来表示。可以通过调整，来控制平滑效果的程度。高斯系数跟距离成反比。,1图像滤波,18,噪声图像,2x2,3x3,4x4,1图像滤波,19,非线性滤波,线性滤波平滑噪声的同时，也损坏了非噪声区域的信号；采用非线性滤波可以保留信号的同时，滤除噪声。非线性滤波的典型方法是：中值滤波。,1图像滤波,20,中值滤波,一维中值滤波模板尺寸为，,原始数据,中值滤波,均值滤波,1图像滤波,21,二维中值滤波,公式：二维中值滤波更加广泛的应用于图像滤波当中,1图像滤波,22,排序取中值,二维中值滤波,1图像滤波,23,中值滤波的步骤,将模板在图中漫游，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成一列；找出这些值的中间值；将这个值赋给对应模板中心位置的像素。,1图像滤波,24,噪声图像,中值滤波3x3,1图像滤波,25,平均滤波与中值滤波比较,噪声图像,均值滤波,中值滤波,均值滤波和中值滤波都采用的是2x2的模板,1图像滤波,26,红外图像的特点场景温度动态范围大局部温度分布较平滑相邻位置的温度相关性较高，温差较小，对比度较差。有效场景信息集中于少量灰度级,红外图像细节增强技术已经成为非均匀性校正技术后提高热成像系统性能的又一研究热点问题,2红外图像增强,27,数字细节增强技术（DDE，DigitalDetailEnhancement）,2红外图像增强,28,研究背景、应用需求及意义,数字细节增强技术（DDE，DigitalDetailEnhancement）FLIRB系列FLIRP系列FLIRS系列FLIRM系列FLIRHM系列FLIRRANGE系列,29,红外图像细节增强处理在成像过程中的两个切入点：,2红外图像增强,30,传统的空域和频域图像增强处理空域处理典型方法：高频增强和非锐化掩膜（UnsharpMasking）低通滤波（LP,LowPassFiltering）；高通滤波（HP,HighPassFiltering）应用特点及适用图像高频增强：场景中包含大量的边沿、轮廓和线条信息。非锐化掩膜：场景包含的细节信息以低对比度、小区域灰度值聚集的形式为主,高频增强,2红外图像增强,31,传统的空域和频域图像增强处理频域处理：将图像转换到傅里叶频域，利用高通滤波滤波器实现对高频成分的增强处理。传统空域和频域图像增强处理特点：直观、易理解，运行效率高，方便实现硬件的实时处理。缺点：图像噪声会被放大，信噪比和视觉感受降低，出现“光晕”现象,2红外图像增强,32,传统红外图像细节增强原理及方法,基于图像直方图的增强处理直方图均衡化（HE,HistogramEqualization）算法目的：概率密度分布函数（PDF,ProbabilityDensityFunction）均匀分布，熵值最大化（理论值）,GHE处理结果,AHE处理结果,2红外图像增强,33,传统红外图像细节增强原理及方法,基于图像直方图的增强处理直方图投影（HP,HistogramProjection）算法原由：灰度级范围内存在PDF为零的灰度级，灰度级范围内会出现冗余现象HP改进算法：1.阈值处理：设定PDF阈值，进一步有效提高图像对比度。2.非均匀性拉伸：给不同灰度范围指定不同的权重，实现不同程度的灰度拉伸。优点：HP处理能充分利用有限的灰度级来实现对比度增强；阈值的加入，能有效降低处理结果中的噪声影响。缺点：对细节的增强效果有限；阈值和非线性拉伸难以实现有效的自适应选取。,2红外图像增强,34,传统红外图像细节增强原理及方法,基于图像直方图的增强处理平台直方图均衡化（PE,PlateauEqualization)算法原由：HE处理会使高PDF灰度级对低PDF灰度级造成“推挤”效应。PE可以视作HE与HP的有机组合（高于阈值的部分，按照HP处理；低于阈值的部分，按照HE处理）优点：可以有效调节高PDF输出占用较大的灰度级范围，提高低PDF细节的对比度。缺点：平台阈值无法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确定。,2红外图像增强,35,传统红外图像细节增强原理及方法,基于图像直方图的增强处理对比度受限自适应直方图均衡化（CLAHE,ContrastLimitedAdaptiveHistogramEqualization)算法原由：HE处理会使高PDF灰度级对低PDF灰度级造成“推挤”效应。优点：可以在降低高PDF的同时，提高低PDF的数值，从而使高PDF输出灰度级范围受到限制，低PDF输出灰度级范围得到增加，最终实现对比度增强。缺点：平台阈值无法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确定。,2红外图像增强,36,传统红外图像细节增强原理及方法,基于图像直方图的增强处理局域交叠子块直方图均衡化（POSHE，PartiallyOverlappedSub-blockHistogramEqualization）算法原由：在算法复杂度（GHE）和处理效果（AHE）之间实现折中的选择。特点：图像分割成有限子块，对每个子块都进行HE处理，并通过添加权重来减小边界分割效应,3红外图像增强,37,新型图像对比度和细节增强方法,Retinex图像增强方法算法原由：模拟人眼对信息的获取过程，将图像模型化为光照分布和场景反射两个过程。图像的大动态背景信息通常位于光照分布中，而细节信息则位于场景反射中。图像方程：处理方程：优点：处理结果包含的细节信息丰富，运算量较小。缺点：空间的光照分布决定细节的表现程度，准确估计空间光照有难度。,3红外图像增强,38,新型图像对比度和细节增强方法,基于小波的图像增强方法算法原由：傅里叶变换是一种整体信息的变换，因此无法针对特殊的独立目标进行进行独立的增强处理。特点：能够对所关心区域的图像细节进行增强，且对细节信息的挖掘程度完全由小波的分解程度决定。可以对不同区域、不同目标实现有针对性且有效地增强处理。,3红外图像增强,39,新型图像对比度和细节增强方法,红外图像的彩色化处理算法原由：人眼对灰度的敏感度远不及对彩色的敏感度。伪彩色处理缺点：不利于长时间观察，人眼对场景的正常理解和感知存在较大的差异。彩色融合特点：在红外场景信息的基础上，添加进微光场景信息，从而增加融合图像的信息量并以彩色的方式显示出来。基于自然场景的图像彩色化处理特点：经过处理的图像场景与人眼对正常真实场景的感知具有相似性。,3红外图像增强,40,3红外图像增强,41,典型红外场景细节增强处理,大动态红外场景细节增强处理,3红外图像增强,42,红外图像细节增强技术发展趋势,提高探测器空间分辨率和AD的量化精度增强算法的通用性研究细节评价客观标准的建立,3红外图像增强,43,图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像图像超分辨率技术分为超分辨率复原和超分辨率重建单帧图像超分辨基于插值的方法基于重建的方法基于先验的方法基于正则化的方法基于学习的方法BeliefPropagation的方法流形学习稀疏编码多帧图像超分辨,4图像超分辨率,44,应用,Satelliteimaging,4图像超分辨率,45,应用,AerialImaging,4图像超分辨率,8images*,ratio1:4,46,应用,DataTransmission,4图像超分辨率,47,应用,PlateReading,4图像超分辨率,48,应用,Surveillancecameras,4图像超分辨率,49,4图像超分辨率,应用,50,应用,Super-ResolutionVisionSystem(SRVS),大气扰动效应是影响近地成像系统分辨率的关键因素利用由扰动产生的微引力透镜现象，可以捕获高分辨率的图像信息图像中鲜有高分辨率区域，但是在所有帧中总有一些高分辨区域,4图像超分辨率,51,平均100帧短曝光时间的图像利用100帧中的高分辨区域的超分辨图像,4图像超分辨率,52,4图像超分辨率,53,图像变形,Imagefiltering:changerangeofimageg(x)=h(f(x),Imagewarping:changedomainofimageg(x)=h(f(x),4图像超分辨率,54,图像变形,Imagefiltering:changerangeofimageg(x)=h(f(x),Imagewarping:changedomainofimageg(x)=h(f(x),f,g,f,g,4图像超分辨率,55,参数(全局)变形,Examplesofimagewarps:,translation,rotation,aspect,affine,perspective,cylindrical,图像变形,4图像超分辨率,56,图像变形,TransformationTisacoordinate-changingmachine:p=T(p)WhatdoesitmeanthatTisglobal?Isthesameforanypointpcanbedescribedbyjustafewnumbers(parameters)RepresentTasamatrix:p=W*p,p=(x,y),p=(x,y),4图像超分辨率,57,ScalingacoordinatemeansmultiplyingeachofitscomponentsbyascalarUniformscalingmeansthisscalaristhesameforallcomponents:,2,图像比例变化,4图像超分辨率,58,Non-uniformscaling:differentscalarspercomponent:,图像比例变化,4图像超分辨率,59,Scalingoperation:Or,inmatrixform:,scalingmatrixS,图像比例变化,4图像超分辨率,60,Thisiseasytocaptureinmatrixform:Eventhoughsin(q)andcos(q)arenonlineartoq,xisalinearcombinationofxandyyisalinearcombinationofxandy,R,图像旋转,4图像超分辨率,61,Whattypesoftransformationscanberepresentedwitha2x2matrix?,2DIdentity?,2DScalearound(0,0)?,图像变换的矩阵表示,4图像超分辨率,62,Whattypesoftransformationscanberepresentedwitha2x2matrix?,2DRotatearound(0,0)?,2DShear?,图像变换的矩阵表示,4图像超分辨率,63,Whattypesoftransformationscanberepresentedwitha2x2matrix?,2DMirroraboutYaxis?,2DMirrorover(0,0)?,图像变换的矩阵表示,4图像超分辨率,64,LineartransformationsarecombinationsofScale,Rotation,Shear,andMirrorPropertiesoflineartransformations:OriginmapstooriginLinesmaptolinesParallellinesremainparallelRatiosarepreserved,图像线性变换,4图像超分辨率,65,Exampleoftranslation,tx=2ty=1,HomogeneousCoordinates,图像变换的矩阵表示,4图像超分辨率,66,AffinetransformationsarecombinationsofLineartransformations,andTranslationsPropertiesofaffinetransformations:OrigindoesnotnecessarilymaptooriginLinesmaptolinesParallellinesremainparallelRatiosarepreserved,图像变换的矩阵表示,4图像超分辨率,67,ProjectivetransformationsAffinetransformations,andProjectivewarpsPropertiesofprojectivetransformations:OrigindoesnotnecessarilymaptooriginLinesmaptolinesParallellinesdonotnecessarilyremainparallelRatiosarenotpreserved,图像变换的矩阵表示,4图像超分辨率,68,Simplemappings:-Similarity-Affinemapping-ProjectivemappingMorecomplexmappings:-Linearandnonlinearmapping-Parametricandnon-parametricmapping,图像变形的类型,4图像超分辨率,69,Acombinationof2-Dscale,rotation,andtranslationtransformations.Allowsasquaretobetransformedintoanyrotatedrectangle.Anglebetweenlinesispreserved5degreesoffreedom(sx,sy,tx,ty)Inverseisofsameform(isalsosimilarity).Givenbyinverseof3X3matrixabove,Havetheform:,Inmatrixnotation:,图像相似性变换,4图像超分辨率,70,Acombinationof2-Dscale,rotation,shear,andtranslationtransformations.Allowsasquaretobedistortedintoanyparallelogram.6degreesoffreedom(a,b,c,d,e,f)Inverseisofsameform(isalsoaffine).Givenbyinverseof3X3matrixaboveGoodwhencontrollingawarpwithtriangles,since3pointsin2Ddeterminedthe6degreesoffreedom,Havetheform:,Inmatrixnotation:,图像仿射变换,4图像超分辨率,71,Linearnumeratorv=g(x,y)copypixelatsourceS(x,y)toT(u,v),Forwardwarpingalgorithm:(OptionalExercise),-Howcanwespeeduptheforwardwarping?,图像变形,4图像超分辨率,79,Decompose2Dtransformintotwo1Dtransforms,u=f(x,y)v=g(x,y),u=f(x,y)y=y,u=uv=g(x,y),1,2,可分变换,4图像超分辨率,80,Catmull-SmithAlgorithm,Firstpass-mapS(x,y)toanintermediateimageI(u,y)Secondpass-maptheI(u,y)tothefinalimageT(u,v),I(u,y)=S(f(x,y),y),T(u,v)=I(u,g(Hu(y),y),WhereHu(y)isthesolutiontou=f(x,y)forx,4图像超分辨率,81,TwoPassPerspective,f,g,f(x,y)g(x,y),T(u,v),I(u,y),S(x,y),4图像超分辨率,82,TwoPassPerspective,-Workscleanlyforaffineandprojectivewarps1Dfilteringandresampling,f,g,f(x,y)g(x,y),T(u,v),I(u,y),S(x,y),4图像超分辨率,83,ForwardWarping,x,y,S(x,y),T(u,v),fory=ymintoymaxforx=xmintoxmaxu=f(x,y);v=g(x,y)copypixelatsourceS(x,y)toT(u,v),Howcanwespeeduptheforwardwarping?Anyproblemsforforwardwarping?,Forwardwarpingalgorithm:,4图像超分辨率,84,x,y,u,v,S(x,y),T(u,v),Q:Whatifthetransformedpixellocatedbetweenpixels?A:Distributecoloramongneighboringpixels-knownas“splatting”,ForwardWarping,4图像超分辨率,85,ForwardWarping,Iterateoversource,sendingpixelstodestinationSomesourcepixelmaptomultipledest.pixelsSomedest.pixelsmayhavenocorrespondingsourceHolesinreconstruction!,fory=ymintoymaxforx=xmintoxmaxu=f(x,y);v=g(x,y)copypixelatsourceS(x,y)toT(u,v),x,y,u,v,4图像超分辨率,86,ForwardWarping,Iterateoversource,sendingpixelstodestinationSomesourcepixelmaptomultipledest.pixelsSomedest.pixelsmayhavenocorrespondingsourceHolesinreconstruction!,x,y,u,v,fory=ymintoymaxforx=xmintoxmaxu=f(x,y);v=g(x,y)copypixelatsourceS(x,y)toT(u,v),-Howtoremovetheholes?,4图像超分辨率,87,x,y,u,v,S(x,y),T(u,v),forv=vmintovmaxforu=umintoumaxx=F(u,v);y=G(u,v)copypixelatsourceS(x,y)toT(u,v),Inversewarpingalgorithm:,InverseWarping,4图像超分辨率,88,x,y,u,v,S(x,y),T(u,v),Q:Whatifpixelcomesfrom“between”twopixels?A:Interpolatecolorvaluesfromneighboringpixels,InverseWarping,4图像超分辨率,89,SpecifyamoredetailedwarpfunctionSplines,meshes,opticalflow(per-pixelmotion),非参数图像变形,4图像超分辨率,90,Howdowealigntwoimagesautomatically?Twobroadapproaches:Feature-basedalignmentFindafewmatchingfeaturesinbothimagescomputealignmentDirect(pixel-based)alignmentSearchforalignmentwheremostpixelsagree,图像配准,4图像超分辨率,91,Opticalflowistherelationofthemotionfieldthe2Dprojectionofthephysicalmovementofpointsrelativetotheobserverto2Ddisplacementofpixelpatchesontheimageplane.,图像配准,4图像超分辨率,92,Motionestimation:Opticalflow,WillstartbyestimatingmotionofeachpixelseparatelyThenwillconsidermotionofentireimage,图像配准,4图像超分辨率,93,Problemdefinition:opticalflow,HowtoestimatepixelmotionfromimageHtoimageI?,SolvepixelcorrespondenceproblemgivenapixelinH,lookfornearbypixelsofthesamecolorinI,4图像超分辨率,94,Opticalflowconstraints(grayscaleimages),Letslookattheseconstraintsmoreclosely,brightnessconstancy:Q:whatstheequation?,smallmotion:(uandvarelessthan1pixel)supposewetaketheTaylorseriesexpansionofI:,H(x,y)=I(x+u,y+v),4图像超分辨率,95,Opticalflowequation,Combiningthesetwoequations,Inthelimitasuandvgotozero,thisbecomesexact,4图像超分辨率,96,Q:howmanyunknownsandequationsperpixel?,2unknowns,oneequation,Opticalflowequation,4图像超分辨率,97,点扩散函数,4图像超分辨率,98,Usecameramanufactureinformationwhichisusuallyhardtoget.AnalysisapictureofaknownobjectBlindestimationofthepointspreadfunctionfromtheimages.,模糊模型,4图像超分辨率,99,NoiseintheImagingModelThenoiseintheimagingmodelofthereconstruction-basedsuper-resolutionalgorithmsisusuallyconsideredtobeanadditivei.i.dGaussiannoise,噪声模型,4图像超分辨率,100,YIQ(luminanceandchrominance)BayerPattern,彩色模型,4图像超分辨率,101,硬件改进手段,增加芯片的大小所需代价昂贵电容的增加大的电容导致电荷转换速率降低减小像素大小降低CCD或者CMOS单元（像素）可接受的光或者能量造成散弹噪声图像质量降低因此，像素的大小存在下界。目前的技术几乎达到了该下界,4图像超分辨率,102,超分辨方法,4图像超分辨率,103,重构基的超分辨,4图像超分辨率,104,基于插值的方法（matlab:imresize）最近邻插值用最近邻点的灰度值代替双线性插值用二维度的相邻点的线性插值代替双立方插值用相邻已知点的B-Spline插值实现，可以简化为卷积运算基于回归的插值基于自适应2-d回归模型（IEEETIP）（目前最好的基于差值的图像超分辨率算法）,算法程序下载地址：http:/www.ece.mcmaster.ca/xwu/,4图像超分辨率,105,结果比较,双立方插值,回归模型,Ground-truth,4图像超分辨率,106,Registrations,lightingandblur.,重构基的超分辨,4图像超分辨率,107,重构基的超分辨,4图像超分辨率,108,重构基的超分辨,4图像超分辨率,109,Registrations,lightingandblur.,重构基的超分辨,4图像超分辨率,110,重构基的超分辨,4图像超分辨率,111,重构基的超分辨,DefinitionofA:DifferentstepsofReconstruction-basedSuper-ResolutionAlgorithms:WarpingRegistrationtosomeReferenceImageBluringDe-BluringDown-SamplingUp-Sampling,4图像超分辨率,112,基于重建的方法基本假设:高/低分辨率图像之间的关系,：高分辨率图像,：低分辨率图像,：高斯核函数,：下采样算子,正则化模型：,高分辨率图像的正则化约束,通过梯度下降法或共轭梯度法进行优化,4图像超分辨率,113,基于重建的方法正则化项：基于图像边缘的光滑性或者统计性特征EdgestatisticsFattal,Siggraph2007,：描述沿着图像边缘相邻像素点之间的颜色差相对于其所满足的高斯统计分布的似然值,光滑测度：,由自然图像学习所满足的高斯分布,正则化项：,项目网址：http:/www.cs.huji.ac.il/raananf/projects/upsampling/results.html,4图像超分辨率,114,GradientprofilepriorSunet.al.,CVPR2008,图像重建约束,梯度轮廓的参数化表达：,低分辨率梯度场,高分辨率梯度场,高低分辨率梯度轮廓参数关系,正则化约束项：,4图像超分辨率,115,结果比较,Edgestatistics,Gradientprofileprior,4图像超分辨率,116,基于学习的方法基本想法：给定观测到的低分辨率图像块，通过匹配低分辨率图像块，在训练集合中找到最匹配的高/低图像块组，应用其相应的高分辨图像块得到高分辨率图像。训练集：由高低分辨率图像块组成的集合。实际应用中，低分辨率图像块需要正规化，高分辨率图像块为middlefrequency信息。,训练集,匹配,推理,？,4图像超分辨率,117,Markovnetwork方法Freeman,IJCV,2000,输入低分辨率图像,候选高分辨率图像块集,y为随机变量，对应于已知一低分辨率图像块；x为所求随机变量，可取候选高分辨率图像块集中任意一图像块,Markov随机网联合概率：,测度相邻高分辨率图像块重合部分颜色相似性,测度观测低分辨率图像块与所选高分辨率图像块相应低分辨率图像块的相似性,(BeliefPropagation):/pff/bp/(GraphCut):http:/www.cs.ucl.ac.uk/staff/V.Kolmogorov/software.html,4图像超分辨率,118,稀疏表达方法Yangetal.,IEEETIP,2010,训练集，即低/高分辨率基元集合,低分辨率集上的稀疏表达：,则高分辨率图像块为：,学习方法：,4图像超分辨率,119,4图像超分辨率,120,挑战？纹理超分辨率边缘与纹理分别超分辨率Taietal.,C