树莓大礼包数字图像处理课件chapteren student

mageImageI第3project2Chapter5ImageThingswhichweseearenotbythemselveswhatwesee……Itremainscomple yunknowntouswhattheobjectsmaybebythemselvesandapartfromthereceptivityofoursenses.Weknownothingbutourmannerofperceivingthem.ImmanuelKant 掌握图像复原的基本理论和方法 3Chapter5Image图像复原:利 现象和噪声干扰的某些先验知识来重建或恢 的图像,尽可能的恢复图像的原貌.图像增强侧 的探索性过程，主要是为了人类视觉系统的生感知特点而设计的。例如：增强对比度、使图像变柔和等图像复原大部分是一个客观过程,为现实服务的.需要利用某些先验 和干扰模型化,然后采用相两者的目的都是为了改善图像，在去除噪声方面所使用的方法有多交叉相同的部4567ChapterNoiseModelRestorationinthePresenceofNoise–SpatialNoiseFiltersPeriodicNoiseReduction– FiltersEstimatingtheDegradationInverseFilteringMinimumMeanSquareError–WienerConstrainedLeastSquareGeometricMean85.15.1AModeloftheImageDegradation/RestorationThemainModelofdegradedimagediscussedhereg(x,y)=ThemainModelofdegradedimagediscussedhereg(x,y)=h(x,y)*f(x,y)+(x,f(x,y)－“Original”Image,h(x,y)－Degradation(x,y)－Additive g(x,y)－DegradedAccordingtoFourierTransformandtheConvolutionTheory,weG(u,v)=H(u,v)F(u,v)+N(u,按上述模型,本章的图像复原分为两部分:噪声(加性污染)处理 (性污染)处理9

+5.15.1AModeloftheImageDegradation/Restorationg(x,y)=h(x,y)*f(x,y)+(x,f(x,y)－“Original”Image,h(x,y)－Degradation(x,y)－Additive g(x,y)－DegradedAccordingtoFourierTransformandtheConvolutionTheory,weG(u,v)=H(u,v)F(u,v)+N(u,5.2Noise注意 种建模处理方如前面所述,图像的污染源分为两部分,一部分是噪声（加性）,一部分是（乘性）。先考虑加性噪声的情形.处理噪声,首先要做的是建立噪声模型.重要假定:除周期噪声之外,这里假设噪声是与图像和坐标 量,概率密度函数是描述其行为的主5.2Noise

Problemtosolvehere:weg(x,y)=h(x,y)*f(x,y)+(x,y)=f(x,y)+(x,Ourpurposeistorecoverf(x,y)fromthenoiseimageg(x,y),whichisalmostthesameastoremovenoise(x,y)fromg(x,y)ifwedon’tconsidertheimpactofh(x,y).Toremovenoiseefficiently,itisbettertoknowthenoisemodelfirst;Tobuildamodelforanunknownnoiseimage,itistoknowalltheexistingandwidelyusednoise注：所谓建模这里指的就是建立噪声的分布或者概率密度函5.2Noise一些和 量有关的参量和函数Distributedfunction:F(z)=P{xz}ProbabilityDensityFunction:p(zdF(z)/dz

Standarddeviation:standarddeviationsquarediscalledthevariance,whichshowsthedeviationfromtheexpected(mean)valueofrandomvariablep(z)p(z)1e(z)2/2几种重要噪声的概率密度函数PDF(ProbabilityDensity常用的工程方法：给出几种常用和易于处理的噪声模型,以便于在际问题中进行对比参考。(注意噪声看成是 量GaussianTheprobabilitydensityfunction(normalizedhistogram)p(z)isgivenbyz:z:grayµ:meanσ:standard落在[-,+]的范围内,而95%的值落在[-2,+2]的范围内Thenthenoisemodelparametersµandσ2canbeevaluatedthe5.2NoiseRayleighItsdensityfunctionpp(z)2(za)e(za)2/zzThemeanandvarianceofthisaregivena b(44注意此密度函数距原点的位移和图形的形状向右偏移的事实,瑞利度函数可以较好的近似那些形状偏移的直方图5.2Noisep(z)p(z)(babezz 5.2NoiseExponentialp(z)p(z)ezz5.2NoiseNoise5.25.2NoisePeriodic

Theimageshowsspatiallyperiodicnoises,correspondstosinewavesofvariousTheDFToftheoriginalimageshowsfourconjugatepairofpeaksindicatingthefrequenciesoftheperiodicnoiseintheoriginalimage.Noisef(x)Asin

Aej2rx/

ej2rx/M 为什么周期噪为什么周期噪声的富里叶变换会出现共轭对称亮点?先看一个纯正弦数 变换:设r0是整数，ƒ(x)=Asin(2r0x/M)根 变换

F(u)

2jM

Mx0

j2r0x/

ej2r0x/

)ej2ux/

2jM

M(ex0

j2(r0u)x

j2(r0u) 易见上式只有当u=r0和u=M-r0时不为零（作业：证明）。u=r0和u=M-r0恰好是关于中点对称的两个点.因此一维纯正弦函数的富里叶变NoiseNoiseGaussianNoise－电子电路噪声、低照明度或高温引起的RayleighNoise－可用于刻划 ImpulseNoise－成像中短暂停顿(如错误的切换开关等)引PeriodicNoise处理这种噪声的主要工具是频谱分析,也就是说在频率域处理NoiseEstimationofnoiseWhataretherightnoisemodelsforfollowingnoisedNoiseEstimationofnoise如何尽可能多的知道噪声模型的信息对周期噪声的估计,主要是通过对图像频谱的分析.周期噪声趋向于生频率尖峰,这些尖峰甚至由视觉分析也可以观察到对一般的随机噪声,主要是以估计其PDF为主.两个要素：模型和参（均值和方差p(p(z)1e(z)2/2Noise传感器产生的噪声其PDF参数可以从说明书上查到无法查到的成像系统,下列两种方式可以作参考;若成像系统可用,那么估计系统噪声特性最简单的方式就是在一“平坦” (均匀光照,单色背景)环境中成像,截取一组以噪声为主的图像.例如,在光学传感器情况下,就是简单的对一个固体的、光照均匀的灰度板成像.成像后就是一个典型的系统噪声的指示器;计噪声的PDF.首先计算这一小部分图像的直 ,然后利用已知的噪声模型,例如前面提到过的 、瑞利、脉冲等,和计算出来的直作对比寻找最接近的形状(如图5.6所示再根据需要估计相应的参数,如均值、方差等.Noise从图像的一小块“平坦”区域中提取噪声信息(值得借鉴的建方式NoiseGiventheprobabilitydensityfunctionmeasuredfromthehistogramofnoiseusingthetestpatternshownabove,firstthemost-likelynoisemodelischosen(beitGaussian,Rayleigh, orexponential)beforethenoiseparametersareThen,wecanusetheimagestrip,denotedbyS,tocalculatemeanandvarianceofthegray zp(z

2

(zii

p(ziHerezi′sarethegray-levelvaluesofpixelsinS,andp(zi)areicorrespondingnormalizedhistogramNoise从 的形状找出最接近的匹配, 等.那 布确定下来.前边提到的其他类型,也可以利用均值和方差解出a和b来,从而将PDF确定下来.脉冲（椒盐）噪声要用不同的方法来处理,但一般脉冲噪声是唯一视觉可见的噪声,比较容易区分.5.35.3RestorationinthePresenceofNoiseonly-SpatialThissectiondiscussesvariousnoisefiltersforimagerestorationwhenthedegradationfunctionH(u,v)=1andthenoisesarepositionindependent.Thatis,noiseistheonlysourcefordegradationoftheimage.g(x,y)=f(x,y)+(x,G(u,v)=F(u,v)+N(u,MeanMeanAmeanfilterusesaconvolutionmaskofthesizem×nresultinonepixelintheoutputArithmeticMeanˆ(x,y)1 g(s,mn(s,tGeometricMeanˆ(x,y)g(s,t)ˆ(x,y)g(s,t)Arithmeticmeanfilterfindthearithmeticaverage,whiletheotherthegeometricaverage.Averagingcausesblurring(low-pass5.35.3RestorationinthePresenceofNoise例5.2:几何均值滤波器和算术均值滤波器的比5.35.3RestorationinthePresenceofNoiseHarmonicmean

调和均值滤波——倒数均值的倒ˆ(x,y)ˆ(x,y) (s,t1g(s,t)g(s,t)Q1ˆ(x,y)(s,tg(s,t)QRestorationinthePresenceofNoise总的来说,算术均值滤波器和几何均值滤波器更适合处理 机噪声.谐波均值滤波器更适合处理脉冲噪声,但它的缺点是必须知道噪声是暗噪声(胡椒)还是亮噪声(盐),以便于选择合适的符号.若符号 ,就会出现5.35.3RestorationinthePresenceofNoiseWrong5.35.3RestorationinthePresenceofNoiseMedianfilter: isatypicalorder-statisticfilterthatdeterminestheoutputpixelaccordingtotheorderofpixelbrightnessinamask.Medianfilterisgoodforbothbipolarandunipolarimpulseˆ(x,y)(s,t5.35.3RestorationinthePresenceofNoiseMaxfilters:Tofilteroutpeppernoise(blackˆ(x,y)(s,t5.35.3RestorationinthePresenceofNoiseˆ(x,y)minˆ(x,y)min(s,tMidpointfilters:UsethesumofMaxandMinfiltertoremovepepperandsaltnoises,Gaussiannoiseanduniformnoises.fˆ(x,y)2

ming(s,t)maxg(s, (s,t (s,t RestorationinthePresenceofNoiseAlpha-trimmedmean(ATM)filter:forGaussian+salt-and-peppernoiseThisfilterfirstremovethed/2lowestandthed/2highestgreylevelinthemaskandleavemn-dpixelsdenotedbygr(s,t),themaveragethesepixelstogivetheresultantoutput.RestorationinthePresenceofNoiseAnadaptivefiltercanremoveGaussiannoiseaseffectiveasarithmeticandgeometricmeanfilter,butwithaminoreffectofblurring(low-passfiltering).RestorationinthePresenceofNoiseAdaptiveAdaptive优点：adaptive、localnoisefiltering；缺点：computingcomplexityincreaseOnlyconsiderthecaseofadditivenoises.Suppose(x,y)iscurrentpixeltodealwith,andSxyisitslocalregion.g(x,y)－input(带噪声图像在(x,y)上的值22(cmL－SxyL2－Sxy2除了之外,2RestorationinthePresenceofNoise若0（没有噪声）滤波器返回g(xy)的值2若相对于2,局部方差L较高2g(xy)的近似值。原因是高局部方差通常和边缘有关这若两个方差相等,表明局部区域的图像和整体图像有相同特性这时局部噪声可以用求平均来降低.希望滤波器RestorationinthePresenceofNoise22ˆ(x,y)g(x,y) 2L

g(x,y)mL该式的一个假设是2L2由于Sxy是g(xy)的一个子集,这个假设是合理的.然而在实际应用中对2知之甚少（通常是估计值或者尝试值）所以有时也会出现2L2的情况.因而在程序中可以设置一个条件判断,当2>L2出现时将它们的比率值设置为1.这时滤波器是非线性的.L另一种选择是允许负值最后作图像标定RestorationinthePresenceofNoise噪声污几何平 RestorationinthePresenceofNoise大小）,定义下述符号Zxy当前要处理的像素(xy)Zmin=Sxy中灰度的最小值ZmaxSxy中灰度的最大值Zmed=Sxy中灰度的中值SmaxSxy允许的最大尺寸RestorationinthePresenceofNoise自适应中值滤波器分为两个层次A层:（确定Zmed是否为脉冲A1=Zmed–Zmin,A2=Zmed-如果A1>0且A2<0,转到B层;否则增大窗口尺寸.(检验是否满足Zmin<Zmed<Zmax,若满足，则Zmed不可能是脉冲点；若不满足（有可能如果窗口尺寸Smax,重复A层(包括重新计算Zmin、Zmed、Zmax);则输出Zxy从A层出来后,总有Zxy输出,B1=Zxy– B2=Zxy-如果B10且B20输出Zxy否则输出Zmed(检验是否满足ZminZxy<Zmax,即不是脉冲点时保留原值以减少失真.若不满足表示是一个局部极值,输出中值是一个不错的选择)RestorationinthePresenceofNoisea)是被“椒盐声干扰过的电路图噪声概率为0.25(很高模糊大部分图像77的中值滤波器,去除了大部分噪声,但细节有较大的损失自适应算法的结果.允许最大窗口的选择和应用有关,初始窗口的选可从标准中值滤波器的实验结果中得到（自己动手重复这一结果）PeriodicNoiseReductionbyFrequencyPeriodicNoiseReductionbyFrequencyPeriodicNoiseReductionbyFrequencyD(u,v)D(u,v)0H(u,v)2WD0D(u,v) D(u,v)D0由于周期噪声在频率域有较为特征化的表示,所以通常都在频率域理这类问题Band-rejectidealband-rejectWhere:D(u,v)=[(u–u0)2+(v–v0)2]1/2isthedistancefromtheoriginofthecenteredfrequencyrectangle.WisthebandwidthandD0isitsradialcenter.Butterworthband-rejectfilterandGaussianband-rejectHH(u,v)11D(u,2D(u,v)202H(u,v)11D(u,v222D(u,vPeriodicNoiseExample5.6:rejectedbandofButterworthImagewithperiodicnoiseandImagewithperiodicnoiseanditsFourierband-rejectfilteranditsPeriodicNoiseBand-passBand-passAband-passfilterHBP(u,v)canbeobtainedfromarejectfilterHBR(u,Hbp(u,v)=1–Hbr(u,PeriodicNoiseNotchAnotchfilterrejectsfrequenciesnearprescribedPeriodicNoisePeriodicNoise例5.8：使用陷波滤波器消除周期性噪 ,其上有水平方向的干扰,导作用,所以干扰模式不是很清晰.然而,如果我们沿 建立一个简单的陷波带通滤波器,就可以开展近似的噪声分析.再利用傅里叶反变换可以得到噪声的空间表示.反复调整带通陷波滤波器,可以得有了上面的结果再构造相应的陷波带阻滤波器就能去除图像上的图像中的噪声模式并不明显,反应在频谱域垂直方向也是如此.所先了解噪声的模式是重要的一步PeriodicNoise5.4PeriodicNoise5.4PeriodicNoise步骤构造一个沿垂直方向的理想陷波(带通)滤波器,对图像的频谱图滤波将上面的结果 反变换得到近似的噪声模型调整陷波(带通)滤波器使得噪声模型更接近原始噪声根据前面陷波带通滤波器的结果,建立相应得陷波带阻滤波器噪声,得到滤波后原图像的 变换,然后再做反变换就得到了滤问题能否在空间域构造类似的滤波器5.4PeriodicNoiseOptimumNotchTheneedofanoptimumnotchfilterarisesfromthefactthatclearpatternintheFourier nearenotConsidertheimageshownbelowfromaspacecraft,thestartlikebrightspotsintheFouriertransformed ne(ontheright)arenotallduetoonlyonetypeofnoises.Instead,itisthecombinationofseveraltypesofnoises.Insuchacase,previousapproachesfail.水手6号拍摄的火星地 ,有不止一个正弦分 考虑一种使复原图像考虑一种使复原图像fˆ(x,y)具有最小方差的“最佳”滤波方法噪声图像的原始模型g(x,y)=f(x,y)+(x,或 G(u,v)=F(u,v)+N(u,第一步提取干扰的主要因素寻找噪声的“近似”表达形式(模式).到的滤波器,则提取的噪声模式可以表示为:N(u,v)=H(u,v)G(u,v)而空间域的相应模式通 反变换得(x,y) -1{H(u,v)G(u,第二步:计算因子(或调制函数),使得原图像的估计fˆ(x,y)=g(x,y)-(x,y)(x, 5.4PeriodicNoise5.4PeriodicNoise2(x,y) {[g(xs,yt)(2a1)(2b1)satb

(x,y)(xs,y[g(x,y)(x,y)(x,Tominimizeσ2(x,y),we2(x,y) (x,y)g(x,y)(x,y)g(x,y)(x,2(x,y)2(x,5.4PeriodicNoise计值：利用陷波方法得到参考噪声的模对每一(x,y)，利用（5.4.21）计 因子的值利用（5.4.13）得到在坐标(x,y)处的复原图像ˆ(x,y)g(x,y)(x,y)(x,(x,y)g(x,y)(x,y)g(x,y)(x,2(x,y)2(x,如果假设在某一邻域内(x,y)为常量，则这个邻域内所有点的复图像值可同时处理5.4PeriodicNoise图5.20(a) 谱(没有做中心化处理5.4PeriodicNoise在每个尖峰处设一个陷波带通滤波器,这是滤波后的频谱以及空间声干扰模式5.4PeriodicNoise处理后的结结论:这种方法分为两部分:第一部分是将图像的干扰的主要部分孤立分析,提取噪声的模式;第二部分是将噪声模式乘上一个 小)上是最佳的Linear,Position-InvariantAtbeginningofthisChapter,weassumethatthedegradationmodelwedealwithhereonlyisexpressedg(x,y)=h(x,y)*f(x,y)+(x,G(u,v)=H(u,v)·F(u,v)+N(u,Wewill inwhythisassumption(skip(下面将从成像统出发，说明上述图 模型假设的根据)5.55.5Linear,Position-InvariantDefinitionoflinear,position-invariant(LSI)degradationConsiderthedegradationoperatorHinthepresenceofnoise,weThedegradationoperatorHislinearIFFitsatisfiessuper-(5.5.4)Furthermore,letg(x,y)=H[ƒ(x,y)],thelinearoperatorHisposition-invariantIFFitsatisfies:foranyƒ(x,y),andH[f(x,y)]g(x,y

Alinear,positioninvariantsystemisalsocalledalinear,invariant(LSI)5.5Linear,Position-Invariant讨论线性、位置不变系5.5Linear,Position-InvariantReviewthedefinitionofanimpulsefunctionδ(x,y),weM1Nf(,)A(x,y)Af(x,0Similarly,acontinuousfunctionalsocanberepresentedbyanf(x,y) f(,)(x,y令A=1，代入(5.5.1)（无加性噪声）利用系统H的线性特性,得g(x,y)f(,)H[(x,y 0g(x,y)

f(,)H(x,y

其中式h(x,yH[(x-y-)]=h(x-y-LSI)称为系统H的脉冲响应.也就是说,(5.5.10)中的两个式子都可以写成（5.5.1）的形式(“图像去卷积”就是线性图像复原的技术术语)：g(x,y)h(x,y)*f(x,5.55.5Linear,Position-InvariantPointspreadfunctionPSFofacamera（点扩散函数AtypicalexampleofLSIdegradationistheblurringeffecttothefiniteradiusofthecameradiaphragm:thesmallertheradiusthesharperthestepedgeofanimage.Tocapturetheblurring/distortionofacamera,assumingthatthereisaimpulselightsourceataposition(α,β)andthecorrespondingintensityataposition(x,y)duetothislightsourcebeh(x,y,α,β),thenthedistortion(degradation)operatorHcanbeexpressedaswhereh(x,y,α,β)actsverysimilartothe‘impulseresponse’inlineartime-invariantsystem,andiscalled‘pointspreadfunction’(PSF)ofacamera.点扩散函数的模糊程度是由光学成像系统的质量所确定的，它也反了设备的质5.55.5Linear,Position-InvariantM1N↓g(x,y)f(,)h(x,y)M1N↓05.55.5Linear,Position-InvariantEstimatingtheDegradation找到了成像系统的PSF就确定了图 模Therearethreeapproachestoestimate(model)thePSFofcameraor,inamoregeneralsense,thedegradationObservation（观察法）informalandnottobeDirectexperimentationforH(u,v)（实验法Mathematicalmodeling（模型估计法EstimationbyexperimentationforH(uv（实验法AtypicalapproachistodesignapointlightsourcewiththeintensityAandcaptureitsimageg(x,y),whichisthePSF.Assumingthatnoiseisnegligible,thedegradationoperatorHcanbeobtainedfromtheFouriertransformofthePSFg(x,y)H(u,v)G(u, AThenH(u,v)canberecordedusinganmathematicalformorlook-upEstimationbyphysical-law-basedmathematicalmodel（利用知物理模型估计成像系统函数5.65.6EstimatingtheDegradation大气湍流模型可忽略的湍流剧烈湍流中等湍流k轻微湍流kModelingblurringduetolinear从基本原理开始推5.65.6EstimatingtheDegradation例5.10:T1ab0.1时的运动模糊结Inverse逆滤波的基 (由假设模型推导出G(u,v)=H(u,v)·F(u,v)+N(u,

令ˆ(u,v)G(u,v)H(u,v)代入（5.5-17）则ˆ(u,v)F(u,v)N(u,v)H(u,v)首先,N(u,v)一般是未知的.其次,当H(u,v)的任何元素为零或者值很小时,上式在计算机中运算就有可能出问题.这个问