Gabor滤波器及其应用

1、数字信号处理DigitalSignalProcessing第5讲特征提取/选择及其应用主讲：金连文cn本讲主要內容取Gabor特征简介正交变换及小波变换Gabor变换2DGabor滤波器特征选择/变换（PCA&LDA）2DGabor滤波器的应用，人脸识别，人脸表情识别汉字识别特征提取简介一、特征提取简介特征任一客体都具有众多特性，人们根据一群客体所共有的特性形成某一櫃念。这些共同特性在心理上的反映，称为该概念的特征。一百度百科A某事物所特有的性质；特殊的品性、品质共同性（同类）.区分性（不同类侃討B7四只薛，有靠育，有椅面四只脚支d.特征提取简介在分类问题中：A个

2、理想的“特征就是一种表达，这种表达要尽可能的使后继的分类器工作变得稀松平常模式分类与分类问题相关研究对象的凤性的子集.是分类问题的决定性因素降维：全部凤性今与分类问题相关的属性（全部属性的一个子集）好的特征尽可能使后续的分类話的工作变得非常容易冋类何的待征ttU卅相近.不同类的羞异很人特征提取简介dWhy?对样本用数值及计算机语言进行描述（共同性区分性）漿个模式分类中的也是JMC9的部分良好的待征对于整个楔式分类系统至关重要侪子，寻找上页图中的椅子的特征，-（1）0只:1猪仁羊一无区分性，（2）有扶手：一尤共同性1片桥（不儿备这个性质x将高维数据夕低维数据W7：见左边的图*,最宜接的特征，毎个

3、像素点的位置和離色值作为该样本的箝征32CT240的妙色图像的堆敷为，3202403二230400傩，计算童巨大，健灾难.如用后面提到的Gabor征町以仅提取512fft,并且性能更好L特征提取简介d特征提取的思路Example(EnjoySport)分类任务：EnjoySportORNOTEnjoySportp特征：与分类任务相关，使后续分类尽可能容易Height,HairColor,Gender,Weight皿分类任务无关.如述列它訂后闻的分类；儿平无法工作Sky,AirTemp.Humidity,Wind,Water,Forecast根分类的任堆抉定是否去运动的决定性闵番GoodFeat

4、ure:同类间差别小，不同类间差别大一一鉴别倍息p最大限度的简化后继的分类器的工作对于EnjoySport.假如存在这样一个制iL女朋友的喜好、分类器仅仅凭借这个特征的取值就可以正确的判断是否去运动.这个特征是最好的特征.后读的分类樹只需晏简单判斷这个值的取值就可以得出正确的判斷时域、频域.时频联合能臥相关系数，FFT,DCT,Wavelet,Gabor统计、结构、混合(Hybrid)直方图.属性关系图底层、中层、高层颜色.形状、纹理，梯度，语义模型AR.LPC,MFC特征提取的没有免费午餐定律?適寸浙”/人,&易付jla特征提取及模式分类(Cont)计算机实现的模式识别过程瞪鮒体怖本哄Utt

5、Jf盘示的样本可展达的L特征提取及模式分类特征提取及特征表达式ML及PR起关键作用-特征小结与后续的分类问题不是完全独立的A是对研究对象的一种表达，是研究对象的所有属性中的一个子集，将高维空间9低维空间好的特征要具有鉴别信息的性质一同类间差异要尽可能小，不同类间差异尽可能大提取特征的目的是为了尽可能是后续的分类器的工作尽可能的简单i二、Gabor特征背景介绍Gabor其人DennisGABORElectricalengineerandphysicist,HungarianbornEnglishNobelpriceofphysicsin1971forinventingholographyD.Ga

6、borik被公认为是Wavelet(小波)变换的创始人之_相关代表作D.Gabor.TheoryofcommunicationJournaloftheInstituteofElectricalEngineers,93:424549,1946提出了ShortTimeFourierTransform(1946)Fourier变换回顾-Fourier换是整体上将信号分解为不同的频率分量(任何信号都可分解为复正兹信号之和)对确定性信号及平稳信号适用Fourier变换缺乏时间的局部性信息但对时变信号、非平稳信号，Fourier频率分析存在严重不足无法告知某些频率成分发生在哪些时间内无法表示某个时刻信号频

7、谱的分布情况A例如：语音信号、手写文字图像信号等等L时频分析举例时频分析举例(2)X40003100120TenHM时频分析举例(3)亠14k咂删麻SmUIn.piFTf.Lh-5QN-256l如，业，a”正变换由心=X反变换hLL正交变换（1）设空间是由N维空间下来一组向量张成%化，0V即：X=span，佟,，0N任一向量X都可作如下分解NLU.正交变换（3）正交性：J1i=j=%珂0j完备性：如果空间中的任一向虽X都可由DWT(DigitalWaveletTransform)浅谈小波(2)小波(Wavelet)Oscillatingmotherfunction,welllocalizedb

8、othintimeandfrequency:W)叭t/4)叭t/4)Lkl浅谈小波(3)什么是小波?Afamilybuiltbydilationandtranslation浅谈小波(4)小波基函数：申Ch)aW)*20)*40)a*ftjjWavesd_vswaveletsWaveWaveletFrequencyInfinitedurationNotemporallocalizationScaleDuration(windowsize)Temporallocalization一_二t1Wavelet变换对信号f(t)的小波变换定义如下:UL小波基函数:JL信号的局部化分析LocalizedAn

9、alysis四、Gabor变换Gabor(194。)timefrequencyanalysiswindowedFouriertransformc浙；t/人,V坊曲息芳阮30iL1DGabor变换1DGabor变换CaborTransformFindfrequency(0inthevicinityofbnxxxxfunctiontoarwlyzeF(b,o)=Jb.isin(xidxwindowfurxitonatb丿Iaijiequtncywa/eryn311.1CaborTransform与小波变换做比较aWaveletTransformFindvcakaatlocationbwavelet

10、Sp4tMld0tr4OW4velcibwaveletSp4tMld0tr4OW4velcibJbUL从Fourier变换到Gabor变换加窗短时Fourier变换(WindowFouriertransformorShortTimeFourierTranstorm)定义基函数如下：%($)=g(s-WWhentandvaryItconstitutesafamilywhichcanbeconsideredasakindofbasis為筋兀人，t-Tft34Id从Fourier变换到Gabor变换g(s)代表窗函数，可以取HanningHamming,Gauss窗等等。当取Gauss窗函数时，例如

11、：复正弦五、2维复正弦五、2维Gabor滤波器所得到的变换称为Gabor变换：卩的7(2)=严匚/严汽*d$C7；-丁“&必曲息片配uuQ=fQcosOd.2DGabor滤波器Gabor滤波器的数学表达式：egg回)=5(x,y)M.v,y)5(x,y)=exp(zx2(m0 x+voy)心y)=Kexp(-(x/a):+(y/b)2)K=/abSpacedomain:aGaussiankernelmodulatedbyasinusoidalplane-waves(x,v)omplexsinusoid,thecarrierw(x,y)2-DGaussian-shaped,theenvelope

12、JLjul2DGabor滤波器Theparameters(u,v)definethespatialfrequencyofasinusoidalplanewave,whichcanalsobeexpressedinpolarcoordinatesasradialfrequencyfandorientation0777fo=UQ+V0tail&二岭/uq*rtz/M37IIIGraphicsoftheGaussianenvelopeMH*0“W8*IRQ.*a：i6b：GraphicsoftheGaussianenvelopeMH*0“W8*IRQ.*a：i6b：i6ov4a-8b160a:8b-

13、i6pa=b=1/f;e=btheGaussianenvelopeiscenteredtotheoriginRedifinethesinusoidpartas:expQ矶(xcouQ+yco3)-exp(-)的乳，八孑*yruGaborfilter(5)Gaborfilterfunctionisthengivenby:y托ggj，0)=-fCKpY(W+齐川cxp(i2妙Yj-cxp(-)abab2xr=.rcos8+ysinO.y,=-xsin&+ycos02DGaborTransform(Gaborfeatureextraction)F(x;几&)=/(x)*g(x,y,几8)nfk=久人

14、工*=0,】一1A=5/2AMatlabtoolforGaborfilteranalysis2Lkl推荐阅读资料D.Gabor.Theoryofcommunication.JournaloftheInstituteofElectricalEngineers,93:429-549,1946Daugman,J.G.etalvCompleteDiscrete2-DGaborTransformsbyNeuralNetworksforImageAnalysisandCompressionIEEETransAcoustic,speechandsignalprocessing,Vol.36.(1988)11

15、69-1179Lee,T.S.etal,ImageRepresentationUsing2DGaborWavelets.IEEETrans.PatternAnalysisandMachineIntelligence,Vol.18.(1996)959-971特征选择/特征选择/变换A特征选择：从现有的特征中选取一部分A特征变换：对现有特征进行空间变换，使其转换到另外一个空间中Why?降维：选择原始特征的一部分/映射到一个低维的空间PCA&LDAPCA(PrincipalComponentAnalysis)“Projectionthatbestrepresentsthedatainaleastsq

16、uaresense”LDA(LinearDiscriminantAnalysis)FDA(FisherDiscriminantAnalysis)xProjectionthatbestPCA&LDAPCA(PrincipalComponentAnalysis)“Projectionthatbestrepresentsthedatainaleastsquaresense”LDA(LinearDiscriminantAnalysis)FDA(FisherDiscriminantAnalysis)xProjectionthatbestseparate*thedatainaleastsquaressen

17、se0Example:0VSQ,PCA:FindSimilar(0).LDA:FindDifference(.)LklPCA已知：个维的原始样本力组成一个矩阵x（df）其中X的每一列为一个样本求:PCA转换矩阵w（dWd1JL.1Algorithm:LDAwithinclassscatter:0.=工工闵一)(*一/,)7ialto!betweenclassscatter:=力(的-“)(q-j】MaximizeSbwhileminizingSwMaximizetheratio:det|Sh|dcdSM|ThecolumnvectorsofWisthelargesteigenvectorsof

18、：s：SLklLDAvsPCAHg1anmocMUfohccUtmvpwflniodeyTwtwoafewiiGauctiin-M0adst-lximiKMFve*,or4)rtwopfdaMMtotieiMrnngIXOOMire(PCAorL0Inm4K4ptutl朴a啊megTreatssamplesofthedifferentclassesinthesamewayloosediscriminationbetweendifferentclassesLDA:Maximizethebetween-classmeasureMinimizethewithin-classmeasurePowerf

19、uldiscriminationability1d.七、Gabor滤波器的应用ATdGabor滤波器的应用价值GaborfiltershavebeenconsideredasaveryusefultoolincomputervisionandimageanalysisOptimallocalizationpropertiesinbothspatialanalysisandfrequencydomain.Gaborfilterbankskernelscanberegardedas2DreceptivefieldGaborfilterexhibitdesirablecharacteristicso

20、fspatiallocalityandorientalonselectivityGaborfilterhavebeenusedtofacedetection,facerecognition,facialexpressionclassificationelc.炉出H/人*亡沁宅乃场付配58LiLLL71人脸识别系统设计方框图Jb人脸1识别人脸检测方法类Haar特征人脸检测特征提取和识别閤归一化EBC轡扌幽2人，、ff付息片疋Li7.1人脸识别一特征提取人脸识别Demo人脸Gabor特征提取F(x,y;/,&)=/Uy)*g(x,y,/0)DI272人脸表情识别LLM头1WJH入-樓板训貓段直方国

21、均衝Gaboi待剖捉取1yhxPCA&LDA:变换矩阵测试阶设釣?力；t/人,g、审序fTQ冷配znL人脸表情识别训练数据库dL亠人脸表情识别实验结果JAFFE女件人脸农荷数据库AR数据廉AR数据库,126人,4种表情,2次采集TestSet1:ft其中一张作为训絢样本.剰下的另一张則作为测试样本“TestSet2:迭取106个人的我情作曲调练.利下的20个人的发情用于測试，逋历多种1W况，求平均识别那GaborFilterBankClasvirkationMethodsPCApca+lda欧式距离街区距离农式距离筍区距离TeatSet1CLCLCLC13x8)K3xi2(3x8i3(3x)K3.2H3.0K2.68K3.7S4J8K338K3.08H4.1890.09S7.19S6.7990.0989.2986.6986.1989.19TestSet2(LCLCLC13x8)K3xi2(3炖3(3x)81.9881.9881.48K2.3M1J881.9881481J886.198