本文方法-实验结果课件

EigenfeatureRegularizationandExtractioninFaceRecognition作者: 讲解人：

1谢谢观赏2019-5-9EigenfeatureRegularizationan提纲文章信息背景介绍本文方法实验结果2谢谢观赏2019-5-9提纲文章信息2谢谢观赏2019-5-9提纲文章信息作者信息文章信息摘要背景介绍本文方法实验结果3谢谢观赏2019-5-9提纲文章信息3谢谢观赏2019-5-9第一作者XudongJiangAsstProfessorDirectorcenterforInformationSecurity(CIS)SchoolofElectricalandElectronicEngineeringNanyangTechnologicalUniversityhttp://www简历B.Eng.AndM.Eng.UniversityofElectronicScienceandTechnologyofChina(电子科技大学，成都),1983,1986.LecturerUniversityofElectronicScienceandTechnologyofChina,1986~1993ScientificAssistantHelmutSchmidtUniversityHamburg,1993~1997Ph.D.HelmutSchmidtUniversityHamburg,Germany,electricalandelectronicengineering,1997.4谢谢观赏2019-5-9第一作者XudongJiang4谢谢观赏2019-5-9第一作者ResearchFellowCentreforSignalProcess(CSP),NanyangTechnologicalUniversity,Singapore,1998~2002.

wherehedevelopedafingerprintverificationalgorithmthatachievedthefastestandthesecondmostaccuratefingerprintverificationintheInternationalFingerprintVerificationCompetition(FVC2000).LeadScientistandHeadBiometricsLabattheInstituteforInfocommResearch,A*Star(AgentforScience,TechnologyandRearch),Singapore,2002~2004AdjunctAssistantProfessorCIS,NanyangTechnologicalUniversity,2002~2004AssistantProfessorCIS,NanyangTechnologicalUniversity,2004~now5谢谢观赏2019-5-9第一作者ResearchFellow5谢谢观赏2019-5第一作者Publication:X.D.

Jiang,

“AsymmetricPrincipalComponentandDiscriminantAnalysesforPatternClassification,”

IEEETPAMI,

Vol.

31,

No.

5,

pp.931-937,

May,

2009.X.D.Jiang,B.MandalandA.Kot,

“EigenfeatureRegularizationandExtractioninFaceRecognition”

IEEETPAMI,

Vol.

30,

No.

3,

pp.383-394,

March,

2008.X.D.Jiang,M.Liu

andA.Kot,

“FingerprintRetrievalforIdentification,”

IEEETransactionsonInformationForensicsandSecurity,

Vol.1,No.4,

pp.

532-542,

December2006.X.D.Jiang,

“OnOrientationandAnisotropyEstimationforOnlineFingerprintAuthentication,”

IEEETSP,Vol.53,No.10,pp.4038-4049,October2005.K.Toh,X.D.JiangandW.Yau,

“ExploitingGlobalandLocalDecisionsforMulti-Modal

BiometricsVerification,”

IEEETSP,

Vol.52,No.10,

pp.3059-3072,October2004.X.D.JiangandW.Ser,

“OnlineFingerprintTemplateImprovement”,

IEEETPAMI,vol.24,no.8,pp.1121-1126,August2002.ManyICIP,ICPRpapers6谢谢观赏2019-5-9第一作者Publication:6谢谢观赏2019-5-9第一作者CurrentResearchAreas:StatisticalPatternRecognitionComputerVisionMachineLearningImageandSignalProcessingBiometricsFaceRecognitionFingerprintRecognition7谢谢观赏2019-5-9第一作者CurrentResearchAreas:7谢谢第二作者BappadityaMandalresearchfellowInstituteforInfocommResearch,A*Star,departmentofComputerVisionandImageUnderstanding，2008~nowPh.D.ofXudongJiangandAlexkot,inCIS，2004~2008B.TechinElectricalEngineering,IndiaInstituteofTechnology,Roorkee,India,1999~2003“Ifweknewwhatitwasweweredoing,itwouldnotbecalledresearch,wouldit?”

-AlbertEinstein

http://www8谢谢观赏2019-5-9第二作者BappadityaMandal8谢谢观赏2019第二作者Publication:B.Mandal,X.D.JiangandA.Kot,

“FaceVerificationUsingModeledEigenspectrum,”

TheOpenArtificialIntelligenceJournal,BenthamOpen,19thMay2008B.Mandal,X.D.JiangandA.Kot,

“VerificationofHumanFacesUsingPredictedEigenvalues,”

InternationalConferenceonPatternRecognition(ICPR2008),Tempa,Florida,USA,8-11Dec2008(oralpresentation).ReceivedtheBestBiometricsStudentPaperAward.

B.Mandal,X.D.JiangandA.Kot,

“DimensionalityReductioninSubspaceFaceRecognition,”

IEEESixthInternationalConferenceonInformation,CommunicationsandSignalProcessing(ICICS2007),pp.1-5,Singapore,10-13December2007

B.Mandal,X.D.JiangandA.Kot,

“KernelFisherDiscriminantAnalysisinFullEigenspace,”

InternationalConferenceonImageProcessing,ComputerVision,andPatternRecognition(IPCV2007),LasVegas,Nevada,USA,pp.235-241,25-28June2007.

B.Mandal,X.D.JiangandA.Kot,

“Multi-scalefeatureextractionforfacerecognition,”

IEEEInternationalConferenceonIndustrialElectronicsandApplications(ICIEA2006),Singapore,pp.1-6,24-26May2006(invitedpaper).

9谢谢观赏2019-5-9第二作者Publication:9谢谢观赏2019-5-9第三作者AlexKotProf.ofNanyangTechnologicalUniveristy(NTU),Singaporesince1991.AssociateEditorforIEEETrans.OnSignalProcessing,2000~2003AssociateEditor,IEEETrans.OnCircuitsandSystemsPartII,2004~2006,PartI2005~2007.IEEEDistinguishedLecturein2005and2006FellowofIEEEandIES(IndustrialElectronicsSociety)http://www10谢谢观赏2019-5-9第三作者AlexKot10谢谢观赏2019-5-9第三作者Researches:InformationTechnologySecurityinBlackandWhite·Steganalysis&ImageForensics·Biometrics:Signature,FaceandFingerprintSignalProcessingforCommunicationsRejectionofInterferenceinSpreadSpectrumSystemsUsingSignalProcessingTechniques·

Space-timemodulation文章多是和别人合作的11谢谢观赏2019-5-9第三作者Researches:11谢谢观赏2019-5-9文章出处题目:EigenfeatureReuglarizationandExtractioninFaceRecognition出处：IEEETPAMI,vol.30,no.3时间：2008.3相关文献：12谢谢观赏2019-5-9文章出处题目:12谢谢观赏2019-5-9AbstractThisworkproposesasubspaceapproachthatregularizesandextractseigenfeaturesfromthefaceimage.Eigenspaceofthewithin-classscattermatrixisdecomposedintothreesubspaces:areliablesubspacespannedmainlybythefacialvariation,anunstablesubspaceduetonoiseandfinitenumberoftrainingsamples,andanullsubspace.Eigenfeaturesareregularizeddifferentlyinthesethreesubspacesbasedonaneigenspectrummodeltoalleviateproblemsofinstability,overfitting,orpoorgeneralization.Thisalsoenablesthediscriminantevaluationperformedinthewholespace.Featureextractionordimensionalityreductionoccursonlyatthefinalstageafterthediscriminantassessment.Theseeffortsfacilitateadiscriminativeandastablelow-dimensionalfeaturerepresentationofthefaceimage.ExperimentscomparingtheproposedapproachwithsomeotherpopularsubspacemethodsontheFERET,ORL,AR,andGTdatabasesshowthatourmethodconsistentlyoutperformsothers.13谢谢观赏2019-5-9AbstractThisworkproposesas摘要本文提出了一种从人脸图像中提取和正则化本征特征的子空间方法。类内散度矩阵的特征空间被分解为三个子空间：主要有面部变化张成的可靠的子空间，由噪声和有限样本导致的不稳定子空间，以及零空间。基于特征谱模型，分别在这三个子空间中对本征特征进行不同的正则化，从而减轻了不稳定、过拟合、推广能力差的问题。也使得判别估计在整个空间进行。特征提取和降维只是在最后一个阶段进行，而这是判别估计之后的。这些工作使得人脸图像的判别性的、稳定的低维特征表示更加容易了。实验在FERET、ORL、AR、GT数据集上比较了提出的方法和其他流行的子空间方法，表明我们的方法一致的优于其他方法。14谢谢观赏2019-5-9摘要本文提出了一种从人脸图像中提取和正则化本征特征的子空间方提纲文章信息背景介绍本文解决的问题特征谱模型子空间分解本文方法实验结果15谢谢观赏2019-5-9提纲文章信息15谢谢观赏2019-5-9本文解决的问题目标提取有判别力、稳定的特征用于分类最常用的一类方法：线性子空间的方法(linearsubspaceanalysis)eg：LDA存在的问题Sw会出现奇异的情况Sw的特征值是从样本估计出来的，存在偏差和过拟合，推广能力差(poorgeneralization).16谢谢观赏2019-5-9本文解决的问题目标16谢谢观赏2019-5-9相关方法现有的解决方法去掉Sw的一个子空间，使得Sw不再奇异。NullspaceLDA:去掉零空间，只在主空间中进行LDA会丢失零空间的判别信息FLDA：先PCA降维，再LDA。PCA会损失掉部分判别信息(DiscriminantInformation).DLDA:先对角化Sb，Sb的Nullsapce，再对角化Sw。Sw的小特征值对噪声很敏感。Dual-SpaceLDA：在Sw的Principalspace和Nullspace分别提取特征，然后将两部分融合到一起。如何划分Principal和Nullspace，如何有效的估计Nullsapce中的特征值？？17谢谢观赏2019-5-9相关方法现有的解决方法17谢谢观赏2019-5-9相关方法对Sw的特征值进行正则化，解决不稳定、噪音、推广能力差的问题。UFS：考虑了小特征的不稳定性和噪音将PCA、Bayesian、LDA子空间形成一个统一的框架，解决噪音问题。PCA会损失部分判别信息，如何选择每个子空间的参数？？RD-QDA、R-LDA:等价于在所有特征值上加一个常数进行正则化会使得大特征值biasedhigh，小特征值biasedlow。伪逆矩阵18谢谢观赏2019-5-9相关方法对Sw的特征值进行正则化，解决不稳定、噪音、推广能力现有方法上述的方法：或者进行降维或者去掉某个nullspace或者分别在Pincipal和nullspace中提取特征……….19谢谢观赏2019-5-9现有方法上述的方法：19谢谢观赏2019-5-9现有方法的缺陷&本文方法提出上述方法存在的问题：会损失部分判别信息(Principal和Nullsapce都包含判别信息)没有很好的抑制噪声和有限样本造成的影响。小特征值和nullspace的估计不稳定，对噪声敏感。本文提出的方法：可以减轻噪声和有限样本导致的小、零特征值不可靠的问题在图像数据的整个空间中(fulldimension)进行判别估计(特征提取),降维在(判别估计之后的)最后一个阶段进行。方法：将Sw的特征向量张成的图像空间分解为三个子空间利用特征谱模型(EigenspectrumModel)分别对这三个子空间进行不同的正则化。20谢谢观赏2019-5-9现有方法的缺陷&本文方法提出上述方法存在的问题：20谢谢观赏特征谱建模(Eigenspectrum

Modeling)什么是特征谱？特征谱模型特征谱在特征缩放(scale/weighting)和提取中存在的问题？21谢谢观赏2019-5-9特征谱建模(EigenspectrumModeling)什特征谱建模

----什么是特征谱？输入22谢谢观赏2019-5-9特征谱建模

----什么是特征谱？输入22谢谢观赏2019-特征谱建模

----什么是特征谱？23谢谢观赏2019-5-9特征谱建模

----什么是特征谱？23谢谢观赏2019-5-特征谱建模

---特征谱模型将看做是随机向量

的一个采样，特征值就是在特征向量上的投影的样本方差。它通常是偏离真正的方差的(因为训练样本是有限的)。因此在列空间中，我们将特征谱建模为真实方差和偏差的和

24谢谢观赏2019-5-9特征谱建模

---特征谱模型将看做是随机向量的一特征谱建模

---特征谱模型人脸成分

通常衰减的很快而且很稳定，因此用函数来建模，可以很好的拟合特征谱的衰减特性。噪音成分包含了有限样本造成的影响，可以是负的。25谢谢观赏2019-5-9特征谱建模

---特征谱模型人脸成分通常衰减的很快而且特征谱建模

---特征谱模型因为特征谱衰减太快，因此在图中绘制的是特征值对应的平方根。26谢谢观赏2019-5-9特征谱建模

---特征谱模型因为特征谱衰减太快，因此在图中绘特征谱建模

---特征谱在特征提取和缩放中存在的问题特征谱在子空间方法中具有很重要的作用，因为特征值经常被用来提取特征和对特征进行缩放(scalefeature).在实际的有限样本情况下会存在一些问题。27谢谢观赏2019-5-9特征谱建模

---特征谱在特征提取和缩放中存在的问题特征谱在特征谱建模

---特征谱在特征提取和缩放中存在的问题PCA:欧氏距离：选择前d个特征向量，等价于用一个阶跃函数对Eigenfeature进行加权马氏距离：等价于用下列加权函数对特征加权

BML也是用特征值的

平方根的逆进行加权的LDA28谢谢观赏2019-5-9特征谱建模

---特征谱在特征提取和缩放中存在的问题PCA:特征谱建模

---特征谱在特征提取和缩放中存在的问题这些利用特征值的逆对特征进行加权的方法,刚开始，性能会随着d的增加迅速提高，但在特征维数d达到一个较小的值之后性能会急剧下降。原因：Noisedisturbance有限样本导致的对小特征值的糟糕估计，使得小特征值不能很好的估计特征在这一维的方差。影响有多糟糕呢？？29谢谢观赏2019-5-9特征谱建模

---特征谱在特征提取和缩放中存在的问题这些利用特征谱建模

---特征谱在特征提取和缩放中存在的问题越大的索引对应的Eigenfeature对应的权重越大，而且权重对噪音和训练样本非常敏感30谢谢观赏2019-5-9特征谱建模

---特征谱在特征提取和缩放中存在的问题越大的索子空间分解从图中可以看出，噪音干扰对特征谱的初始部分影响很小，因此我们提出将特征向量组成的特征空间分解为三个子空间：人脸子空间(reliable)噪声子空间(unstable)零空间31谢谢观赏2019-5-9子空间分解从图中可以看出，噪音干扰对特征谱的初始部分影响很小子空间分解r的确定：m的确定：人脸部分通常衰减较快而且稳定，可以将这一部分看做是特征谱的孤立点(outliers),用中值算子(medianoperator)可以很好的确定噪音子空间的起始位置m+1。32谢谢观赏2019-5-9子空间分解r的确定：32谢谢观赏2019-5-9子空间分解m的确定(中值算子)为避免穷举搜索，我们将设为133谢谢观赏2019-5-9子空间分解m的确定(中值算子)为避免穷举搜索，我提纲文章信息背景介绍本文方法ERE算法(EigenfeatureRegularizationandExtraction)时间复杂度实验结果34谢谢观赏2019-5-9提纲文章信息34谢谢观赏2019-5-9本文方法目标：提取使得类内变化最小类间变化最大的特征方法：Step1:特征谱的正则化Step2:提取判别特征(DiscriminantEigenfeature)35谢谢观赏2019-5-9本文方法目标：35谢谢观赏2019-5-9Step1:特征谱的正则化为什么要对特征谱进行正则化呢？一般来说，我们是要提取那些使得类内变化最小，类间变化最大的特征。通常第一步都是先使得类内变化最小，即对Sw做白化。36谢谢观赏2019-5-9Step1:特征谱的正则化为什么要对特征谱进行正则化呢？3Step1:特征谱的正则化37谢谢观赏2019-5-9Step1:特征谱的正则化37谢谢观赏2019-5-9Step1:特征谱的正则化存在的问题：零空间的权重是0，损失了零空间的信息。而零空间是从训练数据上得到的是不准确的，还是包含有判别信息的。因此，在零空间的权重应该更大。小特征值对噪音和训练样本很敏感，需要进行正则化。在噪音子空间中，噪音成分是占主要部分的，但是有限的训练样本导致了方差的快速下降，需要降低衰减速度，弥补噪音和有限样本造成的影响(特征谱建模可以达到这样的效果)。38谢谢观赏2019-5-9Step1:特征谱的正则化存在的问题：38谢谢观赏2019Step1:特征谱的正则化39谢谢观赏2019-5-9Step1:特征谱的正则化39谢谢观赏2019-5-9Step2:提取判别特征(DiscriminantEigenfeature)用本文提出的加权函数和特征向量，训练数据可以被转换为：40谢谢观赏2019-5-9Step2:提取判别特征(DiscriminantEigStep2:提取判别特征(DiscriminantEigenfeature)对特征进行正则化之后，新的总体散度矩阵为：41谢谢观赏2019-5-9Step2:提取判别特征(DiscriminantEigERE算法TrainingStage:计算训练样本集的Sw，进行特征值分解将特征空间(Eigenspace)分解为三个子空间，face、noise、nullspace，并确定facespace的范围(m的值)在三个子空间中分别进行正则化，求得加权函数，将训练样本

利用公式变换为计算的总体散度矩阵，进行特征值分解根据预定义的特征维数d得到最后的特征提取矩阵。42谢谢观赏2019-5-9ERE算法TrainingStage:42谢谢观赏2019ERE算法RecognitionStage:利用训练得到的U将n维图像转换维d维特征向量利用在Gallery上得到的分类器对ProbeFeaturevectors进行识别。本文使用cos距离，1-NNK分类器。43谢谢观赏2019-5-9ERE算法RecognitionStage:43谢谢观赏2计算复杂度本文提出的方法相对于其他子空间的方法计算复杂度要高一些，因为本文的方法的估计了Sw零空间中的判别值(Discriminantvalue).因为St的nullspace一般认为是不包含判别信息的，因此可以先使用PCA进行降维。对于同样的识别率，本文提出的方法会更快，因为实验中可以看出，本文的方法使用较少的特征维数就可以达到相同的识别率。44谢谢观赏2019-5-9计算复杂度本文提出的方法相对于其他子空间的方法计算复杂度要高提纲文章信息背景介绍本文方法实验结果实验条件实验结果45谢谢观赏2019-5-9提纲文章信息45谢谢观赏2019-5-9实验条件文中所有实验，图像都是按照CSU的FaceIdentificationEvaluationSystem处理的。CSU的FIES：主要提供标准的图像预处理软件4种人脸识别算法(PCA/PCA+LDA/BIC/EBGM)

主要基于FERET数据库已被下载使用10,000次是CSU和DARPA(DefenseAdvancedResearchProjectAgency)以及NIST(NationalInstituteofStandardsandTechnology)合作的。http://www.46谢谢观赏2019-5-9实验条件文中所有实验，图像都是按照CSU的FaceIden实验条件图像预处理步骤：Integertofloatconversion-Converts256graylevelsintofloatingpointequivalents.Geometricnormalization–Linesuphumanchoseneyecoordinates.Masking–Cropstheimageusinganellipticalmaskandimageborderssuchthatonlythefacefromforeheadtochinandcheektocheekisvisible.Histogramequalization–Equalizesthehistogramoftheunmaskedpartoftheimage.Pixelnormalization–scalesthepixelvaluestohaveameanofzeroandastandarddeviationofone.47谢谢观赏2019-5-9实验条件图像预处理步骤：47谢谢观赏2019-5-9实验