模式识别读书报告

1、精品感谢下载载模式识别研读报告学院：*姓名：*学号：*Support Vector论文出处：HongjunJiaandAleixM.Martinez. Proc. of CVPR,MachinesinFaceRecognitionwithOcclusions2009.基于SVM的闭塞人脸识别的研读报告1、问题提出：作者提出支撑向量机（SVM）在人脸识别中是非常有用技术，但是作为定义样本的特征向量丢失时，SVM不起作用。这篇文章提到，当人脸部分发生遮挡时，特征向量的数据就会丢失。支撑向量机的目标就是找到两类之间的最大空白区域。由于不知道采取哪个子空间的测试矢量，这与最小化类超平面和子空间之间的重

2、叠区域是对等的。然而得到的解与获得的使空白区域最大化的可视数据存在矛盾，为了解决这个问题，作者定义一个标准，最大化地减少重叠概率，并且有效解决优化问题。作者还用丰富的实验，证该方法在温和条件下，能够保证全局最小误差。2、传统人脸识别技术的缺陷：作者提出，基于外观为基础的人脸识别技术在计算机算法里已经相当成功。支撑向量机（SVM）已经作为一种将图像的像素值重新形成向量，然后应用于因为在这种情况下，被遮挡的尺寸是未知的。作者提出了目前为止解决面部遮挡问题的方法并对他人的方法进行评价。即用没有遮挡的脸部来学习脸部的外观表示，当需要识别有遮挡的脸部时，仅识别可见的共同部分。这种方法可以通过子空间技术和

3、稀疏表达来实现。但是这种方法不能从闭塞的图像中处理模型重建。为了说明情况，作者展示了3个场景中人脸识别应允的真实图像。组1:研究最多的，即非闭塞面孔做训练，闭塞图像做测试。组2:闭塞和非闭塞面孔作为训练。组3:仅仅是闭塞面孔作为训练。作者的方法基于组3,即用闭塞面孔作为训练3、作者算法的提由：这篇文章，作者推导出能适用以上3种情况的SVM判别准则。作者的方法与经典SVM不同之处在于经典的标准SVM在以上3中情况都不能被适用。因为经典SVM假设所有特征可见。作者推导准则对缺失成分的样本和测试特征向量适用，为了区分经典SVM,作者命名为偏支撑向量机（PSVM）。与经典SVM类似，PSVM的目标也是

4、尽可能区分超平面中两类样本。与传统SVM不同的是PSVM会受到不完整数据的限制。在作者提出的PSVM中，作者将全部缺失训练样本的所有可能值作为特征空间中的一个映射空间，以此来设计使得仿射空间和分离平面重叠概率最小的判别准则。为了实现模型，作者将仿射空间和超平面之间的角度公式化。在温和条件下，目标函数具有全局最优解，前提是判别准则所定义的凸区域靠近原点。3.1作者算法的详细过程：为了突出自己的算法，作者先简单引述经典SVM算法，并说明经典SVM的不足，经典SVM的约束条件为：1nmin-|w|2+Cw&b1一L=1纳(wGib)21-8，i=1一儿,公式1作者指出，当一些特征丢失时，有些距离无法

5、计算，一种解决的办法就是在使用SVM之前填补这些空白数据。然而由于这些数据无知，如果填补错误将导致更坏的结果。作者的思想就是将这些缺失的数据的所有可能情况作为一个单元，并能在映射空间中正确分类。这意味着超平面与所有的不完整数据组成的映射空问平行。/jAFigure 2. ClassicalSVMsolutionsfordifferent(potential)fillingins*pi,palandqijqsareinclassesIand2,respectively.Theincomplciefeaturevectorp：j=(3,*)Teclass1.为了说明以上观点，作者用图2进行说明，加

6、入的P3向量有一个数值丢失,丢失的数值可能是p31,p32,p33,对于经典SVM,每个值都会给一个超平面。然而我们发现，任何一个给出的超平面都无法正确分类。为解决以上问题，作者侧重于在概率条件下对正确部分数据进行分类。超平面和映射空间之间的夹角：特征向量所缺失的元素定义在映射空间中，在映射空间中能给正确分类的超平面概率依赖于：1、映射空间与超平面的关系；2、缺失元素分类结果(a)(b)Figure 3. TheProbabilityofCorrectClassification(PCC)ofahy-pcrplanc-(a)AssumingaGaussiandistributionof5,(b

7、)theanglebetweenSandhisproportionaltothedistanced(文:qo).作者用图3说明，如果超平面和映射空间不平行，映射空间将被分为S1,S2,缺失的可能值在S1中会被正确归类，而在S2中则错误归类。因此可以计算在映射空间S中正确分类的超平面概率为：PCC区S)=p(q)4公式2qS.p(q)概率密度函数；基于上述模型，目标就是最小化类中样本最有可能值间的重叠概率，阻止超平面割裂丢失项的值。为了计算概率，作者假设样本数据服从高斯分布，P(q)CN(X,o)。最大化PCC等同于最大化D(X,Q0)。注意到，固定的样本空间，超平面和映射子空间S的夹角9(S,

8、L)与D(X,Q0)成反比关系，因此9(S,L)与X向量丢失元素的可能值相关。目标函数:为了解决数据不完整问题，作者先为每一个样本向量定义闭塞遮掩GX”,如果中的特征被遮掩，则为0,否则为1。映射空间由所有不完整的样本组成，超平面L区分两类由约束：公式3wTx=储wherew=(wj,.,力?)丁映射空间和超平面L之间的夹角9(,L)由下式给出:cosO(Sf/)=cos8(S；,w)=公式4将所有的夹角取权重和:,为权重值，当不完整时取正，否则为0o为了获取最大可能的PCC,E?=i Iw?I /Mil应该最大化。类似经典SVM算法，作者给出解模型：max-r+A)Kj-3|w|一|w|1=

9、15上l/i(WTX)1,，=17i%公式5其中K0是调整参数。在超平面的性能与不完整数据的正确分类间起到折中作用。以下的问题就是解公式5的问题了，由于公式5非线性，非二次，因此文章中对公式5进行变换:maxWl+KKd|w，|2ll|w|P公式6yj(wrxj6)1,ilj.得到以上解模型后，就是最优化过程。作者分别讨论了线性可分情况可非线性可分情况。1、线性可分情况:maxw.6%X；b)1,，=1.一.彳?,公式7通过公式7,可以解决线性情况问题。b值对凸状区域无影响，因此分析中作者专注于Wo虽然W对目标函数是非凸的，但是利用W仍可以进一步优化，假设1,2，有12,r1则:i工3火媪Wl

10、i+23(3-3(51+乙宁.=WEL吗汇空吗上公式表明，目标函数是经过原点且单调递增的。为了最大化目标函数的边界下限，作者加入一个条件约束:I。+3%蛙”之1吟)之，口3(7%)时wl这样就演变成问题：max7(9)Ed勺qp(7-Ui)wfLi=i这样得到的目标函数和约束就成了凸规划问题，保证了有全局最优解，即:Jmax70=maxui,.一),(10是方程9的解。非线性可分问题求解：在分类问题中，大多数问题是非线性问题。在这种情况下，将松弛变量=|小，和调整参数co加入到公式6中，由于不完整的数据目前没被正确分类，因此要根据松弛变量的值来调整角度权值，具体如下：maxi+K E 吕g(i

11、nc空E二ly, (wrXi - fe) 1 3 芯 0, i = 1,., n,由于sgn函数并不连续，作者通过一个价值函数进行优化:maxW ,6s.t.ren1+K Efi|w|a 1 -品总 0.2 = 1,这样就得到了作者的PSVM算法，模型描述如下:maxs.t.B 22i=i %加、丁七一 b)21 一&花之0, = 1公式11公式12(14)利用经典SVM的解作为初始值，再进行迭代运算，就可以得到模型中有关W和的解。若固定，9(川、里可以像线性可分情况一样得到最大化的解。若W固定，g(w,门就是一个简单的凸规划问题。至此作者已经得到线性与非线性情况的模型解，可以用于对测试特征向

12、量分类。对于不完整的图像，还需要去知道值的概率，为此作者要对数据进行重建。对于一幅测试图像，用1=网.J%去描述图像所缺失的部分，表示M矩阵的第j行，有n个值，因此重建的特征模板L就有2种情况。假设可以对特征进行重建，那么可以分成2部分H不也l,H为测试图像的观察特征，ni为掩埋特征。这样权值j*可以通过公式15求得。argmin，(15)(叫云j：怎JI将求得的权值去估计模板中丢失的部分04、实验部分:为了展示PSVM算法，作者选取了既有人工合成遮掩和实际遮掩的人脸图像作为测试，测试图像来源AR人脸数据库和FRGC数据库。在实验中，控制参数K均为1。遮挡部分，从独立的人脸图像中通过肤色检测重

13、建。对于人工合成遮掩，直接在脸部打上一块黑方块，并且设置黑方块的不同尺寸，测试在各种表情下的分类准确度，作者给出的结果如图5显示。100IOW：Jr：i9+12工I?曾第I一十二;190曲片m仔“、i.二-j_一g加T-FfcGlhT-FftGG3,一j-.(E50:T1j。椁3x3tiv6黯SFigure：5.ClassificationaccuracywithsyntheticocclusionsontheARdatabaseandtheFRGCddia-set.作者的实验还将PSVM算法与他人的算法比较，结果显示PSVM算法比他人的算法无论是在无遮掩还是有遮掩情况下都具有优势。当有这遮掩

14、时，优势更大Tniijuis觉tRstinSclPSVM引1kM的qtfl隔9B5,7_/ri9M打7口也r.e/ElK8282.0山小工渣内Idl：5乐8520用力S3,575.5TableLExperimentalre&ultK(recognitionrateinpercentages)wiihavaiictyoftrainingandlestingsets.Ironing：力lastingSttPSVM闺NNX归卬%.Or阻。145.口79.0k/7*3,47LC31,050,D他用地0P7工口31.7159.7kM58.747320332.7kJ57.0r55.C25.529.U曲，1

15、76231.356.5加再1务耳95.04H.5S3.DTable2.Ex.perinicrikdresults(rccognilioniilcinperccnlagcs)withincompletedatainthetrainingset.文章作者最后总结了自己的算法，认为改进的SVM算法对有遮掩的训练样本和测试样本都是有效的，并且与参考文献中其他人的算法相比，PSVM的识别准确率都要高。5研读总结：这篇文章，作者的算法主要是针对丢失了部分数据的特征向量的分类问题。文章开头，作者提出传统SVM算法在缺失数据的特征向量中不起作用。为了解决这个不足，作者提出将全部缺失训练样本的所有可能值作为特征空间中的一个映射空间，以此来设计使得仿射空间和分离平面重叠概率最小的判别函数。然后作者给出一个概率模型，并结合SVM算法对模型进行优化