一种多姿态人脸定位的鲁棒方法

一种多姿态人脸定位的鲁棒方法

0多姿态人脸定位算法人脸识别作为人工智能的先进主题，在人类事务、信息安全和技术等方面具有广泛的应用价值。眼睛作为人脸识别中人脸尺寸归一化的基准点,其精确的定位必不可少。早期的眼睛定位算法主要针对正面人脸进行,但随着人脸应用范围的不断扩大和开发实际系统需求的不断提高,近年来多姿态人脸识别被人们重视起来并开展了较广泛的研究。目前,眼睛定位算法可分为两类:a)基于知识的方法,利用待检测图像中的灰度、纹理、眼睛形状或轮廓特征定位眼睛,如积分投影或改进的积分投影法、模板匹配法、边缘提取法、ASM/AAM等;b)基于统计学习的方法,如神经网络、支持向量机、AdaBoost等。文献采用投影峰的方法实现多姿态人脸上眼睛的快速准确定位,对多姿态人脸上的睁眼有很高的定位率,由于使用积分投影,并不适用于闭眼情况。文献采用RBF核函数、SMO训练支持向量,在正面人脸上取得87.6%的检测率。文献使用改进AdaBoost算法进行人眼初检,利用人脸几何特征,用SVM筛选人眼,取得了很好的定位效果,但该方法仅限于小姿态人脸上的眼睛。文献使用双眼对训练AdaBoost分类器,对检测到的双眼用FRS实施眼睛的精确定位,在±45°姿态之间取得了很好的效果,但只适用于双眼可见的情况。本文提出一种基于统计学习的新的眼睛定位方法。该算法采用二级大规模SVM算法,以多姿态人脸眼睛样本的统计训练为依据,不需要眼睛成对出现。眼睛定位算法本身适应于人脸倾斜角在的多姿态人脸(包括侧面),将之与RIMV人脸检测器结合,能够完成全旋转多姿态人眼定位任务。在JAFFE、FERET和LabeledFacesinTheWild(LFW)人脸库上的实验表明,该算法对定位各种复杂环境下的多姿态人脸上的眼睛具有很强的鲁棒性和有效性。1改进的大型人才培养数据支持机制1.1svm求解算法针对两分类问题,SVM将低维向量映射到高维空间中,以使低维空间中线性不可分的样本在高维空间中尽可能线性可分。SVM通过在高维空间构造一个最优分类面,在保证两类间隔最大和保证最小的分类错误率之间取得折中,从而实现结构风险最小化。给定数据集:D={(xi,yi)}li=1,xi∈Rd,yi∈{1,-1},SVM求解问题最终可以转换为以下二次规划问题:min(12αΤQα+eΤα)s.t.yΤα=00≤αi≤C,i=1,2,⋯,l(1)其中:α=(α1,α2,…,αl)T,αi是拉格朗日乘子;y=(y1,y2,…,yl)T;e是每个分量都是1的l维列向量;Q是l×l矩阵,其分量Qij=yiyjK(xi,xj)为对称正定核矩阵。求解式(1),得到分类器Ψ:f(x)=l∑i=1αiyiΚ(xi,x)-b(2)ψ(x)={1f(x)≥θ-1otherwise(3)其中:f(x)称为分类器ψ(x)的判别函数;θ为调整阈值;αi不为0的样本xi称为支持向量,只有支持向量在分类器式(2)中才有意义。由式(1)可知,当训练数据集样本数l很大时,矩阵Q非常大,需要占用相当大的内存,训练时间非常长甚至于不可行,造成SVM只对小规模数据非常有效。1.2svm的算法流程文献采用Chunking分解算法,先在大样本集中随机选取一个较小集合进行SVM训练,然后根据KKT条件在整个训练集上对初始集循环迭代调整直至收敛,从而解决大规模训练数据下的SVM问题。文献指出SVM的增量训练中,错分样本往往位于边界上,在大规模样本集下受噪声数据的影响,而在训练集规模不大的情况下反映了训练样本集细节知识,通过将错分样本加入到历史训练集中再次训练,得到的支持向量集更接近所求解,并证明分类器的精度随着增量样本集的增加而提高,并逐步逼近样本空间的期望风险。由于最优分类面只由支持向量确定,而支持向量只可能位于两类之间的边界上。本文使用文献的方法在高维空间中按式(4)取距离最小的若干个样本作为边界样本。d2kj=Κ(xkj,xkj)-2lˉklˉk∑i=1Κ(xkj,xi)(4)其中:K为内积核函数;xkj为第k类第j个样本;d2kj为xkj到另一类中心的距离;ˉk取1(当k=2)或2(当k=1)。根据以上讨论,本文中SVM训练算法流程如下(其中i为迭代序列):a)选择适当的核函数K,根据式(3)从正例训练集A+和反例训练集A-中各选择m个边界样本组成工作集A(0)w+和A(0)w-。b)求解工作集的方程组式(1)得到支持向量集A(i)sv+、A(i)sv-及分类器ψ(i)。c)用ψ(i)对训练集A+和A-进行分类,设其拒真样本集为B(i)+,纳假样本集为B(i)-:(a)如果B(i)+≠Ø和B(i)-≠Ø,根据式(3)从B(i)+和B(i)-两类中各选n+和n-个距离B(i)-和B(i)+最近的样本组成样本集B(i)+Ν与B(i)-Ν,令A(i+1)w+=A(i)sv++B(i)+Ν,A(i+1)w-=A(i)sv-+B(i)-Ν,转步骤b)。(b)如果B(i)+=Ø,而B(i)-≠Ø,根据式(3)从B(i)-中选择距离A(i)sv+最近的n-个样本组成样本集B(i)-Ν,令A(i+1)w+=A(i)sv+,A(i+1)w-=A(i)sv-+B(i)-Ν,转步骤b)。(c)如果B(i)+≠Ø,而B(i)-=Ø,根据式(3)从B(i)+中选择距离A(i)sv-最近的n+个样本组成样本集B(i)+Ν,令A(i+1)w+=A(i)sv++B(i)+Ν,A(i+1)w-=A(i)sv-,转步骤b)。(d)如果B(i)+=Ø,且B(i)-=Ø,则迭代结束,得到的分类器ψ(i)即为所求。当B(i)+或B(i)-中样本个数不足n+和n-时,将其所有样本组成B(i)+Ν或B(i)-Ν。2任意多面体检测算法的实现2.1垂直人脸区域眼睛定位采用先水平检测,再垂直检测的交叉定位方法。其总体结构如图1所示。经RIMV人脸检测器确定的人脸经过旋转校正,得到大致垂直的人脸区域,将眼睛搜索范围限制在该区域中,排除其他部分的干扰,减小误识率。算法使用二级SVM分类器,一级分类器用于水平移动窗口,利用眉眼整体信息,有利于背景的区分;二级分类器用于垂直移动窗口,专注于眼睛与眉毛的区分,针对性强。最后,利用分类器中判别函数值越高的窗口越接近目标对象以及目标对象往往会被附近窗口多次检测到的事实,对候选眼睛区域进行筛选与合并,确定眼睛的准确位置。2.2rimv人脸检测RIMV人脸检测器采用多姿态人脸检测器(MVFD),MVFD能检测姿态平面内旋转(RIP)+/-45°和平面外旋转(ROP)+/-90°的人脸。通过将MVFD旋转90°、180°和270°,RIMV人脸检测器可检测平面内任意旋转的多姿态人脸。MVFD采用如图2所示的WFS树(width-first-searchtree)。整个的ROP姿态向下逐层细分成更小的姿态范围,在树的第4层再按的RIP姿态将人脸分为三类。在每层中使用VectorBoosting算法进行人脸检测并得到分类向量。2.3选取中心图像区域确定由于眼睛只可能位于脸上半部,且在额头之下,取0≤x≤wface‚的范围作为眼睛搜索区域,hface和wface分别为校正后的人脸矩形区域高和宽。本文提出一种由粗到精的眼睛交叉检测方法。先用水平检测窗口搜索得到候选眼睛水平区域,再用垂直检测窗口搜索得到候选眼睛区域。设hsearch为搜索区域高,hhw和whw分别为水平移动窗口Wh的高与宽。窗口Wh注重于眼眉整体与鼻梁、眼颊及耳朵的区分,故hhw=hsearch;人脸具有“三庭五眼”的特征,故取whw=0.2wface;Wh遍历搜索区域时移动步长thw=0.25whw。设hvw和wvw分别为垂直移动窗口Wv的高与宽。由于Wv是在Wh中进行,且包含完整眼睛,故取wvw=whw,hvw=0.4hhw,Wv遍历候选眼睛水平区域时取步长tvw=0.25hhw。经过垂直检测后,排除眉毛区域,得到候选眼睛区域。2.4adabiost法测人脸图像由于RIMV人脸检测器的人脸平面内旋转检测误差在±20°之间,从FERET库中选取0°、22.5°、45°、67.5°及90°各种不同姿态的裸眼和戴眼镜人脸,将其旋转±10°及±20°,得到能被AdaBoost正确检测的人脸样本1400张。通过裁剪得到包含完整眉眼的水平移动窗口样本1450个作为正例,不包含眉眼或仅包含小部分眼睛的水平移动窗口2400个作为反例,将其统一到28×40大小。用同样的方法得到眼睛样本1930个,非眼睛样本4600个,将其统一到28×16大小,部分训练样本如图3所示。所有样本经过灰度化和直方图均衡。对于水平窗口样本,用正交小波变换进行降维,提高训练速度。考虑到算法对低清晰度图像的鲁棒性,水平窗口样本只用了一次小波变换,得到其低频分量,眼睛样本则不进行降维处理。2.5svm分类结果的分类本文SVM的核函数为二次多项式核,C=1.0。根据1.2节的步骤分别对水平窗口样本集及眼睛样本集训练得到分类器Ψh和Ψeye。由于负例样本比正例样本多,SVM分类结果趋于错误拒绝而不是错误接受,式(3)设置一个较低的阈值,以保证检测出来的窗口中包含真正的眼睛。通过实验,对于Ψh取θ=-0.18,对于Ψeye,取θ=-0.44。3试验区域的筛选与合并3.1sa-fme-fnh移动步数的降序排序根据SVM的特点,分类器中判别函数值越高的样本距离分类面越远,因此,相对其他样本而言更接近目标对象。为此,本文没有采用传统的直接将Ψ输出的正例样本作为候选区域的做法,而是取其SVM判别函数值最高的若干个窗口进行筛选,具体方法如下:a)将水平窗口遍历的区域根据Ψh中的判别函数值按降序排序,得到区域序列Qh={f1h,f2h,…,fnh}。设SA和SB分别为两个候选眼睛水平区域。b)取f1h作为SA,如果该区域的Ψh=1,则继续遍历Qh,取前三个满足下列条件的区域增加到SA中:(a)该区域Ψh=1。(b)设nt为该区域与f1h区域之间相隔的水平窗口移动步数,有0<|nt|≤3。c)正序遍历Qh,取第一个不与SA相交的区域作为SB,设其为fih,如果该区域的Ψh=1,则按下列条件继续遍历Qh,取不超过三个区域增加到SB中:(a)该区域Ψh=1。(b)设nt为该区域与fih区域之间相隔的水平窗口移动步数,有0<|nt|≤3。d)在每个候选眼睛水平区域中用垂直移动窗口进行遍历,将该区域中每个窗口根据Ψeye中的判别函数值按降序排序,取前三个Ψeye=1的区域作为候选眼睛区域。3.2重叠窗口检测由于检测窗口是在检测步长较小的情况下依次获得的,相邻窗口相似程度很高,同一个眼睛会被多个相邻窗口检测到,形成重叠窗口。为了准确地定位眼睛位置,对属于同一个眼睛的重叠的候选眼睛区域(重叠窗口)需进行合并。设SA和SB中的候选眼睛序列分别为seq={R1,R2,…,Rn},其中,Rk=(x,y,w,h)为矩形结构,(x,y)为矩形左上角点坐标,w和h分别为矩形宽和高。对于任意两个矩形Rk和Rt,令dw=0.5×Rt·w,dh=0.5×Rt·h,如果它们满足如下条件则认为两矩形重叠:a)Rk·x≤Rt·x+dw;b)Rk·x≤Rt·x-dw;c)Rk·y≤Rt·y+dh;d)Rk·y≥Rt·y-dh。经过重叠窗口检测,对SA和SB,有重叠窗口组序列seqop={E1,E2,…,Em},设Ei中窗口数量为n,n≥1,{f1i,f2i,…,fni}是Ei中各窗口在Ψeye中的判别函数值,令fi¯=1n∑j=1nfji。从seqop中选择重叠窗口最多的组,得到序列seq1,seq1⊆seqop,再从seq1中选择fi¯最大的组,作为该SA和SB的候选眼睛组,取候选眼睛组的平均窗口作为最后定位的眼睛区域。图4为眼睛定位图示过程。4实验与分析4.1人脸检测算法测试数据集来源于三个公共人脸数据库:JAFFE、FERET和LFW库。LFW库包括13000张收集自互联网的,在现实环境中拍摄的背景复杂的人脸样本,图像大小为250×250,LFW库样本唯一的约束是它们可以被Viola-Jones的AdaBoost人脸检测器检测。从FERET库中随机选择不同于训练样本的正面人脸及15°、22.5°、45°、67.5°、90°半侧面及侧面人脸样本各50张。每个样本先进行平面内±10°旋转,以后每隔20°旋转一次共旋转360°,从RIMV人脸分类器检测出的正确样本中随机选择1630个测试样本。从LFW库中随机选出400个包括各种姿态、表情、戴眼睛、睁闭眼及画面较模糊图像。JAFFE库包含10个人,7种表情共213张图像,所有图像均能被AdaBoost人脸分类器检测到,作为测试样本。4.2检测的左右眼区域的中心位置与实际标定的左左眼区域的相对误差本文采用文献的相对误差作为眼睛定位性度量标准。设dl和dr分别为算法检测的左(右)眼区域的中心位置与手工标定的左(右)眼位置之间的欧式距离,dlr为手工标定的左右眼之间的欧式距离。相对误差定义为err=max(dl,dr)/dlr;若err<0.20则认为人眼定位成功。4.3来自linux的细胞本文算法测试环境为:P42.8GHzCPU,2GB内存,操作系统为WindowsXP,编程工具为MATLAB2008,VC.NET2005及Op