发明专利案例-人脸识别方法

1、说明书一种人脸比对方法技术领域本发明涉及生物特征识别技术领域，尤其涉及一种人脸比对的方法。背景技术人脸是人的重要信息，是区分不同的人的重要依据，因此人脸比对是较指纹、虹膜等 技术更自然、更直接的比对方式。人脸比对是将图像或视频输入的人脸通过提取特定的人脸特征信息，与数据库中已注 册的人脸特征信息相比较，获得匹配的人脸极其相似度，确认是否与数据库中人脸为同一。人脸比对在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人机界 面、权限控制、智能监视系统等。比对的准确性、精度和鲁棒性问题一直是业界关心的主 要问题。另外，在人脸比对中，如果当前输入一张静态照片，其与数据库中已注册人脸相比对，

2、 也会得出匹配的结果，这将导致识别的客体并不是真实的人脸，导致无权限的人得到权限。 因此，判断当前输入为真实的人的脸还是静态的照片非常重要，而现有技术还无法解决。因此，业界急需一种能够确保输入真实、具有较高准确性与鲁棒性的人脸比对技术。发明内容为弥补现有技术的不足，本发明目的是提供一种人脸比对方法，解决人脸表情变化和 姿态变化的影响，提高比对的准确性、精度和鲁棒性，保障比对的真实性。为了实现上述目的，本发明的技术方案如下：一种人脸比对方法，包含：人脸比对方法，其特征在于，包含：步骤601,人脸跟踪，获取特征点；步骤603,提取详细的人脸特征数据；步骤605人脸比对，将该人脸特征数据与人脸数据库

3、中的每一个人脸的特征数据进行 比对，获得其相似性；具体方法为：(1) 选取数据库中的一个人脸k的特征模板库G Gj , k 0,K ;(2) 对特征模板Gj J G, j 0,M ,计算输入人脸的特征Ji与J：之间的相 似度Sji ;(3) 计算输入人脸与特征模板Gj的相似度Skj Skji ; N i J(4) 计算输入人脸与人脸k的相似度为Sk max Skj ;(5) 重复步骤(1) - (4),获得输入人脸与数据库中所有 K个人脸的相似度，取其中最大者Smax max Sk ,得到其对应的人脸k' k其中，M为人的特征模板个数，N为选取的人的人脸特征点个数，i为人脸特征。步骤6

4、07,判断是否已找到匹配的人脸；为相似度阈值，若Smax ,则判断输入人脸与数据库中的人脸k'相匹配；步骤608,判断表情是否有显着变化；根据连续多帧人脸特征点进行分析，包括但不限于：嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显着的变化；在人脸表情有显着变化时，执行步骤 609,输出比中的人脸。其中，该步骤603提取详细的人脸特征数据的具体方法为：根据步骤601人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸特征点的位置；根据双眼位置对图像进行归一化处理；计算得到人脸特征点i的Gabor特征JI,所有特征点的Gabor特征即组成一个人脸特征数据Gj J&

5、#39;i , i 1,2,., N , N为选取的人脸特征点个数。其中，该人脸特征点为人脸上的显着特征点，人脸特征点的特征选取所有80个Gabor复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。其中，该步骤601人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特征。进一步的，该人脸比对方法还包含步骤 604人脸注册；保存人脸特征数据至人脸数据 库；具体方法为：将步骤603获得的详细人脸特征数据加入此人的人脸特征模板库G Gj , j 0,M ,M为此人的特征模板个数，保存至数据库。其中，该步骤601人脸跟踪，获取特征点的具体包含离线训练方法和在线跟踪方法；该离线训练方法包含多层

6、结构人脸模型训练方法和人脸特征点的离线模板训练方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法 为该在线跟踪方法提供人脸特征点离线模板;该多层结构人脸模型训练方法包含如下步骤：步骤301,选取适当的人脸图像作为训练样本；步骤302,对人脸图像的特征点进行标记；步骤3031-3061 ,得到基准形状模型；步骤3032-3062,得到全局形状模型；步骤3033-3063,得到局部形状模型。其中，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为:用s表示一个人脸形状向量：s s Pb其中，s为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量；人脸

7、形状向量s表示为(sr,sg,sl)T ,其中sr、至和sl分别表示基准特征点、全局特 征点和局部特征点；刚性基准形状的点分布模型srsR PRbR全局基准形状的点分布模型sGsG PGbG局部形状模型的点分布模型sGi,LisGi,LiPGi,LibGi,Li第i个局部形状向量为sGi,LisGi，su,其中sGi , sLi分别表示属于第i个局部形状的全局和局部特征点。其中，该人脸特征点的表达方法为:给定灰度图像r. z 、x(x,y)，一系列Jj(X)其中Gabor核j(X)I(x)中的一个像素x (x, y),其附近的局部图像I(X')中的像素为Gabor系数J j(x)可表达

8、该点附近的局部外观，定义为:I (x') j(x x')d2x'j为高斯包络函数限定的平面波，I 2. 2 22kjkj x2- exp exp(ikjx) exp( ) 22kjkjxkjykv cos kv sinkv2 2其中，kv为频率， 为方向，kj为特征小波矢量，kjx为特征小波x方向矢量，kjy为 特征小波y方向矢量，i为复数算子，优选v 0，1，9,0，1，7, j8 i,且频率波宽设为 2 ;Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观特征，用一个jet向量J Jj表示这些系数，Jj j exp( i j),

9、j 0,1，,79其中，j和j分别为第j个Gabor系数的幅值和相位；对80个Gabor复系数进行实验筛选，得到该人脸特征点表达所用的小波特征其中，该人脸特征点的离线模板训练方法如下：步骤401,选取N张适当的人脸图像作为训练样本;步骤402,对人脸图像的特征点进行标记；步骤403,对图像进行归一化处理；步骤404,计算所有样本的Gabor特征；步骤405,获得各样本Gabor特征之间的相似度；S (J,J')j j 'j CoS( j、j 2'j dkj) '2其中，J和J'为Gabor特征'j和'j分别为Gabor系数的幅值和相位，；

10、d为J和J'之间的相对位移;d d(J,J')yyyx xyxx yy xy yxxyxxy如果 xx yyxy yx 0 ,其中j j 'jkjx( j 'j)，xyj j 'j kjxkjy ,y xxyx和yy类似地进行定义;对每个特征点，计算N个Gabor特征两两之间的相似度，当其相似度大于阈值St时即认为两者相似，St可通过实验选取，选取；步骤406,计算各样本Gabor特征的相似特征数n；步骤407,选择n最大的样本Gabor特征;步骤408,判断n是否大于nT；若步骤 408的判断结果为否，则执行步骤411， 处理下一特征点，然后返回步骤4

11、04继续执行；若步骤408的判断结果为是，则执行步骤409,将Gabor特征加入离线模板；对每一个 Gabor特征，设有 仆个与其相似的Gabor特征，将n值最大且大于阈值 m的Gabor特征加 入样本特征集J； , 5也通过实验选取，选取 5 =2；步骤410,将该Gabor#征从样本中删除，同时将与其相似度大于阈值 S/的Gabor#征从Ji中删除，3大于St,选取；返回步骤405，对步骤405-409作迭代计算；对Ji 重复上述过程，直到选不出样本为止；最终的样本特征集J'i 即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。其中，该在线跟踪方法包含：步

12、骤 501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色空间，跟踪模式；步骤502，输入一帧图像；步骤503，图像归一化，将输入图像转换成标准尺寸的图像；步骤504，判断是否重新检测；若步骤504的判断结果为是，则执行步骤505,利用基准形状模型，基于ASMI犬约束，对齐基准特征点；步骤506,利用全局形状模型，基于 AShM状约束，对齐全局特征点；步骤507,利用局部形状模型，基于 AShM状约束，对齐局部特征点；步骤508， 更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人脸的在线特征模板；步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿

13、态；返回步骤502循环执行在线跟踪方法步骤502至步骤508以及步骤515并执行步骤516，输出人脸特征点及人脸姿态信息；若步骤 504 的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点；然后执行步骤510，基于离线特征模板调整眼角点；然后执行步骤511，更新其他特征点；然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状；然后执行步骤513，基于形状约束更新全局特征点；然后执行步骤514，基于形状约束更新局部特征点；然后返回步骤508，继续执行在线跟踪方法步骤509 至步骤514。本发明的有益效果是：1. 本发明选取人脸上的显着特征点作为比对依据，人脸特征点的特征从

14、所有80 个Gabor复系数中选取，表达了完整的人脸信息，使不同人脸之间的差异最大化，人脸比对的准确性和鲁棒性较好。2. 使用本发明的人脸比对方法，消除了人脸表情、姿态的影响，在比对中判断出了人脸的真实性，使得跟踪和比对准确性、精度和鲁棒性更高。3. 使用本发明，能够判断当前输入为真实的人脸还是静态的照片。附图说明下面结合附图，通过对本发明的具体实施方式的详细描述，将使本发明的技术方案及其他有益效果显而易见。图 1 为本发明人脸跟踪方法的组成框架图；图 2 为本发明的人脸特征点示意图；图 3 为本发明多层结构人脸模型训练方法的流程图；图 4 为本发明人脸特征点的离线模板训练方法流程图；图 5

15、为本发明人脸跟踪方法的流程图；图 6 为本发明人脸比对方法的流程图。具体实施方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。本发明人脸比对方法主要包括两个部分，一是训练部分，即注册部分，一是比对部分。无论是训练部分，还是比对部分，都需先对人脸特征进行检测、跟踪，从而得到精确的人脸特征点的位置。1-图 5示出了人脸检测跟踪、获取特征点的具体方法。下面详细说明：图 1 表示了本发明跟踪方法的组成框架。本发明人脸跟踪方法包含离线训练方法102和在线跟踪方法101 两部分。离线训练方法102 包含：多层结构人脸模型训练方法1021 和人脸特征点的离线模板训练

16、方法1022；前者为在线跟踪方法101 提供人脸模型103，后者为人脸跟踪方法101 提供人脸特征点离线模板104。图 2 为本发明人脸特征点示意图。图3 为本发明多层结构人脸模型训练方法的流程图。下面结合图2 与图 3 详细说明本发明多层结构人脸模型训练方法。人的面部特征具有很大的相似性，这些特征点的相对运动表达了人脸表情和人脸姿态的变化。给定这些人脸的特征点，用人脸特征点集的统计关系表示人脸模型，即可以构建出一个点分布模型（PDM来表达人脸的可能的形状变化。本发明基于ASMJ原理，从一系列人脸图像训练得到多层结构人脸模型。多层结构人脸模型训练方法首先执行步骤301， 选取适当的人脸图像作为

17、训练样本。然后执行步骤302，对人脸图像的特征点进行标记。然后执行步骤3031-3061 ，得到基准形状模型。具体为：步骤3031，基于刚性基准点组成形状向量，来表示基准特征点的位置；然后执行步骤3041，根据Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤 3051,由PCAf法获得形状约束参数，步骤3061，得到基准形状模型。执行步骤3032-3062，得到全局形状模型。具体为：步骤3032，基于全局基准点组成形状向量，来表示全局特征点的位置；然后执行步骤3042，根据Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤 3052,由

18、PCA&法获得形状约束参数，步骤3062,得到全局形状模型。执行步骤3033-3063，得到局部形状模型。具体为：步骤3033，基于局部基准点组成形状向量，来表示局部特征点的位置；然后执行步骤3043，根据Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤 3053,由PCA&法获得形状约束参数，步骤3063,得到局部形状模型。步骤 3031-3061 、步骤 3032-3062 和步骤 3033-3063 的计算方法具体为：用向量 s 表示一个人脸形状：(i)s Pb其中，s为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量。现有的AS

19、M方法通过迭代过程搜索人脸形状，迭代中所有的特征点位置同时更新，也 就是说特征点之间的相互影响是简单的平行关系。鉴于人脸的复杂结构，以及表情丰富的 特点，这种简单的平行机制并不足以描述特征点之间的相互关系。例如，假设眼角位置固 定，则眼睛的开闭并不能影响口、鼻的特征点定位。本发明将人脸特征点组织为多个层次，以更好地适应头部运动、表情变化等对特征点 位置的不同影响，我们称为多层结构人脸模型。第一类为基准特征点，基本只受头部姿态 的影响，如眼角、鼻端等。第二类为全局特征点，用来约束整个人脸的全局形状，包括基 准特征点和其他关键点、如嘴角、眉端等。第三类为局部特征点，只用来约束人脸各组成 部分如眼、

20、嘴、眉的细部特征，位于其轮廓边界上，如上下嘴唇的轮廓点，上下眼睑等， 主要受表情变化影响。基于此，本发明构建的多层结构人脸模型说明如下：如上所述，人脸形状向量s可表示为（Sr ,Sg，Sl ）T ,其中SR、Sg和sL分别表示基准特 征点、全局特征点和局部特征点。基于此，人脸形状模型可分为刚性基准形状、全局基准 形状、以及以下局部形状：左眉、右眉、左眼、右眼、鼻、嘴等。对于刚性基准形状和全 局基准形状，其点分布模型（PDM可以从训练数据学习得到如下，Sr Sr P3r（2）SG SG PGbG（ 3）对于局部形状模型，第i个局部形状向量为SGi,Li %，4,其中SGi , SLi分别表示属于

21、第i个局部形状的全局和局部特征点。亦有，SGi,Li SGi,LiPGi,LibGi,Li（4）以上（2）、（3）、（4）三式即构成了本发明的多层结构人脸模型。其中各参数均基于ASM的原理通过训练得到。图2显示了本发明优选的一组特征点，其中所有的星形点 201为基 准特征点，所有的星形点201和空心原点202组成全局特征点，实心原点 203为局部特征 点。图4为本发明人脸特征点的离线模板训练方法流程图。人脸特征点的特征表达有很多种，如灰度特征、边缘特征、小波特征等等。本发明采 用多尺度多方向Gabor小波来建模特征点附近的局部外观，表达人脸特征点。基于 Gabor 小波的特征表达具有人类视觉的

22、心理物理基础，并且对于光照变化以及外观变化下的表情 识别、人脸识别和特征点表示等都具有很好的鲁棒性。本发明小波特征的计算方法为:给定灰度图像I(x)中的一个像素 x (x，y),其附近的局部图像I(X')中的像素为(x，y), 一系列Gabor系数Jj(x)可表达该点附近的局部外观,定义为：Jj(x) I (x') j(x x')d2x'(5)其中Gabor核j为高斯包络函数限定的平面波 22 22(6)kjkj xj (x) exp2 exp(ikjx) exp( )22kjkjxkjykv coskv sin其中，kv为频率，为方向，kj为特征小波矢量，kj

23、x为特征小波x方向矢量，kjy为特征小波y方向矢量，i为复数算子，优选v 0,1,9,0,1，j81 i且频率波宽设为2 o由此，本发明优选的Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观特征。特别地，可用一个 jet向量J Jj表示这些系数，可写成Jj jexXi j), j0,1，,79(8)其中，j和j分别为第j个Gabor系数的幅值和相位。给定一幅图像，每个标记的人脸特征点都可以计算得到 Gabor小波的jet向量，该jet 向量即表达了该点的特征。然而，针对每一个人脸特征点，并非所有 80个Gabor复系数均 适合表达该特征。为使其能表达各种人

24、脸的共同特征，须对 80个Gabor复系数进行实验筛 选。以嘴角特征点为例，本发明优选的 Gabor复系数为：j 24,55。由此，优选出的即为本发明方法中所用的小波特征。本发明人脸特征点的离线模板训练方法如下：首先执行步骤401,选取N张适当的人脸图像作为训练样本。步骤402,对人脸图像的特征点进行标记。步骤403,对图像进行归一化处理，以保证所有特征点的Gabor特征的计算条件是相近的，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的 连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离（瞳距）达到一特定值。通过这种归

25、一化处理后能保证Gabor特征表达的精度和鲁棒性。然后执行步骤404,计算所有样本的Gabor特征。具体方法是：将标记的特征点坐标转换至归一化图像中，对每个人脸特征点，根据式（5） - （8）计算其Gabor特征。则对每一个特征点而言，共得 N个Gabor特征Ji , i 0,，N。方法为:(9)然后，执行步骤405,获得各样本Gabor特征之间的相似度;假设Gabor特征J和J',其相似度可由下式计算得到: j j 'jcos(j 'j dkj)S (J,J') j2 ,2 j j j其中,d为J和J'之间的相对位移，可由下式求得d d(J,J'

26、;)yyyx(10)yxx yy xy yxxyxx如果xx yyxy yxj j ( j 'j)，xy'k kj j j jx jy ，y,xxyx和yy类似地进行定义。对每个特征点，根据式（9）、（10）计算N个Gabor特征两两之间的相似度，当其相似 度大于阈值St时即认为两者相似，St可通过实验选取，选取。然后执行步骤406,计算各样本Gabor特征的相似特征数n。然后执行步骤407,选择n最大的样本Gabor特征。然后执行步骤408,判断n是否大于nT0若步骤408的判断结果为否，则执行步骤 411,处理下一特征点。然后返回步骤 404, 继续执行本发明方法。若步骤4

27、08的判断结果为是，则执行步骤409,将Gabor特征加入离线模板。对每一个 Gabor特征，设有ni个与其相似的Gabor特征，将n值最大且大于阈值 m的Gabor特征加 入样本特征集J'i , 5也通过实验选取，选取 5 =2。然后执行步骤410,将该Gabor#征从样本中删除，同时将与其相似度大于阈值St'的Gabor#征从Ji中删除，这里St'应大于选取。然后返回步骤405，对步骤405-409作迭代计算。对Ji 重复上述过程，直到选不出样本为止。最终的样本特征集J 'i 即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给在线跟踪使用。图 5 为本

28、发明人脸跟踪方法的流程图。本发明方法包含：步骤 501，初始化。本步骤主要初始化引擎，包含：初始化变量，参数设置，参数包括图像格式、分辨率、颜色空间，跟踪模式等。然后执行步骤502， 输入一帧图像。本步骤是根据步骤501 设置好的格式输入一帧图像数据。然后执行步骤503，图像归一化。本步骤是对输入图像进行归一化处理。即根据前一帧的人脸信息，主要为双眼的位置信息，将输入图像转换成标准尺寸的图像，优选的尺寸可为 256X256。对人脸图像进行归一化处理，是为了保证所有特征点的计算条件相近，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线

29、作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离（瞳距）达到一特定值。通过这种归一化处理后能保证Gabor 特征表达的精度和鲁棒性。然后执行步骤504， 判断是否重新检测。本步骤是根据前一帧的检测结果判断是否重新进行人脸特征检测，若为第一帧图像，则直接进行特征检测。步骤504 的判断结果若为是，则继续步骤505， 基于形状约束获得基准特征点。本步骤是利用基准形状模型517,基于ASMI犬约束对齐基准特征点，基准特征点不会因为表情的变化而运动，如眼角、鼻端。基准形状模型517 的获得方法请参见图2 和图 3 及其对应说明。步骤505 基于形状约束获得基准特征点的具体方法为:首先需对

30、图像进行归一化预处理。其次，根据双眼的位置确定刚性基准点的位置。根据双眼位置和人脸模型中的刚性基准形状模型对齐刚性基准点，获得这些基准点的初始位置。然后根据式（2）迭代更新其形 状参数，直到满足迭代终止条件，即获得刚性基准点的准确位置。迭代过程中，刚性基准 点的精度根据其Gabor特征与离线特征模板的相似度进行判断。具体步骤如下：(1) 对每一刚性基准点i ,计算其当前位置Xi (xi,yi)的Gabor特征Ji ;(2) 根据式(9)、(10)计算Ji与离线特征模板J'i中每个Gabor特征的相似度，取 相似度最大者作为J与模板的相似度S,并获得其相对位移为d-(3) 当满足以下条件

31、之一时，迭代过程结束，否则转入步骤4)： a)所有刚性基准点的平均相似度S小于上一次迭代的平均相似度 Siast ； b) 90%以上的点的绝对位移值足够小，即di| v'dxi2 dyi2 d这里阈值出根据所需保证的精度确定，如可选dT =2 ;(4) 对相对位移值di进行限定，减少突变误差，使得|dxi| dxT, dyi| dyT,这里阈值dxT和dyT根据所需保证的精度确定，如可选 dxT=dyT =10；(5) 根据di对刚性基准点坐标进行更新：Xi Xi di ；(6) 根据更新的坐标Xi和刚性基准形状模型及式(2)更新形状参数。根据更新的 形状参数获得新的刚性基准点坐标值

32、；(7) 迭代次数t增加1次。若t超过阈值，则迭代过程结束，否则转入步骤(1)。然后执行步骤506,基于形状约束获得全局特征点。本步骤是利用全局形状模型518,基于ASM形状约束，对齐全局特征点。全局特征点除包括8个基准特征点外，还包括其他受表情影响较小的点，如嘴角、眉尖等。获得全局形状模型518的具体方法请参见图2和图3及其对应说明。步骤506的基于形状约束获得全局特征点的具体方法与步骤505相同，不同的是其利用刚性基准点的位置以及全局基准形状模型，并在迭代中固定刚性基准点的位置不变。然后执行步骤507,基于形状约束获得局部特征点。本步骤是针对人脸的每一个局部特 征，利用局部形状模型519,

33、基于ASMU状约束对齐局部特征点。本发明人脸的局部特征点 主要包括左眼、右眼、嘴、鼻的轮廓点，如左(右)眼包括眼角、上、下眼睑等，嘴部包 括两个嘴角、上/下唇的中点，以及上/下唇中点与嘴角之间的轮廓点等。获得局部形状模 型519的具体方法请参见图2和图3及其对应说明。步骤507基于形状约束获得局部特征点的具体方法与步骤 505相同,不同的是其利用局 部形状模型，并固定全局基准点的位置不变。然后执行步骤508,更新在线特征模板。本步骤是根据得到的脸部特征点计算其Gabor小波特征，作为新的在线特征模板 JJ。然后执行步骤515,估计人脸姿态。本步骤是根据 6个基础点的位置估计人脸的姿态， 6个基

34、础点为：4个眼角点和2个鼻端点。本发明既可以构建多层结构人脸模型以适应人脸表情的变化，也可以构建不同角度下 的人脸形状模型以适应人脸角度的变化，不再赘述。然而，构建的人脸模型毕竟只能采样有限的角度，如正面人脸，左侧面人脸45度，右侧面人脸45度，等等。为保证人脸特征跟踪的精度，需估计出人脸的角度以选取适当的人 脸形状模型，并对其进行角度的补偿。本发明根据人脸的刚性基准特征点的位置即能较好 地估计出人脸角度，说明如下。为减少人脸表情的影响，需选取人脸的基准特征点进行人脸姿态的估计，本发明选择4 个眼角点和2个鼻端点作为参考。为估计人脸的姿态，这六个点的三维坐标必须先进行初 始化。一般地，特征点的

35、三维坐标 Xi Xi，yi，zi由通用的三维人脸模型，实际应用中，可 要求用户面向摄像头以获得其正面人脸图像，根据检测结果，特征点的xqnyi值自动调整为该用户的值，深度值则仍采用三维模型的值进行近似。设人脸姿态参数face pan，皿，sw吨，其中 pan，tils swing为人脸三个方向的欧拉角，为人脸大小的缩放值。步骤515估计人脸姿态的具体步骤如下：1）构建N个三角形。选择任意三个非共线性的特征点组成一个三角形Ti ,对每一个Ti ,构建一个局部坐标系统Cto2）由每个三角形获得投影矩阵M图像坐标与局部坐标系统Ct的关系可表示为(11)cCo.Xt4M rroytyto其中，c,r表

36、示坐标系统Ct中三维点xt,yt,0的投影图像，c0,r0是参考点Xt0,yt。,0的投影图像，M是2X2的投影矩阵。通过限定欧拉角在一到一的范围，可以从M恢复出两22组人脸姿态参数，进而生成完全投影矩阵 Pi,但其中只有一个是正确的。3）计算完全投影矩阵的投影偏差。根据完全投影矩阵Pi将特征点的三维坐标投影到图像中，进而获得其与实际特征点图像坐标的偏差 derror o如果derro大于阈值d,则删除该矩阵；否则保留该矩阵，并设置其权重为i d derm I4)加权得到最终结果。通过对 N个三角形的检测，最终得到 K个完全投影矩阵Pi的一组参数i 1 K ,及其对应的权重i , i 1 K。

37、对每个P,可得到唯i pan , tilt , swing , oKi 1face最终的人脸姿态参数为:(然后返回步骤502循环执行在线跟踪方法步骤502至508以及步骤515,并执行步骤516,输出人脸特征点及人脸姿态信息。步骤504的判断结果若为否，则执行步骤509,基于在线模板更新眼角点。本步骤是基于在线模板与特征点的上一帧位置的小波特征进行比较，计算4个眼角点的位移，从而得到眼角的新位置。步骤509的具体获得方法为:(1) 根据前一帧的双眼位置对图像进行归一化预处理；(2) 根据在线特征模板更新刚性基准点中的眼角特征点：对于眼角特征点Xi (xi,yi),计算其在当前图像的Gabor特

38、征Ji,然后根据式(10)计算Ji与在线特征模板J"i的位移d"i ,则眼角特征点可更新为：Xi Xi d"i。然后执行步骤510,基于离线特征模板调整眼角点。本步骤是计算离线训练的特征模板与在线特征模板的距离和相似度， 根据该距离和相似度对眼角位置进行修改得到新的位置。获得离线特征模板的具体方法见图 4及其对应的说明。步骤510的具体计算方法为：根据离线特征模板对眼角特征点进行再修正：对于眼角特征点Xi (xi,yi),根据式(9)、(10)计算在线特征模板J"i与离线特征模板J'i的相似度S'i和位移d'i ,则眼角特征点可进

39、一步修正为 XiXi 心，其中为相似2(1 exp(10( S'i)度调整值，根据精度要求进行设置，如优选可设为0.55。然后执行步骤511,更新其他特征点。首先,计算新的眼角特征点位置与上一帧位置的平均位移作为人脸刚性运动的初步估计，更新其他特征点所有特征点的坐标为: Xi Xi davgo然后对每一特征点，重复步骤509与510,对眼角特征点以外的其他特征点 的位置进行更新。然后执行步骤512,根据前一帧的人脸姿态更新各形状模型的平均形状。本步骤是根据前一帧估计的人脸姿态进行误差补偿，对人脸的形状模型进行更新，以得到该姿态下的形状模型。然后执行步骤513，基于形状约束更新全局特征点

40、。本步骤是对全局特征点，根据补偿的全局形状模型进行形状约束，获得形状参数，根据该形状参数获得准确的全局特征点。本步骤是基于步骤512所更新的形状模型约束更新全局特征点的位置。然后执行步骤514，基于形状约束更新局部特征点。本步骤是针对人脸的每一个局部特征，这一过程中，全局特征点不再更新。本步骤是基于步骤512 所更新的形状模型约束更新其局部特征点的位置。然后执行步骤508,对所有特征点，计算其 Gabor特征作为新的在线特征模板 Ji”以上过程根据检测的人脸及人眼的位置完成了人脸特征点的检测定位。由于各个人脸的差异性，其特征点的Gabor 特征与离线特征模板的相似度各不相同。为此，根据当前人脸

41、特征点位置获得其Gabor 特征作为后续帧人脸跟踪的特征模板，即在线特征模板Ji" ，以提高人脸特征跟踪的效率和精度。图 6 为本发明人脸比对方法的流程图。本发明方法包含：步骤 601，人脸跟踪，获取特征点。本步骤对输入的视频或者摄像头实时画面中的人脸进行处理，获取特征点的精确位置。其详细方法在图1- 图 5 及其对应的说明书中详细说明。应该注意的是，本发明的跟踪部分选取的人脸特征为人脸的共同性的特征，如图2 中所示 28 个特征点。然后执行步骤602，检测图像质量，判断是否满足条件。本步骤是对于步骤601 所获取的图像质量进行判断，判断图像以及特征点的提取结果是否满足注册或比对的条

42、件。检测的参数包括图像的亮度、光照的均匀性等。若步骤 602 的判断结果为否，则执行步骤610。若步骤 602 的判断结果为是，则执行步骤603， 提取详细的人脸特征数据。应注意的是：为完整表达不同人脸之间的差异性，需提取适当的人脸特征点，以便充分表达人脸信息。本发明选取人脸上的显着特征点作为比对依据，除了图2 中所示 28 个特征点外，还增加双眉之间的中点、鼻根即双眼之间的中点、鼻尖，等等。根据精度、运算性能等要求，可对特征点的选取适当进行调整。而人脸特征点的特征必须选取式（8）中所有80 个 Gabor 复系数，表达完整的人脸信息，以使不同人脸之间的差异最大化。步骤603 的具体方法为：根

43、据人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸特征点的位置，如：鼻根为双眼位置的中点、鼻尖为4 个鼻测点的中心点，等等。根据双眼位置对图像进行归一化处理。根据式(8)计算得到人脸特征点i的Gabor特征J'i ,所有特征点的Gabor特征即组成 一个人脸特征模板Gj J'i , i 1,2,，N, N为选取的人脸特征点个数。然后执行步骤604人脸注册或者步骤605人脸比对。步骤604人脸注册是保存人脸特征数据至人脸数据库。具体方法为：将步骤603获得的详细的人脸特征数据与此人已有的人脸特征模板库进行比较，若其 相似度S>St,则不保存该特征，否则将该特征加入此人的人脸特征模板库G Gj ,j 0,M , M为此人的特征模板个数，保存至数