发明专利案例

1、实用标准文案说明书一种人脸比对方法技术领域本发明涉及生物特征识别技术领域，尤其涉及一种人脸比对的方法。背景技术人脸是人的重要信息，是区分不同的人的重要依据，因此人脸比对是较指纹、虹膜等技术更自然、更直接的比对方式。人脸比对是将图像或视频输入的人脸通过提取特定的人脸特征信息，与数据库中已注册的人脸特征信息相比较，获得匹配的人脸极其相似度，确认是否与数据库中人脸为同一。人脸比对在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人机界面、权限控制、智能监视系统等。比对的准确性、精度和鲁棒性问题一直是业界关心的主要问题。另外，在人脸比对中，如果当前输入一张静态照片，其与数据库中已注册人脸相比

2、对，也会得出匹配的结果，这将导致识别的客体并不是真实的人脸，导致无权限的人得到权限。因此，判断当前输入为真实的人的脸还是静态的照片非常重要，而现有技术还无法解决。因此，业界急需一种能够确保输入真实、具有较高准确性与鲁棒性的人脸比对技术。发明内容为弥补现有技术的不足，本发明目的是提供一种人脸比对方法，解决人脸表情变化和姿态变化的影响，提高比对的准确性、精度和鲁棒性，保障比对的真实性。为了实现上述目的，本发明的技术方案如下：一种人脸比对方法，包含：人脸比对方法，其特征在于，包含：步骤 601 ，人脸跟踪，获取特征点；步骤 603 ，提取详细的人脸特征数据；步骤 605 人脸比对，将该人脸特征数据与

3、人脸数据库中的每一个人脸的特征数据进行文档大全实用标准文案比对，获得其相似性；具体方法为：（1 ） 选取数据库中的一个人脸k 的特征模板库 GGj ， k0,., K ；（2 ） 对特征模板 Gj J i G ， j 0,., M ，计算输入人脸的特征 Ji 与 J i 之间的相似度 Skji ；（3 ） 计算输入人脸与特征模板1Skji ；Gj 的相似度 SkjNi（4 ） 计算输入人脸与人脸k 的相似度为 Skmax Skj ；j（5 ） 重复步骤（ 1）- （ 4），获得输入人脸与数据库中所有K 个人脸的相似度，取其中最大者 Smaxmax Sk ，得到其对应的人脸k ；k其中， M 为

4、人的特征模板个数， N 为选取的人的人脸特征点个数，i 为人脸特征。步骤 607 ，判断是否已找到匹配的人脸；为相似度阈值，若 Smax，则判断输入人脸与数据库中的人脸k 相匹配；步骤 608 ，判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于：嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；在人脸表情有显著变化时，执行步骤609 ，输出比中的人脸。其中，该步骤 603 提取详细的人脸特征数据的具体方法为：根据步骤 601 人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸特征点的位置；根据双眼位置对图像进行归一化处理；计算得到人脸特征点

5、 i 的 Gabor 特征 Ji ，所有特征点的 Gabor 特征即组成一个人脸特征数据 G j J i ， i 1,2,., N ，N 为选取的人脸特征点个数。其中，该人脸特征点为人脸上的显著特征点，人脸特征点的特征选取所有80 个 Gabor复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。其中，该步骤 601 人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特征。进一步的，该人脸比对方法还包含步骤604 人脸注册；保存人脸特征数据至人脸数据库；具体方法为：将步 骤 603获得的详细人脸特征 数据 加入 此人 的人 脸特 征模板库 GGj，文档大全实用标准文案j 0,., M

6、， M 为此人的特征模板个数，保存至数据库。其中，该步骤 601 人脸跟踪，获取特征点的具体包含离线训练方法和在线跟踪方法；该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法为该在线跟踪方法提供人脸特征点离线模板；该多层结构人脸模型训练方法包含如下步骤：步骤 301 ，选取适当的人脸图像作为训练样本；步骤 302 ，对人脸图像的特征点进行标记；步骤 3031-3061 ，得到基准形状模型；步骤 3032-3062 ，得到全局形状模型；步骤 3033-3063，得到局部形状模型。其中，该基准形状模型

7、、该全局形状模型与该局部形状模型的获得方法为：用 s 表示一个人脸形状向量：ssPb ，其中， s 为平均人脸形状； P 为一组正交的主形状变化模式； b 为形状参数向量；人脸形状向量 s 表示为 ( sR , sG , sL ) T ，其中 sR 、 sG 和 sL 分别表示基准特征点、全局特征点和局部特征点；刚性基准形状的点分布模型sRsRPRbR全局基准形状的点分布模型sGsGPGbG局部形状模型的点分布模型sGi , LisGi , LiPGi , Li bGi , Li第 i 个局部形状向量为sGi ,Li sGi , sLi ，其中 sGi ， sLi 分别表示属于第i 个局部形状

8、的全局和局部特征点。其中，该人脸特征点的表达方法为：文档大全实用标准文案给定灰度图像I ( x) 中的一个像素x( x, y) ，其附近的局部图像rI ( x ) 中的像素为rx ( x, y) ，一系列 Gabor系数 J j (x) 可表达该点附近的局部外观，定义为：J j (x)I (x)j ( xx)d 2 x其中 Gabor 核j为高斯包络函数限定的平面波，22x22(x)k jk jexp(i k j x) exp()j2 exp222k jxkvcosv 2k j, kv2 2,k jykvsin8其中， kv为频率，为方向， k j 为特征小波矢量， k jx 为特征小波 x

9、方向矢量， k jy 为特征小波 y 方向矢量， i 为复数算子，优选 v0,1,.,9 ，0,1,.,7 ， j8v ， i1 ，且频率波宽设为2；Gabor 核由 10个频率、 8个方向组成80 个 Gabor复系数，用以表达像素点附近的外观特征，用一个 jet向量 JJ j表示这些系数， J jj exp( i j ) ， j0,1,.,79其中， j 和 j 分别为第 j 个 Gabor系数的幅值和相位；对 80 个 Gabor复系数进行实验筛选，得到该人脸特征点表达所用的小波特征。其中，该人脸特征点的离线模板训练方法如下：步骤 401 ，选取 N 张适当的人脸图像作为训练样本；步骤

10、402 ，对人脸图像的特征点进行标记；步骤 403 ，对图像进行归一化处理；步骤 404 ，计算所有样本的 Gabor特征；步骤 405 ，获得各样本 Gabor特征之间的相似度；S (J,J)jjjcos(j jdk j )2j2jj其中， J 和 J 为 Gabor特征 j和 j 分别为 Gabor系数的幅值和相位，；d 为 J 和 J 之间的相对位移；d x1yyyxxd ( J, J )d yxx yyxy yxxyxxy文档大全实用标准文案如果 xx yyxy yx0 ，其中xjj j k jx ( j j ) ，xyjj j k jx kjy，y ， xx ， yx 和 yy 类似

11、地进行定义；对每个特征点，计算N 个 Gabor 特征两两之间的相似度，当其相似度大于阈值ST 时即认为两者相似， ST 可通过实验选取，选取0.85 ；步骤 406 ，计算各样本 Gabor 特征的相似特征数 n ；步骤 407 ，选择 n 最大的样本 Gabor 特征；步骤 408 ，判断 n 是否大于 n T；若步骤 408 的判断结果为否，则执行步骤411 ，处理下一特征点，然后返回步骤404继续执行；若步骤 408 的判断结果为是，则执行步骤 409 ，将 Gabor 特征加入离线模板；对每一个 Gabor 特征，设有 n i 个与其相似的 Gabor 特征，将 ni 值最大且大于阈

12、值 n T 的 Gabor 特征加入样本特征集 Ji ，n T 也通过实验选取，选取 n T =2 ；步骤 410 ，将该 Gabor 特征从样本中删除， 同时将与其相似度大于阈值 ST的Gabor 特征从 J i 中删除， ST大于 ST，选取 0.9 ；返回步骤 405 ，对步骤 405-409 作迭代计算；对 J i 重复上述过程，直到选不出样本为止；最终的样本特征集J i 即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。其中，该在线跟踪方法包含：步骤 501 ，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色空间，跟踪模式；步骤 502

13、，输入一帧图像；步骤 503 ，图像归一化，将输入图像转换成标准尺寸的图像；步骤 504 ，判断是否重新检测；若步骤 504 的判断结果为是，则执行步骤505 ，利用基准形状模型，基于ASM 形状约束，对齐基准特征点；文档大全实用标准文案步骤 506 ，利用全局形状模型，基于 ASM 形状约束，对齐全局特征点；步骤 507 ，利用局部形状模型，基于 ASM 形状约束，对齐局部特征点；步骤 508 ，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人脸的在线特征模板；步骤 515 ，估计人脸姿态，根据六个基础点的位置估计人脸的姿态；返回步骤 502 循环执行在线跟踪方法步骤502

14、 至步骤 508 以及步骤 515 并执行步骤516 ，输出人脸特征点及人脸姿态信息；若步骤 504 的判断结果若为否，则执行步骤509 ，基于在线特征模板更新眼角点；然后执行步骤 510 ，基于离线特征模板调整眼角点；然后执行步骤 511 ，更新其他特征点；然后执行步骤 512 ，根据前一帧的人脸姿态更新各形状模型的平均形状；然后执行步骤 513 ，基于形状约束更新全局特征点；然后执行步骤 514 ，基于形状约束更新局部特征点；然后返回步骤 508 ，继续执行在线跟踪方法步骤509 至步骤 514 。本发明的有益效果是：1. 本发明选取人脸上的显著特征点作为比对依据，人脸特征点的特征从所有8

15、0个Gabor复系数中选取，表达了完整的人脸信息，使不同人脸之间的差异最大化，人脸比对的准确性和鲁棒性较好。2. 使用本发明的人脸比对方法，消除了人脸表情、姿态的影响，在比对中判断出了人脸的真实性，使得跟踪和比对准确性、精度和鲁棒性更高。3.使用本发明，能够判断当前输入为真实的人脸还是静态的照片。附图说明下面结合附图，通过对本发明的具体实施方式的详细描述，将使本发明的技术方案及其他有益效果显而易见。图 1 为本发明人脸跟踪方法的组成框架图；图 2 为本发明的人脸特征点示意图；图 3 为本发明多层结构人脸模型训练方法的流程图；文档大全实用标准文案图 4 为本发明人脸特征点的离线模板训练方法流程图

16、；图 5 为本发明人脸跟踪方法的流程图；图 6 为本发明人脸比对方法的流程图。具体实施方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。本发明人脸比对方法主要包括两个部分，一是训练部分，即注册部分，一是比对部分。无论是训练部分，还是比对部分，都需先对人脸特征进行检测、跟踪，从而得到精确的人脸特征点的位置。图 1- 图 5 示出了人脸检测跟踪、获取特征点的具体方法。下面详细说明：图 1 表示了本发明跟踪方法的组成框架。本发明人脸跟踪方法包含离线训练方法102和在线跟踪方法 101 两部分。离线训练方法 102 包含：多层结构人脸模型训练方法1021和人脸

17、特征点的离线模板训练方法 1022 ；前者为在线跟踪方法 101 提供人脸模型103，后者为人脸跟踪方法 101 提供人脸特征点离线模板 104 。图 2 为本发明人脸特征点示意图。 图 3 为本发明多层结构人脸模型训练方法的流程图。下面结合图 2 与图 3 详细说明本发明多层结构人脸模型训练方法。人的面部特征具有很大的相似性，这些特征点的相对运动表达了人脸表情和人脸姿态的变化。给定这些人脸的特征点，用人脸特征点集的统计关系表示人脸模型，即可以构建出一个点分布模型（ PDM ）来表达人脸的可能的形状变化。本发明基于 ASM 的原理，从一系列人脸图像训练得到多层结构人脸模型。多层结构人脸模型训练

18、方法首先执行步骤 301 ，选取适当的人脸图像作为训练样本。然后执行步骤 302 ，对人脸图像的特征点进行标记。然后执行步骤3031-3061 ，得到基准形状模型。具体为：步骤3031 ，基于刚性基准点组成形状向量，来表示基准特征点的位置；然后执行步骤3041 ，根据 Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3051 ，由 PCA 方法获得形状约束参数，文档大全实用标准文案步骤 3061 ，得到基准形状模型。执行步骤 3032-3062 ，得到全局形状模型。具体为：步骤3032 ，基于全局基准点组成形状向量，来表示全局特征点的位置；然后执行步骤3042 ，

19、根据 Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤 3052 ，由 PCA 方法获得形状约束参数，步骤3062 ，得到全局形状模型。执行步骤 3033-3063 ，得到局部形状模型。具体为：步骤 3033 ，基于局部基准点组成形状向量，来表示局部特征点的位置；然后执行步骤3043 ，根据 Procrustes 变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3053 ，由 PCA 方法获得形状约束参数，步骤3063 ，得到局部形状模型。步骤 3031-3061 、步骤 3032-3062和步骤 3033-3063的计算方法具体为：用向量 s 表示一个人

20、脸形状：s s Pb，（1 ）其中， s为平均人脸形状； P 为一组正交的主形状变化模式； b 为形状参数向量。现有的 ASM 方法通过迭代过程搜索人脸形状， 迭代中所有的特征点位置同时更新， 也就是说特征点之间的相互影响是简单的平行关系。鉴于人脸的复杂结构，以及表情丰富的特点，这种简单的平行机制并不足以描述特征点之间的相互关系。例如，假设眼角位置固定，则眼睛的开闭并不能影响口、鼻的特征点定位。本发明将人脸特征点组织为多个层次，以更好地适应头部运动、表情变化等对特征点位置的不同影响，我们称为多层结构人脸模型。第一类为基准特征点，基本只受头部姿态的影响，如眼角、鼻端等。第二类为全局特征点，用来约

21、束整个人脸的全局形状，包括基准特征点和其他关键点、如嘴角、眉端等。第三类为局部特征点，只用来约束人脸各组成部分如眼、嘴、眉的细部特征，位于其轮廓边界上，如上下嘴唇的轮廓点，上下眼睑等，主要受表情变化影响。基于此，本发明构建的多层结构人脸模型说明如下：如上所述，人脸形状向量s 可表示为 (sR , sG , sL ) T ，其中 sR 、 sG 和 sL 分别表示基准特征点、全局特征点和局部特征点。基于此，人脸形状模型可分为刚性基准形状、全局基准文档大全实用标准文案形状、以及以下局部形状：左眉、右眉、左眼、右眼、鼻、嘴等。对于刚性基准形状和全局基准形状，其点分布模型（PDM ）可以从训练数据学习

22、得到如下，sRsRPRbR（2 ）sG sG PG bG（ 3）对于局部形状模型，第i 个局部形状向量为sGi , Li sGi , sLi ，其中 sGi ， sLi 分别表示属于第 i 个局部形状的全局和局部特征点。亦有，sGi , LisGi , Li PGi , Li bGi , Li（ 4）以上（ 2 ）、（ 3）、（ 4 ）三式即构成了本发明的多层结构人脸模型。其中各参数均基于 ASM 的原理通过训练得到。图 2 显示了本发明优选的一组特征点，其中所有的星形点 201 为基准特征点， 所有的星形点 201 和空心原点 202 组成全局特征点， 实心原点 203 为局部特征点。图 4

23、 为本发明人脸特征点的离线模板训练方法流程图。人脸特征点的特征表达有很多种，如灰度特征、边缘特征、小波特征等等。本发明采用多尺度多方向 Gabor 小波来建模特征点附近的局部外观， 表达人脸特征点。 基于 Gabor 小波的特征表达具有人类视觉的心理物理基础，并且对于光照变化以及外观变化下的表情识别、人脸识别和特征点表示等都具有很好的鲁棒性。本发明小波特征的计算方法为：给定灰度图像I ( x) 中的一个像素x ( x, y) ，其附近的局部图像rI ( x ) 中的像素为r系数 J j ( x) 可表达该点附近的局部外观，定义为：x ( x, y) ，一系列 GaborJ j (x)I (x)

24、 j ( x x)d 2 x（5 ）其中 Gabor 核j 为高斯包络函数限定的平面波22x22j (x)k jk j)（6 ）2 exp22 exp(i k j x) exp(2文档大全实用标准文案k jxkv cosv 2k j2,（7 ）k jy, kv28kv sin其中，kv为频率，为方向，k j为特征小波矢量，k jx为特征小波 x 方向矢量，k jy为特征小波 y 方向矢量， i为复数算子，优选 v0,1,.,9 ，0,1,.,7 ， j8v ， i1 ，且频率波宽设为2。由此，本发明优选的 Gabor 核由 10个频率、 8 个方向组成 80个 Gabor 复系数，用以表达像素

25、点附近的外观特征。特别地，可用一个jet 向量 J J j表示这些系数，可写成J jj exp( i j ) ， j 0,1,.,79（8 ）其中，j 和j 分别为第 j 个 Gabor 系数的幅值和相位。给定一幅图像， 每个标记的人脸特征点都可以计算得到Gabor 小波的 jet 向量，该 jet向量即表达了该点的特征。然而，针对每一个人脸特征点，并非所有80 个 Gabor 复系数均适合表达该特征。为使其能表达各种人脸的共同特征，须对80 个 Gabor 复系数进行实验筛选。以嘴角特征点为例，本发明优选的Gabor 复系数为： j24,.,55 。由此，优选出的即为本发明方法中所用的小波特

26、征。本发明人脸特征点的离线模板训练方法如下：首先执行步骤 401 ，选取 N 张适当的人脸图像作为训练样本。步骤 402 ，对人脸图像的特征点进行标记。步骤 403 ，对图像进行归一化处理，以保证所有特征点的Gabor 特征的计算条件是相近的，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离（瞳距）达到一特定值。通过这种归一化处理后能保证Gabor 特征表达的精度和鲁棒性。然后执行步骤 404 ，计算所有样本的Gabor 特征。具体方法是：将标记的特征点坐标转换至归一化图

27、像中，对每个人脸特征点，根据式（5）-（8）计算其 Gabor 特征。则对每一个特征点而言，共得N 个 Gabor 特征 J i ， i0,., N 。然后，执行步骤 405 ，获得各样本 Gabor 特征之间的相似度；方法为：假设 Gabor 特征 J 和 J ，其相似度可由下式计算得到：文档大全实用标准文案S (J,J)jj j cos(j j dk j )2j2jj其中， d 为 J 和 J 之间的相对位移，可由下式求得d ( J, J )d x1yyyxxd yxxyyxy yxxyxxy如果 xx yyxyyx0 ，其中xjj j k jx ( j j ) ，xyjj jk jx k

28、jy，y ， xx ，yx 和 yy 类似地进行定义。（9 ）（10 ）对每个特征点，根据式（ 9）、（ 10 ）计算 N 个 Gabor 特征两两之间的相似度，当其相似度大于阈值 ST 时即认为两者相似， ST 可通过实验选取，选取0.85 。然后执行步骤 406 ，计算各样本Gabor 特征的相似特征数n。然后执行步骤 407 ，选择 n 最大的样本 Gabor 特征。然后执行步骤 408 ，判断 n 是否大于 n T。若步骤 408 的判断结果为否， 则执行步骤 411 ，处理下一特征点。 然后返回步骤 404 ，继续执行本发明方法。若步骤 408 的判断结果为是，则执行步骤409 ，将

29、 Gabor 特征加入离线模板。对每一个 Gabor 特征，设有 n i 个与其相似的Gabor 特征，将 ni 值最大且大于阈值n T 的 Gabor特征加入样本特征集Ji ，n T 也通过实验选取，选取n T =2 。然后执行步骤 410 ，将该 Gabor 特征从样本中删除，同时将与其相似度大于阈值ST 的Gabor 特征从 Ji 中删除，这里 ST 应大于 ST，选取 0.9 。然后返回步骤 405 ，对步骤 405-409 作迭代计算。对J i 重复上述过程，直到选不出样本为止。最终的样本特征集J i 即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给在线跟踪使用。图 5 为本

30、发明人脸跟踪方法的流程图。文档大全实用标准文案本发明方法包含：步骤 501 ，初始化。本步骤主要初始化引擎，包含：初始化变量，参数设置，参数包括图像格式、分辨率、颜色空间，跟踪模式等。然后执行步骤 502 ，输入一帧图像。本步骤是根据步骤501 设置好的格式输入一帧图像数据。然后执行步骤503 ，图像归一化。本步骤是对输入图像进行归一化处理。即根据前一帧的人脸信息，主要为双眼的位置信息，将输入图像转换成标准尺寸的图像，优选的尺寸可为 256 256 。对人脸图像进行归一化处理，是为了保证所有特征点的计算条件相近，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为

31、图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离（瞳距）达到一特定值。通过这种归一化处理后能保证Gabor 特征表达的精度和鲁棒性。然后执行步骤504 ，判断是否重新检测。本步骤是根据前一帧的检测结果判断是否重新进行人脸特征检测，若为第一帧图像，则直接进行特征检测。步骤 504 的判断结果若为是，则继续步骤505 ，基于形状约束获得基准特征点。本步骤是利用基准形状模型517 ，基于 ASM 形状约束对齐基准特征点， 基准特征点不会因为表情的变化而运动，如眼角、鼻端。基准形状模型517 的获得方法请参见图2 和图 3 及其对应说明。步骤 505 基于形状

32、约束获得基准特征点的具体方法为:首先需对图像进行归一化预处理。其次，根据双眼的位置确定刚性基准点的位置。根据双眼位置和人脸模型中的刚性基准形状模型对齐刚性基准点，获得这些基准点的初始位置。然后根据式（2 ）迭代更新其形状参数，直到满足迭代终止条件，即获得刚性基准点的准确位置。迭代过程中，刚性基准点的精度根据其 Gabor 特征与离线特征模板的相似度进行判断。具体步骤如下：（1 ）对每一刚性基准点i，计算其当前位置X i( xi , yi ) 的 Gabor 特征 Ji ；（2 ）根据式（ 9 ）、（ 10 ）计算 Ji 与离线特征模板Ji 中每个 Gabor 特征的相似度，取相似度最大者作为J

33、 与模板的相似度Si，并获得其相对位移为di 。文档大全实用标准文案（3 ）当满足以下条件之一时，迭代过程结束，否则转入步骤4 ）：a) 所有刚性基准点的平均相似度 S 小于上一次迭代的平均相似度Slast ； b) 90% 以上的点的绝对位移值足够小，即didxi 2dyi 2dT ，这里阈值dT 根据所需保证的精度确定，如可选 d T =2 ；（4 ）对相对位移值 di 进行限定，减少突变误差，使得dxidxT , dyidyT ，这里阈值dx T 和 dy T 根据所需保证的精度确定，如可选dx T = dy T =10 ；（5 ）根据 di 对刚性基准点坐标进行更新：X iX idi

34、；（6 ）根据更新的坐标X i 和刚性基准形状模型及式 （2）更新形状参数。 根据更新的形状参数获得新的刚性基准点坐标值；（7 ） 迭代次数 t增加 1 次。若 t 超过阈值，则迭代过程结束，否则转入步骤（1 ）。然后执行步骤 506，基于形状约束获得全局特征点。本步骤是利用全局形状模型518 ，基于 ASM 形状约束，对齐全局特征点。 全局特征点除包括8 个基准特征点外， 还包括其他受表情影响较小的点，如嘴角、眉尖等。获得全局形状模型518 的具体方法请参见图2 和图 3 及其对应说明。步骤 506 的基于形状约束获得全局特征点的具体方法与步骤505 相同 ,不同的是其利用刚性基准点的位置以

35、及全局基准形状模型，并在迭代中固定刚性基准点的位置不变。然后执行步骤507 ，基于形状约束获得局部特征点。本步骤是针对人脸的每一个局部特征，利用局部形状模型519 ，基于 ASM 形状约束对齐局部特征点。本发明人脸的局部特征点主要包括左眼、右眼、嘴、鼻的轮廓点，如左（右）眼包括眼角、上、下眼睑等，嘴部包括两个嘴角、 上 / 下唇的中点， 以及上 / 下唇中点与嘴角之间的轮廓点等。获得局部形状模型 519 的具体方法请参见图2 和图 3 及其对应说明。步骤 507 基于形状约束获得局部特征点的具体方法与步骤505 相同 ,不同的是其利用局部形状模型，并固定全局基准点的位置不变。然后执行步骤 50

36、8 ，更新在线特征模板。本步骤是根据得到的脸部特征点计算其Gabor小波特征，作为新的在线特征模板Ji 。然后执行步骤 515 ，估计人脸姿态。本步骤是根据6 个基础点的位置估计人脸的姿态，文档大全实用标准文案6 个基础点为： 4 个眼角点和 2 个鼻端点。本发明既可以构建多层结构人脸模型以适应人脸表情的变化，也可以构建不同角度下的人脸形状模型以适应人脸角度的变化，不再赘述。然而，构建的人脸模型毕竟只能采样有限的角度，如正面人脸，左侧面人脸 45 度，右侧面人脸 45 度，等等。为保证人脸特征跟踪的精度，需估计出人脸的角度以选取适当的人脸形状模型，并对其进行角度的补偿。本发明根据人脸的刚性基准

37、特征点的位置即能较好地估计出人脸角度，说明如下。为减少人脸表情的影响， 需选取人脸的基准特征点进行人脸姿态的估计， 本发明选择 4 个眼角点和 2 个鼻端点作为参考。为估计人脸的姿态，这六个点的三维坐标必须先进行初始化。一般地，特征点的三维坐标X ixi , yi , zi 由通用的三维人脸模型，实际应用中，可要求用户面向摄像头以获得其正面人脸图像，根据检测结果，特征点的xi 和 yi 值自动调整为该用户的值，深度值则仍采用三维模型的值进行近似。设人脸姿态参数facepan , tilt, swing,pan , tilt, swing为人脸三个方向的欧拉角，为人脸大小的，其中缩放值。步骤 5

38、15 估计人脸姿态的具体步骤如下：1 ）构建 N 个三角形。选择任意三个非共线性的特征点组成一个三角形Ti ，对每一个 Ti ，构建一个局部坐标系统C t 。2 ）由每个三角形获得投影矩阵M 。图像坐标与局部坐标系统Ct 的关系可表示为cc0Mxtxt 0（11）rr0ytyt 0其中， c, r表示坐标系统 C t 中三维点 xt , yt ,0 的投影图像， c0 , r0是参考点 xt 0 , yt 0 ,0 的投影图像， M 是 2 2 的投影矩阵。通过限定欧拉角在到的范围，可以从 M 恢复出22两组人脸姿态参数，进而生成完全投影矩阵Pi ，但其中只有一个是正确的。3）计算完全投影矩阵

39、的投影偏差。根据完全投影矩阵Pi 将特征点的三维坐标投影到图像中，进而获得其与实际特征点图像坐标的偏差derror 。如果 derror大于阈值 d ，则删除该矩阵；否则保留该矩阵，并设置其权重为idd error2。4）加权得到最终结果。通过对N 个三角形的检测，最终得到K 个完全投影矩阵 Pi ，文档大全实用标准文案i 1 K ， 及 其对 应 的权 重i ， i 1 K 。 对 每 个 Pi，可得到唯一的一组参数ipan , tilt , swing ,。最终的人脸姿态参数为：Ki 1ii（12）faceKi 1i然后返回步骤 502循环执行在线跟踪方法步骤502 至 508 以及步骤

40、515 ，并执行步骤516 ，输出人脸特征点及人脸姿态信息。步骤 504 的判断结果若为否，则执行步骤509 ，基于在线模板更新眼角点。本步骤是基于在线模板与特征点的上一帧位置的小波特征进行比较，计算4 个眼角点的位移，从而得到眼角的新位置。步骤509 的具体获得方法为：（ 1 ） 根据前一帧的双眼位置对图像进行归一化预处理；（ 2） 根据在线特征模板更新刚性基准点中的眼角特征点：对于眼角特征点X i( xi , yi ) ，计算其在当前图像的Gabor特征 J i ，然后根据式（ 10 ）计算 Ji 与在线特征模板 Ji 的位移 di ，则眼角特征点可更新为：X iX idi 。然后执行步骤

41、510 ，基于离线特征模板调整眼角点。本步骤是计算离线训练的特征模板与在线特征模板的距离和相似度，根据该距离和相似度对眼角位置进行修改得到新的位置。获得离线特征模板的具体方法见图4 及其对应的说明。步骤 510 的具体计算方法为：根据离线特征模板对眼角特征点进行再修正：对于眼角特征点 X i ( xi , yi ) ，根据式（ 9）、（10 ）计算在线特征模板 Ji 与离线特征模板 J i的相似度Si 和位移 di ，则眼角特征点可进一步修正为 X i X id i，其中为相似2(1 exp(10( Si )度调整值，根据精度要求进行设置，如优选可设为0.55 。然后执行步骤511 ，更新其他

42、特征点。首先，计算新的眼角特征点位置与上一帧位置的平均位移作为人脸刚性运动的初步估计，更新其他特征点所有特征点的坐标为：XiX idavg 。然后对每一特征点，重复步骤509 与 510 ，对眼角特征点以外的其他特征点的位置进行更新。然后执行步骤512 ，根据前一帧的人脸姿态更新各形状模型的平均形状。本步骤是根文档大全实用标准文案据前一帧估计的人脸姿态进行误差补偿，对人脸的形状模型进行更新，以得到该姿态下的形状模型。然后执行步骤513 ，基于形状约束更新全局特征点。本步骤是对全局特征点，根据补偿的全局形状模型进行形状约束，获得形状参数，根据该形状参数获得准确的全局特征点。本步骤是基于步骤512

43、 所更新的形状模型约束更新全局特征点的位置。然后执行步骤514 ，基于形状约束更新局部特征点。本步骤是针对人脸的每一个局部特征，这一过程中，全局特征点不再更新。本步骤是基于步骤512 所更新的形状模型约束更新其局部特征点的位置。然后执行步骤 508 ，对所有特征点，计算其Gabor 特征作为新的在线特征模板Ji 以上过程根据检测的人脸及人眼的位置完成了人脸特征点的检测定位。由于各个人脸的差异性，其特征点的Gabor 特征与离线特征模板的相似度各不相同。为此，根据当前人脸特征点位置获得其Gabor 特征作为后续帧人脸跟踪的特征模板，即在线特征模板Ji ，以提高人脸特征跟踪的效率和精度。图 6 为

44、本发明人脸比对方法的流程图。本发明方法包含：步骤 601 ，人脸跟踪，获取特征点。本步骤对输入的视频或者摄像头实时画面中的人脸进行处理，获取特征点的精确位置。其详细方法在图 1- 图 5 及其对应的说明书中详细说明。应该注意的是，本发明的跟踪部分选取的人脸特征为人脸的共同性的特征，如图2 中所示 28 个特征点。然后执行步骤 602 ，检测图像质量，判断是否满足条件。本步骤是对于步骤601 所获取的图像质量进行判断，判断图像以及特征点的提取结果是否满足注册或比对的条件。检测的参数包括图像的亮度、光照的均匀性等。若步骤 602 的判断结果为否，则执行步骤610 。若步骤 602 的判断结果为是，

45、则执行步骤603 ，提取详细的人脸特征数据。应注意的是：为完整表达不同人脸之间的差异性，需提取适当的人脸特征点，以便充分表达人脸信息。本发明选取人脸上的显著特征点作为比对依据，除了图 2 中所示 28 个特征点外， 还增加双眉之间的中点、鼻根即双眼之间的中点、鼻尖，等等。根据精度、运算性能等要求，可对特征点的选取适当进行调整。 而人脸特征点的特征必须选取式 （ 8）中所有 80 个 Gabor文档大全实用标准文案复系数，表达完整的人脸信息， 以使不同人脸之间的差异最大化。步骤 603 的具体方法为：根据人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸特征点的位置，如：鼻根为双眼位置的中点、鼻尖为4 个鼻测点的中心点，等等。根据双眼位置对图像进行归一化处理。根据式（ 8）计算得到人脸特征点 i 的 Gabor 特征 Ji ，所有特征点的 Gabor 特征即组成一个人脸特征模板 G j J i ， i 1,2,., N ，N 为选取的人脸特征点个数。然后执行步骤 604 人脸注册或者步骤605 人脸比对。步骤 604 人脸注册是保存人脸特征数据至人脸数据库。具体方法为：将步骤 603 获得的详细的人脸特征数据与此人已有的人脸特征模板库进行比较，若其相似度S ST ，则不保存该特征