（通信与信息系统专业论文）一种在人脸识别中基于误导和光流场的活体检测方法.pdf

中山大学硕士学位论文 论文题目：一种在人脸识别中基于误导和光流场的 活体检测方法 专业：通信与信息系统 硕士生：李静 指导教师：马争鸣教授 摘要 在基于人脸识别的门禁或登录等系统中，活体检测一直是其软肋。联想公司 新近推出基于人脸识别的电脑登陆系统，网上立即有贴宣称，利用照片甚至素描 都可以登录系统。因此，没有活体检测的人脸识别系统，识别率越高，安全隐患 越大。本论文研究人脸识别中活体检测的问题。 目前人脸识别系统中的活体检测方法大致可分为用户配合和盲检测两种方 法，前者要求用户按照提示信息做固定的动作，如眼睛眨动、头部转动、表情变 化或嘴型变化等等。用户配合的检测方法的缺点是暴露了活体检测的判据，恶意 的用户可以根据这些判据进行伪装，欺骗系统。盲检测方法是在用户不知情的情 况下进行活体检测。盲检测方法的缺点是可以利用的稳定实用的判据不多。常用 的判据是眨眼。但根据统计，人平均2 至4 秒才眨眼一次，对活体检测来说，这 个时间太长。 本文的创新点之一在于利用正常提示信息进行隐蔽性活体检测方法。目前， 许多人脸识别系统为了提高识别率，往往会提示用户正面面对摄像头。本论文提 出的活体检测方法是在用户已经正面面对摄像头的情况下，仍然不断提示用户正 面面对摄像头，从而引起用户困惑，产生一些可以预期的动作。例如，用户会下 意识的矫正姿态而眼睛却盯住屏幕，这相当于眼球在眼眶中发生了移动。又例如， 由于注视提示信息，会使眼睛疲劳而眨动。系统通过检测这些动作判断活体。本 论文把这种检测方法称为基于误导信息的活体检测方法。 本文的创新点之二在于提出一种利用光流场的眼球移动和眨眼的统一检测 方法。许多文献提供t i 艮球移动或眨眼的判断方法。如果直接集成这些方法，就 接要 需要对照球移动或眨眼分别进行检测。这会消耗大量计算时闻。对于一个隐蔽性 的检测方法来说，耗时会导致用户的生疑或反感。对子活体检测来说，鼹球移动 或眨眼都可以统一概括秀眼眶内物体发生运动。光流场对物体运动比较敏感，剩 鬟光流场可以统一裣i l t i 涎球移动和眨眼。 本论文提出的基于误导信息和光溅场的活体检测方法已经申请了国家发明 专利。 关键词；人脸识别，活体检测，误导信息，光流场 趱 中山大学硕士学位论文 t i t l e ：al i v e n e s sd e t e c t i o nm e t h o db a s e do nm i s l e a d i n g i n f o r m a t i o na n do p t i c a lf l o wi nh u m a nf a c er e c o g n i t i o ns y s t e m m a j o r ： n a m e ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m l ij i n g s u p e r v i s o r ：m az h e n g m i n g a b s t r a c t l i v e n e s sd e t e c t i o nh a sb e c o m et h eb o a l e n e c ko fh u m a nf a c ev e r i f i c a t i o ns y s t e m n o tl o n ga f t e rl e n o v op r o m o t e d c o m p u t e rl o g g i n g - i ns y s t e mb a s e do nf a c e r e c o g n i t i o n , s o m e o n ep o i n t e do u tt h a tp e o p l ec a ne n t e rt h es y s t e mw i t hap h o t oo r e v e nac h a r c o a ld r a w i n g t h i sm e a n st h a tm o r er e c o g n i t i o nr a t eh i g h e ro fah u m a n f a c er e c o g n i t i o ns y s t e mw i t h o u tl i v e n e s sd e t e c t i o n , m o r ed a n g e rt h es y s t e mi s t h i s t h e s i ss t u d i e so nt h eh v e n e s sd e t e c t i o np r o b l e mo fs u c hs y s t e m t r a d i t i o n a ll i v e n e s sd e t e c t i o nm e t h o dc o u l db ed e p a r t e di n t ou s e r - c o o p e r a t e d d e t e c t i o na n db l i n kd e t e c t i o n t h ef i r s to n em a ya s ku s e r sd os o m ea c t i o n ss u c ha se y e b l i n k i n g ，h e a dr o t a t i o n , f a c i a le x p r e s s i o nc h a n g i n g o rm o u t hm o v e m e n t s t h e d i s a d v a n t a g eo fd o i n gt h i si si tu n c o v e r sl i v e n e s sd e t e c t i o nc r i t e r i o n , w h i c hm a yb e u t i li z e db yi l l e g a lu s e r st of o o lt h es y s t e m t h es e c o n do n ed e t e c t st h el i v e n e s s i n f o r m a t i o nw i t h o u tu s e r sn o t i c e i ti sap i t yt h a tt h ec r i t e r i o nc o u l db eu l t i l i z e di s s c a r c e t h ec o m m o no n ei se y eb l i n k i n g b u tt h ea v e r a g er a t eo fh u m a n se y eb l i n ki s 2 - - 4 sb e t w e e nt w ot i m e sb l i n k i n g i ti st o ol o n gf o rl i v e n e s sd e t e c t i o n t h i sp a p e rp r o p o s e san e wl i v e n e s sd e t e c t i o nm e t h o dt h a tb e t w e e nt h et r a d i t i o n a l u s e r - c o o p e r a t e da n db l i n dd e t e c t i o n n o w , t oi m p r o v ev e r i f i c a t i o nr a t e ，m a n yh u m a n f a c er e c o g n i t i o ns y s t e m sa l w a y sg i v et h es u g g e s t i o nt oa s ku s e r su s i n gf r o n t a lf a c e s t h em e t h o dt h i sp a p e rp o r p o s e dc o n t i n u e sg i v i n gs u g g e s t i o n st ou s e r sa s k i l l gt h e ms i t b e f o r et h ec a m e r aw i t hf r o n t a lf a c e s ，a l t h o u g ht h e yh a v ea l r e a d yd o n et h a t t h i sc o u l d a r i s eu s e r sc o n f u s i o n , t h e nm a k et h e md os o m ea n t i c i p a t i v ed e e d s f o re x a m p l e ，t h e y u i 摘要 m a y r o t a t et h e i rh e a d sw i t he y e ss t a r i n ga tt h es c r e e n , t h i sm a k e st h er e l a t i v el o c a t i o n c h a n g e m e a n w h i l e ，r e a d i n gt h ei n f o r m a t i o nc o u l dm a k ee y e s t i r e d n e s s i t sm o r e e a s i l yf o ru s e r st ob l i n kt h e i re y e s t h i st h e s i sc a l l st h a tm e t h o d ”l i v e n e s sd e t e c t i o n m e t h o db a s e do nm i s l e a d i n gi n f o r m a t i o n ” b e s i d e s ，t h i sp a p e ru s e so p t i c a lf l o wt oc a l c u l a t et h et w om o v e m e n t su n i f o r m l y m a n yp a p e r ss u p p l i e dt h em e t h o d sf o rd e t e c te y eb a l l sr o t a t i o na n de y e sb l i n k i n g t h ei n t e g r a t i o no ft h e s em e t h o d sl e a d st od e t e c tt h o s em o v e m e n t sr e s p e c t i v e l y , w h i c h c o u l dw a s t et o om u c ht i m e s p e n d i n gt o om u c ht i m eo nt h a tc a nr e s u l ti nu s e r s s u s p i c i o na n dr e p u l s i o nf o rs u c has e c l u d e ds y s t e m f o rl i v e n e s sd e t e c t i o n , b o t ht h e m o v e m e n t sc o u l db eu n i t e da ss o m em o v e m e n t sh a p p e n e di ne y e p i ta r e a o p t i c a lf l o w i ss e n s i t i v eo ft h i s ，s ot h i sp a p e ru s e st h i sm e t h o dt od e t e c te y eb a l l sr o t a t i o na n de y e s b l i n k i n g t h em e t h o do fl i v e n e s sd e t e c t i o nb a s e do nm i s l e a d i n gi n f o r m a t i o na n do p t i c a l f l o wt h i st h e s i sp r o p o s e di sa p p l y i n gf o rap a t e n t k e yw o r d s ：f a c er e c o g n i t i o n , l i v e n e s sd e t e c t i o n , m i s l e a d i n gi n f o r m a t i o n , o p t i c a l f l o w 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究工作所取得的成果。除文中已经注明引 用的内容外，本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律效果由本人承担。 学位论文作者签名夕争苛 日期：9 7 厂烨 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即： 学校有权保留学位论文并向国家主管部门或其制定机构送交论 文的电子版和纸质版，有权将学位论文用于非赢利目的的少量复 制并允许论文进入学校图书馆、院系资料室被查阅，有权将学位 论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名：椭 日期：。7 年r 月冲日 妇 哆弘 争月弓修 。_ 年 名门7 登 山 币 明 师 期 导 日 中山大学硕士学位论文 第一章引言 研究活体检测对于生物识别技术进入应用具有非常重要的意义，已有研究人 员通过伪造的照片、指纹、瞳孔等非活体攻破了现有的生物识别系统，使人们对 生物识别技术产生了怀疑和不信任。目前大多数学者仍将研究重点放在如何提高 生物识别技术的识别率等方面，忽略了活体检测这一在安全方面非常重要的因 素，相关的参考文献也并不丰富。本文在进行了深入调研后提出了一种不同于传 统的盲检测和用户配合活体检测但介于两者之间的基于误导性提示信息和光流 场的活体判别方法，实验表明该方法可以对人脸识别系统中的真实人脸和照片起 到较好的区分效果。 本章首先介绍了本课题的研究意义，进而列出了本论文的主要工作及组织安 排。 1 1 课题意义 人脸检测与识别技术是生物识别领域的一个研究热点，目前已有较为成熟的 检测和识别算法，使人脸识别系统具备较好的实时性和识别率，但其中的活体检 测部分仍然比较薄弱，相应的研究算法也较少。事实证明，照片亦可通过系统的 检测与识别从而进入系统，这一现象造成了人们对于生物识别系统的信任危机， 也是人脸识别进入高端安全应用的瓶颈之一，这说明只有附加了良好的活体检测 模块，人脸识别技术才可以真正保证系统的安全性和可靠性。当前活体检测的研 究状况并不容乐观，目前出现的人脸识别系统的活体检测方法大致分为用户配合 和盲检测两种，前者要求用户进行一定的动作如转动头部、眨动眼睛等来迎合系 统测试，达到活体判别的目的，但该方法容易造成用户的腻烦心理，并且非法用 户可以利用专门的提示信息制造相应的伪装，系统安全性容易遭到破坏；后者利 用人无意识的眨眼动作、频谱分析或人脸三维深度信息等来进行活体判别，但无 第一章引言 意识状态下的活体特征较少，对于研究最广泛的眨眼动作而言，人的眨眼频率又 相对较低，较难捕捉到有用的信息。高清晰的照片及高分辨率的摄像头会对频谱 分析的方法产生较大影响，造成结果不准确。而人脸的三维信息则较难获得，同 时人脸面部的凹凸不足以明显到可以使系统较好的将真实人脸同照片区别开来。 针对以上算法的不足，本文提出一种基于误导性提示的活体检测方法，即在 用户已正面面向摄像头的时候仍然提示用户姿态不正，要求用户进行姿态校正， 系统则可根据用户在姿态校正过程中产生的一些无意识的活体特征进行捕捉，从 而可以将真实人脸和照片区分开来。这种算法介于传统的用户配合和盲检测之 间，使系统可以同时利用多个活体特征，同时又将所提取的活体特征加以隐藏， 非法用户无法得知系统是依照怎样的判别依据进行活体甄别，从而大大提高了安 全性。 1 2 论文主要工作及结构 因为活体检测技术是当前模式识别领域较前沿也较难解决的技术之一，因此 论文在调研了相关文献的基础上，深入分析了当前流行的几种活体判别的方法， 并提出了一种优于传统解决方案的基于误导性信息的活体判别方法，这是本论文 的创新点之一。同时，在误导性信息的提示下对于真实人脸会有怎样的反应也进 行相关的试验和总结，最终利用人脸在姿态校正状态下，随着头部的转动但眼部 仍然注视摄像头这一特征出发，将眼珠在眼眶内相对位置的变化作为重要的活体 特征来进行活体判别，因为不管照片如何转动、平移，摄像头捕捉到的眼部各部 位相对静止，同时只要眼眶位置确定的足够精确，其眼眶部位的运动相对于真实 人脸而言是非常微弱的。另外，人在转动头部及观察提示信息的时候也较平时更 易产生眨眼动作，这点也被用来作为活体特征之一通过眼部运动信息的计算表现 出来。为了较好的得到眼部的运动信息，本文查阅了大量的相关文献，最终应用 了光流场的解决方案，对于光流场的理论、相关算法进行了深入理解，并很好的 移植到系统中，成为本论文的另一个创新点。运用光流场的好处之一是避免了眼 部特征点的提取，用较少的工作量获得了较好的效果。 本文在a d a b o o s t 检测到人脸眼部大致位置之后，利用灰度投影的方法确定 2 中山大学硕十学位论文 人眼上下眼皮、左右眼角位置将i 艮i i i 精确框定，然后计算相邻两帧对应l l i l l 的光 流场，并记录光流的幅度。当光流幅度值较大的点占到总共光流点数的百分比足 够大时，则判断眼部发生了较大的运动，若发生较大运动的帧占视频序列总帧数 的比重超过某阈值时，可认定其具备一定的活体特征。这种运动不仅包含眼珠在 i i i i i 中相对位置的变化，也包括了不经意的偶然发生的眨眼动作。对于照片而言， 因其运动也会产生一定的光流场，但幅度远远小于真实人i i i i 珠转动和眨眼引发 的光流场大小，实验结果表明，这种区别足以作为一种活体特征被用作活体判别。 本文提出的活体检测流程如下图所示： 第一章引言 图1 1 基于光流场的活体检测流程图 论文的结构如下： 第一章引言，介绍课题意义及论文的主要工作及结构安排； 4 中山大学硕士学位论文 第二章介绍了当前国内外关于人脸识别系统活体检测的研究现状和相关算 法： 第三章提出了一种基于误导提示信息的活体检测方法； 第四章详细介绍了如何利用灰度投影方法确定人眼眼眶； 第五章对光流场理论以及几种主流的光流场计算方法进行了详细分析，并在 比较几种算法之后选择一种最优的算法作为论文的光流场计算方法； 第六章给出了实验数据，并提出了今后的一些工作。 中山大学硕士学位论文 第二章人脸识别系统中的活体检测算法 本章针对国内外学者在人脸识别系统中的活体检测算法的研究做了深入的 调研，但这方面的文献并不是很多，活体特征较少且较难捕捉使活体检测的研究 工作陷入困境，文献中提到的算法也大多集中在试验阶段。但有理由相信，随着 人脸识别等生物识别系统的进一步发展及推广，活体检测必定成为新的研究热 点，因为其重要性由于生物识别系统的频频被非法入侵而逐渐显现出来。 2 1 活体检测算法的研究现状 生物识别系统一般利用人体的脸部、指纹、瞳孔、声音等信息进行识别，但 是一些利用伪造的生物特征( 如照片等) 非法进入系统的情况时有发生，因此， 如何较好的进行活体检测成为迫在眉睫的任务。目前活体检测技术在指纹和瞳孔 识别领域成为一项非常热门且前沿的技术之一 1 】 2 】 3 】 4 】。 一般情况下，人眼可以毫不费力的将真实人脸同照片区分开来，因为人眼可 以识别多种生物特征，如人脸面部表情变化、嘴部运动、头部转动和眼睛的眨动 等，但是识别这些特征对于计算机而言是非常困难的事情。对于人脸识别系统来 说，最常见的欺骗行为是取一张用户的照片，在摄像头前进行相应的人脸检测和 识别，若系统没有加入活体检测模块，那么只靠这样一张照片就可轻易进入系统， 而无需依靠真正的用户在摄像头面前提取人脸图像，从而对人脸识别技术的安全 性形成了严峻考验。从静态角度而言，真实人脸和照片的本质区别在于真实人脸 是完全的三维物体，而照片只具有平面的二维结构。基于这种考虑，c h o u d h a r y 等人【5 】提出利用人脸的三维深度信息来进行活体判别，这种方法的缺点之一在 于当人脸静止时难以获取深度信息，并且人脸面部的凹凸不平相对于人脸距摄像 头的距离过于微弱，深度信息难以精确获取到。针对真实人脸面部会发生嘴型变 化、头部转动等运动，k o l l r e i d e r 等人【6 】提出利用光流场的方法计算人脸头部转 动时不同于照片的一些特殊运动特性来进行活体判别，并且要求用户按照系统提 7 第二章人脸识别系统中的活体检测算法 示读出一些数字 7 ，系统捕捉嘴型的变化并与库中已训练好的对应的该数字的 变化信息比对，若符合则判定为活体。美国的f a c e i t 系统 8 是要求用户在识别 的过程中进行眨眼或是微笑的动作配合。德国的b i o i d 系统【9 是要求用户在建 立人脸库的时候录制一句话，用户的唇动信息和声音信息同时加入到库中，在识 别的时候需要用户再说一遍同一句话，系统同时对声音和视频两个通道的信息进 行分析，从而得出是否是其本人的结论 1 0 】。除此之外，还有多种活体判别方法， 此处不一一赘述，可用下表格进行总结： 表2 - 1 人脸识别领域活体检测方法汇总 1 1 】 利用的活体特征要求数据质量是否需要额外硬件用户配合度 面部表情高不需要 中 深度信息两不需要低 嘴型变化 中 不需要中 头部运动两不需要中 眼睛眨动 低 不需要低 多模式混合需要中高 面部温度需要低 面部血管图需要 由 交互响应不需要高 本章就相关文献中几种不需要额外硬件的活体检测方法进行简要的介绍。 2 2 利用傅里叶频谱进行活体判别 j i a n g w e il i 1 2 等人认为若对人脸图像进行傅里叶变换，则真实人脸的高频 分量所占比重远远大于照片的相应值。根据l a m b e r t i a n 模型【1 3 】，人脸图像可如 下描述： l ( x ，y ) = p ( x ，y ) n ( x ，y ) r s 公式( 2 1 ) 其中j c i 表示人脸反射率( 表面文理) ，刀( x ，y ) r 表示物体表面法向向量( 对于所有 8 - ”山大学硕士学位论文 人脸同一点的法向是一样的) ，表示点光源，可以任意变化。 困照片的2 d 平面结构，月( ，) 。对于各点为一常数，因此在同样的光线条 件下，真实人脸图像的亮度取决于表面反射率和表面法线方向，而照片只由表面 反射率决定，由公式( 2 - i ) 可知，真实人脸图像的亮度对比( i n t e 岱i t y c e n t r a s t ) 比照片更明显。除此以外，一般情况下，照片里的人脸大小都比真实人脸小，如 果将其放在摄像头报近的位置，根多脸部细节就会丢失。以上这些因素都造成了 照片和真实人脸之间的差别，而这些差别都可通过分析2 d 傅立叶频谱检测到。 ( a ) 黪瀑 戳缴 ( b )( d ( a ) 、真实人脸彻、人脸照片 ( c ) 、( 曲对应的2 d 傅里叶频谱( d ) 、( b ) 对应的2 d 傅里叶频谱 图2 - i 真实人脸和照片的频域对比【1 2 】 由图2 - l 可知，照片的高频分量远远小于真实人脸。因此可通过计算高频分 量所占的比重来进行活体检测，文中将该比重命名为h f d ( h i g hf i e q u e n c y d e s c r i p t o r ) 。显然，真实人脸的h f d 应大于某个域值，本文提到的高频指大于图 像最高频率三分之二且幅值大于某个域值n ( 一般情况下，照片形成的过程使 得人脸的高频分量幅值变小) 的频率分量。h f d 定义如下式： j ! ! ! ：! ；i ；：；i i ：；i ! i ；：；竽。，。公式c ：z ，f f ( ) l 撕一f ( o ，o ) ” 嘲剜誊黔、舅鬣 第二章人脸识别系统中的活体检测算法 其中y ( u ，v ) 是图像的傅立叶变换，l 是f ( ”，v ) 的最高频率，弓是预先确定的 域值，分母表示频域的所有能量，该形式可以减少光照的影响。 但若一副足够清晰和尺寸足够大的照片拿来计算h f d ，可得到与真实人脸近 似的结果而使此算法失效，为解决这个问题，可以利用视频序列得到的有用的时 间和空间信息。真实人脸的表情和姿势都是在变化的，但对于照片而言，尽管可 以让它进行移动，由于它的2 d 平面结构和不变特性，图像的外观仍然是不变的。 人脸的表情可由定义在频域上的能量值表示，这个值可用来进行活体检测。按照 如下三步解决此问题： 1 ) 从输入视频序列中每四幅取一幅人脸，构成一个视频序列的子集； 2 ) 对于子集中的每一幅图片，计算由公式( 2 - 3 ) 式定义的能量值，； 3 ) 计算视频序列能量值的标准方差，即频率变化因子f d d ( f r e q u e n c y d y n a m i cd e s c r i p t o r ) 。 f d d 定义如下： 脚= 睁) 2 厂 r = f j l f ( u , v ) i 如咖 公式( 2 3 ) 其中r ，是第- 幅图像的能量值，乙是视频序列的平均能量值，刀为能量值个 数。能量值r 将频域各分量相加，代表了脸部区域的灰度分布情况。能量值的变 化取决于人脸姿势、表情和光照的变化，故对于固定不变的光照条件，照片所计 算出的能量值应为0 。 该文首先计算h f d ，若h f d 小于某阈值，直接将其判为非活体；若h f d 大于某阈值，则继续计算f d d ，若f d d 也小于某阈值，则判为非活体，否则判 为活体。实践表明，该算法运行效率高，但当照片上的人脸具有较多的头发或戴 眼镜时亦会产生较高的频率分量，而且该算法针对不同的摄像头要求设不同的阈 值进行判别，像素高的摄像头所摄入的图像与像素低的摄像头摄入的同一幅图像 计算得到的频谱分布有较大差别，使得该算法的实用性大大降低。 1 0 中山大学硕士学位论文 2 3 利用光流场进行活体判别 文献 7 利用线光流场进行活体判别。线光流，旨在计算图像中线条的垂直 和水平运动，可以得到线运动的幅值和方向。文章认为，人脸在转动过程中，各 部位的运动情况是不相同的，最典型的不同体现在人脸两侧即耳朵部位和人脸中 间如鼻子嘴巴部位的运动存在较大差别，但照片中的人脸各部位运动情况大致一 致，计算得到的光流场比较均匀。其具体的计算流程如下： 输入步骤输出 ，、 o 光流估计 o f i m k t m l 气 ， ， ， 1r ( 3 1 口i m 唧 一、 o f 模板匹配得到脸 乡x 饥, l y 翘, , f ” 一， 三 部中间部位 1 r 7 。j 。j 。 基于g a b o r 特征分类 夕i 尝羔 夕l m 2 器的人脸部位检测 芦兰乡 ， r ?h r 。一 o 勺g 。 一丢弃 ， l n f i m 1r o f p a r t 。一， 夕扎，y o 人脸局部切割图 f7 ， o f p a r t 。一， 1 r 。j | ， 各局部部位光流比较 活体特性 s t m h ，s l m v ， 第二章人瞳识别系统中的话体检测算法 图2 - 2 活体检测流程【7 文章指出，真实人脸在转动时，两耳部位的运动方向与脸部中间即鼻子区域 运动方向相反，并且运动幅度小于中间位置的运动幅度。文章的首要目的是要确 定人脸中心位置和两侧位置，为此给出了一个包含人脸眼部及中心位置光流场的 标准模板，通过计算人脸局部光流场与该模板的距离来确定，其模板如下，也即 流程图中的0 。： 圈2 - 3 人脸光流场模扳，用于0 f 匹配【6 】 上图中的第一幅图为人脸只发生水平运动时得到的光流图b ( 墨y ) ，第二幅 为只发生垂直方向运动时得到的光流图( x ，y ) ，第三幅为 o f , o = q ( x ，y ) + fv y ( x ，y ) 得到的模值图。对于要进行活体计算的人脸序列，取 t 1 三幅连续帧，首先通过前后相邻两帧可以对第二帧进行线光流计算，得到光流图 o f , o ，然n 对o e o 的每一点利用s c h w a r t z 不等式计算d r 与第三幅图o k 的相 似度： l ( d 矗，呱，) l “”茼= i 硒葫 公式( 2 4 ) 知s i r e 属于【o ，1 】，将m a x ( s i r e ) 的位置存储于丘，在该位置分别与另两幅图计 算速度估计值曲巩和s 强： 1 s i r e n = 1 s i m 。= 型坠! ：! ! 竺堡1 2 d 赡) i i r ( o f , o , t 1 公式( 2 5 ) 1 公式( 2 - 6 ) 其中r 表示光流图的实部也即水平方向光流图，s 表示光流图的虚部也即垂直方 剐黠 中m 大学硕士学位论文 向光流图。通过比较肋和s i r e 。的值可咀大致估计出人脸图像的运动趋势如何， 如水平运动是否大于垂直方向运动，符号代表了运动的左右、上下方向。 然后通过已训练好的基于g a b o r 特征分类器对第二幅图的人脸图像进行脸 部标定，前面步骤确定的脸部大致中心位置作为辅助，可以确定人脸的中心及两 耳位置，如下图所示： 图2 - 4 人脸部位标定 6 】 若检测不到其中的某些部位，即分类器计算的决策结果小于某阐值则判断为 非人脸。否则将三部分存储于0 ，o 。中，中间部位标号为1 + 两侧为2 、3 ，进 而利用这三部分的光流结果计算活体类似度： 若k 地| b 帆i 否则 裂矧一猕裂耳闻“2 耳闻 残裂一猕葛豇闻“2 瑟丽丽 公式( 2 7 ) 公式( 2 8 ) 活体度( 1 i v e n e s ss c o r e ) 定义为： = ； ( 1 “| 1 ) + ( i d l ，1 ) + ( o c r c o ) + ( o d c o ) 公式( 2 9 ) 0 * 意为x 的符号。活体度若为0 代表不是活体，为i 代表最大程度的与活 体特征符合。 第二章人脸识别系统中的活体检测算法 2 4 基于眼睛眨动的活体判别 自然状态下，人眼的眨动频率为1 5 - 3 0 次分钟，也就是每2 4 秒一次，每 次眨动大约持续2 5 0 m s 。而普通摄像头可以很容易达到捕捉人脸视频图像1 5i 晰 秒的速度，即视频间隔不超过7 0 m s 。这样，当人脸对准摄像头时，对于每一次 眨眼，摄像头都可以很容易的捕捉到两个甚至更多帧。因此可以基于眼睛的眨动 状态进行活体检测。 文献【11 】将眼睛眨动的模型建立在c r f 框架上，同时计算眼睛闭合度来降低 复杂度，同时提高识别率。该方法的优点之一在于放宽了观察值之间独立性的限 制。该文指出，人眼的眨动过程可由一个包含丁幅图像的图像序列s 来表示，其 中 s = ，待1 ，t ) 人眼的典型状态为开和闭两种，当人眼在这两种状态间转换时，又存在一种难以 分辨的状态，故定义人眼的三种状态为： q = 口：o p e n ，y ：c l o s e ，p ：a m b i g u o u s ) 因此人眼的眨动过程可表示为： a 一卢j ) ，一卢一口 假设s 是关于待标定的观测值的随机变量，y 是关于需要预测的具有相关性 的标签序列的随机变量，】，的所有元素儿遍历有限标签集q 。c r y 模型涉及到观 察值和状态值两种概念，文中的观察值为眼睛闭合度，由a d a b o o s t 训练出一组 参数，对于一组序列，用这些参数计算眼睛的闭合度作为观察值。状态值为观察 值的标定，乃q ，c r f 模型需要确定一组参数日= ( ，九，；z 。，心，) ，0 代表 了观察值和状态值之间的对应关系，即可以经观察值和0 计算得到状态值。对于 训练样本，首先利用a d a b o o s t 计算观察值，观察值的大小反应了眼睛的开、闭 程度。然后手动标定样本的状态，根据观察值跟状态值之间的相互关系训练出参 数0 。对于视频序列中的每一幅图，系统用a d a b o o s t 参数计算观察值，然后利 用0 计算状态值，比较得到的状态值是否符合人眼的眨动过程，是的话则说明视 1 4 中山大学硕士学位论文 频中的人眼发生了眨动，也即为活体。 文章 1 4 禾l j 用g a b o r 变换计算人眼区域特定方向上的边缘信息，文章用4 0 个不同方向不同尺度的o a b o r 小波对人眼区域进行滤波，得到人眼在睁开和闭合 状态下特定方向、特定尺度的边缘存在较大差别，于是选取其中几个差别最大的 g a b o r 算子，将其得到的各点响应模值相加，若出现高低高的现象，则说明发 生了眨眼动作。 文献 1 0 1 在检测人脸之后要求被判别人进行眨眼动作，然后通过对之后连续 的1 5 帧图像的眼睛状态的估计结果进行分析，分析基于支持向量机的眼动模型， 该算法采用人眼的样本来训练该模型，若分析结果认定出现了眨眼动作，就将被 识别人判定为活体。 文献 1 5 】利用光流场计算眼部的运动，当检i ! , i ! i i 的运动方向向下时，则认为 此时发生了眼睛闭合的动作；接着检查视频序列的下一帧，当检i ! , i ! i i 运动方向向 上时，认为眼睛正在睁开，这时就认为一个眨眼动作已经完成。 2 5 其他方式的活体判别 c h o u d h a r y 等人 5 指出，由运动估计得到的人脸面部各特征点的结构特点也 即深度信息彼此存在一定的差异，但照片不管怎样运动，各点的深度信息彼此一 致，其结构为一平面。这种方法运用的是最直观的人脸为三维结构的特性，但这 该方法计算量大，对数据精度要求高，并且当用户在摄像头前静止，不存在运动 或运动较微弱时就无法得到其深度信息。同时，这种方法要求至少配备两个摄像 头，还要进行摄像头的标定，提高了对系统的硬件要求，并且使活体检测变得异 常复杂。 m a s a s h ik a n e m a t s u 1 6 等人采用瞳孔检测的方法进行活体判别，该文认为真 实的人眼在受到光线刺激时，其瞳孔会随着光线的增强而变小，光线减弱时又会 恢复到较大的形状。这种方法要求精确的标定人眼瞳孔的位置及大小，但一般情 况下很难精确确定瞳孔大小，只有当用户双眼距离摄像头足够近时才可以检测到 瞳孔。 k l a u sk o l l r e i d e r 7 等人除了采用上述的光流场的方法进行活体检测外，也结 第二章人脸识别系统中的活体检测算法 合了用户配合的方式。系统要求用户读出o 9 十个数字，系统对嘴型变化进行分 析，若分析得到的数字与要求用户读的数字相符，就说明用户遵照系统提示做出 了正确的反应，该用户就被判定为活体。 1 6 中山大学硕士学位论文 第三章基于误导信息提示的活体检测方法 本文的主要创新点之一在于提出了一种基于误导性提示信息的活体检测方 法，所谓“误导性 即在用户已正面面向摄像头时仍然提示用户姿态不正，这种 “正常”提示不会引发用户对于系统是否在进行活体检测的猜疑，同时只要系统 能够快速的提取活体特征并加以判别，用户根本感觉不到系统在甄别活体还是照 片。这种方式的优点在于系统是在用户无意识的状态下进行活体检测，但同时又 可以隐蔽的要求用户主动提供活体信息，从而结合了传统的盲检测和用户配合检 测方式的优点。这种方法不同于以往的任何一种方式，是一种介于盲检测和用户 配合检测方式之间的活体检测方法。 3 1 传统活体检测方式 由以上对于当前活体检测算法的总结分析可知，传统的活体检测方式可分为 盲检测和用户配合两种，本文在分析比较了两种方式的优缺点后，提出一种介于 二者之间的基于误导信息提示的活体判别方法，该方法融合了传统判别算法的优 点，增强了系统的安全性和鲁棒性。 3 1 1 盲检测的活体判别 盲检测，也就是不需要用户配合，在用户无意识的状态下进行活体检测的方 法。首先，真实人脸具备一些照片所不具有的特性，比如人脸是三维的立体结构， 人脸转动时脸部各个特征点对于光线的反应不同，人脸鼻子两侧会随着光线的转 移产生不同的阴影，这些都是由人脸的三维结构所决定的。这些本质的区别可以 用来进行活体判别，但遗憾的是，对于当前的技术，这些特征还无法被系统很好 的利用。同时，若采取三维深度信息进行活体检测，则不但要求用户有一定的运 1 7 第三章基于误导信息提示的活体检测方法 动，而且需要设置多个摄像头( 至少两个) ，对系统硬件要求明显提高。前面提 到的利用2 d 傅里叶频谱进行活体检测的算法，虽然取得一定的效果，但该算法 稳定性差，因为摄像头摄入图像的频谱分布不仅与图像的来源( 真实人脸或照片) 相关，也与摄像头分辨率有关系。对于不同的摄像头，区分真实人脸和照片的阈 值必定会发生变化，这种缺陷使得该算法无法得到广泛应用。 再者，真实人脸在正常情况下会伴随有一定的动作，例如面部表情变化、头 部转动、眼睛眨动等，但这些运动的发生频率不确定，当用户长时间集中精神静 止于摄像头面前时，系统就无法捕捉到相关的运动信息，提取不到有用的活体特 征。之前提到的关于眼睛眨动的很多文章，都是默认用户在正常状态下会产生一 定的眨眼动作，因此都是在基于盲检测的方式上提出的算法。但事实上，当用户 凝视摄像头企图进入系统时，由于注意力高度集中，其眨眼频率较之平常反而会 降低，因此长时间不发生眨眼的情况会经常出现，导致用户在很长时间内无法通 过系统的活体检测，也就没办法进入系统。这样毫无疑问会引起用户的警觉或者 另用户失去耐心。k l a u sk o l l r e i d e r 7 等人的利用光流场计算人头部运动的想法也 是基于正常状态下用户会不经意的转动头部，利用头部运动的轻微动作带来的不 同人脸部位不同运动方式的特性来进行活体检测。如下图所示： 人脸沿箭头方向转动时各部位的运动方向有所差别，其中实线部分为f 时刻人脸 图，虚线部分为t + l 时刻人脸图 图3 1 人脸转动时各部位的运动差别 1 8 中山大学硕士学位论文 首先若用户静止于摄像头前时这种方法容易失效，同时用户头部的转动比较 轻微，光流场难以捕捉到比较弱的运动，使得这种方法在实践起来难度较大。 盲检测的活体判别最大的优点在于可以将判别标准隐藏起来，用户不需要刻 意地配合系统，对用户的要求降低，系统使用起来更方便，友好性更强。但缺点 在于人在无意识状态下的活体特征比较少，可利用的信息难以取得，使盲检测方 式陷入困境。 3 1 2 用户配合的活体判别 用户配合的活体判别系统要求用户按照系统提示做相关的动作，系统将用户 的反应同期望值进行比对，若用户的反应符合预期值，则表明在摄像头面前的是 真实的生物体以此来达到活体检测的目的。目前很多已经投入应用的系统都采取 的这种方法，其优点在于可以利用多种生物特征，只要用户可以根据系统提示进 行配合，即可提供丰富的活体特征，但这也正是这种方法的缺点所在。给出要求 用户配合的提示信息，无异于将系统的安全密码暴露于用户面前，使系统易受到 恶意攻击；另外，用户配合度越高，系统的检测性能才越好，但易使用户产生厌 烦情绪，系统友好性降低。 用户配合的判别方式无异于将主动权拱手让与使用者，事实表明，若系统提 示用户做眨眼动作，则用户可以简单的利用一张照片，挖去眼部区域，真实人脸 在照片眼部区域做眨眼动作依旧可以欺骗系统；若系统要求用户做一定的头部运 动，非法用户可以通过录制一段视频轻而易举的进入系统o g g 诸如此类的欺骗手 段举不胜举，因为用户已经知道了系统需要的是哪方面的活体特征，他就可以利 用各种手段提供这种特征，这种破坏更具针对性，使系统防不胜防。 3 2 误导性信息提示的检测方式 一般的人脸识别系统往往会带有因光线过暗或过亮而要求用户调整光线，用 户姿态不正而要求用户正面面向摄像头的提示信息，本文则利用这种一般性的信 息进行活体检测，这就消除了用户对于系统是否在进行活体检测的怀疑，使得系 1 9 第三章基于误导信息提示的活体检测方法 统进行活体判别更加隐蔽和安全。 本文提出了一种基于误导性提示信息的活体判别方法，在用户已正面面向摄 像头的同时仍然提示用户“请正面面向摄像头”，因此这是一种误导性的提示信 息。用户在进行姿态校正的过程中，会有一系列的反应，如转动头部但同时眼睛 依然注视摄像头，这时眼珠在i i i i i 中的相对位置势必会发生变化：同时，信息的 提示会诱发用户眼睛的疲劳，使用户较平时更易眨动眼睛。本文则是利用了这两 方面的活体特征进行活体判别。这样做有三个目的： ( 1 ) 保证活体检测的隐蔽性。本论文的提示信息都是许多人脸识别系统在“用 户配合的应用”中经常使用的、正常的提示信息，如“请正面面对摄像 头”、“现场光线过暗 、“请摘除眼镜”等等。这些信息原本不是为了活 体检测，而是为了提高识别率。这些信息在“用户配合的应用 中已经 广泛使用和广为熟悉。用户看到这些信息不会生疑，不会知道系统正在 进行活体检测，从而保证了活体检测的隐蔽性。 ( 2 ) 诱使用户产生活体动作。本论文是在用户已经满足提示信息的前提下仍 然不断地显示提示信息。例如，在用户已经正面面对摄像头的情况下， 仍然提示用户正面面对摄像头。在本发明中，我们把这些信息称为误导 信息。误导信息的目的是诱发用户产生困惑，从而下意识地调整自己的 姿态。不同的用户可能会有不同的姿态调整动作。例如，有的用户会左 右摆动自己的头部，有的用户会上下摆动自己的头部，等等。但是，在 “正面面对摄像头的强烈心理暗示下，用户在调整自己姿态的时候， 眼睛会一直盯住显示屏。这是因为用户的视频和系统的提示信息都实时 显示在显示屏上，用户需要