（计算机应用技术专业论文）非约束环境下人脸图像获取技术的研究.pdf

非约束环境下人脸图像获取技术的研究 摘要 近年来，随着生物识别技术在安防领域应用的迅速发展，人脸识别技术作为 生物识别技术中一项重要技术，由于其自然、友好、易被用户接受等优点也越来 越受到关注，逐渐被应用于门禁系统、机场海关安检、智能空间、自然人机交互 等领域。虽然在约束环境下( 在被识别对象配合的情况下拍摄到的j 下面、中性表 情、无遮挡、光照均匀的高质量人脸像片) ，其识别率可以达到了9 5 以上( f e r e t 数据库) ；但是在非约束环境下，识别率急剧下降，难以满足实际应用需要。 本文首先分析了目前在非约束环境下人脸识别技术上的研究成果，探讨了在 非约束环境下提高人脸识别精度的方法，并指出改善当前的人脸图像获取技术是 其中的一个重要方法。由于图像理解是人工智能的一个重要分支，因此本文中借 鉴了人类在获取人脸图像过程中的视觉原理，来指导人脸图像获取技术的研究。 人类获取人脸图像的过程是一个先在“w h e r e ”视觉下大范围内搜索人体对象目 标，以获取各人体对象目标所处位置信息，后将眼睛转动到该位置，利用“w h a t ” 视觉来获取人脸图像的过程。根据这一思想在本文中设计了一种多视觉传感器相 融合的装置来模拟人类的人脸图像获取过程： 针对“w h e r e ”视觉，本文中利用全方位视觉传感器( o d v s ) 能够获取监控场 景内全景图像的特点，来获取“w h e r e ”视觉下的图像信息，并对大范围内的各人体 对象目标进行检测跟踪，获取各人体对象目标所处的位置信息。获取到人体对象 目标所处的位置信息后，计算出其头部所在区域，再利用高速快球摄像机能够自 由转动的特点，模拟眼睛转动对准人体对象目标头部所在区域，然后利用高速快 球摄像机能够拍摄到对象目标清晰图像的特点，通过多个不同方位上的高速快球 摄像机，来获取人体对象目标在“w h a t ”视觉下的多张头部图像。最后再利用人脸检 测和人眼检测算法检测出来的人体对象目标的脸部特征信息，对所拍摄到的头部 图像进行筛选，得到可以用于识别的人脸图像。而如果所有图像均不能用于识别， 则需控制高速快球摄像机对该人体对象目标头部进行再次拍摄，以确保能够拍摄 到可用于识别的人脸图像。 另外还开发了非约束环境下人脸图像获取系统来实现人脸图像的获取功能， 并详细介绍了各模块的功能与实现。通过实验表明，该装置及系统能够在非约束环 境下获取到可以用于识别的人脸图像，具有较好的理论意义和实用价值。 关键字：人脸识别非约束环境人脸图像获取“w h e r e 视觉“w h a t ”视觉全 方位视觉传感器高速快球摄像机人体检测跟踪人脸特征提取 s t u d yo nh u m 讼nf a c ei m a g e s a c q u i s i t i o n t e c h n o l o g yu n d e r t h e u n c o n s t r a i n e dc o n d i t i o n s a b s t r a c t i nr e c e n ty e a r s ，w i mt h er a p i dd e v e l o p m e n to ft h ea p p l i c a t i o no ft h eb i o m e t r i c i d e n t i f i c a t i o nt e c h n o l o g yi nt h es a f e t y s e c u r i t ya r e a ，t h ef a c er e c o g n i t i o nt e c h n o l o g y h a sa l s oa t t r a c t e dm o r ea n dm o r ea t t e n t i o n sa sa ni m p o r t a n tt e c h n o l o g yo ft h e b i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g y ，a n di sg r a d u a l l yu s e di nt h ef i e l d ss u c ha se n t r a n c e g u a r d ，s e c u r i t yi n s p e c t i o n ，s m a r ts p a c ea n dn a t u r a lh u m a n c o m p u t e ri n t e r a c t i o n u n d e r t h ec o n s t r a i n e dc o n d i t i o n s ，t h er e c o g n i t i o nr a t ec a l lr e a c hm o r et h a n9 5 ( f e r e t d a t a b a s e ) ，b u tu n d e rt h eu n c o n s t r a i n e dc o n d i t i o n s ，t h er e c o g n i t i o nr a t ew i l ld e c r e a s e r a p i d l ya n dc a n tm e e tt h ea c t u a la p p l i c a t i v ed e m a n d s t h i sp a p e rf i r s ta n a l y z e st h er e c e n tr e s e a r c hr e s u l t so ft h ef a c er e c o g n i t i o n t e c h n o l o g i e su n d e rt h eu n c o n s t r a i n e dc o n d i t i o n s ，t h e nd i s c u s s e so nt h ew a y st o i m p r o v et h er e c o g n i t i o nr a t eu n d e rt h eu n c o n s t r a i n e dc o n d i t i o n sa n dp o i n t so u tt h a t i m p r o v i n gt h ef a c ei m a g e sa c q u i s i t i o nt e c h n o l o g yi sau s e f u lm e t h o d f o rt h ei m a g e u n d e r s t a n d i n gi sa ni m p o r t a n tb r a n c ho ft h ea r t i f i c i a li n t e l l i g e n c e ，t h ef a c ei m a g e s a c q u i s i t i o nt e c h n o l o g yr e s e a r c h e di nt h i sp a p e ri su n d e rt h eh u m a nv i s u a lp r i n c i p l e i n o r d e rt oa c q u i r eah u m a n t a r g e t sf a c ei m a g e ，t h eh u m a ns h o u l df i r s th a v eal a r g e s c a l e s c a n n i n gi nt h e “w h e r e ”v i s i o nt oa c q u i r et h el o c a t i o ni n f o r m a t i o no ft h i sh u m a nt a r g e t ， t h e nr o l l st h e i re y e st ot h el o c a t i o na n da c q u i r e st h ef a c ei m a g ei nt h e “w h a t v i s i o n a c c o r d i n gt ot h ep r i n c i p l e ，am u l t i v i s i o n s e n s o rf u s i o nd e v i c ei sd e s i g n e di nt h i s p a p e rt os i m u l a t et h ef a c ei m a g e sa c q u i s i t i o np r o c e s so f t h eh u m a n ： i nt h e “w h e r e v i s i o n ，t h eo m n i d i r e c t i o n a lv i s i o ns e n s o r ( o d v s ) i su s e dt o a c q u i r et h ep a n o r a m i ci m a g e so ft h em o n i t o r i n gs c e n e ，a n dt h eh u m a nd e t e c t i o na n d t r a c k i n ga l g o r i t h mi su s e dt oa c q u i r et h el o c a t i o ni n f o r m a t i o no fe v e r yh u m a nt a r g e ti n t h em o n i t o r i n gs c e n e a f t e ra c q u i r i n gt h eh u m a nl o c a t i o ni n f o r m a t i o n ，t h eh e a d l o c a t i o ni n f o r m a t i o nc a nb ec a l c u l a t e d ，a n dt h e nt h ep t zc a m e r a si nd i f f e r e n ta z i m u t h c a nb ec o n t r o l l e dt or o l lt ot h eh e a dl o c a t i o na n da c q u i r et h eh e a di m a g e so ft h eh u m a n t a r g e ti nt h e “w h a t ”v i s i o n f i n a l l y ，t h ei m a g e st h a tc a nb eu s e di nr e c o g n i t i o nw i l lb e f i l t e r e do u ta c c o r d i n gt ot h ef a c i a lf e a t u r ei n f o r m a t i o nd e t e c t e db yt h ef a c ed e t e c t i o n a l g o r i t h ma n de y ed e t e c t i o na l g o r i t h m i fn oi m a g ei sf i l t e r e do u t ，t h ep t zc a m e r a s w i l lb ec o n t r o l l e dt oa c q u i r et h eh e a di m a g e so ft h eh u m a n t a r g e ta g a i nt oe n s u r et h a t t h ef a c ei m a g e st h a tc a l lb eu s e di nr e c o g n i t i o na r ea c q u i r e d b e s i d e s ，ah u m a nf a c ei m a g e sa c q u i s i t i o ns y s t e mb a s e do nt h ef a c ei m a g e s a c q u i s i t i o nd e v i c ei sa l s od e v e l o p e di nt h i sp a p e r , a n dt h ef u n c t i o n sa n di m p l e m e n t so f e v e r ym o d u l eo ft h es y s t e ma r ea l s oi n t r o d u c e di nt h i sp a p e r t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tt h i sd e v i c ea n ds y s t e mc a nw e l la c q u i r et h ei m a g e st h a tc a nb eu s e di n r e c o g n i t i o n ，a n dh a v eag o o dt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a lv a l u e k e yw o r d s ：f a c er e c o g n i t i o n ，u n c o n s t r a i n e dc o n d i t i o n s ，h u m a nf a c ei m a g e a c q u i s i t i o n ，w h e r e v i s i o n ，w h a t v i s i o n ，o d v s ，p t zc a m e r a ，h u m a nd e t e c t i o na n d t r a c k i n g ，f a c ef e a t u r e se x t r a c t i n g 图1 1 图1 2 图1 3 图1 4 图1 5 图2 1 图2 - 2 图2 3 图3 1 图3 - 2 图3 3 图3 - 4 图3 5 图3 石 图3 7 图3 8 图3 - 9 图3 1 0 图3 1 l 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图4 1 图4 - 2 图4 3 图4 _ 4 图5 1 图5 2 图5 3 图5 _ 4 图5 5 图5 - 6 图5 7 图5 8 图5 - 9 图录 2 0 0 9 2 0 1 4 国际生物识别市场收入展望。l 2 0 0 9 国际生物识别市场份额展望1 各年最先进人脸识别方法检测错误率1 人脸识别的基本过程l 论文组织结构l 非约束环境人脸图像获取装置设计图l 系统总体设计l 非约束环境下人脸图像获取装置实物图及其采集图像l 固定背景建模算法处理效果图1 同定背景建模算法处理静态前景目标对象效果图1 固定背景建模算法处理光照变化时的效果图“l 在有前景对象目标时建立背景模型而导致错误检测的实验图l 混合高斯背景建模算法处理效果图l 混合高斯背景建模算法处理静态前景目标对象效果图l 轮廓点计算1 行扫描线与轮廓先相交的4 种类型l 连通区域填充算法实验效果图l 连通区域标识算法实验效果图1 基于面积方法的人体对象目标获取效果图1 c a m s h i f t 算法跟踪实验图l c a m s h i f t 算法处理人体对象目标静i 卜实验图1 c a m s h i f t 算法处理人体对象目标遮挡实验图。1 c a m s h i f t + k a l m a n 算法处理人体对象目标静i 卜：情况实验图l c a m s h i 兀+ k a i ，m a n 算法处理人体对象目标相互遮挡情况实验图l 跟踪算法流程图1 o d v s 与高速快球摄像机映射关系图l 计算机与多个高速快球摄像机之间的组网图1 人体对象目标头部图像获取实验图l 单高速快球摄像机从不同角度获取到的人体对象目标头部图像l 基于肤色特征的人脸检测流程1 基于肤色特征的检测效果图1 肤色区域框定图l 粗筛选得到的人脸区域框定图1 人眼检测流程图l 基于不同颜色分鼍的人眼检测效果图l 基于c b 颜色分量的各阈值分割算法处理效果图1 人眼检测效果图1 人脸姿态图l 图5 1 0 图5 1 1 图6 1 图6 2 图6 3 各姿态人脸图像的检测结果图1 人体对象目标头部图像1 跟踪拍摄界面图1 高速快球摄像机控制图1 人脸图像筛选界面l 表录 表1 12 0 0 7 年中国生物识别技术市场统计数据2 表4 1p e l c o d 协议命令格式5l 表4 - 2p e l c o d 命令字格式5l 表4 3 高速快球摄像机常用控制命令格式5 2 表5 1人脸图像筛选实验结果一6 6 表6 - 1非约束环境下人脸图像获取系统硬件信息6 7 表6 2 非约束环境下人脸图像获取系统软件信息6 8 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名：子 7 动者 日期：刀刁年厂月矽日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 ， 2 、不保密d 。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： ? 甸寿 17 扩彳 矽刀 j 产 年年 瞬，7 砷7 舭物 万了， 1 1 课题背景和意义 第1 章绪论 近年来，随着反恐、国土安全和社会安全的需要，身份识别技术作为安防监 控领域中的一个重要课题越来越受到学者们的关注，进入了一个高速发展的阶段。 传统的身份识别技术主要可分为个人识别码及密码、i c 感应式i d r f i d 卡证件两 类。但是这些身份识别技术存在容易被遗忘、借用、冒用甚至伪造的危险，难以 满足当f j 安防监控领域对高安全性、高可靠性的需要。 而生物识别作为一项新兴的安全技术，其定义就是一种通过人类唯一的、可 以测量或可自动识别和验证的、遗传性或终身不变的生物特征( 如指纹、掌型、 视网膜、虹膜、人体气味、脸型、血管、d n a 、骨骼等) 来进行身份认证的技术， 具有高安全性和高可靠性。近些年来被逐渐应用于门禁系统、机场海关安检、智 能空间、自然人机交互等领域。据专门提供生物识别产业相关咨询服务的美国公 司i n t e r n a t i o n a lb i o m e t r i cg r o u p 近期出版的一本关于生物识别市场及产业趋势的调 查分析报告书“b i o m e t r i c sm a r k e ta n di n d u s t r yr e p o r t2 0 0 9 2 0 1 4 ”【l 】显示，至u 2 0 0 9 年 国际生物识别市场收入将达至s j 3 4 亿美元，并且在今后五年内将以每年超过1 0 亿美 元的增幅增长，至u 2 0 1 4 年其市场收入将达至1 j 9 3 亿美元，如图1 1 所示。 $ 1 0 ，0 0 0 0 $ 9 ，0 0 0 0 $ 8 ，0 0 0 0 $ 7 ，0 0 0 0 $ 6 ，0 0 0 0 $ 5 ，0 0 0 0 $ 4 ，0 0 0 0 $ 3 ，0 0 0 0 $ 2 ，0 0 0 0 $ 1 ，0 0 0 0 $ 0 0 目 。 。 一、。 ” 9 3 6 8 9 啊 7 r , 1 6 7 6 5 8 1 2 5 4 2 3 6 4 ：；5 6 9 ，3 4 2 2 3 _ _ _ _ - - _ 一 - 一 2 0 0 9 年 2 0 1 0 年2 0 1 1 年2 0 1 2 年2 0 1 3 年2 0 1 4 勾z 图1 - 12 0 0 9 2 0 1 4 国际生物识别市场收入展望【1 1 而人脸识别技术作为种特殊的生物识别技术由于其良好的隐蔽性、非强迫 性和非侵犯性也逐渐受到关注，并且具有广阔的市场前景。截止至2 0 0 7 年人脸 诅 别在国际生物识别市场中所占份额已经由原来的微不足道上升到了1 29 。虽然 根据i n t e r n a t i o n a l b i o m e t r l c g r o u p 的预测，在2 0 0 9 年市场份额将下降到i l4 ，但是 预计的市场总销售额仍呈较大幅度的增长，达n t 3 亿多美元，如图1 - 2 所示。 其它识别 2 指纹识州 罔1 - 22 0 0 9 同际生物u 别市场份额展望1 而在国内市场上，据毛巨勇介绍口】，在2 0 0 7 年，中圊牛物识别技术市场大致 情况如下；总产品销售量为5 0 万台销售额约为1 27 亿人酏币。其中指纹识别 技术占了9 51 的市场份额，虽然仍然是生物识* 技术市场上的主流技术，但是 占有率略有下降。而人脸识别技术只占其中的24 。约3 0 0 0 万人民币，而且大 部分采用的还是圆外核心技术，通过加工后用于门禁和考勤机上。因此国内自主 的人脸识别技术产品发展空i f i j 十分巨大，如表1 1 所示。 表卜12 0 0 7 年中国生物识别技术市场统计数据2 i 技术领域销售量( 台套)销售额( 万元)市场份额( 按销售额计) 指纹识别 4 6 5 0 0 01 2 1 0 0 0 9 5 1 掌纹掌形t 5 0 0l2 幽像识别 软什许可，脱机设备 3 0 0 0 静脉识别 虹膜识荆应片j 试点1 5 0 其它技术可忽略不计 合计约4 9 8 0 0 01 2 7 1 5 01 0 0 目前国际上，人脸识别技术在识别精度上较之往年已经有了很大的提高。由 美国国家标准技术局( n i s t ) 举办的f a c er e c o g n i t i o nv e n d o rt e s t2 0 0 6 ( f r v t 2 0 0 6 ) 大 规模的数据测试表明【3 1 ，当今世界上人脸识别技术的识别精度l t 2 0 0 2 年至少提高了 1 0 多倍，如图1 3 所示。而部分先进的人脸识别方法的识别精度在约束环境下已经 可以达至：1 j 9 9 以上。但是在非约束环境下，这些人脸识别方法的识别精度则急剧下 降至7 5 以下，错误率达到1 0 以上。 1 0 0 0 8 0 o 6 0 0 4 0 0 2 0 0 0 0 1 9 9 3 年1 9 9 9 年2 0 0 2 年2 0 0 6 年 图1 3 各年最先进人脸识别方法检测错误率 但是一项完善、实用的人脸识别技术，不应该过多的要求被识别对象在约束 环境下来获取人脸图像，而且当人脸识别用于安防监控等领域来对犯罪分子进行 识别时，其行为肯定不会去配合人脸图像获取装置。因此，如何在非约束环境下 提高人脸识别的识别速度、识别精度和鲁棒性已经成为了当今世界人脸识别技术 研究中的热点问题。 1 2 非约束环境下人脸识别技术国内外研究现状 人脸识别技术最早可以追溯到十九世纪末，但是一直到上世纪六、七十年代 才开始真正得到重视和发展，由b l e d s o e 【4 】以人脸特征点的间距、比率等参数为特 征，建立了第一个半自动的人脸识别系统。经过近半个世纪的发展，随着计算机 视觉和机器学习技术的发展，人脸识别技术在此基础上也得到了飞速的发展。 近二十多年来，在约束环境下人脸识别技术的识别精度已经有了很大地提高， 部分人脸识别方法的识别精度已经超过了人类的识别水平。并产生了大量优秀的 人脸识别算法，如特征脸法【5 1 、隐马尔可夫模型法【6 】、人工神经网络法【7 1 等等，其 3 中很多算法也成为了当今人脸识别技术研究中的主流算法。 由于传统的基于约束环境下的人脸识别技术越来越无法满足市场需求。因此， 近几年来在非约束环境下的人脸识别技术的研究渐渐成为了当今世界人脸识别领 域中的热点问题，针对多姿态、多光照以及遮挡等干扰因素提出了许多解决方法。 本文中根据人脸识别的基本流程( 如图1 4 所示) 大致将这些方法分为三类，分别 是基于人脸图像预处理过程的方法、基于人脸识别过程的方法和基于人脸图像获 取过程的方法。 图1 - 4人脸识别的基本过程 1 ) 基于人脸图像预处理过程的方法 由摄像机所采集到的人脸图像由于拍摄设备、光照条件、拍摄角度等因素的 干扰可能会含有各种各样的噪声和不同程度的失真。为了使识别效果更加稳定， 一般要先对采集到的图片进行噪声消除和失真校正等处理。对于多姿态问题，可 以通过简单的几何变形来对图像进行预处理。如文献 8 就是通过对所获取到的人 脸图像进行矫正来得到正面图像以用于人脸识别。而对于光照问题，可以通过直 方图归一化或者获取人脸图像中不随光照变化的特征来进行人脸识别。如文献 9 就介绍了通过球面调和函数法来进行直方图归一一化的方法，文献 1 0 介绍了通过熵 图像的方法来获取人脸图像的不变特征来用于识别。 2 ) 基于人脸识别过程的方法 在人脸识别过程中，对非约束环境下的多姿态、多光照和遮挡等干扰因素的 解决方法的研究主要集中在人脸建模和特征提取两个方面】。基于人脸建模的方 法主要有基于多视角模型的方法、基于形变模型的方法和基于3 d 模型的方法；基 于特征提取的方法主要有基于本征光流场的方法、基于低维内嵌结构的方法以及 主要用于解决遮挡问题的基于局部特征的方法。 基于多视角模型的方法。f l j p e n t l a n d 等人在文献 1 2 1 中提出，就是通过对同一 人体对象目标获取其在多个姿态下的人脸图片来进行训练，并为每一个姿态建立 一个人脸模型。然后在用于人脸识别时，用相应姿态下的人脸模型来进行识别。 其他典型的方法还有文献 1 3 中采用的利用多神经网络来为每个视角的人脸建立 4 一个人脸模型来进行人脸识别的方法，文献 1 4 q b 采用的用于处理多姿态问题的分 段线性子空间模型。这类方法主要是利用了小姿态变化人脸具有一定冗余性的特 点来为多视角人脸进行建模。而由于在典型姿态的选择上具有稀疏性和任意性， 因此识别率的提高受到一定的限制。 基于通用3 d 模型的方法。是目前人脸识别算法研究中的主流算法之一。其原 理就是通过多张不同视角下的人脸图像来建立人脸的3 d 模型。建立好模型后，在 进行识别时，首先判断出所获取人脸图像的姿态，然后用几何投影的方法将3 d 模 型投影成该姿态下的人脸2 d 模型，再与人脸图像进行匹配，来达到识别的目的。 如文献【1 5 】中，就是利用人脸的曲线特征来进行人脸的3 d 模型建模，文献 1 6 】中通 过利用人脸图像的本质特征( 包括深度信息、余弦信息特征等) 来进行3 d 人脸模 型的建立。这类方法的优点是能够有效处理人脸识别中多姿态、多表情以及光照 变化等因素的干扰，而且识别精度相对其它算法要高很多。但是准确人脸3 d 模型 的建立是其中的难点，而且其对用于建模的图像的大小和质量也有较高要求。 基于形变模型的方法。这种方法是目前广被重视的方法之一，其原理与上述 的对人脸图像简单几何变形来获取人脸正面图像以进行识别的方法j 下好是一个相 反的过程。它是将人脸模型通过一定规则的转换来合成新的多视角下的人脸模型， 以用于处理多姿态下的人脸识别。如朱长仁【1 7 】等利用一张正面的人脸模型来生成 多姿态下的人脸模型来解决人脸识别中的多姿态问题。虽然二维下的形变算法可 以对人脸有一个很好的描述，但是对于复杂的三维对象则效果不是很好，于是 b l a n z 【1 8 】等人在二维形变算法的基础上，发展出了3 d 形变模型。而文献 1 9 1 中更是 在三维的基础上加上了一维亮度，在四维空间下进行形变模型的建立来解决多姿 态下的人脸识别问题。目前基于形变模型的人脸识别算法中，所建立的多姿态模 型与所获取的人脸图像之间的匹配问题是其中最关键的问题。 基于本征光流场的方法。该方法最早由g r o s s i a i n 2 0 】等人提出，其原理就是通 过测试图像对应的头部的本征光流场，并将本征光流场系数作为特征集合来进行最 终的识别。这种方法的优点是不仅可以处理多姿态下的人脸识别问题，而且随着 被识别对象人脸图像的增加，识别性能会有较好地提高。 基于低维内嵌结构的方法。该类方法主要考虑到决定人脸识别的因素，主要 是人脸图像几百维信息中的光线亮度、人与相机距离、人的头部姿态、人的面部 肌肉等几个因烈2 。因此近年来，许多学者致力于研究能够将高维信息加以简化， 5 得出几维主要信息来用于人脸识别的方法。这类算法中典型的有利用测地距离来 代替欧氏距离以改进多维尺度变换的等距映射算法【2 2 】和利用近邻构建局部几何， 然后寻找能够在平移、旋转、伸缩变换下保持局部几何结构的局部线性映射，从 而达到数据约简目的的局部嵌入线性算法【2 3 】等。 基于局部特征的方法。主要用于解决人脸部分遮挡问题。在一些场合，当人 脸的一部分被其它物体遮挡后，利用基于人脸整体特征的识别算法无法进行准确 识别。因此p e n t l a n d 1 2 】等提出了基于本征特征的方法来处理这种情况。而文献 2 4 】 中采用的是基于奇异值分解的局部特征提取法。该类方法具有稳定性、旋转不变 性和位移不变性等优点，可以很好地被用于人脸被部分遮挡情况下的人脸识别。 3 ) 基于人脸图像获取过程的方法 上述两类非约束环境下的人脸识别方法可以用于处理人脸偏转较小或者被遮 挡面积较小的情况，但是在人脸偏转较大甚至是背对着拍摄摄像机时，或者是人 脸被大部分甚至是全部被遮挡时，则难以获得较好的识别精度。而在这些情况下， 单纯依靠后续的算法改良已经不可能提高人脸识别精度了。因此，如何获取到可 用于识别的人脸图像就成为了非约束环境下人脸识别研究中的一个重要问题。 目前获取较好的可用于识别的人脸图像的方法一般有两种：一种是基于视频 法，即对视频图像序列进行处理，然后当视频图像中出现可用于识别的人脸图像 时，则将该帧图像保存，以用于人脸识别。其中中国发明专利 2 5 中提出的视频序 列中人脸的实时检测与持续跟踪的方法以及中国发明专禾l j 2 6 】中提出的多姿态人 脸检测与追踪的方法都属于这类方法。但是这种方法当人脸在监控范围内一直被 遮挡或者背对着镜头时，仍将无法获取到可用于识别的人脸图像，而且视频序列 采集到的图片的分辨率较低，不利于进行人脸识别。另一种是通过设计特定的人 脸图像获取装置来获取人脸正面图像。其中美国专乖1 j 2 7 1 中就提出了一种使用多个 云台摄像机( p t zc a m e r a ) 来对监控场景内的人体对象目标进行监控以实现人脸 的检测与跟踪并获取人脸图像的方法。但是多云台摄像机在对人脸的跟踪过程中， 对于人体对象目标的定位存在着一定的难度，同时采用云台摄像机由于可视的范 围是受限的，因此难以保证对整个监控范围内的所有人体对象目标进行处理。 综上所述，目前在非约束环境下的人脸识别技术的研究主要集中在对人脸偏 转较小或者人脸被遮挡面积较小的情况的研究，而且通过基于图像预处理和人脸 识别过程的非约束环境人脸识别算法已经可以获得一定的识别精度。但是在人脸 6 偏转较大甚至是背对着拍摄摄像机或者足人脸被大部分甚至全部被遮挡的情况下 的人脸识别技术的研究则较少，而且目前基于人脸图像获取过程的非约束环境人 脸识别技术，都不能很好地获取到可用于识别的人脸图像。因此本文中将着重研 究如何能够在非约束环境下获取到较好的可用于识别的人脸图像。 1 3 研究内容和工作 本文的研究内容主要包括以下四部分： 1 ) 非约束环境人脸图像获取装置的设计和实现 本文中研究的是在非约束环境下获取到能够用于识别的人脸图像，因此设计 了一个非约束环境人脸图像获取装置。利用o d v s 能够获取大范围视觉信息的特 点，来获取大范围内多人体对象目标的位置信息；然后利用高速快球摄像机能够 获取到清晰图像的特点，控制多个高速快球摄像机根据人体对象目标的位置信息， 转动对准其头部，拍摄头部图像；最后通过人脸和人眼检测来筛选出可用于识别 的人脸图像。该装置的设计与实现是本文中的研究基础。 2 ) 多人体对象目标位置信息获取算法的研究和实现 本文中研究的多人体对象目标位置信息获取算法是用于大范围内获取人体对 象目标的位置信息，为高速快球摄像机拍摄人体对象目标头部图像提供信息。该 部分主要分为两个阶段：人体对象目标检测和人体对象目标跟踪。在第一阶段中 通过背景消除算法从图像中提取出前景点信息，然后利用连通区域标识等算法获 取到人体对象目标所在的区域，并根据人体对象目标区域信息估算出其头部位置 信息。为了能够在高速快球摄像机第一次未拍摄到可用于识别的人脸图像，而能 够进行再次拍摄。则需要通过第二阶段的人体对象目标跟踪算法，来建立该人体 对象目标在动态图像序列中的关联性，实时地返回位置信息。 3 ) 多视觉传感器融合算法的研究和实现 本文中研究的多视觉传感器融合算法就是要建立一个o d v s 图像中的坐标信 息与高速快球摄像机转动角度之间的映射关系。只有建立了这样的一个映射关系， 才能在获取到人体对象目标在o d v s 图像中的坐标信息后，控制高速快球摄像机 转动到正确的角度，对准人体对象目标头部进行拍摄。映射关系建立的准确程度 将直接影响到人体对象目标头部图像拍摄的准确程度。 7 4 ) 人脸筛选算法的研究和实现 本文中的人脸图像筛选算法主要用于对多个高速快球摄像机所拍摄到的多张 人脸图像进行筛选，得到可用于识别的人脸图像。主要分为两个阶段：人脸检测 和人眼检测。通过人脸检测获取到人脸区域，然后利用人眼检测进一步地获取到 人脸区域中的特征信息，然后将人脸和人眼的区域信息传递给后续的人脸图像筛 选程序。人脸图像筛选算法主要判断所获取的图像中是否有人脸区域存在以及该 人脸区域是否可用于人脸识别，如果可以则保存下图像，否则淘汰。而如果多个 高速快球摄像机拍摄到的图像都不能用于人脸识别，则对该人体对象目标再次进 行拍摄，直到拍摄到可用于识别的人脸图像为止。 5 ) 非约束环境下的人脸图像获取系统的实现和测试 本文中使用j a v a 语言开发非约束环境下的人脸图像获取系统，实现了基于 o d v s 的人体对象目标的检测和跟踪；实现了多视觉传感器融合的人体对象目标 头部图像获取功能；实现了对高速快球摄像机拍摄到的头部图像进行人脸图像筛 选的功能。最后设计了在非约束环境下的人脸图像获取实验，测试系统的准确性 和鲁棒性，并对整个系统中存在的不足进行了探讨。 1 4 论文章节安排 论文共分七章，各章节的组织结构见图1 5 ： 图1 - 5 论文组织结构 8 第一章在分析了当前非约束环境下的人脸识别技术研究现状的基础上，指出 在非约束环境下，仅仅通过基于图像预处理和基于人脸识别过程的非约束环境下 人脸识别方法是不够的。还需要在人脸图像的获取手段上加以研究，辅助当前的 非约束环境人脸识别方法。然后提出了一种o d v s 和多个高速快球摄像机相融合 的装置，以用于获取可用于识别的人脸图像。 第二章介绍了基于多视觉传感器融合的非约束环境下人脸图像获取装置的设 计思想，着重介绍了如何通过模拟人类在人脸图像获取过程中使用的两种不同的 视觉系统来进行装置的设计。然后对本文中的非约束环境人脸图像获取系统的软 硬件设计进行了详细地介绍。 第三章介绍了人体对象目标的位置信息获取算法，主要介绍了人体对象目标 检测和跟踪算法。其中人体对象目标检测中介绍了前景点提取、连通区域填充、 连通区域标识以及人体对象目标获取等四个方面的内容；人体对象目标跟踪中介 绍了如何通过c a m s h i f t 算法和k a l m a n 滤波相结合的方法，来保持人体对象 目标的持续跟踪。 第四章中介绍了多视觉传感器相配合的人脸图像获取算法。首先介绍了如何 建立o d v s 图像的坐标信息与高速快球摄像机转动角度之间的映射关系。然后介 绍了如何控制高速快球摄像机转动，以对准人体对象目标头部所在区域进行拍摄。 第五章中介绍了人脸图像的筛选算法。首先介绍了基于肤色y c b c r 椭圆模型 的人脸检测算法，然后介绍了如何在检测出人脸区域的前提下，利用阈值分割算 法来获取到人脸区域中的人眼信息。最后介绍了在获取到人脸和人眼的区域信息 之后，如何来判断该图像是否能够用于人脸识别，而最终达到筛选的目的。 第六章介绍了非约束环境人脸图像获取系统的实现。首先介绍了系统的软硬 件配置，然后介绍了系统中各主要功能模块的实现，最后介绍了系统中的主要界 面功能。 第七章是本文的总结和展望，主要对本文中的研究内容进行了总结，然后对 各模块算法的改进方法进行了展望。 9 第2 章非约束环境下人脸图片获取系统设计 2 1 引言 在上一章中主要介绍了当前非约束环境下的人脸识别技术的研究现状，并指 出了如何在非约束环境下获取到较好的可用于识别的人脸图像，是当前非约束环 境下人脸识别技术研究中一个重要的研究问题。本章中将主要介绍如何通过一种 全新的多视觉传感器融合的装置( 即非约束环境下人脸图像获取装置) 及其相配 套的软件系统，来获取到人体对象目标的可用于识别的人脸图像。 首先将介绍装置的设计思想，然后将介绍非约束环境下人脸图像获取系统的 软硬件设计，在硬件上将主要介绍非约束环境下人脸图像获取装置的硬件设计， 在软件方面将主要介绍与该装置相配套的系统的总体构架和主要功能模块。 2 2 装置设计思想 在“v i s i o na n da r t ：t l l eb i o l o g yo fs e e i n g 2 s 一书中，l i v i n g s t o n e 将人类的视觉 系统分为两个，分别是“w h e r e ”视觉和“w h a t ”视觉。从字面上理解，所谓“w h e r e 视觉就是人类在获取其所感兴趣的物体“在哪罩”信息时所采用的视觉；而“w h a t 视觉就是人类在获取其所感兴趣的物体“是什么”信息时所采用的视觉。当人类要 从大范围内获取人体对象目标的人脸图像时，首先要在场景内进行大范围地快速 扫描，这时采用的就是“w h e r e ”视觉，通过“w h e r e ”视觉下的快速而大范围地扫描 就可以获取到人体对象目标的位置信息，解决了“在哪罩”问题。然后再转动眼睛 到该人体对象目标所在位置上进行详细观察，这时采用的就是“w h a t ”视觉，通过 “w h a t ”视觉就可以获取到该人体对象目标的详细信息，解决“是什么”问题。 因此根据这一思想，本文中设计了一个o d v s 和多个高速快球摄像机相融合 的装置，来分别模拟人类的两种不同视觉系统( 见图2 1 ) 。首先在监控场景的中 间安装一个o d v s ，利用其能够获取到大范围视觉信息的特点来模拟人类的 w h e r e 视觉，获取到监控场景的全景图像，并通过人体对象目标检测跟踪算法对 图像进行扫描，获取到人体对象目标的位置信息，解决“w h e r e ”问题。然后利用高 速快球摄像机能够自由转动和拍摄到清晰图像的特点，来模拟人类的“w h a t 视觉， 而所拍摄到的人脸图像就可以用来解决“w h a t ”问题。如果在场景中只安装一个高 1 0 速快球摄像机来进行拍摄，则有可能发生被拍