（信号与信息处理专业论文）人脸检测与跟踪技术的研究.pdf

北京交通人学倾 _ 毕a n 论义 摘 公 摘要 人脸检测、 跟踪、识别技术是人机自 然交互领域的富有挑战性的课 题， 近年来又随着安全领域的强烈推动，己经成为各囚研究机构竞相涉 足的热点领域。本论文将就此进行研究，主要内容包括以 卜 儿个方ii 1研究了复杂背景下彩色图像中的人脸检测方法。 首先使用我们采 用的新的肤色模型 ( h - s v - v 高斯肤色模型)把人脸区域从图像中分割 出来， 然后采用形态学滤波的方法处理肤色区域， 最后综合人脸的几何 特性、结构特征确认人脸目 标，并运用 “ 网格搜索”的方法以加快检测 速度。实验表明肤色模型对于光照亮度的改变有较强的鲁棒性， 形态学 滤波的方法能有效地去除噪声和其它如人手等肤色非人脸日 标的干扰， 把图像中不同大小、 姿态各异、 有大面积遮挡、丰富表情的人脸挑选出 来。 2研究了两类不同视频中的人脸跟踪技术。 对于运动平缓而跟踪精 度要求高的视频，采用了基于原形的变形模板的方法来描述人脸轮廓， 综合考虑皮肤颜色、 梯度、 运动等信息， 采用遗传算法来优化目标函数， 并使用卡尔曼滤波来进行运动预测以减少计算量。 对于运动剧烈而跟踪 精度相对较低的视频，采用基于h - s v - v肤色模型的逐帧检测方案。我 们提出了随机抽样这一快速的统计方法， 做了相应的统计实验来验证我 们的推论，并设计了基于随机抽样的运动检测、 基于随机抽样的快速寻 找人脸中心两个算法， 人脸跟踪的实验证明这两个算法能将逐帧检测的 速度提高到5 - 8 帧/ 秒 ( 3 2 0 x 2 4 0 像素) 。 3设计并初步实现了一个 自动人脸识别系统 a f r s 自动检测人脸，跟踪该人脸，挑选出合适姿态的人脸 它在视频中工 ，进行特征定 归一化，送入分类器进行识别。 a f r s中集成了上面的人脸检测和 作位 i t ; , . 交通人学硕 卜 毕业论文摘公 跟踪技术，厂加入从于多姿态特征空间的姿态判别方法， 挑出正面人脸 以改善识别。 特征提取采用p c a( 主成分分析) + l d a( 线性判决分析) 的方法，分类器包括n n( 基于 最近邻法的分类器) 和s v m ( 支持向量 机) 。 对jo a l人脸库识别准确率达9 7 %以上 ( 静态已归一化人脸图像 输入) ，对于实验室自建库达9 8 . 7 5 % ( 视频输入，在人眼准确定位的前 提 ) 。 关键词: 人脸检测人脸跟踪人脸识别肤色模型形态学滤波基 于原形的变形模板模型姿态判别p c a l d a s v m人机交互 生物特征识别 北京交通人学硕 丁 毕业论文 ab s t r a c t ab s t r a c t h u m a n f a c e d e t e c t i o n , t r a c k i n g a n d r e c o g n i t i o n a r e c h a l l e n g i n g p r o b l e m i n t h e f i e l d o f h u m a n - c o m p u t e r i n t e r a c t i o n , w h i c h h a v e b e c o m e a n a c t i v e r e s e a r c h t o p i c s f o r m a n y o r g a n i z a t i o n s a l l o v e r t h e w o r l d d u e t o f o r c e f u l p r o m o t i o n f r o m s e c u r i t y f i e l d r e c e n t l y . i n t h i s t h e s i s , w e w i l l d o s o m e r e s e a r c h o n t h i s t o p i c . t h e m a in c o n t e n t a r e s h o w n i n f o l l o w i n g 1 .a h u ma n f a c e d e t e c t i o n me t h o d i n c o l o r i m a g e s u n d e r t h e c l u t t e r e d b a c k g r o u n d i s p r e s e n t e d i n t h i s p a p e r . f i r s t l y , i t e m p lo y s a n e w s k i n m o d e l w h i c h i s b r o u g h t f o r w a r d ( t h e h - s v - v g a u s s s k i n m o d e l ) f o r s e g m e n t i n g s k i n - l i k e r e g i o n s fr o m i ma g e s . t h e n t h e p a p e r a p p e a l m o r p h o l o g i c f i l t e r m e t h o d t o d i s p o s a l t h o s e r e g i o n s . l a s t i t c o n f i r m s p o s s i b l e f a c e o b j e c t s i n t e g r a t i n g f a c e g e o m e t r i c a l a n d s t r u c t u r a l f e a t u r e s . we a l s o p r e s e n t e d a m e t h o d c a l l e d g r i d d i n g s e a r c h w h i c h c a n a c c e l e r a t e f a c e d e t e c t i o n . a b u n d a n t e x p e r i m e n t s s h o w t h a t t h i s s k i n m o d e l i s r o b u s t f o r v a ryi n g o f l i g h t c o n d i t i o n . a n d t h e m o r p h o l o g i c f i l t e r m e t h o d c a n d e t e c t s f a c e s w h i c h a r e d i ff e r e n t s i z e , d i ff e r e n t p o s e , s h e l t e r e d fr o m b i g b l o c k , o r h a v e a b u n d a n t e x p r e s s i o n , a s w e l l a s e f f i c i e n t l y r e m o v e n o i s e a n d o t h e r s k i n - l i k e o b j e c t s s u c h a s h u m a n h a n d . 2 . t h i s p a p e r p r o p o s e t o u s e t w o k i n d s o f h u m a n f a c e t r a c k i n g me t h o d f o r t wo d i ff e r e n t k i n d o f v i d e o . f o r t h e v i d e o i n wh i c h mo t i o n i s m i l d a n d t h e t r a c k i n g p r e c i s i o n i s h i g h l y e x p e c t e d , i t a d o p t s t h e p r o t o t y p e - b a s e d d e f o r m a b l e t e m p l a t e m o d e l t o d e s c r i b e c o n t o u r o f t r a c k e d f a c e s , a n d a d o p t s g a s ( g e n e t i c a l g o r i t h m ) t o o p t i m i z e o b j e c t f u n c t i o n i n t e g r a t i n g i n f o r m a t i o n o f s k i n c o l o r , g r a y g r a d i e n t a n d m o t i o n c u e . i t a l s o i i i i t 京交通大学倾 毕业论文ab s t r a c t a d o p t s t h e k a l m a n f i l t e r m e t h o d t o p r e d i c t p o s i t i o n o f f a c e i n n e x t f r a m e . o n o t h e r h a n d f o r t h e v i d e o i n w h i c h m o t io n i s v i o l e n t a n d t r a c k i n g p r e c i s i o n i s n o t s o h i g h l y r e q u i r e d , i t p r e s e n t s a t r a c k i n g m e t h o d b a s e d h - s v - v g a u s s s k i n m o d e l . we b r i n g f o r w a r d a q u i c k s t a t i s t i c a l m e t h o d n a m e d r a n d o m s a m p l i n g , w e a l s o d o m a n y e x p e r im e n t s t o v a l i d a t e o u r c o n c l u s i o n s . we p r e s e n t t w o a l g o r it h m s t o a c c e l e r a t e f a c e t r a c k i n g , o n e i s r a n d o m s a m p l i n g - b a s e d m o v e m e n t d e t e c t i o n a l g o r i t h m , t h e o t h e r i s r a n d o m s a m p l i n g - b a s e d f a c e c e n t e r f o u n d a l g o r i t h m , w h i c h c a n b o t h i m p r o v e t h e t r a c k i n g s p e e d m o r e t h a n 5 - 8 f r a m e p e r s e c o n d . 3 . t h i s p a p e r n o t o n l y d e s i g n a n a u t o f a c e r e c o g n i t i o n s y s t e m ( a f r s ) b u t a l s o p r im a r i l y i m p l e m e n t i t , w h i c h c a n d e a l w i t h v i d e o i m a g e s , a u t o m a t i c a l l y d e t e c t s , t r a c k s f a c e s , s e l e c t s t h e r i g h t p o s e f a c e ，p o s i t i o n s f e a t u r e s o f t h e f a c e , n o r m a l i z e s i t a n d s e n d s it t o c l a s s i f i e r . i t i n t e g r a t e s m e t h o d s o f f a c e d e t e c t i o n a n d t r a c k i n g a b o v e i n a f r s , a n d a d d s m u l t i e i g e n s p a c e - b a s e d p o s e d e c i s i o n m e t h o d t o s e l e c t r i g h t p o s e f a c e s o a s t o i m p r o v e f a c e r e c o g n i t i o n . i t a p p e a l s p c a + l d a t o d i s t i l l f a c e c h a r a c t e r s a n d u s e s n n o r s v m t o c l a s s i f y t h e m. t h e r e c o g n i t i o n r a t e i s a b o v e 9 7 % o n o r l ( s t a t i c i m a g e i n p u t ) , a s w e l l a s 9 8 .7 5 % o n o u r f a c e l i b r a r y ( v i d e o i n p u t , o n c o n d i t i o n t h a t e y e s a r e a c c u r a t e l y p o s i t i o n e d ) k e y wo r d s : f a c e d e t e c t i o n , f a c e t r a c k i n g , f a c e r e c o g n i t i o n , s k i n m o d e l , m o rp h o l o g i c f i l t e r m e th o d , p r o t o t y p e b a s e d d e f o r m a b l e t e m p l a t e m o d e l , p o s e d e c i s i o n , p c a , l d a , s v m, h u m a n - c o m p u t e r i n t e r a c t i o n , b i o m e t r i c s - b a s e d r e c o g n i t i o n t v 独创性说明 本人声明所呈交的论文是我个人在导师的指导 卜 进行的研究工 作及取得的研究成果。尽我所知，除了本文中特别加以标注和致谢 的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也 不包括为获得北京交通大学或其它教育机构的学位或证书而使用过 的材料。与我 ， 同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 签名:日 期 : d - 0 4 奉 2, 月 jo- d 关于论文使用授权的说明 本人完全了解北京交通大学有关保留，使用学位论文的规定， 即:学校有权保留送交论文的复印件，允许论文被查阅和借阅:学 校可以公布论文的全部或部分内容，可以采用影印，缩印或其它复 印手段保存论文。论文中所有创新和成果归北京交通大学信息科学 研究所所有。未经许可，任何单位和个人不得拷贝。版权所有，违 者必究。 签名导师签名:日期: j 匕 京交通人学硕 卜 毕业论文 第一帝 综述 第一章综述 世间一切尽在脸上生 一 西塞罗 这真是个奇迹，世间千万个脸中，竟然没有两个是完全一样的! 一 托马斯. 布朗 1 . 1人脸检测及识别的 研究背景 计算机软硬件技术飞速发展着， c p u的速度以摩尔定律每十八个月 提高一倍，存储器越来越大、存取速度也越来越快，各种功能强大快、 应用广泛的软件层出不穷， 然而目前呆板生硬的人与机器的信息交流方 式，已经成为计算机技术的瓶径， 大大阻碍了计算机向更深层次应用的 发展，迫切需要新的自 然的和谐的人机交互方式。 回顾历史，我们发现人机交互技术大致经历了以下几个主要阶段 键盘和字符显示器的交互 鼠标和图形显示器 多媒体技术的交互 多模态人机交互 目 前人机交互的研究热点集中在第四代， 即多 模态人机交互上。 多 模态人机交互模拟人类自 然交流的方法， 包括视觉、 听觉、 触觉和嗅觉， 试图综合图像，声音，文字等手段，达到与计算机进行交流的目的。 最早的多模态人机交互系统之一是由 b o l t 口 提出来的，他的 p u t - t h a t - t h e r e ”系统融合了话音输入和3 维手势两种人机交互模式。 q u i c k s e t 2 1 是一个用于军事仿真控制的多模态人机接n系， 它采用语音 和基于笔输入的手势符号作为人机交互的模式， 该系统可运行在手持电 比 京 交通人学娘 i 毕业论义挽 一 令 结述 ili xa 或p d a 1,携带及使p 都很方便。多模态地图 ( m u l t i m o d a l m a p s ) 是山iv 坦福大学人工智能研究中 心的c h e y e r 等人为 4 i) ( 究多模态人机接 ! 1 技术而构造的一 个旅1 7 计划安排系统， 用户， ij 一 同时使用语音、 手势钓 号、_ r- 写文本与系统进行交互， 而系统的输出则叮通过视频、文本及声 音呈现，因此整个交互过程显得图文并茂，自 然流畅。a k a y等人构造 的 一 个多模式人机交互系统集成了 语音、 手势符号、 及眼睛跟踪等多种 交互方式用于远程医疗分析和决策。 另外， t o s a 等研制了一 个多模态自 主智能a g e n t 一 n e u r o b a b y ,该a g e n t 可以 识别人的 语气和声调、 跟 踪人的眼睛和手势，并能够通过表情和声音与用户交流， 该系统目前已 经可以通过网络实现不同文化背景的两个用户之间的非语言 交流。 近十几年来，一些国内机构也相继开展了多模态人机交互的研究 3 , 4 ，由北京交通大学袁保宗主持并完成的国家自 然科学基金重大项 日“ 超级智能信息处理系统 ( s i v a i p s )的研究”提出了关于多感知信 息处理的结构模型“ 圆” 模型;由中科院计算所高文教授主持并完 成的8 6 3 项目“ 多媒体并行加速系统”和 “ 多功能感知机” 提出了关于 人类语言分类的概念并在此基础上将人体语言的识别和理解引入人机 交互之中。1 9 9 8年，中科院计算所和北京交通大学联合申请了国家自 然科学基金重点项目“ 多功能感知机” ，旨在在己有的技术和研究成果 上，进一步研究并集成新一代 ( 第四代)自 然化的人机交互系统。 在人机自 然交互过程中，主要是用户和用户智能代理之间的交互， 用户的任务可以由其代理负责处理。 任务完成过程中， 用户需与代理之 间不断的交互。 用户代理除了能识别用户的语音之外， 还应能识别用户 的脸形及面部表情， 跟踪用户的眼睛或嘴的运动， 从而更准确的理解用 户的意图。 因此， 有关人脸面部的感知机理的研究也是新一代人机自然 交互与通信中的关键技术之一 4 ， 本文的研究工作正是该课题中诸多关 比 京空通人货 何 川 毕业论文第-帝 综述 键技术的 m” 引 二 分。 事件之后，人们更加认识到公共安全的重要性，对于敏感 人物的羚能监控，7 f 犯抓逃与对比，己成为公共安全极其重要的保障。 在经济领域， 据有关部门统计全球每年冒用信用 仁 造成的损失多达数十 亿美圆， 大量的退休金和福利金被假冒身份者冒领，黑客侵入电脑系统 大肆盗取重要资料。 上述触日惊心的问题表明，己有的身份认证手段己 经暴露出很多缺陷， t r 容易被伪装被欺骗;因此，新型的自 然的高效可 靠的身份认证手段成为迫切需要， 人本身的生物特征可以完全标明自己 的身份， 因而基于人体本身的特征的生物特征识别成为首选的身份认证 手段。在众多的生物特征认证手段中，较之于笔迹、指纹、视网膜、虹 膜、声音、掌形等，人脸识别以其隐蔽性，无侵害性，方便快捷，设备 成本低 ( 普通摄像头即可成为标准外设) 等众多优点 5 ， 被公认为是理 想的身份鉴别方式。 另外， 在新一代视频编码标准 mp e g - 4中引入了基于内容编码的概 念， 基本思路是对于感兴趣区域进行低压缩率编码， 而对背景等不感兴 趣区域进行高压缩率编码， 这样，在保留了大部分需要传递的信息，也 大大提高了编码效率， 充分满足了人的主观感受。 人的脸部有着丰富的 表情和变化，在人和人交流的过程之中传递着大量信息:因此， 在基于 内容的编码中， 人脸毫无疑问的是感兴趣的区域之一， 我们需要定位出 人脸这个区域， 把它从图像帧中分割出来进行低压缩率的编码。 而定位 人脸区域， 在静止图像中就是检测人脸轮廓的任务， 在视频中就是跟踪 人脸轮廓的任务。目 前这种编码方式在可视电话 6 , i n t e rn e t 视频聊天 等方面己经开始应用。 人脸检测、跟踪、识别也大量运用于其他方面，如智能考勤系统、 门禁系统、真实感游戏、智能玩具、机器人、 摄像机镜头自动调整领域 北京交通大学硕 毕业论义第 一 帝 综述 中等 1 .2人脸识别的内容和目 标 人脸识别的主要内容有以下几个方面 1 . 人脸的描述 ( f a c e r e p r e s e n t a t i o n ) 人脸描述是自动人脸识别的基础。 在人脸识别系统中必不可少，人 脸必须被适当的描述以利于存储和识别。采用的人脸描述的方法有两 才 中 : ( 1 ) 二维 ( 灰度图像)或三维 ( 彩色图像)矩阵，即图像本身直 接描述，这种描述精确，但适应性不强，而且需要占用大量 的存储空间。 ( 2 ) 通过从人脸图像中提取出的特征间接描述。采取某种表示方 法表示检测出的人脸和已知数据库种的人脸，通常的表示方 法包括几何特征 ( 如距离，曲率，角度，大小比例) 、代数特 征( 如矩阵特征矢量) 、 特征模板( 包括固定模板和弹性模板) 、 特征脸、云纹图等。 2 人脸的检测 ( f a c e d e t e c t i o n ) 人脸检测的任务是从一幅图像中判断是否存在人脸， 找出人脸所在 位置与其占据区域， 即回答“ 有没有人脸， 人脸位置在哪里?” 的问题。 这一任务受光照条件，成像器材质量， 遮挡，人脸大小、角度、表情等 多方面因素影响， 要实现精确地自动地人脸检测还有相当多的工作要做 i - 3 人脸的跟踪 ( f a c e t r a c k i n g ) d : 尔交通片学 顿 _ 毕业l众 义第一章 4 7 . 述 人脸跟踪的任务是根据己定位出的人脸， 在后续图像帧中持续地跟 踪该人脸的运动，即回答 “ 每帧中那张人脸的位置在哪里?”的问题。 于处理的是视频图像， 该任务主要受卜大的计算量， 和变化的光照困 扰，高效，鲁棒的算法和跟踪方案是当前研究的重点。 4 .人脸识别 ( f a c e r e c o g n i t i o n ) 人脸识别的任务是识别或确认当前人脸，即i川答 “ 这是谁的脸?” 或者 “ 这是张 二 的脸吗?”等问题。在人脸位置确定后可以对人脸进行 认知， 即将人脸与数据库种的人脸进行比较， 得出有关身份方面的信息。 认知的关键是人脸特征的选择和提取， 核心是选取适当的人脸描述，以 及匹配策略，其中，系统的构造与人脸的表征方式也密切相关。 2 l 5 . 表情/ 姿态 / 行为分析 ( f a c e e m o t i o n / p o s e / a c t i o n a n a l y s i s ) 让计算机感知使用者的表情变化，分析理解人得情绪， 如快乐，愤 怒，忧伤，赞同或否认等，从而做出相应的进一步反应。 对人的行为进 行分析，可以得出人脸行为等相关信息。 我们认为，一个完整的人脸识别系统的框架应如图 1 - 1 所示。其中 输入分为静态图像和动态视频， 先进行人脸检测， 确定图像中人脸的位 置，对于视频输入，最好还有一个人脸跟踪或姿态判别过程，这有利于 选取最合适姿态的人脸进行识别， 有效地提高识别率; 之后是器官定位 和人脸归一化， 调整人脸方向，统一人脸大小，以利于与数据库中的人 脸进行比照，最终识别/ 确认出输入的到底是哪张人脸，即完成了人脸 识别的任务。 i l 京交通大学硕 毕业论义 第-? .t综述 识别结果输出 图 1 - 1人脸识别系统的框架图 1 . 3人脸识别的研究现状 人脸识别最早可以追溯到十九世纪末， 英国的f r a n c i s g a l t o n 开始了 这方面的研究。2 0世纪六十年代，b l e d s o e 以人脸的特征点的间距、比 例等参数作为特征， 即基于人脸几何特征 7 1 ， 构建了一个半自 动的人脸 识别系统， 后来出 现了 模板匹 配的方法 8 1 。 七十年代末到八十年代， 人 脸识别陷入低谷， 进展甚微。直到九十年代初期，随着计算机技术的飞 速发展，以及模式识别技术的兴起， 人脸识别研究开始飞速发展; 在特 征提取方面，出现了 k - l , g a b o r , f f t , d c t , h o u g h等变换，以及 p c a , l d a, i c a等方法; 在分类器设计方面，出现了神经网络 ( n n) , 贝叶斯决策、线性分类器、最近邻分类器、支持向量机 ( s v m) 1 1 1 , 以 及近来刚刚出现的 a d a b o o o s t 、 解析中心机 ( a c m) 1 2 1 等;另外在 解决线性不可分问题时出现了流形分析 1 3 1 、局部线性内嵌子空间分析 ( l l b ) ，以 及i s o m a p 新方法汇 5 1 0 目前人脸识别领域有代表性的算法及其所属机构有以下几个 r o c k e f e l le r 大 学 局部 特征分 析; 南加州大学( u s c ) 基于小波变换特征的弹性模板图匹配技术; 马 里兰大学( u md ) -基于子空间( s u b s p a c e ) 的线性判别分析; 北京交蛹人学坝】毕业论义 第一币综述 l - 一一一一一一一一一一一一一一一i 图1 1 人脸识别系统的框架图 l3 人脸识别的研究现状 人脸识别最早可以追溯到十九世纪末，英国的f r a n c i sg a t t o n 开始了 这方面的研究。2 0 世纪六十年代，b l e d s o e 以人脸的特征点的间距、比 例等参数作为特征，即基于人脸几何特征7 ，构建了一个半自动的人脸 识别系统，后来出现了模板匹配的方法【8 】。七十年代末到八十年代。人 脸识别陷入低谷，进展甚微。直到九十年代初期，随着计算机技术的飞 速发展，以及模式识别技术的兴起，人脸识别研究开始飞速发展；在特 征提取方面，出现了k l 、g a b o r 、f f t 、d c t 、h o u g h 等变换，以及 p c a 、l d a 、i c a 等方法；在分类器设计方面，出现了神经网络( n n ) 、 贝叶斯决策、线性分类器、最近邻分类器、支持向量枫( s v m ) 【l l 】， 以及近来刚刚出现的a d a b o o o s t 、解析中心机( a c m ) 1 2 等；另外在 解决线性不可分问题时出现了流形分析 1 3 1 、局部线性内嵌子空间分析 ( l l e ) ，以及i s o m a p 新方法 5 。 目前人脸识别领域有代表性的算法及其所属机构有以下几个 r o c k e f e l l e r 大学局部特征分析； 南加州大学( u s c ) 基于小波变换特征的弹性模板图匹配技术； 马单兰大学( u m d ) 基于子空间( s u b s p a c e ) 的线性判别分析； l 永交迎人学倾1 毕业论文 麻钳理j ：学院( m i t ) 双子空间叭叶斯判别分析。 粥外还有些机构在人脸识别领域的研究也颇有成就，包括：c m u m i c h i g a ns l a t eu n i v e r s i t y ，u c l a u n i v e r s i t yo fm a n c h e s t e r , u n i v e r s i t yo s u r r e y , s u m s u n gc o m p a n y 等。人脸识别评测的机构有：f e r e t ( 9 4 9 7 ) f r v t ( 2 0 0 0 1 2 0 0 2 ) ，f x ) m 2 v t s ， f v c 等。 幽内研究的大学有：清华大学3 家、哈尔滨工、i k 人学、中山大学、 南京理工大学、| ； i 京大学、上海交通大学、浙江大学、北京交通大学等 研究所有：中科院计算所，中科院自动化所，微软亚洲研究院等。 当前人脸识别的国际研究水平大致如下( 1 9 9 7 2 0 0 0 年f e r e t 的评 测) 【9 1 ： 在比较良好的环境条件情况下，对1 0 0 0 人左右基本正面人脸 进行识别的性能：首选识别率：9 5 以上，等错误率：2 n 下 一一在环境比较糟糕的情况下，对基本正殛人脸进行识别的性能： 首选识别率：8 0 以下，等错误率：1 0 以上。 一年后采集的正面图像，首选识别率只有5 0 以上， 目前国际国内也有一些较为成熟的商业系统，这包括： f a c e i t 来自i d e n t i x ( l f a ) 一一f a c e 、，a c s 来自c o g n i t e ca ge y e m a t i c 公司 f a c e f n q d e r 7 m 来自v i i s a g et e c h n o l o g yi n c ( p c a ) 一h u n t e ，1 m 来自l a ut e c h n o l o g y ( p c a ) f a c e s n a p r e o r d e r 来自c v i s ( e b g m ) n u e f a c e 来自e t r u ei n c e u r a ln e t w o r k ) s p o t i t ! 来自i t c 7 b i o ! d 中举 院计算所的人脸识别系统 然而，尽管已经出现众多的技术和方法，国内外各个大学、企业、 研究所争相恐后投入人脸识别的研究，以及实用系统的丌发，目前人腧 识别技术还没有真i f 达到应用的程度，凶为在应用过程中，人脸识别受 到相当多的闲素的网扰，归纳起来丰要有以下几个方面( 1 ) 成像环境 复杂( 2 ) 光照变化( 3 ) 成像器材的质量差别( 4 ) 人脸本身的差异( 5 ) 人脸姿态和表情差异d 0 。如图l 一2 形象的说明了人脸识别技术受到的 实际应用的挑战。 技术挑战 图1 2 入脸识别面临的技术挑战 为了尽量消除以上因素对识别结果的影响，实现实用的目的，目前 的实用系统往往采取一种统一化的策略，即统一化成像环境，在特定的 光照下，对特定姿态的人脸和表情的人脸进行识别。而正是这种特定化 的应用模式限制了人脸识别系统的应用推广，因为在实际应用中，人们 i ! 。往希哩是7 ：臼然环境f x 、f 自然状态的人脸进行u 别，而小是加诸多的 限制条件：近来，随着适时嘛控技术的需要，对于视频中的适时识别的 要求也提束了。因此，我们认为日i 诲人脸识别的客观要求和发展方向 f ，：如下几点 ( 1 ) 少量识别个体一 海量的刚扩充的识别个体 ( 2 ) 识别个体高度合作一 个体不合作( 佩带饰物， ( 3 ) 背景简单一 复杂背景 ( 4 ) 成像条件一致一 成像条件任意( 光照不限定 异，成像距离不限定，成像角度各异) 表情变化) 成像设备各 ( 5 ) 处理静态图像一 在视频中动态处理( 达到适时或准适时识 别) ( 6 ) 人工干预一 全自动识别( 从视频中自动收集和分类人脸库， 自动训练系统，自动检测、跟踪、定位、归一化、识别等) ( 7 ) 单一人脸识别方法一 各种生物特征识别方法的融合( 可融 合手势识别、虹膜识别、指纹识别、声纹识别、掌纹识别、 步态识别等多种方法，以提高识别精度) 1 4 论文的意义和实现的目标 基于以上对人脸识别领域的了解和分析，我们认为当前人脸识别还 是一个方兴未艾的领域，还有很多工作要做，尤其是在有复杂背景的视 频图像中适时的人脸识别，将是一个巨大的挑战。 我们的目标是实现一个自动的人脸识别系统，即在限定的自然背景 中，自然光照条件下，采用摄像机采集视频图像，自动检测，并跟踪镜 头中出现的人脸，根据一定的判断规则来选取出一个合适的正面人脸， 埘其进行器官定位并归一化后，送入分类器进行识别，最后给出人性化 化京交还 1 人学f 9 日 毕业论文 第一帝 综述 往往希吧是在 然环境 卜 对 自然状态的人脸进布 丁 识别， 而小是加诸多的 限制条件:近来，随着适时监控技术的需要，对于视频中的适时识别的 要求也提出来 了。 因此， 我们认为目ijv 人脸识别的客观要求和发展方问 了 j 几 如一 儿止 * ( l ) 少量识别个体一) 海量的可扩充的识别个体 ( 2 ) 识别个体高度合作一) 个体不合作 ( 佩带饰物，表情变化) ( 3 ) 背景简单一 复杂背景 ( 4 ) 成像条件一致一 成像条件任意 ( 光照不限定，成像设备各 异，成像距离不限定，成像角度各异) ( 5 ) 处理静态图像一 在视频中动态处理 ( 达到适时或准适时识 别) ( 6 ) 人工干预一 全自 动识别( 从视频中自 动收集和分类人脸库， 自动训练系统，自动检测、跟踪、定位、归一化、识别等) ( 7 ) 单一人脸识别方法一 各种生物特征识别方法的融合 ( 可融 合手势识别、虹膜识别、指纹识别、声纹识别、掌纹识别、 步态识别等多种方法，以提高识别精度) l .4论文的意义和实现的目 标 基于以上对人脸识别领域的了解和分析， 我们认为当前人脸识别还 是一个方兴未艾的领域， 还有很多工作要做， 尤其是在有复杂背景的视 频图像中适时的人脸识别，将是一个巨大的挑战。 我们的目标是实现一个 自动的人脸识别系统， 即在限定的自 然背景 中，自然光照条件下， 采用摄像机采集视频图像，自动检测，并跟踪镜 头中出现的人脸，根据一定的判断规则来选取出一个合适的正面人脸， 对其进行器官定位并归一化后， 送入分类器进行识别， 最后给出人性化 1 l 京交通大学硕 _ 毕业论文第一帝 练述 的识别结果。 针对以 仁日标，本文主要在如下力 一 面做出了有益的 作: ( 1 )提出了一个全新的空间 h - s v - v 空间，皮肤像索在这 一 空间 有很好的聚类特性，在这一空间的肤色模型 ( h - s v - v空间肤 色模型)能更好的克服光照亮度变化给人脸检测带来的困难。 ( 2 )综合肤色，人脸结构，) 七 何特征等多方面特征，使用数学形 态学方法处理肤色区域， 从中检测出真正的人脸， 并能有效的 剔除人手， 胳膊等其他肤色非人脸目 标， 在保证检测率的同时， 大大减少了人脸的误检率。 在人脸目 标生成时， 提出“ 网格搜 索”来加快目 标生成速度。 ( 3 )将基于原形的变形模板模型 ( p r o t o t y p e - b a s e d d e f o r m a b l e t e m p l a t e m o d e l ) 引 入来 描述 人脸轮廓， 综合 颜 色、 图 像 梯度、 灰度、 运动等信息， 结合卡尔曼滤波和遗传算法， 成功地实现 了平缓视频中的人脸跟踪。 ( 4 )提出随机抽样的概念，它属于一种快速统计的方法，利用该 方法进行快速的运动检测，以及快速人脸中心定位， 极大地加 快了基于检测的人脸跟踪的速度。 ( 5 )初步设计并构造了一个自动人脸识别系统 ( a f r s ) ，实现在 视频中，自 然条件下的适时地自动地人脸检测、跟踪、识别。 采用p c a( 主成分分析) + l d a( 线性判决分析)的方法提取 人脸特征，使用n n( 最近邻法) 和s v m ( 支持向量机) 的方 法设计分类器。 ( 6 ) 使用多p c a分析不同姿态的人脸，用人脸多姿态特征空间进 行人脸姿态判别， 从视频中选取出正面人脸， 改善识别的效果。 北京交通大学硕 i s 毕业论义第一令 练述 l s论文的主要内容及结构安排 第一章 综述: 主要介绍了人脸识别课题的背景， 选题目的和意义， 目前的研究现状，以及本文的研究内容、部分研究成染。 第二章 复杂背景下的人脸检测:分析并评述了当前人脸r.1 测的难 点，己有方法，提出了我们自己的人脸检测的方案; 提出了新的颜色空 间h - s v - v空问，分析了肤色像素在该空间的积聚特性，以及该空间对 于光照的明暗变化更鲁棒的原因，并构造了该空间的肤色模i a _ 高斯肤 色模型介绍我们如何综合肤色，人脸结构，几何特征等多方面特征， 引入形态学滤波的方法处理肤色区域，提取、分析、确认人脸目标， 最 终实现自动地人脸检测。最后给出并分析在我们的测试集上的测试结 果，并指出了改进的方向。 第三章 视频图像序列中的人脸跟踪:分析了当前人脸跟踪的难 点，现状，各种方法比较。针对变化平缓而要求精确跟踪人脸的视频， 我们提出了基于原形的变形模板模型 ( p b d t m)的跟踪算法，其中详 细介绍了p b d t m原理，如何综合利用颜色、 灰度、 梯度、 运动信息进 行跟踪， 并利用卡尔曼滤波预测搜索范围， 遗传算法用于优化跟踪目标 函数，最后给出了跟踪结果和分析。 针对剧烈变化视频中的人脸，我们 采用基于检测的人脸跟踪方法， 并提出随机抽样的方法， 它属于一种快 速统计方法， 我们给出了使用随机抽样的原则和一般步骤。 结合人脸跟 踪， 提出基于随机抽样的运动检测，以及基于随机抽样和正交投影的快 速寻找人脸中心的算法， 把这两种算法用在人脸跟踪中， 大大加快了跟 踪的速度。 第四章自动人脸识别系统:首先介绍了该系统设计的意义、设计 目 标、设计原则，给出了该系统的基本软硬件，以及详细的系统框架， 接着我们详细讨论了该系统中用到的关键技术和各个模块的设计， 包括 i l 京交通人学倾 i : 毕业沦义第 一 章 f t 述 人脸检测、 跟踪、姿态判别、归一 化，p c a + l d a降维， nn 和5 v m分 类器等， 最后给出了系统的运行结果，以及部分演示，并指出了今后改 进的方向。 第五章 总结:概要回顾了我们所做的工作，对此做出评价，并对 人脸识别做出了展望。 最后是结束语 北京交通大学硕 丁 毕业论文第_ _ 尽 复杂背景下 的人脸检测 第二章复杂背景下的人脸检测 2 . 1概述 人脸检测: 任意给出一幅图像， 判断其中是否含有人脸， 若有人脸， 确定人脸位置和其占 据的区域。 人脸检测的日 的包括: ( 1 ) 待检测的图像 中 是否有人脸: ( 2 ) 如果图 像中 有人脸， 确定人脸的 数日 ; ( 3 ) 确定每个 人脸在图像中的位置，每个人脸的大小和方向等信息。 人脸检测是所有基于面部感知的人机交互系统或人脸识别系统所 要首先完成的第一步骤， 检测成功与否，定位精度如何会对后续的处理 造成至关重要的影响。 本章将就此展开讨论和研究， 首先讨论了人脸检 测的内容、目标、困难所在、以及常用的方法，然后给出了针对此问题 的解决方案， 其中包括两个主要的步骤: 人脸区域的分割和人脸目标的 确认; 所谓复杂背景， 即指自 然光照下的自 然背景， 非人为特意安排的， 在复杂背景中肤色特征可作为人脸和背景分离的标准， 我们采用了一个 新的空间的肤色模型-h - s v - v肤色模型，该模型对光照亮度有更强的 鲁棒性， 能有效地把人脸区域从图像中分割出来。 对于每一个分割出来 的人脸目标， 采用形态学滤波的方法进行处理， 我们设计了一系列算子， 分别用来完成去噪、目标分离、孔洞提取、轮廓提取等工作，最后综合 人脸几何特征和结构特征对候选人脸目标进行判断， 实验表明该方法能 有效地排除人手等肤色非人脸目 标，把图像中不同大小、 姿态各异、有 大面积遮挡、丰富表情的人脸提取出来。为加快目标分离速度， 还采用 了一种称为 “ 网格搜索”的方法，实验证明该方法能使算法的速度提高 2 - 3 倍。这些方法我们将在下面的章节详细的讨论和阐述。 化 尔交通人学倾 毕业论义第_ _ _ 帝 复杂背景下 的人脸检测 2 . 1 . 1 影响人脸检测的因素: 1成像环境: 现实中的成像环境是复杂多变的， 可以足室内或室外， l if一 以是晴大或阴大，可以有任意景物构成的背景。5 i i i i(11 ,自然紧物 中存在大f i t. 与人脸相似的图像，在检测中都可能与人脸相混淆 2光照条件:不同的光照条件下得到的照片 ( 或视频)质量差别是 相当大的