（模式识别与智能系统专业论文）基于视频流的人脸识别系统研究.pdf

c l a s s i f i e di n d e x ： u d c ： ad is s e r t a ti o nf o rt h ed e g r e eo fm e n g r e s e a r c ho ffa c er e c o g n i t i o ns y s t e m b a s e do nv i d e o c a n d i d a t e ：l i nt i a nw e i s u p e r vis o r ：p r o f w a n gz ej u n a c a d e m i cd e g r e ea p p li e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：p a t t e r nr e c o g n i t i o n i n t e l l i g e n ts y s t e m s d a t eo fs u b m i s s i o n ：d e c e m b e r ，2 0 0 9 d a t eo fo r a le x a m i n a t i o n ：m a r c h ，2 0 1 0 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s it y 0洲0川380哪8 iijl哪y 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者 本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出， 并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任 何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要 贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 、 作者( 签字) ：币卜托红k 日期：年；月日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读 学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学 有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔 滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采 用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论 文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的 及 时 。垒弧辽 嚣圳州胁褓翮俾 行乓声 进，j ，、 却风 有 弼火 送t 个侣 鞑林相 大 ：月 程 厂、 ， 工字年 滨签厶 尔 0 哈 者由作 ： ，、 期 哈尔滨丁程大学硕十学位论文 摘要 随着视频监控、信息安全等领域的需要，视频下的人脸识别研究越来越 受到人们的关注。国内外已经开发出很多优秀的人脸识别系统，并得到广泛 的应用。本文研究的目的就是开发一套系统，对视频流中的人脸进行跟踪识 别。主要工作如下： ( 1 ) 在分析前人研究的基础上，概述了人脸检测跟踪以及识别技术的经典 算法，并给出了各自算法的优缺点以及应用方向； ( 2 ) 在人脸检测跟踪方面，本文采用基于a d a b o o s t 的人脸检测算法，对 视频流中的人脸进行检测，确定其大小和位置。在深入分析均值移动的跟踪 算法的基础上，采用对其改进的c a m s h i f t 跟踪算法，并将a d a b o o s t 人脸检 测算法与c a m s h i f t 跟踪算法相结合，能够在视频中很好的对人脸进行检测跟 踪； ( 3 ) 特征提取方面，本文在基于向量的主成分分析( p c a ) 的基础上，分别介 绍了基于图像矩阵的二维主成份分析( 2 d p c a ) 和双向二维主成分分析 ( ( 2 d ) 2 p c a ) ，并针对各不同特征向量对人脸识别的贡献率不同这一特点，提 出了加权双向二维主成分分析的思想， 1 p ( w ( 2 d ) 2 p c a ) 。然后结合图像分块 和局部特征融合技术，采用模糊分类决策规则，在o r l 人脸库上进行了对比 试验，得到了比较好的识别结果； ( 4 ) 在v i s u a lc + + 6 o 的开发环境下，辅助o p e n c v 开发源库，开发基于 视频流下的人脸识别系统，对实验室中的三十个人进行视频跟踪识别。实验 证明本系统在视频跟踪识别上，具有很好的实时性和准确性。 关键词：视频人脸识别；人脸检测；人脸跟踪；特征提取：模糊分类 a b s t r a c t w i t ht h en e e do fv i d e os u r v e i l l a n c ea n di n f o r m a t i o n s e c u r i t y , t h er e s e 踟- c ho f 协c er e c o g n i t i o ni nv i d e oc a u s em o r ea n dm o r e p e o p l e sa t t e n t i o n m a n ye x c e l l e n t t a c er e c o g n i t i o ns y s t e mh a v eb e e nd e v e l o p e da th o m e a n da b r o a d ，a n dg e taw i d e r a n g eo fa p p l i c a t i o n s t h ep u r p o s eo ft h i ss t u d yi st od e v e l o pas y s t e m t o 仃a c k a n dr e c o g n i z , et h ef a c ei nv i d e o ，t h em a i n t a s k sa le 懿l o l l o w s ： ( 1 ) o nt h eb a s i so ff o r m e ra n a l y s i s ，t h i s p a p e rs u 】m m 撕z en l ec l a s s i c a l g o n t h ma b o u tf a c ed e t e c t i o n 、t r a c k i n ga n d r e c o g n i t i o nt e c h n o l o g y a m di tg i v e t h ea d v a n t a g e sa n dd i s a d v a n t a g e so f e a c ha l g o r i t h ma n dt h e a p p l i e dd i r e c t i o n ： ( 2 ) i nt h ea s p e c to ff a c ed e t e c t i o na n dt r a c k i n g ，t h i sp a p e ru s e dt h ea l g o r i t h m b a s e do na d a b o o s tt od e t e c tt h ef a c e i nv i d e o ，a n dd e t e n n i n e di t ss i z ea n d l o c a t i o n b a s e do ni n - d e p t ha n a l y s i so fm e a n s t i i f tt r a c k i n ga l g o r i t i l m ，i tu s e d i t s i m p r o v e dc a m s h i f tt r a c k i n ga l g o r i t h m a n de o m b i e dc a m s h i f la l g o n t l 珊w i t l l t h ea l g o r i t h mb a s e do n a d a b o o s t ，i tc a nt r a c kt h ef a c ei nv i d e ov e r yw e l l ( 3 ) i nt h ea s p e c to ff e a t u r ee x t r a c t i o n ，b a s e do nv e c t o r o ft h ep r i n c i b a l c o m p o n e n ta n a l y s i s ( p c a ) ，t w o d i m e n s i o n a l p r i n c i p a lc o m p o n e n ta n a l y s i s ( 2 d p c a ) a n dt h et w od i r e c t i o nt w o - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( ( 2 d ) 2 p c a ) b a s e d0 1 1i m a g em a t r i xa l ei n 仃o d u c e d a n df o rd i 行e r e n t f e a t u r e v e e t o r sh a v e d i f f e r e n tc o n t r i b u t i o nr a t e t of a c e r e c o g n i t i o n ，p r o p o s e a t w o 。d i m e n s i o n a l p r i n c i p a lc o m p o n e n t a n a l y s i s ( w ( 2 d ) 2 p c a ) t h e nc o m b i n e d 1 m a g es u b - b l o c kw i t hl o c a lf e a t u r e sf u s i o nt e c h n o l o g y , a d o p tf u z z yc l a s s i f i c a t i o n d e c l s i o nr u l e s ，g e tg o o dr e c o g n i t i o nr e s u l t si nt h ec o n t r a s tt e s t o nt h eo r lf a c e d a t a b a s e ( 4 ) i nt h ed e v e l o p e de n v i r o n m e n tb a s e do n v c + + 6 0 ，s u p p o r t i n gw i t h o p e n c vl i b r a r y , i td e v e l o p e daf a c er e c o g n i t i o ns y s t e mi nv i d e ot 0 t r a c ka n d r e c o g n i z e3 0i n d i v i d u a l si nt h el a b t h ee x p e r i m e n tp r o v e dt h a tt h e s y s t e mh a sa g o o dr e a l t i m ea n da c c u r a c yi nt r a c k i n ga n dr e c o g n i t i o ni nv i d e o k 卜 哈尔滨工程大学硕+ 学位论文 k e yw o r d s ：f a c er e c o g n i t i o ni nv i d e o ；f a c ed e t e c t i o n ；f a c et r a c k i n g ；f e a t u r e e x t r a c t i o n ；f u z z yc l a s s i f i c a t i o n k l 哈尔滨- t 程大学硕十学何论文 目录 第1 章绪论一1 1 1 课题研究的目的和意义l 1 2 人脸识别研究的背景l 1 3 人脸识别研究内容及难点2 1 3 1 人脸识别研究内容2 1 3 2 人脸识别的难点问题3 1 4 人脸图像数据库及性能评价指标4 1 4 1 人脸图像数据库4 1 4 2 性能评估5 1 5 本文的主要工作及内容安排7 第2 章人脸检测与识别方法概述9 2 1 人脸检测与跟踪方法概述9 2 1 1 人脸检测”9 2 1 2 入脸跟踪”1 4 ， 2 2 人脸识别15 2 2 1 人脸特征提取“1 5 2 2 2 分类识别18 2 3 本章小结“l9 第3 章视频流下的人脸检测与跟踪2 1 3 1a d a b o o s t 检测算法理论”2 l 3 1 1a d a b o o s t 人脸检测原理2 l 3 1 2h a a r - l i k e 特征的确定2 2 3 1 3a d a b o o s t 算法训练过程2 6 3 1 4 样本的选择与制作“2 7 3 2 级联分类器及检测”2 9 k r 哈尔滨t 程大学硕+ 学何论文 3 3 人脸跟踪3 0 3 3 1 基于m e a n s h i f t 的人脸跟踪3 1 3 3 2c a m s h i f l 算法j 3 4 3 3 3c a m s h i f l 算法与a d a b o o s t 的结合3 6 3 4 本章小结3 8 第4 章特征提取与分类识别4 0 4 1 特征提取4 0 4 1 1 主成分分析( p c a ) 4 0 4 1 2 二维主成分分析( 2 d p c a ) 4 4 4 1 3 行列结合的二维主成分分析( ( 2 d ) 2 p c a ) ”4 7 4 1 4 加权的两个方向的二维主成分分析( w ( 2 d ) 2 p c a ) 4 9 4 2 基于分块w ( 2 d ) 2 p c a 的局部特征提取与融合”4 9 4 2 1 图像分块与局部特征提取”4 9 4 2 2 图像局部特征融合“5 1 4 3 人脸识别实验分析”5 2 4 4 本章小结一”5 3 第5 章视频下的人脸识别系统设计与实现5 5 5 1 软件运行环境“5 5 5 2 人脸识别系统的设计与实现5 5 5 5 “5 7 5 9 ”6 2 “6 3 ”6 5 论文和取得的科研成果7 2 7 3 k 哈尔滨一广程大学硕十学何论文 第1 章绪论 1 1 课题研究的目的和意义 在现代社会，需要身份认证的场所越来越多。传统的身份认证方法如密 码、证件等已经不能完全满足人们的需要，因其存在容易遗失、易被破解等 诸多因素，给人们的生活带来诸多不便。另外在司法、金融、安防等许多领 域，随着现代网络技术的快速发展，信息安全也向人们显示出其前所未有的 重要性，这些领域都需要新的更精确的身份认证技术。 生物识别技术是利用人类本身所拥有的生物特征进行身份认证的一种技 术。生物特征是人的内在属性，具有自身稳定性和个体差异性等特点，这使 得计算机进行生物特征识别成为可能。与传统的身份认证技术相比，基于生 物识别的身份认证技术具有不易遗忘或丢失，防伪性能好，不易伪造或被盗 的安全性能。目前比较常用的生物特征有人脸、指纹、虹膜、步态、掌形、 d n a 等。这其中人脸因其具有直接、易于操作和稳定性强等优点，而深受 欢迎。另外，通过对人脸特征点分析，还能获得种族、性别、年龄等重要信 息。 自动人脸识别技术在很多方面都有广泛的应用前景。在安全监控领域可 用于小区视频监控、案犯追踪、门禁系统等：在智能身份认证领域，各种信 用卡、身份证、护照等持有者的身份认证有很好的应用价值，在家庭娱乐等 方面都有不少有趣的应用，比如能够识别主人身份的智能玩具、脸部遥控的 虚拟游戏等等。此外人脸识别研究涉及到模式识别、图像处理和神经网络等 学科，因此对人脸识别技术的深入研究对这些基础学科的研究发展还有巨大 的推动作用。 1 2 人脸识别研究的背景 人脸识别的研究已经有很长的历史，可以追溯到2 0 世纪五、六十年代。 但是，真正的自动人脸识别的研究是从2 0 世纪7 0 年代的k a n a d e l 2 1 和k e l l y d l 开始的，当时采用的技术基本上都是典型的模式识别技术。随着计算机性能 的提高，从80 年代到9 0 年代初期，人脸识别技术得到了很大的发展并进入 k h 哈尔滨t 程大学硕+ 学何论文 了实际应用领域。在这一阶段，基于人脸外貌的统计识别方法得到了很大的 发展，其中e i g e n f a c e s 1 和f i s h e r f a c e s p l 在大规模的人脸数据库上进行的实验 得到了相当不错的结果。 美国9 1 1 事件以来，人脸识别作为计算机安全技术在全球范围内迅速发 展。人脸识别技术在世界范围内得到广泛的关注，更多的研究开始集中在基 于视频的人脸识别上面。视频下的人脸识别系统主要是针对视频图像序列进 行分析处理，它通常涉及到人脸检测、人脸跟踪、特征提取、人脸识别几个 过程。其中，人脸检测跟人脸跟踪在广义上讲，可以合并为人脸检测。 近些年来，随着计算机计算能力的加强，基于视频流下的人脸识别发展 迅速，各种面向复杂应用背景的视频人脸识别系统也随之涌现。随着信息安 全、视频监控、访问控制等应用领域的发展需求，基于视频流下的人脸识别 已成为人脸识别领域最为活跃的研究方向之一。由于基于视频流下的人脸识 别系统具有如此大的应用前景，它引起了许多国家的高度关注。国内外众多 的大学和研究机构，如美国的c m u 睁刀、m i r l 、u i u c 睁1 0 1 大学、英国的剑桥 大学n h l 2 1 、日本的t o s h i b a 公司3 d 4 1 和国内的清华大学和中科院自动化所等单 位都对基于视频的人脸识别进行了广泛而深入的研究。 1 3 人脸识别研究内容及难点 1 3 1 人脸识别研究内容 一般来说，一个完整的人脸识别系统包括人脸检测，人脸特征提取和人 脸识别这三个过程。主要就是通过图片或视频获取图像，对其进行人脸检测， 确定其中人脸的位置和大小，然后对检测到人脸进行特征提取，并与人脸库 进行比对，最终识别每个人脸的身份。如图1 1 是一个简单的人脸识别系统 流程图。 图1 1 人脸识别系统流程图 1 人脸检钡u ( f a c ed e t e c t i o n ) 此过程从广义上讲包括人脸检测，人脸定位，人脸跟踪等几个方面。狭 2 卜 f p l l l l l k 、 卜 哈尔滨_ t 程大学硕十学位论文 义上的人脸检测则是指给定任意图像或视频，然后确定其中是否存在人脸， 如若存在，则确定人脸的位置和大小1 。本文中提到人脸检测都是指其狭义 的定义。人脸检测的结果直接关系到后面两个过程的准确性。 2 人脸特征提取( f a c ef e a t u r ee x t r a c t i o n ) 人脸特征提取就是采用某种方式，将表示人脸的重要信息提取出来，以 此来识别人脸，并且该过程既要保持多样性和唯一性，又要实现图像数据的 降维。 3 人脸识另l j ( f a c er e c o g n i t i o n ) 人脸识别就是输k ( 查询) 场景中静止图像或者视频，使用人脸数据库识 别或验证场景中的一个人或者多个人n 刀。人脸识别分为两类：一类是确认， 它是一个一对一进行图像比较的过程，也就是确定是不是本人的问题。另一 类是辨认，它是一个一对多进行图像匹配比对的过程也就是判断一个人是谁 的问题。 1 3 2 人脸识别的难点问题 计算机无法像人类一样轻易地识别出图像或者视频中的人脸。这其中存 在很大的困难，主要是因为，人脸是非刚性对象，会随着表情、年龄等的变 化而发生改变，并且人脸识别受很多不确定性因素的影响引，主要包括：+ ( 1 ) 光照：带有人脸图像的图片或者视频，因外界光照环境的不同，而影 响着人脸识别的性能，这也是现阶段众多的人脸识别研究者们一直要解决的 问题； ( 2 ) 采集设备：目前人脸图像的采集设备很多，如数码相机、摄像机和扫 描仪等，但是各种采集设备的成像原理不同，分辨率也不同，导致不同的采 集设备采集的人脸之间识别效果差； ( 3 ) 姿态：受人脸姿态的影响，不同侧面的人脸的特征有很大的差异： ( 4 ) 装饰：人脸的一些特殊的装饰如眼镜、胡须等，也会影响人脸识别的 性能： ( 5 ) 遮挡：这也是严重影响人脸识别的重要因素，因为对人脸的遮挡，会 导致一些人脸识别所需要的重要信息丢失； ( 6 ) 人脸表情：同一人脸的不同面部表情图像一般也会有很多的差别。 k 哈尔滨t 程大学硕士学位论文 由于受到内外条件的影响，人脸识别性能不稳定，安全性能低。要想让 人脸识别技术，更加智能、高效地为人类服务，必须很好的解决这些问题对 识别性能的影响，这也是目前的热点问题。因为人脸识别中采集的信息可能 是在用户未知的情况下进行的，可能存在侵权问题而产生法律纠纷旺们。总之， 人脸识别已经成为一个具有巨大发展前景而又极具挑战性的课题。 1 4 人脸图像数据库及性能评价指标 大多数人脸数据库是为了特定领域的人脸识别算法而建立的，由于人脸 模式的复杂多变，想要建立一个全面、有效的人脸检测训练图像库是比较困 难的。我们可以对人脸识别数据库里的图像进行加工，使之可以被用来作为 检测训练集。研究者提出了很多优秀的人脸检测算法，但是绝大多数的实验 结果都是在不同的人脸数据库上进行，不具有可比性，不能很好地区分不同 算法之间的优劣。 1 4 1 人脸图像数据库 人脸检测、识别算法需要在人脸训练数据库上进行训练、测试。下面将 简要介绍国内外主要的一些公共人脸数据库，特别是一些大规模的人脸数据 库。- ( 1 ) f e r e t 人脸数据库口 由美国国防部自主的f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g yt e s t ) 项目创建， 包含1 4 0 5 1 幅多姿态、不同光照条件、不同表情的灰度人脸图像，是人脸识 别领域应用最广泛的人脸数据库之一。 ( 2 ) p i e 人脸数据库网 由美国卡耐基梅隆大学创建，包含6 8 个人的4 1 3 6 8 张面部图像，涵盖 1 3 种姿态、4 3 种光照和4 种表情变化。最近，p i e 数据库进行了扩展：人数 增加到3 3 7 ，图像数量超过7 5 力张，图像分辨率也显著提高( 两f j 艮距离超过 4 0 0 像素) ，并且图像分成4 个时间段来采集( 总的时间跨度为6 个月) 。 ( 3 ) a r 人脸数据库口玎 由西班牙巴塞罗那计算机视觉中心创建，包括1 1 6 人的共计3 2 2 8 幅人脸 图像，是在不同光照、表情、遮挡的条件下采集的，并且分两个不同的时间 4 哈尔溟t 平挈大学硕十学佗论文 段采集，中间间隔两个星期。 ( 4 ) m i t 人脸数据剧划 由美国麻省理工学院媒体实验室创建，包含1 6 个人的脸，每个人2 7 幅 在不同光线、不同尺度、不同头部角度情况下的图像。 ( 5 ) y a l e b 人脸数据库1 由耶鲁大学计算视觉与控制中心创建，包含了l o 个人的5 7 6 0 幅的共九 种姿态、6 4 种不同光照条件下采集的正面人脸图像。其中包含姿态和光照变 化的图像是在严格控制的条件下采集的，主要用于光照和姿态问题的建模与 分析。 ( 6 ) a t & t 人脸数据库瞄哪 由英国剑桥大学a t & t 实验室创建，包含4 0 人，每人l o 张不同姿态、 表情等变化的图像。该数据库早期经常被用来进行算法测试，但因变化模式 较少，多数算法的识别率都能达到9 0 以上。 ( 7 ) l f w 人脸数据岸2 7 1 由马萨诸塞大学a m h e r s t 分校的计算机视觉实验室创建，包含5 7 4 9 人的 1 3 2 3 3 张图像，其中的1 6 8 0 人有两张或两张以上的图像。与绝大多数人脸数 据库不同，此数据库中的图像全部来自网络，因此采集条件是完全可控的。 ( 8 ) c a s p e a l 人脸数据剧2 幻 由中科院计算所j d l 实验室创建，包含了1 0 4 0 名中国人共9 9 4 5 0 幅头 肩部图像。包含了姿态、表情、饰物和光照四种主要变化条件，部分入脸图 像具有不同的背景、距离和时间跨度。该数据库定义了标准的训练集和测试 集。 1 4 2 性能评估 ( 1 ) 人脸检测的评价指标 对各种人脸检测方法作性能上的对比，无疑将会促进人脸检测技术的发 展。虽然国际上目前对人脸检测算法的性能评价还没有一个公认的统一标准， 但是研究者们在说明人脸检测结果的性能时，一般都会关注如下三个指标： 检测正确率( t r u ep o s i t i v er a t e ) 哈尔滨t 稗大学硕+ 学位论文 检测正确率= 嘉鬈墓翼塞器，。 c ， 检测正确率越高，说明该检测系统对人脸的接受能力越强。 错误检测率( f a l s ed e t e c t i o n ) ： 错误检测率是指人脸检测系统将不是人脸的区域错误地认为足人脸，它 反眯了检测系统对非人脸的排除能力，与测试集中图像的尺寸、背景复杂程 度等有关，由下式定义： 错误检测率= 页主蔫冀x 。 ( ，- 2 ) 有些检测算法可以给出很高的检测率，但是其错误检测的数量有可能是 非常巨大的。 检测速度( d e t e c t i n gs p e e d ) ： 速度应该是每个实用系统都必须考虑的一个关键问题。大部分应用领域 需要在线实时地检测人脸，人脸检测要走向实用，就必须实现实时检测的要 求。在检测f 确率和错误检测率符合要求的基础上，检测速度越快越好。 鲁棒， 生( r o b u s t n e s s ) ： 鲁棒性就是系统的健壮性，反映了检测系统在各种复杂条件下，保持某 个性能指标不变的能力。如果系统在大规模的参数( 如环境、光照等) 变化 的情况下，仍能保持渐近稳定，则称系统的鲁棒性好。 这四个标准有些是相互制约的。在具体实现时，应根据不同的场合，设 定不同的参数指标。 ( 2 ) 人脸识别的评价指标 人脸识别通常包括两类问题：一类是假定输入的人脸一定是人脸库中的 某个个体并判断其身份；另一类是先要对输入人脸是否在已知人脸库中做出 判断，如果是，则给出其身份。多数人脸识别方法因其采用不同的测试集数 据，不同的测试方法，使得实验结果之间不具有可比性，因而实验结果也不 代表统计性结论。用于人脸识别的人脸识别库，我们已经提过。综合人脸识 别两类问题，我们给出如下评价标准： 识别率( r e c o g n i t i o nr a t e ) ： 6 哈尔滨t 稗大学硕十学位论文 被正确识别到的人脸数目与原数据库内包含的人脸数目的比值。识别率 越高，表明识别技术对人脸的辨别能力越强。 拒识率( r e j e c tr a t e ) ： 分为正确拒识率和错误拒识率。所谓正确拒识率是指非训练样本库的人 被正确拒识的概率，对于门禁系统要求1 0 0 ；所谓错误拒识率，是指属于 训练样本库内的人被拒识的概率，对于门禁系统这个值要尽可能低。 识别速度( r e c o g n i t i o ns p e e d ) ： 相对于人脸检测，人脸识别的速度在用户配合的情况下可以稍微放宽， 比如门禁系统、考勤系统。但是，在识别率达到满意的前提下，识别速度依 然是越快越好。 鲁棒性( r o b u s t n e s s ) ： 反映了识别系统在各种复杂条件下保持某种性能不变的能力。 这四个标准，在某些情况下也是相互制约的。如在开集识别中，识别率 的提高同时也会导致错误拒识率的提高等。 本文的主要工作及内容安排 经过近几十年的发展，人脸识别研究已经有了很大的突破。本文的主要 工作是查阅了大量与本课题相关的国内外文献资料，研究了人脸检测和识别 的基本理论和关键技术，重点讨论了在基于视频流下的人脸检测、跟踪、特 征提取和人脸识别等问题并进行系统实现。 基于视频流下的实时人脸识别系统的主要目的是建立一个实时系统，本 系统在w i n d o w s 系统环境下，通过普通数字摄像头作为系统外设获取视频， 采用v i s u a lc + + 编程软件和i n t e lo p e n c v 进行软件编程。采用改进的 a d a b o o s t 学习训练算法和基于c a s c a d e 算法分类器的检测架构从视频中检测 出人脸，利用c a m s h i r 跟踪算法对检测到的人脸进行跟踪。对检测到的人脸 图像进行光照、大小的归一化，利用分块加权的( 2 d ) 2 p c a 算法提取人脸的特 征并选出有用的特征，得到降维的特征空间，然后采用模糊分类中的最大隶 属度原则进行决策，辨别出视频流中人物的身份。 系统的基本框架如图1 2 所示： 7 哈尔滨工程大学硕+ 学位论文 图1 2 人脸识别系统基本框架 本文将用如下五章论述所做的工作。 第一章为绪论部分，由对生物特征识别技术的优势介绍引出人脸识别， 简述本文的研究目的和意义，概述了国内外人脸检测与识别的研究历史及现 状、人脸识别研究内容及难点，人脸数据库及人脸识别性能评价标准。 第二章将对人脸检测、人脸识别中的常用方法及相关技术进行概述。 第三章主要介绍本系统中所采用的人脸检测与跟踪方法，主要包括：经 典a d a b o o s t 算法用于人脸检测的基本理论，样本的采集与制作，级联分类器 及检测和基于颜色概率模型的c a m s h i f t 人脸跟踪方法。 第四章主要介绍人脸特征提取与识别的方法。通过介绍一系列基于主成 分分析的经典特征提取算法，重点介绍本文采用的分块的w ( 2 d ) 2 p c a 特征 提取算法。 第五章在v c + + 6 o 的开发环境下，辅助i n t e l 的o p e n c v 开发源库，编 程实现基于视频流下的人脸识别系统，并给出相关的实验截图。 8 哈尔滨t 程大学硕十学位论文 第2 章人脸检测与识别方法概述 2 1 人脸检测与跟踪方法概述 在基于视频流下的人脸识别系统中，人脸检测与跟踪是两个相互独立又 密不可分的问题。人脸检测是系统实现的基础和前提，能否正确地从视频中 检测出人脸的位置，对系统后续的特征提取和识别有着重大的影响。人脸跟 踪是可以看作是在人脸检测的基础上进行的，两者相互关联。近几年来，随 着网络的发展，视频中人脸检测与跟踪有着广泛的应用前景，比如说视频会 议、远程教育、视频监控等。与基于静态图片的技术相比，视频图像提供了 更丰富的时间和空间信息，但是视频中的人脸检测与跟踪有着更高的要求， 针对这些要求研究者也提出了许多新的人脸检测与跟踪方法。 2 1 1 人脸检测 人脸检测的主要目的是把输入图像分成为两部分：人脸区域和非人脸区 域。早期做人脸识别的研究者大都假设人脸处于单一背景条件下。因此，他 们所采用的人脸检测方法也相对比较简单。随着人脸识别研究的进一步的深 入，人脸检测的背景越来越复杂，而在此条件下检测出人脸是一个极具挑战 的课题。人脸检测到目前为止，研究已经有了很大的突破，出现了很多人脸 检测的方法，我们把这些方法分成如下两大类：( 1 ) 基于人脸规则的方法；( 2 ) 基于统计和机器学习的方法。其中基于人脸规则的方法又分为基于先验知识 的方法、基于肤色模型的方法和基于模板匹配的方法；基于统计和机器学习 的方法又包含基于支持向量机法、基于特征脸法、人工神经网络法和基于积 分图像特征法。下面详细介绍一下这些人脸检测方法： ( 1 ) 基于先验知识的方法 基于先验知识的方法是利用研究者关于人脸的先验知识导出来的规则来 进行人脸检测印。这些规则是研究者依据人脸面部器官的对称性、灰度差异 等先验知识而制定出来的。比如在一幅图像中出现的人脸，通常具有互相对 称的两只眼睛、一个鼻子和一张嘴，灰度图像中眼睛要比脸上其他地方暗等 9 哈尔滨i ：群人学硕十学何论文 等。特征之间的关系可以通过人脸面部器官之间的相对距离和位鹭关系等来 描述。这种方法存在的问题是难以设计人脸特征间的规则。因为人脸是千变 万化的，如果规则制订的规则过于严格，真正的人脸可能会不能通过所有的 规则而导致检测失败；如果规则门槛太低，又可能会导致较高的虚警率。这 种方法的典型代表是y a n g 等在1 9 9 4 年提出的基于镶嵌图的人脸检测方法p 叭。 他们将系统分为三层，在第一层，通过扫描输入图像的窗口和应用每个位置 的规则集，找到所有可能的人脸候选区，第二层在上一层检测出的人脸候选 区域的基础上进行进一步的检测，所用的规则基于更详细的面部特征。第三 层是在第二层检测的人脸候选区域中进行直方图均匀化，然后进行眼睛和嘴 唇的边缘检测，从而束确定人脸。该方法对f 面人脸检测有效，但是不适用 于多姿态的人脸检测，不过这种由粗到细的思想对以后的研究工作有很大的 积极影响。 ( 2 ) 基于肤色模型的方法 1 在彩色图像中，肤色是区别人脸与非人脸的一个很显著的特征。因 此，我们可以利用人脸的肤色在彩色图像中检测人脸。这种方法的最大 优点是对姿态变化不敏感，具有相对的稳定性。 ， 人脸检测常采用的颜色空间有：y c b c r 颜色空间、h i s 颜色空间、 r g b 颜色空间等，这些颜色空间对人脸皮肤都有比较好的聚类特性。常 用的肤色模型有高斯模型、混合高斯模型和直方图模型。t e r r i l l o n 等p u 通过比较高斯模型和混合高斯模型在不同颜色空间中的性能，发现一般 使用混合高斯模型能更好地描述肽色区域的分布。t e r r i l l o n 等还指出， 最终影响检测性能的因素应该是不同颜色空间中“肤色 与“非肤色” 区域的重叠程度。 m i c h a e lj j o n e s 等人对肤色检测问题进行了统计分析，把用直方图模型 和混合高斯模型进行肤色检测的情况【3 2 1 进行比较，认定前者在检测精度和 计算量两者性能上都优于后者；在文献p 习中，文章对s k i nl o c u s 的理论和方 法在不同光照条件下的肤色分布问题做了细致的分析，提取彩色图像中的人 脸面部区域来进行人脸检测。这为解决肤色检测的光照问题提供了一些依据。 在解决光照问题方面，r l h s u 针对不同光照进行补偿后，再检测图像中的 肤色区域p 4 1 ，如图2 2 所示。 1 0 哈尔滨t 程大学硕十学位论文 ( a )( b ) ( c )( d ) 图2 2 肤色检测图 其中图( a ) 为有黄色偏差的图像；图( b ) 为图( a ) 的肤色提取( 白色部分) ：图 ( c ) 为光照补偿后的图像；图( d ) 为图( c ) 的肤色提取。艾海舟等口5 1 采用肤色和模 板相结合的方法进行人脸检测。该方法首先使用h s i 空间的肤色统计模型分 割出可能包含的人脸区域，然后在这些区域中使用平均脸模板匹配和人工神 经网络验证的方法搜索人脸。在单人脸正面无背景测试集和背景复杂、人脸 姿态各异的测试集的实验中均得到了较高的检测率。 ( 3 ) 基于模板匹配的方法 基于模板匹配的方法大多是用归一化去互相关，在图像灰度层次上直接 比较目标模板和候选图像区域之间的相似性，得到表示相似程度的值，如果 与相应阈值比较在一定范围内，则可判断候选图像区域为人脸区域。这种方 法比较简单，在早期的系统中采用得比较多。s a k a i 等”q 人使用眼睛、鼻子、 嘴巴等子模板建模来对图像中的正面人脸进行检测，通过计算子图像和轮廓 模板之间的相互关系去检测人脸的候选区域。 上述为预定义模板匹配的方法，其特点就是简单容易实现，但是不能适 应人脸大小、位置和形状的变化。为了解决此类问题，m i a o 等p 刀人提出了用 于人脸检测的层次模板匹配方法。y u i l l e 等p 町人使用可变形模板建立一个与人 脸特征相匹配的先验弹性模型。该方法用参数化的模板描述人脸特征，选择 使能量函数最小的参数作为最匹配的弹性模型。总之，在基于模板匹配的方 法中，由于模板本身比较粗略，所以这种检测方法精度一般不高，而且计算 量比较大，速度较慢。 ( 4 ) 基于支持向量机的方法 支持向量机( s v m ) 是f l q v a p n i k p 研等在1 9 9 5 年提出的一种新的统计学习理 论，用于分类与回归问题。其基本思想是通过用内积函数定义的非线性变换， 将输入非线性空间变换到一个高维的线性空间，然后在这个空间中求最优分 哈尔滨t 程大学硕十学位论文 类面。其核心思想就是学习机器要与有限的训练样本相适应。 o s u n a 等”训用s v m 方法进行人脸检测，检测结果很好。该方法主要有三个 步骤：人脸学习样本的收集；图像的预处理；人脸检测系统的构造。o s u n a 的方法存在两个不足，一是s v m 的训练需要大量的存储空间，不加选择地收 集样本特别是非人脸样本会影响训练得到的s v m 分类器的性能；二是非线性 s v m 分类器需要较多的支持向量，速度很慢，很难用于实际。此后，p l a t t h l l 提出了称为顺序最小最优化( s m o ) 的支持向量机训练方法，将一个大型的求 解二次规划问题分成一系列最小可能的二次规划问题，能够避免对大型二次 规划问题进行直接求解，极大提高了训练速度，在一定程度上解决了s v m 训 练困难的问题。支持向量机在分类过程中利用l a g m n g e 优化方法将最优分类 面问题转化为其对偶问题，计算的复杂度不再取决于空间维数，而是取决于 样本数，这些特点使其可能解决高维问题。由于支持向量机专门针对有限样 本情况，能解决非线性、高维数等实际问题，成为九十年代术发展最快的研 究方向之一。 ( 5 ) 基于特征脸法 基于特征脸法主要基于k l 变换，基于特征脸的方法中的“模板 与模 。 板匹配中的模板不同，它是从图像中的样本学习得到的。基于特征脸的方法 依靠统计分析和机器学习技术找到人脸和非人脸图像相应的特征。学习的特 征由分布模型或判别函数形成，用于人脸检测。同时，因为计算效率和检测 的有效性，通常需要降维。对于降维方法，该方法根据图像的统计特征进行 正交变换，以消除原有样本之间的相关性，变换得到的特征值所对应的特征 向量就是特征脸。特征脸技术主要是利用样本集合整体离散度来评估转换算 子，但是考虑到整体离散度包含了样本集合中类间离散度和类内离散度，应 尽量降低类内离散度，增大类间离散度，即同类样本尽可能近，不同类样本 尽可能远。对此，有学者引提出了特征脸的改进方法f i s h e r 脸。 ( 6 ) 人工神经网络法 神经网络是一种有效的模式识别方法，利用神经网络的学习能力和分类 能力，可以对人脸样本集和非人脸样本集进行学习，以产生分类器，从而用 于人脸检测。神经网络具有自学习功能，在实现图像识别时，把不同的图像 样本和对应的理想输出输入神经网络，通过自学习、自组织和非线性动力学 1 2 哈尔滨工程大学硕七学位论文 所形成的并行分布方式，将人脸与背景相分离，达到人脸检测的目的。对于 人脸这类复杂的、难以显式描述的模型，基于人工神经网的方法具有独特的 优势。 ， 1 9 9 8 年c m u 的r o w l e y 等人即1 的人工神经网络( a 1 州) 方法，在所有使用 神经网络进行人脸检测的方法中具有里程碑的意义。他们建立了一种三层前 向网：输入层对应2 0 x 2 0 像素的人脸图片；隐含层分为2 6 个单元。隐含层的 输出与输出层相连进行综合判断，输出区间【1 ，1 】的值表示判定的置信度( 接 近一1 为非人脸，接近1 为人脸) 。将输入图片按不同尺度进行放缩以检测不 同尺度的人脸，在每个尺度上所有可能的子窗口都被送入人脸检测器进行判 断是否为人脸，该人脸检测基本框架如图2 4 。 f | 处理 神经h 络 图2 4r o w l e y 的带有图像预处理的神经网络系统 基于人工神经网络的方法还有a n i f a n