（电路与系统专业论文）视频中人脸检测与跟踪技术的研究.pdf

登苎查兰三兰要圭兰竺篓兰。一，。! ! 墨 摘要 视频中的人脸检测( f a c ed e t e c t i o n ) 与跟踪( f a c et r a c k i n g ) 技术是数字监 视系统的核心技术，具有重要学术价值与广阔的应用前景。 提出结构分类器+ s 人脸检测方法。在s v m 人脸检测方法的基础上，针对 彩色视频图像中的人脸检测问题，利用人脸的肤色信息和器官的分布规则，构造 一个结构分类器，实现人脸候选窗的筛选；再用s v l 分类器对人脸候选窗进行确 认。实验表明，该方法较好地兼顾了检测的精度和实时性。 提出基于颜色一梯度方向角直方图的单人脸跟踪方法。提出了颜色一梯度方 向角直方图，它能同时表示图像的颜色特征与结构特征，对它的鉴别能力作了较 为深入的分析。实验结果表明，使用颜色一梯度方向角直方图作为待跟踪人脸的 特征模型，在存在大量类肤色背景的场所中，能稳定地跟踪人脸的自由运动。 基于p c 的v c + + 6 0 应用环境，开发了视频中单人脸自动定位与跟踪实验系 统。本系统从图像采集卡获得视频数据，进行实时处理和分析，具有人脸定位、 单人脸跟踪、录像、回放等功能，跟踪速度达1 5 帧每秒以上。 关键词：人脸检测；人脸跟踪；支持向量机；结构分类器；h s v 颜色模型： 颜色一梯度方向角直方图。 西北犬学工学硕士学位论文 摘要 a b s t r a c t f a c ed e t e c t i o na n dt r a c k i n gi nt h ev i d e oi so n eo ft h ek e yt e c h n i q u e so ft h e d i g i t a ls u r v e i l l a n c es y s t e m i th a sv e r yh i g hv a l u eo fr e s e a r c ha n dg o o df u t u 陀o f a p p l i c a t i o n a na p p r o a c ho f t h ef a c ed e t e c t i o nb a s e do ns t r u c t u r ec l a s s i f i e r & s v mc l a s s i f i e r i sp r o p o s e dt o w a r dt h ef a c ed e t e c t i o ni nc o l o rv i d e o f i r s t ，w eu s et y p i c a ls k i n - c o l o r c h a r a c t e ra n dt h ed i s t r i b u t i n gr u l e so ft h eo r g a no ft h eh u m a nf a c et oc o n s t r u c ta c o n s t r u c tc l a s s i f i e r , w h i c hc a nr e l t l o v em o s tf a c e d i s l i k ec a n d i d a t ef r o mt h ec o m p l e x i t y b a c k g r o u n do f t h ei m a g er a p i d l ys e c o n d l y , s u p p o r tv e c t o rm a c h i n e c l a s s i f i e ri sa p p l i e d t ov e r i 聊n gt h ef a c ec a n d i d a t e sa b s t r a c t e db yas t r u c t u r ec l a s s i f i e rf i l f t h e lt h ea c c u r a t e a n dr e a lt i m eo f t h i sa l g o r i t h mh a sb e e np r o v e db yt h ee x p e r i m e n t a lr e s u l t s a na p p r o a c ho fs i n g l ef a c et r a c k i n gb a s e do nc o l o r - d i r e c t i o n a lg r a d i e n ta n g u l a r h i s t o g r a mi sp r o p o s e d t h ec o l o ra n ds t r u c t u r ef e a t u r e so ft h ei m a g ec a nb ep r e s e n ta t t h es a m et i m e t h ei d c n t i f y i n g a b i l i t yi sa n a l y z e dd e e p l y u s i n gc o l o r - d i r e c t i o n a l g r a d i e n ta n g u l a rh i s t o g r a ma st h ec h a r a c t e rm o d e lo ft r a c k e df a c ep e r f o r m sb e t t e ra n d m o r es t a b l ei nt h ee n v i r o n m e n tw h e r ee x i s t sal o to fs k i n - l i k eb a c k g r o u n d t h i sh a s b e e np r o v e db yt e s t s b a s e do nt h ev c + + o np c ，a na u t o m a t i cl o c a l i z a t i o na n dt r a c k i n gs y s t e mf o r s i n g l ef a c ei sd e v e l o p e d 。t h i ss y s t e mc a r la c q u i r et h ev i d e of r o mt h ev i d e oc a p t u r ec a r d , p r o c e s sa n da n a l y s i si nr e a l t i m e ，a c h i e v ef u n c t i o no ff a c el o c a t i o n ，s i n g l ef a c et r a c k i n g ， k i n e s c o p e ，r e p l a ye t c t h er a t eo f t r a c k i n gi sm o r et h a n15f p m k e y w o r d s ：f a c ed e t e c t i o n ；f a c et r a c k i n g ；s u p p o r tv e c t o rm a c h i n e ；s t r u c t u r e c l a s s i f i e r ；h s vc o l o rm o d e l ；c o l o r - d i r e c t i o n a lg r a d i e n ta n g u l a rh i s t o g r a m 西北大学学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属于西北大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被 查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学 位论文。同时，本人保证，毕业后结合学位论文研究课题再撰写的文 章一律注明作者单位为西北大学。 墨主蓑妻凳霎耋茎? 犰导教师签名：赴 学位论文作者签名：圣丝坳指导教师签名： 0 为l a g r a n g e 系数，我们的问题是对w 和b 求l a g r a n g e 函数的极 小值。 把式( 3 - 4 ) 分别对w 和b 求偏微分并令它们等于0 ，就可以把原问题转化为 如下这种较简单的对偶问题： 在约束条件 d ，咒= o a l 0 ，f _ 1 ，h 之下对q 求解下列函数的最大值： a i + 为最优解，则 ( 3 5 ) q ( 口) = z o , 一专窆 ( 3 7 ) 一，i a i a y y j ( x jxj)i-i i w = a l 咒 加l ( 3 8 ) 这是一个不等式约束下二次函数极值问题，存在唯一解。且根据k u l m t u e h e r 条件，这个优化问题的解须满足 a y ，( w 玉+ 6 ) 一l = 0 ，i = l ，h ( 3 - 9 ) 因此，对多数样本a i * 将为零，取值不为零的a i 对应于使式( 3 2 ) 等号成立的 样本，即支持向量，它们通常只是全体样本中的很少一部分。 求解上述问题后得到的最优分类函数是： ，( z ) = s g n ( w 。j ) + 6 = s 印匹口f m ( 工) + 6 )( 3 1 0 ) 西北大掌工擎砸士学位论文第3 章基于结构分类器与s v m 的人脸检测 s g n o 为符号函数。由于非支持向量对应的a 值均为0 ，因此式中的求和实际 上只对支持向量讲行，而6 是分类阈值，可以由任意一个支持向量用式( 3 2 ) 求得 ( 因为支持向量满足其中的等式) ，或通过两类中任意一对支持向量取中值求得。 3 2 3 广义最优分类面 最优分类超平面是在线性可分的前提下讨论的，在线性不可分的情况下，就 是某些训练样本不能满足式( 3 2 ) 的条件，因此可以在条件中增加一个松弛变量 毒0 ，从而变为： 咒 ( t ) + 6 卜l + 专 - 0 ( 3 - 1 1 ) 对于足够小的盯，只要使 c ( 善) = 第 ( 3 - 1 2 ) i - i 最小就可以使错分样本数最小，对应线性可分情况下的使分类面间隔最大， 在线性不可分情况下可引入约束 2 册dm 4 一m 1 l ( 3 2 2 ) m 2 一m 3 国a n dm 5 一m 3 j 其中国为一个经验阈值。 我们称式( 3 2 2 ) 为结构分类器，利用它，可以从待检图像中快速排除掉大量 的背景窗口，而提取出少量最可能是人脸的候选窗。 s ls 2s 3 s 4 s 5 ( 1 ) 分块示意( 2 ) 对应位置示意图3 1 7 积分图计算示意 图3 1 6 结构分类器 为了便于统计每个分块中相似度的均值，我们引用v i o l a 2 6 i 拘积分图的思 想，从肤色相似度图生成一个相应的积分图i n t e g ： i n t e g ( x ，y ) = s l a n ( x l ，y o ( 3 2 3 ) 其中村蜀只s k i n 表示肤色相似度图，即图3 - 1 7 中阴影部分所有值的和。 3 4 5 设计依据与实验验证 基于肤色相似度图的结构分类器，其中设计依据如下 西北大掌工擎碰士学位论文第3 章基于结构分类器与s v m 的人墼堡测 - - _ _ - - - - - i _ - - 砷- - - i _ _ - - _ _ 1 l - _ - - _ 丽种i - - - _ _ l j l l i i _ - _ _ - - - - _ _ - _ _ - - - _ _ _ - 一 第一、结构分类器用于肤色相似图，利用的是肤色信息，肤色点在色度空间 的聚类特性，更有利于排除复杂背景的干扰； 第二、双眼的分布规则及其典型非肤色特征，使结构分类器几乎不会拒绝真 实的人脸窗口； 第三、引入的积分图，为我们统计任意尺度分块的均值，在速度方面提供了 保证，且算法非常简单。 为了验证基于肤色相似度图的结构分类器的性能，把测试集中的部分彩色图 像转化成灰度图，用相同的结构分类器进行对比实验，统计结果如图3 1 8 所示。 从对比图中可知，基于相似图的结构分类器在排除更多背景窗口的情况下， 仍然保持更低的拒真率。这是困它和用的是肤色信息，更利于排除复杂背景的干 扰，具有更强的稳定性。 【说明：提取率= ( 选取的窗口数船描的总宦口数) 1 0 0 拒真率= ( 被拒绝的人脸数，人脸总数) 1 0 0 1 图3 1 8 对比统计结果 例如：如图3 - 1 9 ( 1 ) ( 2 ) 所示，是同一幅2 8 0 x 3 8 0 像素的彩色图像，先后转化 成灰度图和肤色相似度，用相同的结构分类器、相同的搜索方法进行人脸候选区 提取的结果。搜索方法都是从第l 行第1 列分始。搜索步长为5 个像素，搜索窗 口的尺寸是以l o 为步长，从5 0 到2 8 0 ，阈值取2 0 。总共搜索了2 46 8 4 个窗 口，基于狄度图提取了4 7 9 个人脸候选窗，提取率为1 9 4 ：基于相似度图提取 了2 7 1 个人脸候选窗，提取率为1 。l o 。 西n n l l 北l | n 大n | 掌| l i 工l i b n 擎n l l 砸n n n 士n l i 学n l l l 位i l l l i 论| l l n 文l l | n | 。蠹三妻2 譬窒! 彗忿誊篙皇詈2 当皇：曼竺翌 ( 1 ) 在灰度图上的提取结果( 2 ) 在相似度图的提取结果 图3 一1 9 人脸候选窗的提取对比实验 3 4 6 s 垭确认 由于光照、其它类肤色背景的影响，单纯使用结构分类器提取出来的人脸候 选窗不一定全都是真正的人脸，所以要用第3 3 节训练的s v m 分类器进行确认， 以降低“虚检率”。 7 3 5 实验结果与分析 3 5 1 实验结果 为了验证算法的有效性，我们建立了1 个测试集，共8 2 幅彩色图像，其中5 0 幅 是用图像采集卡采集的，1 9 幅是从网上找的，另1 3 幅是通过扫描仪或数码相机获 得的照片。这些图像中既有单脸图像，也有多脸图像，共1 8 2 个人脸，包括不同 的人脸姿态和表情以及不同的光照等情况。图像的背景都较复杂。图像的大小不 等，均以b m l ，格式存放。 系统中采用了以下二个评价参数： - 漏检率( f a l s er e j e c t i o n ) ：未检测到的人脸数与集合中总人脸数之比； 误检率( f a l s ea c c e p t a n c e ) ：检测到的假人脸数与集合中总人脸数之比。 实验过程中，对待检图像以1 2 的比率进行1 2 次重复采样压缩，得到1 2 级金字 塔图像系列，都是从第1 行第1 列开始，步长为3 个像素，以2 0 x2 0 的窗口进行滑 动扫描，最后，对各级的检测结果进行综合，定位出人脸所在的最佳位置。实验 的计算机平台为：c p u 2 o g h z ，r a m 2 5 6 m ，实验的程序用m a t l a b 6 5 编写。通过 不断调整结构分类器的闽值0 3 ，误检率和漏检率的对比曲线如图3 2 0 所示，当缈 3 1 西北大掌工擎砸士学位论文第3 章基于结构分类器与s v m 的人脸检测 取2 5 时，部分检测结果如i 摹1 3 - 2 1 、2 2 所示 图3 - 2 0 漏检率与误检率对比曲线 图3 1 2 l 实验结果示例l ( 4 ) 针对图3 - 2 1 所示的正面、背景相对较简单的显著人脸，本方法具有很好的检 测效果，这是因为面部的特征比较突出。 西北大掌工擎砸士学位论文 第3 章基于结构分类器与s v m 的人脸检测 - - _ n - _ - - _ - i _ - - - - 砷- - - i _ - _ _ - - _ _ 1 - _ l - _ - - _ l 丽i _ _ _ i 砷i i 面i i i i i l n - - i i i 丽i i i i i i i _ 图3 - 2 2 实验结果示例2 图3 - 2 3 实验结果示例3 图3 - 2 3 所示，左边和右边的人脸不能被正确检测出来，这是因为他们是侧 面，双眼特征不明显，童接被结构分类器排除了。 3 5 2 算法分析 实验结果表明结构分类器与s v m 的人脸检测算法具有良好的检测性能，对 图像的背景没有特殊限制，且可检铡的人脸的最小是尺寸2 0 x2 0 ，最大尺寸因待 图像的不同而异，对光照有较好的鲁棒性，检测正确率较高，误检率较低。本方 法存在的最大缺点就是检测的人脸不能太小，左右倾斜角度不宜过大，且双眼要 比较突出，否则将被结构分类器直接拒绝( 如图3 - 2 3 所示) 。电脑前近距离的视频 图像，一般都可以满足这样的要求，因为肤色模型、s v m 的训练可以离线进行， 如图3 - 2 1 ( 1 ) 或( 4 ) 所示的用图像采集卡获得的2 8 0 3 8 0 的视频图像，检测时间小 于4 0 0 m s 。 3 6 本章小结 本章首先介绍了支持向量机的基本理论，再详细讲述了s v m 的训练过程， 一3 3 西北大掌工擎砸士学位论文第3 章基于结构分类器与s v m 的人脸检测 其中包括样本收集、s v m 的训练方法。主要针对视频中的正面人脸检测问题，提 出了“结构分类器+ s v m ”人脸检测算法，它成功地利用了人脸的肤色信息和灰 度信息，把基于肤色的方法和s v m 的方法的优点充分地结合起来，在结构分类 器中，还隐含地利用了器官的分布规则，并且引入了积分图的思想，极大地加快 了在肤色概率图中统计每个分块均值的速度。检测的过程采用由粗到精的原则， 即先用结构分类器提取人脸候选窗，然后用“s v m 分类器”进行确认，在我们建 立的测试集上的初步实验结果表明，提出的方法获得了较快的检测速度和较高的 检测率。其检测性能还有待于在更大的测试集上作进一步测试。 西北大学工学硕士学位论文第4 章视频中基于颜色梯度方向角直方图的单叁脸堡壁 - - _ n _ _ - - - - i ；- - m - - - i _ _ - - _ _ 1 - _ l - _ - - _ - i i n i - i _ - - _ _ 研i i i i i 葡i _ - i f n - i 丽丽i 前i i j l i l l - 第4 章视频中基于颜色梯度方向角直方图的单人脸跟踪 4 1 引言 基于视频中的人脸检测与跟踪技术，在视频会议、智能人机交互和视频监控 与报警等领域有着广阔的应用前景，所以，对人脸或身体对象等目标的跟踪受到 了世界信息产业界的极大重视。1 9 9 7 年，微软公司总裁比尔盖茨先生来中国作 演讲时，专门指出计算机视觉将是微软公司今后的重要研究方向之一，并播放了 其人脸跟踪系统的演示录像。目前国外对这个课题的研究已经能做到实时检测与 跟踪，如m i t 【6 5 】，c m u 6 6 等，并有一些初期产品推出，但它们仍面临相同的 问题，即放宽约束条件，提高鲁棒性等。 所谓视频中的人脸自动跟踪，是指在当有人走进监控器的监视范围之内时， 能及时地检测出人脸所在的位置及大小，然后在后续帧中确定出其运动轨迹和大 小变化等过程。其核心技术主要包括视频中的人脸检测问题( f a c ed e t e c t i o n ) 和 人脸跟踪问题( f et r a c k i n g ) 。 根据摄像机状态的不同，人脸跟踪问题可分为固定摄像机条件下的跟踪和非 固定摄像机下的跟踪两类。非固定摄像机条件下的人脸跟踪，从机器视觉的角度 来看是十分复杂的，需要解决摄像机的校准、运动目标检测、目标定位、云台控 制等问题，并且非固定摄像机的对目标的跟踪也必须是在线实时的，这显然与问 题的复杂性相矛盾，因此实现非固定摄像机的运动目标跟踪是相当困难的。 本章针对固定摄像机捕获的视频图像，提出了基于颜色梯度方向角直方图单 人脸跟踪方法，设计的颜色梯度方向角直方图，它能同时表示图像的颜色与结构 特征，相对“颜色直方图”而言，能和类肤色背景相区分，使用