（计算机应用技术专业论文）视觉对象跟踪与检测.pdf

浙江大学硕士学能论文 摘要 摘要 自上世纪八十年代，m a r r 提出视觉系统框架以来，计算机视觉得到了长足的 发展，涌现出不少新的研究方向，如图像分割、运动视觉分析、三维恢复重建、 物体建模与识别以及屯体视觉等。本文主要针对视觉对象的跟踪与检测进行研究 和改进。 视觉对象的跟踪与检测包含两方面：( 1 ) 、序列图像中通过时序变化等情况来 判断出目标物体，并且对目标物体的特征进行分析，对其状态进行理解；( 2 ) 、 单幅图像中通过特征将要检测物体定位以及特征信息提取。 视频榆测得出运动的人体目标，经过人脸检测得到确定的人脸区域。人脸特 征点的预定位和调整，实现各个特征提取。特征比对最后进行人体目标的分类与 识别。 序列图像中目标物体的追踪则包括在多幅图像中进行差分比较，定位出目标， 并对目标物体进行特征和状态的分析，理解目标物体的行为，对目标物体的下步 动作进行预判等一系列操作。 单幅图像中目标物体的检测主要是将目标物体从整幅图像中定位出来。首先 在颅先提供的目标物体样板中提取物体的特征( 纹理、轮廓等) ，再对输入的图 像定义出检测窗，在检测窗内提取特征并与样板特征进行比较和匹配。 本文在介绍了视觉对象的跟踪与检测领域的一些相关的技术发展和改进过 程，包括视频对象跟踪技术、人脸检测技术、人脸特征检测技术。提出了运动目 标的实时追踪与识别方法。该方法通过时间差分获得运动物体信息，通过轮廓分 割和提取，得到归一化的向量。通过主元分析法对运动物体的形状信息分类，并 通过状态转移情况统计，进行下一状态情况预测。本文针对人体图像中人脸信息 处理提出人脸特征检测技术。人脸特征检测技术应用人脸检测技术来缩小人脸范 围，提高特征搜索精度，同时应用人脸特征点初步定位方法，通过多人脸模板映 射，对映射后的人脸进行平移、伸缩、旋转扰动，使初步特征点定位逼近期荦值。 最后在初步定位的基础上，对定位细节通过梯度向量进行调整。 关键词视觉对象，检测，跟踪，人体运动，特征点 浙江大学硕士学位论文 a b s l r a c t a b s t r a c t r e s e a r c h e so nc o m p u t e rv i s i o nh a v eb e e nb o o m i n gs i n c e1 9 8 0 s ，w h e nm 舱r p r o p o s e dt h ef m m e w o r ko ft h ev i s u a ls y s t e m al o to fn e wf i e l d sh a v ee m e 唱e d ，s u c h 私i m 雒r es e g m e n t a t i o n ，v i s 吡lm o t i o na n a j y s i s ，3 dr e c o n s t r u c t i o n ，m o d e l i n g 锄d r e c o g n i t i o n s ，s t c r c o v i s i o n 粕de t c t h i st h e s i sf o c u s e so nt h es t u d yo fv i s u a it a 唱e t d e t e c t i o n v i s u a lt a r g e td e t e c t i o na n dt r a c “n gc o n t a i n st w oa s p e c t s ( 1 ) o b j e c t sd e t c c t i o n ， f b 咖r ea n a l y s i s ，s t a t ea n db e h a v i o ru n d e r s t a n d i n gi ni m a g es e q u e n c e s ；( 2 ) o b j e c t s l o c a l i z a t i o n 粕df c a t u r ee x t r a c t i o nj nas i n g l ei m a g e u p o nt h eh u m a no b j e c td e t c c t c d nv i d e o ，f a c er e 鲥o nw 1 lb el o c a i i z e dt h m u g h f a c ed e t e c t i o n t h e n ，a l lt 1 1 ef a c i a lf e a t u r e sa r ee x 仃a c t e db yf b a t u r ep r e - p o s i t i o na n d a d j u s t i n g t h ef e a t u r e s c o m p a r i n gg e t sh u m a nb o d y sc l a s s i f i c a t i o na n di d e n t i 仃c a t i o n t r a c i n gi nt h ei m a g es e q u e n c e si n c l u d e st e m p o r a ld i 竹b r e n c ea n a l y s i s ，o b j e c t i o c a “z a t i o n ，f e a t u r ea n ds t a t ea n a l y s i st ou n d e r s 协n dt h eb e h a v i o r so fo b j e c t s b e s i d e s ， t h en e x ts t a t eo f o b j e c t sc a nb ep r e d i c t e d ， t h em a i np m c e s so fo b j e c td e t e c t i o ni nas i n g i ei m a g ei s l o c a l i z i n gt h et a 唱e ti n m ei m a g e g i v e ns o m ei m a g et e m p l a t e s ，t h ef c a t u r e so fo b j e c t si nt h e ma r ee x t r a c t e d ， s u c h 髂t e x t i l r e sa n dp r o f i l e s w h e n wi m a g ec o m e s ，t h ed e t c c t i o nw i n d o wi sd e 行n e d ， a n df e a t u r c si nt h ew i d o wa r ee x t r a c t e dt 0c o m p a 陀w i t ht h o s et e m p l a t e s t h i sp 印e ri n t m d u c e st c c h n o l o g yd e v e i o p m e n to fv i s u a lo b j e c td e t c c t i o na n d 灯a c k i n 舀i n c l u d i n gf a c ed e t e c t i o n ，f a c i a lf e a t u r ed e t c c t i o n ，v i d e oo b j e c tt r a c k i n g w e a l s op r o p o 辩ar e a l - t i m em o v i n gt a 唱e t 仃a c k i n g 卸di d e n t 讯c a t i o na l g o r i t h m m o v i n g o 场e c t s i n f o m a t i o ni so b t a i n e d b yt c m p o r a ld i 腩r e n c ea n a l y s i s t h r o u 曲 g m e n t a t i o na n dc o u n t e re x t m c t i o n ，w eg c ts t a n d a r d i 盈t i o nv e c t 0 l0 b j e c t ss h a p e i n f o n t i a t i o nh a sb e e nc i a s s i f i e db yp c a t h en e x ts t a t cf o r c c a s tt h r o u 曲t h es t a t i s t i c s o ft h es 组t et r a n s f e r r i n g f a c ef e a t u r ed e t e c t i o ni s p r c s e n ti nt h i sp a p e lt h es e a r c h i n g s c o p ei sn a r m w e db yu s i n gf k ed i c t i o n t h es c o p ei sf u r t h e rs t r c n 垂h e n i n gr e s t r i c t e d b yf c a m m s f i x e dr a t i oi n f o 帅a t i o l i b yt 啪s f e r r i n g ，s c a l i i l g ，m t a t i n gt h ei n i t i a l i o c a l i z a t i o no ft l l ef e a t u r ep o i n t s ，w em a k ef b a t u mp o i n tp o s i t i o n i n ga p p r o x i m a t e e x p e c t a t i o n s a tl a s ts t e p ，、v ca d j u s tl o c a t i o nd e t a i l st h r o u g ht h eg r a d i e n tv e c t o l k e y w o r d s v i s u a it a 唱c t ，d e t c c t i o n ，t r a c k i n g ，h u m a nm o t i o n ，f e a t u r ep o i n t 新江大学硕士学位论文 图目录 图目录 图1 1m 雅r 视觉计算理论框架2 图2 一l 视觉对象跟踪与检测的分类结构6 图2 2 摄像机坐标系与世界坐标系。1 l 图2 3 对禁区添加五等分线获得2 5 个参考点1 2 图2 4 球门底线边缘添加可口可乐广告效果图1 2 图2 5 人脸模式的特征13 图2 6 各种特征的综合 图2 7 人脸皮肤的色彩分布 图2 8 肤色检测 图2 ，9 边缘方向向量场时示例 图2 1 0 网格分级搜索示意图 1 3 1 4 图2 1 l “人脸”平均幽像和“非人脸”平均图像的识别特征分析1 7 图2 1 2 算法结构图 图2 1 3 检测窗内的矩形特征实例 1 8 图2 1 4 积分图元素值计算1 9 图2 1 5 对于每一个弱特征，进行人脸和非人脸的统汁1 9 图2 1 6 判断正确率比较高的两个弱特征2 0 图2 1 7 分级分类器检测过程示意图 图2 一1 8a d a b o o s t 和c a s c a d e 人脸检测效果图 图2 1 9 简单的h a a 卜l i k e 特征和中心环绕特征的特征原型一2 2 图3 1 通过时域差分得到的运动物体的二值蒙板图2 8 图3 2 腐蚀膨胀后得到的二值蒙板图 图3 3 轮廓搜索，轮廓内像素真值填充蒙板图 图3 4 特征向量轴在新数据坐标系中对应何置3 0 图3 - 5 降维数据通过特征向量的逆矩阵变换后，恢复初始减去的f 均值后回 复到原始坐标系下的数据位置图。3 l 图3 6 传统线性主元分析法( p c a ) 图3 7 非线性交换 图3 8 归一化的二值蒙板图 i 3 2 3 2 浙江大学硕士学位论文 圈目录 图3 9 镜像过后轮廓蒙板的归一化图3 4 图3 1 0 对于检测向量按序映射选取流程图3 5 图3 1 1 单个人体运动情况和两个人体运动情况3 6 图3 1 2 运动过小与人体重叠而造成的漏检情况3 6 图3 1 3 轮廓误检情况 图4 - l 与明星相似度匹配3 9 图4 2 人脸特征点标记示例4 0 图4 3m s n 卡通人腧变换效果4 1 图4 4 明星合成效果图4 l 图4 5 眼睛的h 粕r 1 i k e 情况 图4 6 通过椭圆轮廓逼近来求取人脸对称轴4 3 图4 7 各个特征的区域框定4 3 图4 8 人脸检测得到人脸矩形框，对矩形框缩放，截取得标准化的人脸图像 图4 9 人脸特征点统计星云图4 5 图4 1 0 人脸检测得到人脸对于整幅图像的相对坐标4 5 图4 1 l 平均特征点映射结果4 6 图4 1 2 特征点梯度方向上的像素灰度变化选取4 7 图4 1 3 通过扰动角度目来影响特征点实际定位图4 9 图4 1 4 通过增加扰动因子，初始特征点定位改进效果图4 9 图4 1 5 特征人脸分类提取流程图。 图4 1 6 通过删选得到的1 2 个特征脸5 2 图4 1 7 添加脸型获得特征点初始定位改良效果图5 2 网4 1 8 通过校准使得特征点定位更精确5 4 图4 一1 9 校准不理想效果图5 4 新 l 大学硕士学位论文 第l 章绪论 第1 章绪论 1 1 引言 人类通过视觉识别文字、图片，感知周围的环境。人们通过眼睛与大脑来获 取、处理与理解视觉信息。周围环境中的物体在可见光的照射下，在人眼的视嘲 膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传入大脑批成进行 处理与理解。视觉，不仅是指对光信号的感受，也包括了对视觉信息的获取，传 输、处理、存储与理解的全过程。信号处理理论与计算机出现以后，人们试罔用 摄像机获取坏境图像并转换成数字信号，用计算机实现对视觉信息处理的全过 程。这样，就形成了计算机视觉。 迄今为止，计算机视觉的发展经历了一个较为漫长的过程。最初，它只是应 用于生产流水线，简单模拟人的视觉来执行一些简单、重复件的任务。随着计算 机技术的发展和研究者的努力，计算机视觉能够应对越来越复杂的对象，尤其近 年来对于人体自身的特征和运动的研究和理解越来越受到人们的霞视。 人体对象的运动视觉分析是近年来计算机视觉领域备受关注的方向。它在高 级人机交互、安全监控、视频会议、医疗诊断及基于内容的图像处理与检索等方 面具有广泛的应用前景和潜在的经济价值。而随着模式识别、图像处理、人工智 能这些学科知识的发展。人体的视觉对象研究也越来越精准和快速。 在近年来，随着电子商务的发展，人脸识别在生物认证等发面的需要，促使 人脸检测的研究越来越深入，并且对于环境适应性的要求也越来越高。今天，人 脸检测的应用背景越来越广泛，在基于内容的检索、数字视频处理、视觉监测等 方面都具有重要的应用价值。而人脸的局邢特征( 眼睛、鼻子，嘴等) 是人们之 间区别的主要依据，在人脸鉴别、表情分析、表情合成、入脸合成等应用领域中 有越来越好的前景和价值。因此，人脸特征的定位技术也成为视觉系统中人们努 力改进的重点。 1 2 研究背景 8 0 年代初，m a r r 首次从信息处理的角度综合了图像处理、心琊物理学，神经 生理学及l 临床精神病学的研究成果，提出了第一个较为完善的视觉系统框架。 m a r r 从信息处理系统的角度出发，认为对此系统的研究应分为三个层次，即 浙f 【大学硕士学位论文 第l 章绪论 计算理论层次、表达与算法层次、硬件实现层次。计算理论层次回答系统各部分 的计算目的和策略；表达与算法层次给出各部分的信息表达和实现各部分目标的 具体算法：硬件层次回答如何用硬件实现以上算法。 视觉信息处理分为从下而上的三个阶段。底层视觉：构成所谓的“要素罔”， 包含一些基本的图像特征( 边缘点、直线段、曲线、定点，纹理等) ；中层视觉： 构成对环境的2 5 维描述，即部分的、不完整的三维信息描述；高层视觉：从2 5 维描述进一步得到完整的三维描述。如图1 1 。 假 定 视 觉 | | | | 觉 环 境 的 假 | | 耋 肇由 项局 霾箨 息 到 图1 1m a a r 视觉计算理论框架 在基于视觉理论的框架下。视觉对象的跟踪与检测在近年内得到了良好的发 展。 人的运动的视觉分析涉及到运动检测、目标分类、人的跟踪及行为理解与描 述几个过程。其中运动检测、目标分类与人的跟踪属于视觉的低级和l | l 级处理部 分，而行为理解与描述则属于高级处理部分。 人脸检测系统目前主要通过纹理、形状信息或者两者的结合来进行检 9 1 1 i 。纹 理检测主要通过肤色、人眼等纹理特点明显的特征来进行。而形状信息则运用了 图像像素间的梯度，区域灰度统计等信息。而在检测前通过学习的机制，提取样 本( 真人脸和非人脸) 的特征，然后检测时进行匹配。两在检测过程中通过引入 商斯金字塔分层、多线程、主元分析法、神经网络等方法和模型来提高人腧检测 的精度和速度。 浙江大学硕士学位论文第l 章绪论 人脸特征的定位系统则发展出基于几何特征的方法、基于模板的方法、基于 模型的方法。通过脸部整体与局部特征的相互约束以及不断的迭代和调整使得特 征检测结果与真实特征期望值间逐渐逼近。 1 3 研究意义与目的 视觉对象的跟踪与检测由于检测率和运算速度的原因，在有些方面还未能达 到工业级应用的水平。但是随着计算机性能的改善和视觉技术的发展，视觉对象 的跟踪与检测将会有极广阔的应用前景。例如在以下几方面的应用将会吸引人们 的高度重视： ( 1 ) 、计算机人机交互。计算机与人交互通信，目前最常用的方法是通过键 盘与鼠标。但是随着计算机的日益普及，以图像识别为基础的字符识别，尤其是 手写体与印刷体汉字识别将会有巨大的应用市场。利用计算机视觉方法识别人的 手势、哑语，能够使得残疾人或在特殊工作环境工作的人也能操作计算机。 ( 2 ) 、自动导航。通过计算机视觉获取外界环境的位置、形状与运动速度， 可用于导弹的末制导，无人驾驶车辆或各种移动式机器人的导航。 ( 3 ) 、生产自动化。装配机器人、焊接机器人及各种其他作业的机器人，在 配有视觉系统后能具有更高的作业精度与对环境的适应能力。 ( 4 ) 、多媒体技术、数据库与图像通信。随着技术的发展，传输与存储的信 息不再仅是文字，而可以是图像。而通过运动图像分析或更高层次的物体重建与 识别，可以使图像的压缩比大大提高，提高通信速度和减小存储代价。 ( 5 ) 、医学。各种图像，如x 光照片、显微图片、b 超、c t 与核磁共振图片， 各种内窥镜图片等，通过医生的分析需要大量的人力。f 口视觉方法应_ h j 于分析这 些图片中物体的信息与运动参数，可以良好地给医生重点信息的提醒，辅助医生 做出医疗诊断。而在临床手术中的应用也可以帮助定位与引导。 ( 6 ) 、娱乐业。通过对人体或其它物体的特征检测和变换，可以实现卡通画 效果、油画效果等。而对于人脸的特征提取，可以实现人脸的合成，表情的生成 等。在电影和游戏中，也运用到了虚拟场景的建立。通过现实当中的主要特征提 取来将物体的外形特征、运动状态等映射到虚拟场景中，从而实现非常逼近真实 的效果。 由于目前计算机性能的限制，视觉对象跟踪与检测中某些复杂的计算大大影 3 浙江大学硕士学位论文第l 章绪论 响了运算的时间，也影响了其应用意义。而视觉对象跟踪与检测中的正确率也严 重影响可靠性和其实际可应用范围。而本文的研究在于对视觉对象跟踪、检测中 的运动物体跟踪和入脸特征点定位的技术进行进一步研究，改善检测的正确率与 速度。 1 4 论文组织 本文后续章节将做如下安排： 第二章：概括总结视觉对象检测、追踪中多个方向的研究成果和主要技本方 法，包括人脸对象检测技术、人脸特征点定位技术、视频中运动物体跟踪技术与 视频内的摄像机定标技术。 第三章：详细介绍视频中运动物体追踪与监控技术，重点介绍本文在对轮廓 信息的分类和检测匹配时的改进，引入主元分析法的概念。 第四章：主要介绍了人脸特征点的定位技术。通过弓l 入a d a b 0 0 s t 和c a s c a d e 人脸检测算法及特征区域划分来实现定位点的范围约束。再通过特征点的初始定 位来实现定位过程的预处理，缩短调整的迭代时间。 第五章：对全文方法的总结概括，指出本文所提出方法的贡献和存在的不足， 对以后的研究方向做出展望。 浙虹大学硕士学位论文 第2 章视觉对象跟踪弓检测 第2 章视觉对象跟踪与检测 2 1 视觉对象跟踪与检测概述 计算机视觉是指用摄像机来获取环境图像并转换成数字信号，用计算机实现 对视觉信息处理的全过程。计算机视觉的研究目标是使计算机具有通过幅或者 多幅图像认知周围环境信息的能力。这种能力包括对周围物体几何信息( 大小、 形状、位置、运动等) 的提取。还包括对物体信息的描述、存储、识别与理解。 而视觉对象的追踪与稔测则包括：( 1 ) ，序列图像中通过时序变化等情况来判 断出目标物体，并且对目标物体的特征进行分析，对其状态进行理解；( 2 ) 、单 张图像中通过特征将要检测物体定位以及其信息提取。 序列图像中目标物体的追踪则包括在多幅图像中进行差分比较，定位出目标， 并对目标物体进行特征和状态的分析，来理解目标物体的行为，并且对日标物体 的下步动作进行预判等进一步操作。 甲幅图像中目标物体的检测主要是将口标物体从整幅图像中定位出来。首先 通过在预先提供的目标物体样板中提取物体的特征( 纹理、轮廓等) ，再对输入 的图像定义出检测窗，在检测窗内提取特征并与样板特征进行比较和匹配。 图2 1 大致描述了视觉对象追踪与检测的分类结构。 浙江丈学硕士学位论文 第2 章视觉对象跟踪b 检测 图2 1 视觉对象跟踪与检测的分类结构 2 2 序列图像中的对象跟踪 2 2 1 视频中人体的跟踪与监控 对视频的运动图像序列进行分析处理，包括运动检测、目标分类与目标的跟 踪。 2 2 1 _ 1 运动检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。图像的 生成主要有三个要素：图像捕捉设备，前景目标物体和背景。台差别的序列图像 是通过这三要素中一个或多个要素的变化获取所得，这是跟踪的一个基础。运动 检测实现运动区域的有效分割，这对于目标分类、跟踪和行为理解等后期处理是 非常重要的，因为以后的处理过程仅仅针对图像中的运动区域。然而，由于天气、 6 浙汀夫学硕士学证论文 第2 章税觉对霉跟踪b 拴铡 光照、影子及混乱干扰等造成背景图像的变化，使得运动检测工作有相当大的困 难。下文介绍几种目前常用的方法。 背景减除 当背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像与 背景图像的差分来检测出运动区域的一种技术。当图像捕捉设备和背景这两个要 素均不发生变化或者变化很小的时候，背景减除法一般比较有效率。它一般能够 提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰 等特别敏感。最简单的背景模型足时间平均图像，目前研究人都致力于开发不同 的背景模型，目的是减少场景变化对于运动分割的影响。h a r i t a o g l ui 等| 2 j 利用最 小、最大强度值和最大时间差分值统计场景中每个像素进行建模，并且周期性地 更新背景：m c k e 衄as 等嘲利用像素色彩和梯度信息相结合的背景模型来解决影 子和不可靠色彩线索对于分割的影响；k 删a 帆k 【4 】k 1 9 e fm 【5 】分别采用基于卡尔 曼滤波的背景模型以适应天气和光照的时间变化；s t a u 仃e rc 等1 6 】利用自适应的混 合高斯背景模型，并且实时做更新操作，可靠地处理了光照的变化、背景混乱运 动的等干扰的影响。 时问差分 背景减除法的理想之处在于认为背景要素在图像序列获取过程中一直不变 化，然而图像序列在统计时间漫长的情况f ，累计误差被统计到背景变化中，导 致方法无法收敛。时间差分方法是在连续的图像序列中两帧或数帧间采用基于像 素的时间差分并且阈值判定来提取出图像中的运动区域。例如l i p t o na 等【7 】采用 两帧问差分方法实现从视频图像中获取运动目标，进而用于目标的分类与跟踪； 而c 0 1 1 n sr 【8 】开发了一种自适应背景减除与三帧差分相结合的混合算法，使得从 背景中检测出运动目标更加快速和有效。时间差分运动检测方法优点在于降低了 累计误差的影响，对于动态环境具有较强的自适应性，缺点在于不能完全提取出 所有相关的特征像素点，在运动实体内部容易产生空洞现象，同时对于运动变化 较小和运动负方向得到滞后的边缘。因此，时间差分得到的结果通常需要进一步 的处理。 光流 背景减除和时间差分的方法通常用于图像捕捉发备不变化的情况，然后在面 对实际情况中图像捕捉设备的变化就需要采用新的方法一光流分析。基于光流 方法的运动检测采用了运动耳标随时间变化的光漉特性。m e y e rd 等1 9 i 通过计算 浙江久学硕士学证论文 第2 章视觉对象跟踪与检测 位移向量光流场来初始化基于轮廓的跟踪算法，能够有效地提取和跟踪运动目 标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标，可 以处婵复杂的各要素变化情况。然而，大多数的光流计算方法相当复杂，而对嗓 性的干扰影响没有很好的处理办法，需要特别的硬件装置来应用于全帧的实时处 理。 当然，在运动变化检测中还有一些其它的方法，f r i e d m 锄n 等【l o j 利用扩展的 最大期望( e m ) 算法，为每个像素建立并且自动更新混合高斯分类模型能自 适应地将每个像素分类为背景、影子或者运动前景，对口标运动速度缓慢的情况 和影子影响依然有较好的处理效果；另外，s t r n g ae 也提出了一种新颖的基于 数学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割效 果。 2 2 1 2 目标分类 目标分类的目的是从检测到的运动区域中将对应于目标物体的运动区域提取 出来。如监控目标是人的图像捕捉设备可能采集到的运动物体可以是目标人 体，也可以是车辆，宠物，小鸟等非目标物体，为了便于进一步灯目标人进 行跟踪和行为分析，运动目标的正确分类，提取需要目标，忽略非正确目标是相 当重要的。但是在场景中仅仅存在要检测目标的运动时，这个步骤可以省略。下 面仅给m 两种常用的目标分类方法。 基于形状信息的分类 基于形状信息的分类足对检测出的运动区域进行形状特征的分析，依据这些 特征进行分类。m e y e rd 等1 9 】采用区域的分散度、面积，宽高比等作，勾特征，引 入三层神经网络方法将运动目标划分为人、人群、车_ 手口背景干扰；l i p t o na 等i 7 j 利用分散度和面积信息以及时间一致性约束对二维运动区域进行分类；k u n oy 等 1 1 2 】使用简单的人体轮廓模式的形状参数从图像中检测运动的入。 基于运动特性的分类 在目标物体的运动是周期性变化的情况下，可以采用基于运动特性的分类。 例如c u t l e r r 等通过跟踪感兴趣的运动目标，计算出目标随着时间变化的自相 关特性，因此通过时频化方法来分析目标周期性的运动情况进行人的识别； l i p t o na i l 通过计算运动区域的残余光流来分析运动实体的川性和周期性，同时 它也呈现了周期性的运动特征，据此可以将人区分出来。 斯汀大学硕士学位论文 第2 章视觉肘象跟踪与检测 而这两种方法有时可以结合起来使用【2 ，并且可以结合运动物体色彩或速度 等特征，实现更加准确的分类。另外，s t a u 腩r c l l 5 埂出了利用时间共生矩阵进行 分层分类的方法，它不仅能够实现区分物体，还能够区分行为。 2 2 1 3 目标的跟踪 目标的跟踪是对目标区域中的位置、速度、形状、纹理、色彩等有关特征进 行分析和匹配，常用的数学工具有卡尔曼滤波、c o n d e n s a t i o n 算法及动念贝| 斯 网络等。下面依据不同的跟踪方法来加以分类介绍。 基于模型的跟踪 传统的人体表达方法【16 】有线图法、二维轮廓法、立体模型法等。线图法用直 线来近似身体的各个部分，例如k a r a u l o v al 等【1 7 】建立了人体运动学的分层模型， 用于单目视频序列中人体的跟踪。二维轮廓法通过人体在图像中的投影来表达， 如j us 等【1 8 】提出的纸板人模型，用一组连接的平面区域块来表达人的肢体；n i y o g i s 等【1 9 1 剩用时空切片方法进行人的跟踪；立体模型利用广义锥台、椭圆柱、球等 三维模型来描述人体的结构细节，这需要很大的匹配参数和计算量。例如r o h r k 【2 0 】使用1 4 个椭圆柱体模型来表达人体结构，来产生人的行走的i 维描述； w a c h t c rs 【2 1 】利用椭圆锥台建立三维人体模型，通过在连续的图像帧间匹配三维人 体模型的投影和迭代的扩展卡尔曼滤波方法来获得人运动的定量描述。 基于区域的跟踪 基于区域的跟踪方法利用局部小区域特征进行人体的跟踪，例如w r e l lc 等【2 2 j 将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成，利用岛斯分 布建立人体和场景的模型，通过跟踪各个局部区域块来完成整体的跟踪。基于区 域跟踪的难点是处理运动目标的影子和遮挡，而彩色信息和阴影区域的纹理特性 可以作为一个良好的补充处理办法，如m c k e n n as 等【3 】跟踪过程在区域、人、人 群三个抽象级别上执行，区域可以合并和分离，通过几何约束将许多身体部分区 域组合成人，同时单个的人又组成人群。而区域跟踪器结合人的表面颜色模型， 能够很好地实现遮挡情况下多人的跟踪。 基于活动轮廓的跟踪 基于活动轮廓的跟踪是利用自动更新的封闭曲线轮廓来表达运动目标。如 p m g i o s n 等【2 3 】利用短程线的活动轮廓、结合l e v e ls e t 理论在图像序列中检测和 跟踪多个运动目标；p e t e r f r c u n d n 等【2 4 】采用基于 尔曼滤波的活动轮廓来跟踪非 9 粥盯大学硕士学位论文 第2 章视觉对象跺踩、检侧 刚性的运动物体；i 豫r dm 等【2 5 】将基于活动轮廓的跟踪与可变性模板相结合，利 用随机微分方程来描述复杂运动模型。相对于基于区域的跟踪方法，轮廓表达计 算复杂度更小，如果在轮廓初始化和运动目标初始分开的情况下能够使亨有部分 遮挡存在的连续跟踪，然而初始化通常有相当大的困难。 基于特征的跟踪 基于特征的跟踪是通过与目标区域的特征进行提取，通过提取得特征与先验 特征进行匹配来完成。p o i a n ar 等每个行人用一个矩形框封闭起来，封闭框 的质心被选择作为跟踪的特征。跟踪过程中，只要质心的速度能被区分开来，即 使出现遮挡跟踪仍能被成功地执行。该方法是实现简单，并且能够处理遮挡问题， 但它仅仅考虑了平移运动，需要结合纹理、彩色及形状等特征进一步提高跟踪的 鲁棒性。另外，s e g e nj 等【27 】采用特征为运动轮廓的角点，这些特征点采用基于位 置和点的曲率值的距离度量进行匹配。j a n gd s 等【2 s j 结合卡尔曼滤波的预测方 法，利用区域的形状、纹理、色彩和边缘特征信息建立了模板，通过特征匹配能 量函数最小化来完成运动目标的跟踪过程，特别适合鱼非刚体的跟踪。 2 。2 2 视频中静止物体定位中摄像机定标技术的应用 视频中静止物体一般为保持一个形状或者姿态的刚体。然而由于摄像机镜头 的角度、位置交换或者相机镜头的拉伸，使得静止物体在视频中并不是始终处存 一个固定的位置。 由于要检测物体相对于背景是静止的，因此背景剪除等方法无法应用到此类 物体的检测中。此类物体的检测一般要利用物体本身的特性来建立模型，或者通 过用周围特征物体作为参照物，利用摄像机定标技术【l 】来确定。 建立摄像机坐标系与世界坐标系，如图2 2 。摄像机坐标系与世界坐标系之间 的关系可以用旋转矩阵r 与平移向量t 来描述，关系如下： x c 乓 乙 l r x 。 一rr l l 匕 一1 0 7l z ， l 1 = 肘 x 。 匕 z 。 l r 为3 3 正交单位矩阵；t 为三维平移向量；0 = ( 0 ，0 ，o ) 7 公式2 1 浙疆大学硕士学位论文 第2 章视觉对象跟踪与检测 图2 2 摄像机坐标系。j 世界坐标系。点o 弓x c ，y c ，z c 轴组成摄像机坐标系，x 。，y 。 z 。轴组成世界世标系。空问中一点p 在世界哗标系与摄像机m 标系下的齐次。m 标分别足( x 。 k 2 ，1 ) 7 与( ，y 。，乙。1 ) 7 通过建立线性摄像机模型 铜=享昙： ：雨詈；弹；： f 苇 j r = ，i 彳2 z 。= 脱r 公式2 - 2 f 为相机焦距，m 为3 4 投影矩阵，m l 为摄像机内部参数，也为摄像机外部 参数 通过参照物的投影结果来求解投影矩阵m 。在参照物数量不够时采用等分线 连接。得到交点作为新的参照点。如在球赛视频点播中对足球场球门边线附近区 域用广告牌去替代选以达到在视频点播中的广告作用。通过边缘检测和h o u g h 变 换只能定位球场禁区的边线，得到边线的4 个连接点作为参考点。为了增加定位 浙江大学硕士学位论文 第2 章视觉对象跟踪与检涮 的参考点，对禁区内的边线进行添加等分线，得到新的交点。如图2 3 !l - - -_ 图2 3 对禁区添加五等分线获得2 5 个参考点 再通过所得参考点，解得投影矩阵。将要定位区域点通过投影矩阵得到映射 坐标，进行像素替换，结果如图2 4 。 图2 4 球门底线边缘添加可口可乐广告效果图 2 3 人脸对象检测技术 人脸检测( f a c ed e t c c t i o n ) 是指通过一系列策略对输入图像进行检测，以确定 图像中是否存在人脸以及存在的人脸的位置，大小，姿态等特性。由于其在安全 访问控制、视觉监测、人机界面等领域的应用价值，人脸检测在模式识别与计算 机视觉领域内越来越受到重视。 人脸检测在人眼进行识别时是很简单和快速的过程，然而对于计算机来说确 是一个很有挑战的模式检测问题。其主要难点在于两方面 2 9 l ：一是相机采集的人 脸的内在差异性：人脸具有很复杂的细节，可以由外貌上的差异，肤色、脸型、 五官的不同或者是表情上的变化，眼睛、嘴巴的开与闭等造成不同人脸有1 i 同的 特性；同时人脸上可能有头发、眼镜、胡须、痣等附属物的遮挡，也给人脸的识 别造成了一定的复杂性；二是由于相机采集的外在条件的原因造成即使是同一个 人腧在不同条件下能够存在差异：由于成像角度的问题，造成了人脸的多种可能 曼里查兰堡圭望堕堡兰一墨! 堡堡垄翌墨堡堕! 丝塑 的姿态，如水平旋转、深度旋转、上下旋转；由于外在光照的影响会造成图像亮 度、对比度、阴影的变化同时由于背景颜色反光的影响会造成图像色泽的变化； 由于相机采集时的焦距不同，距离不同也能够导致人脸成像的大小和清晰度的不 同。 计算机在进行人脸检测时要对人脸所特有的模式特征( 如图2 5 ) 进行提取和 分析，对模式特征中最有用的信息进行提取和分析，并将多种模式特征进行组合 可以形成多种人脸检测的方法( 如图2 6 ) 。 简单组合 ( 加权平均等) 图2 - 5 人脸摸式的特征 。贝算嘉釜翼，h 人黼征( 贝叶斯推理等) f 。 艇倚位 统计推断 ( 假设检验等) 启发式综合 ( 知识规j l ! | 推理等) 机器学习 ! 工神经网、支持矢量机等) 模糊决策 ( 模糊推理等) 图2 - 6 各种特征的综合 2 3 1 基于肤色特征和边缘特征的人脸检测 由于肤色特征和边缘特征的计算量相对较小，这些特征用来快速的进行人脸 判断然而单一的肤色模型和边缘特征在一般情况下误检率较高，因此基于肤色 j 3 浙江大学硕士学位论文第2 章视觉对象跟踪b 检测 特征和边缘特征的检测通常用于一个检测系统的初始阶段，用于对人脸位置的初 始定位。通过结合其他判断进行假脸的去除，得到准确的结果。 2 3 1 1 基于肤色特征的人脸检测 由于肤色模型不受面部的细节特征、人脸的位置、尺度、姿态、旋转以及表 情的变化影响，具有一定的稳定性。同时肤色特征明显，且计算量较小，所以肤 色特征用于提高检测速度。 通过统计，人的皮肤的颜色在色度上的差异要远远小于在亮度上的差异。皮 肤颜色在颜色空间的分布是集中在墩色空间的。个较小的区域( 如图2 7 ) 。对于 不同的颜色空间，“肤色”区域有不同的描述“肤色”区域与“非肤色区域”的 重合度也不一样。常用的颜色空间有r g b ( 红绿蓝三元色) 、s h i ( 饱和度，色调、 亮度) 、y i q ( n t s c 制的光亮度和色度模型) 、y u v ( p a l 制的光亮度和色度模 型) 、y c b c ，( c c i r 6 0 l 编码方式的色度模型) 、c i e + a ( 基于色度学的彩色模型) 。 圈2 7 人脸皮肤的色彩分布 肤色用于人脸检测常时采用的不同的建模方法有商斯模型、混合岛斯模型， 直方图模型、直接几何参数描述肤色区域分布范围模型、三维投影模型、基于神 经网的肤色模型、非参数估计。t c m l l o njc 等【3 l l 考察了多个色度空问中分别用高 斯模型和混合高斯模型建立肤色模型来进行人脸测，并且对比结果得出在大多数 情况下，混合高斯模型能够更有效地描述肤色区域的分布。j o n e smj 等【3 2 】在r g b 空间通过“肤色”和“非肤色”的区域分布比较得出直方图模型略好丁混合高斯 浙江大学硕士学位论文第2 章视觉对象跟踪l 了检测 模型。h a d i da 川提出针对固定相机参数前提下的算法，基于s k i nl o c u s 建立肤色 模型，提取彩色图像中的人脸面部区域，能够较好地处理多种光照的情况。 c o m a n i c i ud 等【”】【3 5 l 提出使用非参数的核函数撅率密度估计法，并使用m e a ns h i r 对图像进行局部搜索以查找人脸，该方法对光照和遮挡有一定的鲁棒性，并凡有 较快的检测速度，但是该方法在复杂背景的处理和多个人脸的检测上效果f i 是特 别理想。h s ur l 等【3 6 】提出先对图像进行光照补偿，再检测肤色区域，很好地处 理了图像的偏光，复杂背景和多个人脸检测这些问题，如图2 8 。 图2 - 8 肤色检测：a 、偏黄色光照条件下的人脸图像；b 、图a 中检测到的肤色仄域 c 、光照补偿后的人脸图像；d 、图c 中检测到的肤色区域 s 0 b o n k ak 等i j7 | 提出用肤色和形状特征相结合的方法来实现人脸的定位。在 h s v 颜色空间下对肤色区域进行分割，在租糙分辨率下进行区域增长，连接各肤 色区域。对连通区域，用几何矩的方法进行椭圆的拟合，将类椭圆形状的连通区 域作为候选人脸。t c r r i l l o nj c 等【3 s 】【3 9 】利用傅立叶变换和径向m e l i n 变换来获取最 低的l l 阶几何矩，并通过神经网络对提取的几何矩进行学习，以在二进制图像 中描述各种簇的形状特征，可达到约8 5 的检测率。 2 3 1 2 基于边缘特征的人脸检测 边缘特征检测时，运算量相对较小，可以提高检测的速度。大部分边缘特征 检测利用了人脸轮廓类似于椭圆的这一特性。i c m w 等f 4 0 】先对低分辨率用轮廓模 版匹配出人脸的大致范围，再对高分辨率图像使用s o b e l 算子获得边缘的位置和 方向。连接出完整的人脸轮廓。w a n gjg ( 4 l l 提取边缘特征，并通过广义霍夫 ( h 0 u 曲) 变换抽取椭圆形状信息，并使用一个椭圆环模型来替代椭圆，实现简 单背景的人脸检澳0 。f r o b ab 等【4 2 】【4 3 】采用了基于面向边缘匹配( e o m ) 的方法， 利用边缘强度信息，建立e o m 模版( 空i l 图2 9 ) ，进行模版匹配检测。f r o b ab 等 】还将基于e o m 方法与其它特征相结合，较好地弥补了s t a u 仃e rc 4 2 l j us 【4 3 】方法 在复杂背景下误检率比较高的缺点。 浙江大学硕士学位论文 第2 章视觉对象跟踪b 检测 图2 - 9 边缘方向向量场时不例 2 3 2 提高速度的人脸检测方法 2 3 2 1 金字塔分层处理 采用金字塔分层处理，对图像建它金字塔模型，不同层次为图像的f i 同分辨 率，然后完成从粗分辨率逐渐到高分辨率的搜索。f r o b ab 等又提出先用较大 步长搜索图片得到较粗分辨率情况下的候选区域，在通过这些区域较细分辨率的 搜索来进一步对候选区域进行删选，直到单个像素为止。金字塔结构如图2 1 0 。 ，一， 。：焉二了o _ ：一 ，- ， 羔芝象莲7 矿 矿 矿 图2 1 0 网格分级搜索示意图 lc r a w 等柏】在低分辨率图像中用轮廓