（计算机系统结构专业论文）基于几何活动轮廓模型的视频对象分割与跟踪方法.pdf

山东大学硕士学位论文 摘要 图像序列中运动对象的运动分析是计算机视觉技术的一个重要组 成部分。运动分析包括运动对象的捕获、运动对象的分割、对象的跟 踪、对象的理解等内容。其中，运动对象的捕获、分割、跟踪是进行 运动分析的前提条件，一个良好的分割与跟踪效果是正确进行对象理 解的保证。近年来基于水平集的几何活动轮廓模型在图像处理领域得 到了很大的发展，本文研究的内容是在图像序列中，基于几何活动轮 廓模型的运动对象分割与跟踪技术，目的使计算机视觉系统可以自动 分割目标并进行连续的跟踪，同时在跟踪过程中提取对象轮廓信息。 文中首先介绍了曲线演化理论和水平集方法的基本思想，并深入 研究了基于曲线演化理论和水平集方法的几何活动轮廓模型理论在图 像处理中的应用，分析其优缺点，并针对传统水平集方法计算复杂度 高的问题，提出了一种水平集快速改进方法。水平集的快速改进算法 的思想是只计算包含零水平集曲线的一个较窄带状范围内的网格点的 水平集函数值就可以计算出新的水平集曲线位置，而无须每次迭代都 计算图像中的每个点的水平集函数值，这样大大的缩小了计算量，提 高运算效率；然后围绕几何活动轮廓模型在运动对象分割和对象跟踪 中的应用两个部分进行研究： 在运动对象分割过程中，为了克服传统图像分割算法提取出的运 动对象边界不连续、精确度不高等缺点，提出了基于运动对象的运动 信息和几何活动轮廓模型理论的图像分割方法。首先，使用图像差分 技术，即通过求连续三帧图像的累积差分图像，得到感兴趣( r o i ) 区 域后，以该区域的外接矩形作为曲线演化的初始轮廓曲线。然后，根 据本文提出的几何曲线演化算法，保证轮廓曲线正确收敛在目标边缘， 获得较好的目标轮廓形状曲线，利用行列扫描的方法得到运动目标的 提取模板，从而完整地提取出运动对象，完成分割过程。 在运动对象跟踪过程中，由于运动对象在各帧间位置发生变化， 几何曲线演化算法主要问题是各帧中运动对象初始位置的估计问题。 文中分析了基于k a l m a n 滤波的运动跟踪算法的特点，利用k a l m a n 滤 山东大学硕士学位论文 波算法跟踪后续帧中运动对象的初始大致位置，为几何曲线演化提供 了初始轮廓线，从而实现进一步的运动对象跟踪。 最后通过对运动对象的分割和跟踪算法进行实验检测，验证本文 所提出的算法的有效性。实验表明，通过运动对象分割过程和对象跟 踪两个过程的处理，能够有效地从序列图像中进行准确的对象分割和 跟踪。 关键字：对像分割；对象跟踪：几何活动轮廓模型；k a lm a n 滤波 i i 山东大学硕士学位论文 a b s t r a c t t h em o t i o na n a l y s i st oam o v i n go b je c ti ns e q u e n t i a li m a g e si sa n i m p o r t a n tp a r ti nc o m p u t e rv i s i o nt e c h n o l o g y t h em o t i o na n a l y s i sc o n - s i s t so fm o v i n go b je c tc a p t u r i n g 、m o v i n go b je c ts e g m e n t a t i o n 、o b je c t t r a c k i n ga n do b je c tu n d e r s t a n d i n g t h eo b je c tc a p t u r i n g ，s e g m e n t a t i o na n d t r a c k i n gp r o v id e t h ef o u n d a t i o nf o rm o t i o n a n a l y s i s a n da w e l l - s e g m e n t e da n dt r a c k e dr e s u l tw i l ll e a di n t oac o r r e c to b j e c tu n d e r - s t a n d i n g i nr e c e n ty e a r s ，g e o m e t r i ca c t i v ec o n t o u rm o d e lb a s e do nt h e l e v e ls e t sd e v e l o p e sg r e a t l yi nt h ei m a g ep r o c e s s i n gd o m a i n i no r d e rt o a l l o wc o m p u t e rv i s i o ns y s t e ma u t o m a t i c a l l ys e g m e n t i n ga n dt r a c k i n gt h e o b je c tc o n t i n u o u s l ya n da tt h em e a n t i m ea u t o m a t i c a l l yg a t h e r i n gt h eo b je c tc o n t o u ri n f o r m a t i o n ，t h er e s e a r c hh a sb e e nc o n c e n t r a t e do nt h et e c h n i q u e so fm o v i n go b j e c ts e g m e n t a t i o na n dt r a c k i n gb a s e do na c t i v ec o n t o u rm o d e li ns e q u e n t i a li m a g e s i nt h i st h e s i s ，c u r v ee v o l u t i o nt h e o r ya n dl e v e ls e t sm e t h o da r ef i r s t i n t r o d u c e d ，a n dt h et h e o r yo fg e o m e t r i ca c t i v ec o n t o u rm o d e lb a s e do n c u r v ee v o l u t i o nt h e o r ya n dl e v e ls e t sm e t h o di sd i s c u s s e dd e e p l y ，a n a l y s i s i t s a d v a n t a g ea n ds h o r t c o m i n g ，an e wi m p r o v e dl e v e ls e t sm e t h o di si n - t r o d u c e d t h ec o m p l e xo fc a l c u l a t i n gi sr e d u c e da n dt h es p e e do fc a l c u - l a t i n gi si m p r o v e dg r e a t l yb yt h i sm e t h o d t h e nt h ea p p l i c a t i o no fg e o m e t r i ca c t i v ec o n t o u rm o d e li ss t u d y e di nt h em o v i n go b je c ts e g m e n t a t i o n a n dt r a c k i n g i nt h ep r o c e s so fs e g m e n t i n gt h eo b je c t ，i no r d e rt o c o n q u e rt h e s h o r t c o m i n go fp r e v i o u si m a g es e g m e n t a t i o nm e t h o d ，f o re x a m p l e ，t h e e d g eo fm o v i n go b je c ts e g m e n t e di sn o ts u c c e s s i v ea n dl o wa c c u r a c y ，a n e wi m a g es e g m e n t a t i o nm e t h o db a s e do nm o v i n gi n f o r m a t i o no fo b j e c t a n dg e o m e t r i ca c t i v ec o n t o u rm o d e li sp r o p o s e d f i r s t ，t h ei m a g ed i f f e r - e n t i a lt e c h n i q u ei su s e d ，n a m e l yc a l c u l a t i n gc u m u l a t ed i f f e r e n t i a li m a g e o ft h r e es e q u e n c ei m a g e a f t e rt h er i g i o no fi n t e r e s t ( r o i ) h a sb e e ne s 山东大学硕士学位论文 t a b l i s h e d ，t h ee x t e r n a lr e c t a n g l eo ft h er i g i o ni sr e g a r d e da st h ei n i t i a l c o n t o u rf o rt h eg e o m e t r i ca c t i v ec o n t o u rm o d e l t h e n ，u s i n gt h ea l g o r i t h m b r o u g h tf o r w a r di nt h i sp a p e r ，i te n s u r e st h a tt h ec o n t o u rc o n v e r g e n c eo n t h ee d g eo fo b je c te x a c t l y ，o b t a i n i n gt h ee x a c tc o n t o u ro fo b je c t i nt h ep r o c e s so ft r a c k i n gt h eo b je c t ，b e c a u s et h ep o s i t i o no ft h e m o v i n go b je c ti sd i f f e r e n ti nd i f f e r e n tf r a m e ，t h em a i np r o b le mo fg e o m e t r i ca c t i v ec o n t o u rm o d e li se s t i m a t i n gt h ei n i t i a lc o n t o u r i nt h ep a - p e r ，w ea n a l y s et h ec h a r a c t e ro ft r a c k i n ga l g o r i t h mb a s e do nk a l m a nf i l t e r ， i nt h ep r o c e s so ft r a c k i n g ，w ec o m b i n ek a l m a nf i l t e rw i t hg e o m e t r i ca c - t i v ec o n t o u rm o d e l ，o b t a i n i n gi n i t i a lc o n t o u rf o rg e o m e t r i ca c t i v ec o n t o u r m o d e lu s i n gk a lm a nf il t e r t h ee f f e c t i v e n e s so ft h ep r o p o s e da l g o r i t h mo fs e g m e n t i n ga n d t r a c k i n go b je c th a sb e e nc a r e f u l l yv e r i f i e di nt h et e s t s i th a sb e e ns h o w n i nt h et e s t s ，t h r o u g ht h ep r o c e s so fo b je c ts e g m e n t i n ga n do b je c tt r a c k - i n g ，t h a tt h ep r o p o s e da p p r o a c hc a ne f f e c t i v e l yc a r r yo u ta c c u r a t eo b je c t s e g m e n t a t i o na n dt r a c k i n g k e yw o r d ：o b j e o ts e g m e n t a t i0 1 1 ：o b j o c tt r a o kin g ：g e o m e t rica c tiv o c o n t o u rr o o d ei ：k aim a nfi lt e r i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究作出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：兰百白苤日期：迎& ! s ：1 2 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：址导师签名：蔼塑i 色 日期：z 照肟 山东大学硕士学位论文 1 1 课题研究的意义 第1 章绪论 传统的视频编码标准，如h 2 61 3 4 和m p e g - l 2 获得了较高的压缩 比，并在许多领域得到了广泛的应用。随着多媒体信息的日益丰富， 人们不再满足于对多媒体信息的简单浏览，而是提出了基于对象的交 互、查询和检索等新的要求。多媒体技术正朝着分布式环境下提供交 互式多媒体服务的方向发展。h 2 61 3 和m p e g l 2 都采用基于帧的技术， 不要求对景物进行分割和分析，因而不能支持基于内容的新功能。1 9 9 9 年新一代视频编码压缩标准k l p e g - 4 1 1 诞生，它引入视频对象的概念， 以支持基于内容的交互性和可分级性。b l p e g - 4 的最大特点是基于对象 的编码和基于对象的交互性，它必将在视频检索、视频数据库浏览、 交互式视频购物、虚拟现实、数字图书馆、移动多媒体通信及基于对 象形状表达的视频编辑、远程医疗、教育、视频监控上有广泛的应用 前景。 m p e g 一4 标准本身并没有指定从视频序列中分割与跟踪运动目标的 方法，因此，视频对象分割与跟踪技术是m p e g - 4 成功与否的关键因素 之一。近年来，运动目标的图象分割与跟踪技术是备受关注的前沿方 向，它包含运动目标在图像序列中检测、分割识别、锁定跟踪等过程。 从技术角度而言，运动目标的分割与跟踪技术研究内容相当丰富，主 要涉及到模式识别、图像处理、计算机视觉、控制理论等学科知识。 动态场景中运动的快速分割、目标非刚性运动、目标自遮挡和目标之 间互遮挡的处理等也为运动分析研究带来了一定的挑战。 1 2 视频对象分割与跟踪技术 众所周知，运动目标的分割和跟踪在电子元件检测系统、包装检 测系统、汽车制造检测系统、机器视觉车牌检测系统、生物识别系统、 保安监控系统、基于机器视觉的医疗检测系统中有着广泛的应用。同 山东大学硕士学位论文 样在军事领域中也有多种应用，如：在靶场内捕获试验中的飞机或导弹 等目标并跟踪测量它们的轨迹和姿态；巡航导弹在攻击过程中对路径 的识别、目标定位；机载吊仓搜寻、侦察地面目标；武器指挥系统进 行识别、威胁程度的判断；各种高技术武器系统的模拟训练器中对模 拟目标的跟踪测量等：一些常规武器甚至轻武器也采用运动目标的跟 踪和测量来提高武器的效能。由于运动的分割和跟踪技术在高级人机 交互、军事安全、视频监控、以及基于内容的图像存储与检索等方面 具有巨大的军事意义和潜在的经济价值，从而激发了世界各国科研工 作者的浓厚兴趣，尤其在美国、英国等国家已经开展了大量相关项目 的研究。 1 9 9 7 年美国国防高级研究项目署设立了以卡内基梅隆大学为首， 麻省理工学院等高校参与的视觉监控重大项目v s m a ( v is u a ls u r - y eill a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通民用场景进行 监控的自动视频理解技术。 英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别 的相关研究：i b m 与m ic r o s o f t 等公司也正逐步将基于视觉的手势识别 接口应用于商业领域。 美国s c o r p i u s ( s t r a t e g i cc o m p u t i n go b j e c t d i r e c t e dr e c o n n a i s s a n c ep a r a l l e1 - p r o c e s s i n gi m a g eu n d e r s t a n d i n gs y s t e m ) 系统 是在组合利用并行处理和图像理解系统的研究成果，自动检测、识别 有意义的目标，监视军事目标状态变化，提供军事动向的资料和情报。 系统根据用户的要求及有关的辅助信息，形成预报模型，以指导在输 入图像候选区域中提取有关的特证，进而与模型进行比较。系统采用 了自上而下的解释方式，由一个分系统具体实施解释过程的计划与控 制。 b o o k s 等人在美国斯坦福大学建立了一个图像理解系统a c r o n y m ， 它是一个与任务域无关的、由模型出发的解释系统。用户首先描述应 用域内的预期目标和它们的关系，系统据此分析输入图像，鉴别其是 否为模型化目标，如是则将其分类并同时从图像中提取诸如形状、结 构、目标的三维位置和方向的信息。系统的特点是通用的符号约束来 做几何推理，系统控制策略采用模型驱动。 2 山东大学硕士学位论文 欧洲雪灾预防预报组织利用活动轮廓模型在德、法、瑞士三国建 立雪崩监控与跟踪系统，分析雪崩强度及破坏程度。 1 2 1 视频对象分割技术 在对图像的研究和处理过程中，人们往往只对各幅图像中的某部 分感兴趣，这些部分常被称作目标或前景对象，其他部分则称为背景。 为了辨别和分析目标，需要将这些有关区域提取出来，然后在此基础 上做进一步的处理。图像分割技术1 2 就是将图像分为各具特色的区域 并提取出前景的技术和过程，它是图像处理过程中最关键的技术之一。 如果( x ，y ) 为数字图像像素的空间坐标，g - - 0 ，1 , l ，2 5 5 为像素的灰 度；一幅图像，由m xn 个像素组成，于是图像函数可以定义为一种映 射：肘_ g ，图像在点( 石，j ，) 处的灰度记为( 工，y ) 。设，为定义在一 定区域上一致性测量的逻辑准则。则图像分割就是将图像阵列j 分割成 为若干个邻近且互不交迭的非空子集e ，岛，l 吼，即垦应该满足下列条 件： m ( 1 ) ，= u e t = l ( 2 ) 旦i 曰，= 矽 f o ，i ， ( 3 ) f ( e ) = t r u ey o ，扛l ，2 ，lm ( 4 ) f ( eu b j ) = f a l s e 力，f j ( 5 ) 曩是连通的区域声，f ：1 ，2 ，lm 上述条件不仅定义了图像分割，也规定了进行图像分割的准则： 一幅图像的分割成的所有子区域的总和应能包括图像中所有的像素； 分割结果中各子区域是互不重叠的：在同一子区域的像素应该具有某 种相同特性：在不同子区域的像素具有不同的特性；同一个子区域内 的像素应当是连通的。 图像分割在实际中已经得到广泛的应用1 3 。例如，在医学领域中， 脑部核磁共振( m r ) 图像分割出灰质区域、白质区域、脑脊髓区域等 的应用1 4 1 5 】：在交通图像分析中，把车辆目标从背景中分割出来，以达 到交通监控、统计等目的；在面向对象的图像压缩和基于内容的图像 山东大学硕士学位论文 数据库查询应用中，将图像分割成不同的对象区域作为基元进行处理 以及在工农业、航天航空技术以及通信工程等领域得到广泛的应用， 具有重要研究意义： ( 1 ) 分割的结果常用于图像分析，如不同形式图像的配准与融合， 结构的测量，图像重建以及运动跟踪等。 ( 2 ) 在系统仿真，效果评估，图像的3 d 重建以及三维定位等可视化 系统中，图像分割都是预处理的重要步骤。 ( 3 ) 图像分割可在不丢失有用信息的前提下进行数据压缩，这就降 低了传输的带宽，对提高图像在因特网上的传输速度至关重要。 ( 4 ) 分割后的图像与噪声的关系减弱，具有降噪功能，便于图像的 理解。 近年来，不少学者从事图像分割算法方面的研究，试图找到更有 效的、更好的图像分割算法。 图像分割技术是研究的热点，一直受到研究人员的重视；现己提 出了很多种不同类型的分割算法【6 】【7 1 。图像分割技术可分为三大类：基 于区域的图像分割算法、基于边界的图像分割算法、基于变化检测的 图像分割算法。 基于区域的图像分割技术 基于区域的图像分割方法是利用同一对象区域内部的均匀性，依 照共同的图像属性，如亮度、色彩和纹理来寻找区域中的同质的部分， 并将其划分开。区域分割技术在实际应用中主要有三大类：( 1 ) 阈值化 算法：( 2 ) 区域生长和分裂合并法( 3 ) 基于分水岭分割方法。下面简单 介绍阈值化算法。 ( 1 ) 阈值化分割算法 阈值分割技术的关键在于阈值的选择，通常阈值的选取以灰度直 方图为依据。对于比较简单的图像，可以假定物体和背景分别处于不 同的灰度级，图像被零均值高斯噪声污染，所以图像的灰度分布曲线 近似认为是由两个正态分布函数叠加而成，图像的直方图将会出现两 个分离的峰值，如图1 1 所示。对于这样的图像，分割阈值可以选择直 方图的波谷所对应的灰度值作为分割的阈值。这种分割方法可以推广 到具有不同灰度均值的多物体图像，但是在实际应用中，这种分割算 4 山东大学硕士学位论文 法存在较大的局限性。 灰度 图1 1 阈值的选取 阈值化分割方法的优点是实现简单，对于目标灰度值相差很大的 图像有效。但对于目标与背景或目标之间灰度差异不明显的情况，或 者目标与背景的灰度值范围有较大重叠的图像，阈值分割则难以得到 准确的结果；另外由于阈值化方法孤立地考虑每个像素，没有考虑像 素之间的空间关系，所以对噪声非常敏感：而且这种分割技术的关键 在于阈值的选择，不同的阈值可能会引起完全不同的分割结果。 ( 2 ) 区域生长和分裂合并法 区域生长的基本思想是将具有相似性质的像素集合起来构成区 域，该方法通常先选取种子点集，然后将种子点集邻域内的满足相似 性准则的像素合并到种子点集所在的区域中。 区域分裂的方法是将整幅图像作为原始分割结果，只要当前的分 割结果不能保证足够的均匀性，就将其进行分裂，直到每个区域内部 都是相似的为止。然后再将相邻的区域进行合并。h o r o w it z 等提出了 区域生长和区域分裂相结合的算法，它可以将相邻且具有相似特征的 区域合并，而将具有明显不均匀特征的区域进行分裂，得到较好的实 验结果。 这种图像分割技术思想简单，受噪声的影响较小；但是区域生长 方法固有的缺点是初始种子点集的选择很困难，而且区域合并、分裂 的相似性准则也很难确定，算法实现过程中易产生过分割的现象，边 缘定位也不准确。 ( 3 ) 基于分水岭分割方法 分水岭( w a t e r s h e d ) 是地形学的经典概念，也是图像形态学的一个 主要算子。在图像处理领域，计算分水岭的算法有很多，其中典型的 山东大学硕士学位论文 一种方法是基于浸没模拟( im m e r s i o ns i m u l a t i o n ) 思想，即把图像视 为地形表面，像素的灰度对应于地形高度，其局部最小值对应地形的 洞。设想将地形表面浸入一个湖中，从最小值开始，水会逐渐充满各 个不同的聚水盆地，当来自相邻聚水盆地的水要合并时，若在该处建 立一个堤坝，浸没结束时，所建立的堤坝就对应于区域的轮廓，而聚 水盆地则对应分割区域。 基于边界的图像分割技术 基于边界的图像分割方法即边缘检测方法，它通常借助空间微分 算子实现边缘检测，通过将其模板与图像卷积完成。在图像分割中， 常用灰度的一阶和二阶导数作为边缘检测的依据。现存在多种边缘检 测算子，如s o b el 算子、r o b e r t s 算子、l a p l a c i a n 算子、c a n n y 算子 等。 边缘检测是灰度图像分割广泛使用的一种技术，它是基于在区域 边缘上的像素灰度变化比较剧烈，试图通过检测不同区域的边缘来解 决图像分割问题。在灰度图像中，边缘的定义是基于灰度级的突变， 而且两个区域的边缘当亮度变化明显时才能被检测出来。当区域对比 明显时，分割效果较好，反之较差。另外，边缘检测方法常和基于区 域的方法相结合，以避免过分割，提高分割质量。 基于变化检测的图像分割技术 帧间差分法是经典的基于变化检测的图像分割算法，利用视频序 列中连续的两帧或几帧图像的差异来进行目标的检测。利用公式计算 第k 帧图象与第1 | 一l 帧图象之间的差别，得到差分后的图象q ，然后对 差分后图象q 进行二值化，我们认为当差分图象中某一像素值的差大 于某一给定的阈值时，则认为该像素为前景像素，即认为该像素可能 为目标上的一点，反之则认为是背景像素。即： o k ( x ，y ) = l 五( 工，y ) 一五一。( x ，少) i j ( x ，y ) = 言5 5 翼喜i 五( j 少) 一以_ l ( j ，y ) i 丁 式中：q 差分后图像，r 为二值化后图像，五( x , y ) 为当前帧图象， 6 山东大学硕士学位论文 五一。( x , y ) 为前一帧图像，r 为设定的阈值。 基于帧间差分法的视频目标检测和提取的主要优点为： 1 算法实现简单； 2 程序设计复杂度低； 3 易于实现实时监视； 4 在序列图象中相邻帧的帧间时间较短，因此该方法对背景变化 不太敏感。 然而帧间差分法也有严重缺点，依靠判断相邻两帧图像石( x , y ) 和 五一。( x ，y ) 之间的显著差异来检测运动的目标，虽然算法硬件实现方便， 处理实时性强。但它对突变噪声敏感，易形成空洞现象，而且此算法 得到的检测结果是运动对象的运动轨迹，难以准确判断目标运动区域。 1 2 2 视频对象跟踪技术 通常的图像跟踪i s 方法有四大类：基于模板匹配相关的方法、基于 特征的跟踪方法、基于模型的运动目标跟踪方式。这三种方法各有优 点及缺陷，要根据具体情况来使用。 一、基于模板匹配的追踪( t e m p l a t e 一a t c h i n g - b a s e dt r a c k i n g ) 基于模板匹配的跟踪算法基本思想是：首先得到包含目标的图像 模板，该模板通过图像分割获得或是预先人为确定，模板通常为略大 于目标的矩形、椭圆，也可为不规则形状：然后在序列图像中，将图 象模板与实时图像的在所有可能位置上进行叠加，然后计算某种图像 相似性度量值，比如对灰度图像可以采用基于纹理和特征的相似性度 量，对于彩色图像可以采用基于颜色的相似性度量，其最大相似性相 对应的位置就是目标的位置。 基于模板匹配的跟踪方法目前已有较多的应用，例如在人体运动 分析中将目标人体看作由头、躯干、四肢等身体部分所对应的小区域 块所组成，通过跟踪匹配各个小区域块来完成整个人的跟踪。e s s a 等 在人脸跟踪过程中使用了人脸模板，这个模板也是由一组小的区域组 成。m c k e n n a 等利用区域跟踪器并结合人体表面颜色模型，较好地完成 了多人的跟踪。针对上面提到2 d 的固定模板，z h o n g 等提出了可变形 7 山东大学硕士学位论文 模板( d e f o r m a b le t e m p l a t e ) 来表示一个被跟踪物体。相对于2 d 模板， 可变形模板有以下特点：a ) 对于由于视角改变、物体的运动或者物体 本身的非刚性特征造成的物体变形是鲁棒的：b ) 尽管被跟踪物体在整 个图像序列中是变化的，但是整体结构的描述是不变的；c ) 由于假设 相邻两帧之间被跟踪物体的变形或者运动是不明显的，所以当前帧的 匹配值可以作为下一帧的初始值；d ) 相对于主动轮廓模型，由于其对 被跟踪物体有全局的结构信息描述，所以对部分丢失图像特征或者弱 特征不敏感。基于模板匹配的跟踪还存在运动目标的影子和遮挡问题。 对于阴影的问题，我们可以结合颜色、纹理等信息来加以解决：对于 遮挡问题，可以通过多视角观测、引进预测算法等方法来解决。 二、基于特征的跟踪( f e a t u r e - b a s e dt r a c k i n g ) 基于特征的跟踪算法一般也采用相关算法。在提取特征后，对特 征属性矢量( 点、边缘、线段、小面、纹理、颜色或局部能量等) 作相 关度计算，相关系数的峰值即为匹配位置。基于特征的跟踪算法与基 于模板匹配的跟踪算法一样采用相关测度，只是后者使用目标整体作 为相关计算时的对象，而前者使用目标的某个或某些局部特征作为相 关时的对象。这种算法的优点在于即使目标的某一部分被遮挡，只要 还有一部分特征可以被看到，就可以完成跟踪任务。 基于特征的跟踪包括特征的提取和特征的匹配两个过程。关于特 征的提取，m o r a v e c 提出了利用图像灰度自相关函数的特征点检测算 子；c a n n y 提出了边缘提取算法；s m i t h 等采用s u s a n 算子获得了角点 信息。关于特征的匹配，p o l a n a 与n e ls o n 的文章提供了一个利用点特 征追踪的很好例子，文中将每个行人用一个矩形框封闭，矩形框的质 心被选择为追踪的特征；t is s a i n a y a g a m 同样提出了基于点特征追踪的 算法；n i c k e ls 与h u t c h i n s o n 提出了基于s s d 的特征跟踪算法；s e g e n 与p i n g a l i 使用了运动轮廓的角点作为追踪特征；n 0 1 1e r 等使用了 b l o b 作为跟踪特征来追踪汽车。在基于颜色特征的跟踪匹配中，颜色 特征由于其容易从序列图象或视频中提取、受目标形状变化影响不大、 在单视角观测下对部分遮挡鲁棒、在多视角观测下信息稳定容易建立 各个视角的空间对应关系等优点而被广泛地应用。 三、基于模型的追踪( m o d el b a s e d t r a e ki n g ) 山东大学硕士学位论文 在对刚体( 汽车、飞机等) 进行追踪的时候，更多的是采用基于模 型的追踪算法。其基本思想是：首先用先验知识获得目标的三维结构 模型和运动模型，然后根据实际的图像序列，确定出目标的三维模型 参数，进而确定出目标的瞬时运动参数。这种方法的优点是，可以精 确地分析目标的三维轨迹，即使在目标姿态变化的情况下，也能可靠 地跟踪。但是其缺点在于，运动分析的精度取决于几何模型的精度。 在人体运动分析中，也有很多算法也是基于模型的，比如，k a r a u l o v a 在单目视频序列的跟踪过程中使用了线图模型：j u 等提出的纸板人模 型，它将人的肢体用一组连接的平面区域块所表达，该区域块的参数 化运动受关节运动( a r t i c u l a t e dm o v e m e n t ) 的约束；m a r t i n 等在1 9 8 2 年提出了可见外壳的模型，a g u i a r 等对此模型作了改进，对此模型用 一个个小椭圆作拟合匹配，使模型更逼近人体的结构。w a c h t e r 与n a g e l 利用椭圆锥台建立三维人体模型，通过在连续的图像帧间匹配三维人 体模型的投影来获得人体运动的定量描述，其中，它利用了迭代的扩 展卡尔曼滤波方法，结合边缘、区域信息及身体解析约束确定的身体 关节运动的自由度，实现单目图像序列中人体的跟踪。 1 3 基于活动轮廓模型的图像处理技术 图像分割技术一直是图像处理领域的一个研究热点，现有的图像 分割方法多种多样，而且新的图像分割算法层出不穷。各种算法往往 都是基于特定的领域、特定的成像模式、特定的感兴趣对象，这些问 题的存在使得图像分割至今都没有统一的标准和普遍适用的规则。另 外，鲁棒性是图像分割期待解决的问题。1 9 7 8 年k a s s 、w it k i n 等首次 提出活动轮廓模型【9 】【1 0 】，并成功地应用于各种图像处理相关的应用中。 活动轮廓模型的提出为的图像分割理论及应用带来了新的观点和思维 模式，从而带动图像分割技术的进一步发展。 与传统的图像分割方法相比，活动轮廓模型应用于图像分割，具 有以下显著的优点： ( 1 ) 由于活动轮廓模型在连续状态下实现，所以最终得到的图像边 缘表示可以达到很高的精度，这一点对于图像分割和应用具有非赏重 9 山东大学硕士学位论文 要的意义。 ( 2 ) 通过约束被提取物体的边缘是光滑的，并且融入其它关于物体 形状的先验信息，活动轮廓模型对图像中的噪声和边缘间隙都具有较 强的鲁棒性。 ( 3 ) 使用光滑的闭合曲线表示物体的边缘，避免了传统的图像分割 方法中的后处理过程，如边缘连接等，而且对于物体的形状分析和识 别都具有重要作用。 活动轮廓模型按其轮廓曲线的表达形式不同，可分为参数活动轮 廓模型( 又称s n a k e 模型) 和几何活动轮廓模型。下面将简单介绍一下 参数活动轮廓模型和几何活动轮廓模型。 一、参数活动轮廓模型 参数活动轮廓模型间也称为s n a k e 模型，是由m k a s s 等人于1 9 7 8 年 提出的，在图像中定义一条曲线，曲线的演化是由图像轮廓自身特征 决定的内部能量和图像特征决定的外部能量共同支配的。活动轮廓的 所有属性以及它的运动方式都可以通过一个根据物理运动系统中得来 的能量函数来描述。通过解偏微分方程使这条曲线在移动中能量逐步 趋于最小并最终停止于所要寻找的物体轮廓附近。 s n a k e 模型把目标轮廓定义为图像平面内一条带有能量的参数曲 线v ( s ) = x ( s ) ，y ( j ) 。曲线的总能量可以描述为两个部分，内部能量和外 部能量，其方程表达如下： e 啪畦2e ：啦+ e l 味也蛔脚2 已缸+ 已鲥 参数活动轮廓模型实际上是一个能量最小化模型，其变形过程就 是活动轮廓在外部能量和内部能量的作用下向物体边缘靠近的过程， 外力推动活动轮廓向着物体的边缘活动，而内力保持活动轮廓的光滑 性和连续性，从而当总能量达到最小值时活动轮廓收敛到物体边缘。 二、几何活动轮廓模型 几何活动轮廓模型的概念是由c a e s e 1 ls 于1 9 9 3 年首次提出，其与 参数活动轮廓最大的不同是：初始轮廓是在轮廓曲线几何特性的推动 下向着目标的边缘移动，而与轮廓的参数特性无关，这就避免了参数 活动轮廓必须重复地参数化曲线这一难题。但是最初的几何活动轮廓 模型对那些边缘不明显或边缘不连续的图像处理效果不理想。为了解 l o 山东大学硕士学位论文 决这一问题c a s e1 1s 等人通过对原有模型引入一个修正项，当轮廓曲线 越过正确的物体边缘的时候可以对其进行修正，这就是所谓的测地活 动轮廓模型。尤其在引入了水平集方法1 1 1 】【1 2 1 ( l e v e ls e t ) 后使轮廓曲线 具有良好的拓扑结构，这样极大的拓宽了几何活动轮廓模型的应用范 围，其原理及应用将在后面的章节中详细描述。 尽管几何活动轮廓模型在形式上比s n a k e 模型复杂，但在问题的求 解上却带来很多优点，从而较好地克服了s n a k e 模型的许多缺点，它具 有如下优越性： ( 1 )曲线的拓扑变化可以得到很自然的处理； ( 2 )采用欧拉类型的求解方法避免了s n a k e 模型易陷入局部极值 的问题； ( 3 )计算稳定，可得到高精度的有限差分格式； ( 4 )曲线的内在几何特性( 如法线方向、曲率等) 可直接用水平 集函数的微分来估计： ( 5 )由低维向高维扩展容易； 基于活动轮廓模型的跟踪算法是通过在图象特征附近定义一条初 始轮廓曲线，在驱动力作用下不断变形，最终曲线停止在满足曲线演 化停止条件的位置。活动轮廓的形变过程是由初始位置向真实轮廓靠 近，在不需要复杂或高层处理结果指导的情况下可搜索到目标闭合、 光滑、连续的轮廓线。由于活动轮廓模型在形变过程具有自动修正目 标初始轮廓的形状，可以达到精细分割目标，并且较好地解决轮廓的 细节问题，具有较强的抗噪声的能力，在最近的十多年中，几何活动 轮廓模型已被成功的应用于图象分割、目标识别、表面重建、立体视 觉匹配、运动跟踪等领域。 通过以上的分析可以看出，几何活动轮廓模型具有良好的特性， 在图像处理中具有重要作用，已经引起越来越多的关注。本文深入研 究了基于水平集方法和曲线演化理论的几何活动轮廓模型理论，对具 体算法做进一步的改进，大大提高了运算效率：并结合图像差分技术、 k a l m a n 滤波等方面的知识，将几何活动轮廓模型理论应用到运动目标 的分割与跟踪中，并取得很好的实验结果。 山东大学硕士学位论文 1 4 论文主要内容及安排 论文重点研究几何活动轮廓模型理论在自动分割、跟踪图象序列 中的运动目标中的应用，论文涉及图象序列中运动目标的检测、运动 目标的图象分割、运动目标跟踪三个方面的内容，围绕几何活动轮廓 模型在分割与跟踪技术中的应用两个方面研究，文中同时探讨图像差 分技术、基于k a l m a n 滤波算法的运动估计等几个方面的内容。通过改 进水平集计算方法，并把它与几何活动轮廓模型相结合，构成一套以 几何活动轮廓模型为核心的实时运动目标分割与跟踪方法。 论文内容安排如下： 第一章绪论，简单介绍课题研究的意义及视频对象分割与跟踪技 术的发展情况。 第二章本章对基于水平集方法和曲线演化理论的几何活动轮廓 模型进行深入的研究。 第三章为了提高计算效率，对水平集计算方法进行改进，提出了 水平集的快速计算方法，并提出一种结合图像运动信息的基于几何活 动轮廓模型的视频对象分割方法。 第四章本章讨论了k a l m a n 滤波算法，并在此基础上提出一种新 的运动目标跟踪方法。 第五章对全文的工作进行总结，概括了其主要意义，并提出了今 后的研究和发展方向。 山东大学硕士学位论文 | 皇曼量曼量曼曼量皇皇曼曼目一m ；mm | 皇寡量量曼鲁鲁皇量| | 罾量罾量量| 置量罾舅曼量皇量一 2 1 引言 第2 章几何活动轮廓模型 几何活动轮廓模型的概念是由c a s e l le s 于1 9 9 3 年首次提出，其与 参数活动轮廓最大的不同是：初始轮廓是在轮廓曲线几何特性的推动 下向着目标的边缘移动，而与轮廓的参数特性无关，这就避免了参数 活动轮廓必须重复地参数化曲线这一难题。但是最初的几何活动轮廓 模型对那些边缘不明显或边缘不连续的图像处理效果不理想。为了解 决这一问题c a s e l l e s 等人通过对原有模型引入一个修正项，当轮廓曲 线越过正确的物体边缘的时候可以对其进行修正，这就是所谓的测地 活动轮廓模型( g e o d es i ca c t i v ec o n t o u r ) 。尤其在引入了水平集方法 ( l e v e ls e t ) 后使轮廓曲线具有良好的拓扑结构，这样极大的拓宽了几 何活动轮廓模型的应用范围，几何活动轮廓模型理论成为图像处理研 究的另一个重要方向。 几何活动轮廓模型是以曲线演化理论和水平集方法为理论基础， 曲线的演化与参数无关，仅仅依靠曲线的几何参量如曲率、法向量比 较自然的实现曲线拓扑结构的变化1 1 3 1 。近几年来，基于水平集方法的 几何活动轮廓模型已被广泛的应用于图像分割、运动目标跟踪、立体 视觉和图像修复等领域。国内上海交通大学深入研究了基于水平集的 几何活动轮廓模型，并将其应用于心脏图像分割、人脸分割等领域 1 1 4 1 1 ”】；中科院自动化所将快速行进法与分水岭方法结合也取得了很好 的成果，哈尔滨工业大学将活动轮廓模型应用到动态图像分割，浙江大 学也深入研究基于水平集的几何活动轮廓模型理论在图像分割与跟踪 中的应用n 6 1n 。 本章内容安排为首先介绍曲线演化原理，随后介绍水平集方法， 给出了水平集方程的数值解法，其次给出了基于曲线演化理论和水平 集方法的活动轮廓模型，即测地线活动轮廓模型；对几何活动轮廓理 论在图像处理中的应用做了深入的研究。 山东大学硕士学位论文 2 2 曲线演化理论 曲线演化理论【18 】- 【2 1 1 被广泛的应用于形状平滑、形状分析和形状恢 复等领域，它的基本思想为简单闭合曲线在一个已经定义的速度函数 的作用下，随着时间的变化在曲线的法线方向进行演化。 论文所研究的曲线演化对象仅限于简单的闭合曲线，如图2 1 ( a ) 所示的曲线：闭合，没有交叉，而图2 1 ( b ) 所示曲线不予考虑。 ( a )【b ) 图2 1 闭合曲线 曲线演化理论是利用描述曲线几何特征的两个重要参数：单位法 矢和曲率，来研究曲线随时间的变形。单位法矢即单位法向量，它描 述曲线的方向，曲线上某点的单位法向量与该点切线方向垂直；而曲 率则描述曲线的弯曲程度。假设演化曲线为c ( f ) = x