（信息与通信工程专业论文）图像分割和目标跟踪中的若干问题研究.pdf

摘要 摘要 论文对图像分割和目标跟踪这两个计算机视觉中的基本任务进行了研究。在 图像分割方面，基于主动轮廓模型( a c t i v ec o m o u r m o d e l ，简称a c m ) 、梯度向量 流( g r a d i e n tv e c t o rf l o w ，简称g w ) 、分水岭( w a t e r s h e d ) 和m e a ns h i f t 等图像分割 算法，提出了若干改进方案，并将其中两种算法应用到计算机辅助中医舌诊中的 舌象分割任务。在目标跟踪方面，以m e a ns h i f t 跟踪算法为对象，提出了三种改 进的目标跟踪算法，分别解决了目标尺度和方向的估计以及复杂环境下的目标表 示问题。论文取得了以下主要研究成果： ( 1 ) 提出了法线方向g v f ( g v fi nt h en o r m a ld i r e c t i o n ，简称n g v f ) 和各向异 性g v f ( a n i s o t r o p i cg v f ) 两种改进的主动轮廓模型外力场图像分割方法。n g v f 以拉普拉斯算子沿法线方向的扩散代替g v f 中的拉普拉斯扩散项；a n i s o t r o p i c g v f 依据图像的局部结构自适应选择拉普拉斯算子沿法线和切线方向的扩散速 度。二者分别改进了g v f 在进入细长凹部和保护图像边界等方面的性能。 ( 2 ) 提出了一种结合1 维g v f ( 1 d g v f ) 和分水岭算法的图像分割方法。 i d g v f 的扩散过程既使边界信息向光滑区域插值，又能在保留图像大尺度特征 的同时，去除小尺度细节。处理后的图像具有适合于分水岭分割的良好结构，显 著降低了过分割现象，为区域合并等后处理提供了较为可靠的统计基础。 ( 3 ) 提出了一种交互式区域合并算法。该算法从区域分割算法的初始结果中 提取有意义的目标。它是一种基于最大相似度机制的区域合并算法，能够在用户 定义标记的指导下，自动提取目标。 ( 4 ) 将1 d g v f 图像分割方法和交互式区域合并算法相结合，用于计算机辅 助中医舌诊。首先，基于1 d g v f 和分水岭算法分割舌图像，得到初步的区域分 割结果。其次，通过分析舌图像的结构特征自动设置目标标记和背景标记，运用 提出的交互式区域合并算法提取舌象。最后，利用a c m 算法进一步优化提取的 舌象边界。 ( 5 ) 提出了一种尺度和方向自适应m e a ns h i f t 跟踪算法( s c a l ea n do r i e n t a t i o n a d a p t i v em e a ns h i f tt r a c k i n g ，简称s o a m s t ) 。该算法基于矩分析和b h a t t a c h a r y y a 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 系数，在原始的m e a ns h i f t 框架下，估计目标真实的尺度和方向，增强了m e a ns h i f t 算法在目标发生较大形变时的适应能力。 ( 6 ) 结合背景和纹理特征，提出了两种目标表示方法，增强m e a ns h i f t 算法 在复杂场景下的跟踪性能。第一种方法称为c o r r e c t e db a c k g r o u n d w e i g h t e d h i s t o g r a m ( 简称c b w i - i ) ，该算法集成背景特征，通过降低目标模型中背景特征 的概率，增强目标模型中的凸特征，抑制背景成分对目标定位的干扰。第二种方 法基于l o c a lb i n a r yp a t t e r n ( 简称l b p ) 纹理模型提取目标的关键点，结合颜色和纹 理特征表示目标，增强了目标和背景的可分性。 关键词：图像分割偏微分方程区域合并目标跟踪均值平移计算机视觉 摘要 a b s t r a c t t h et h e s i sf o c u s e so nt h ei m a g es e g m e n t a t i o na n do b j e c tt r a c k i n gi nc o m p u t e r v i s i o n i nt h e i m a g es e g m e n t a t i o n ，s e v e r a li m p r o v e ds e g m e n t a t i o n m e t h o d sa r e p r o p o s e db a s e do na c t i v ec o n t o u rm o d e l ( a c m ) ，g r a d i e n tv e c t o rf l o w ( g v f ) a n d w a t e r s h e da n dm e a ns h i f ta l g o r i t h m f u r t h e r m o r e ，w ea p p l yt w oa l g o r i t h m sa m o n g t h e mt os e g m e n tt o n g u eb o d yi nc o m p u t e ra s s i s t e dt o n g u ed i a g n o s i si nt r a d i t i o n a l c h i n e s em e d i c i n e i nt h eo b j e c tt r a c k i n g ，b a s e do nt h em e a ns h i f tt r a c k i n gf r a m e w o r k ， t h r e ei m p r o v e dt r a c k i n gm e t h o d sa r ed e v e l o p e d ，w h o s ea i m sa r et os o l v et h ep r o b l e m o fs c a l ea n do r i e n t a t i o ne s t i m a t i o no ft h em o v i n go b j e c ta n dt h et a r g e tr e p r e s e n t a t i o n u n d e rt h ec o m p l e xc o n d i t i o n s g e n e r a l l y , t h em a i nc o n t r i b u t i o n so ft h et h e s i sa r ea s f o l l o w s ( 1 ) t w ok i n d so fi m p r o v e de x t e r n a lf o r c ef i e l d sf o ra c m a r ep r o p o s e d ，w h i c ha r e c a l l e dn g v f ( g v fi nt h en o r m a ld i r e c t i o n ) a n da n i s o t r o p i cg v fr e s p e c t i v e l y n g v f r e p l a c e sl a p l a c i a nd i f f u s i o ni t e mi ng v fb yt h el a p l a c i a nd i f f u s i o no p e r a t o ra l o n g t h e n o r m a ld i r e c t i o nw h i l ea n i s o t r o p i cg v fc h o o s e st h ed i f f u s i o ns p e e do fl a p l a c i a n o p e r a t o ra l o n gt h en o r m a la n dt a n g e n t i a ld i r e c t i o na u t o m a t i c a l l ya c c o r d i n gt ot h el o c a l s t r u c t u r eo ft h ei m a g e c o m p a r e dw i t ht h eg v f , t h e s et w op r o p o s e dm o d e l sm a k e p r o g r e s s e so ne n t e r i n gi n t ot h el o n ga n dt h i nc o n c a v i t ya n dp r e s e r v i n gt h ee d g em a p o f t h ei m a g e ( 2 ) a ni m a g es e g m e n t a t i o nm e t h o di sp r o p o s e db yc o m b i n i n gt h e 1d g v fw i t h w a t e r s h e da l g o r i t h m t h ed i f f u s i o np r o c e d u r eo f1d g v fi st h a te d g ei n f o r m a t i o ni s i n t e r p o l a t e di n t ot h es m o o t hr e g i o n sa n ds m a l ls c a l ef e a t u r e sa r er e m o v e dw h i l el a r g e s c a l ef e a t u r e sa r ep r e s e r v e dw e l l ，w h i c hm a k e st h ei m a g ef a v o r a b l ef o rw a t e r s h e dt o s e g m e n ti m a g e t h e r e f o r e ，o v e r - s e g m e n t a t i o n so f w a t e r s h e da r es i g n i f i c a n t l yr e d u c e d i tp r o v i d e st h er e l i a b l eb a s i sf o rn e x tp o s t p r o c e s s e ss u c ha sr e g i o nm e r g i n g ( 3 ) a ni n t e r a c t i v er e g i o nm e r g i n gm e t h o di sp r o p o s e d i te x t r a c t st h eo b j e c tf r o m t h ei n i t i a lr e s u l to ft h er e g i o nb a s e di m a g es e g m e n t a t i o na l g o r i t h m t h ep r o p o s e d m e t h o di sar e g i o nm e r g i n gm e c h a n i s mb a s e do nm a x i m a ls i m i l a r i t y w i t ht h e g u i d a n c eo ft h em a r k e ri n p u t t e db yt h eu s e r , t h ep r o p o s e dm e t h o da u t o m a t i c a l l y e x t r a c t st h eo b j e c t ( 4 ) w ei n t e g r a t et h e 1d g v fi m a g es e g m e n t a t i o nm e t h o dw i t ht h ep r o p o s e d r e g i o nm e r g i n gm e t h o d , a n da p p l yt h e mt os e g m e n tt o n g u eb o d y i nc o m p u t e ra s s i s t e d 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 t o n g u ed i a g n o s i si n t r a d i t i o n a lc h i n e s e m e d i c i n e f i r s t l y ，w eg e t t h ei n i t i a l s e g m e n t a t i o no ft h et o n g u ei m a g eb yc o m b i n i n gt h e1d g v fa n dw a t e r s h e d s e c o n d l y , a f t e rt h eo b j e c tm a r k e ra n db a c k g r o u n dm a r k e ra r ea u t o m a t i c a l l ys e tb ya n a l y z i n gt h e s t r u c t u r ef e a t u r eo ft h et o n g u ei m a g e ，t h ep r o p o s e dr e g i o nm e r g i n gm e t h o de x t r a c t s t o n g u eb o d y i nt h ee n d ，t h eo b t a i n e dt o n g u ec o n t o u rb yu s i n ga c m i so p t i m i z e d ( 5 ) a ni m p r o v e dm e a ns h i f tt r a c k i n ga l g o r i t h mc a l l e da ss c a l ea n do r i e n t a t i o n a d a p t i v em e a ns h i f tt r a c k i n g ( s o a m s t ) i sp r o p o s e d b a s e do i lm o m e n ta n a l y s i sa n d b h a t t a c h a r y y ac o e f f i c i e n t ，t h ep r o p o s e ds o a m s ts o l v e st h ep r o b l e mo fe s t i m a t i n gt h e s c a l ea n do r i e n t a t i o nc h a n g e su n d e rt h ec l a s s i c a lm e a ns h i f tf r a m e w o r k i ts t r e n g t h e n s t h ea d a p t i o no ft h em e a ns h i f ta l g o r i t h mw h e nt h eo b je c th a sb i gd e f o r m a t i o n ( 6 ) t w ot a r g e tr e p r e s e n t a t i o nm e t h o d sa r ep r e s e n t e db yc o m b i n gt h eb a c k g r o u n d a n dt e x t u r ef e a t u r ef o ri m p r o v i n gm e a ns h i f tt r a c k i n g t h ef i r s tm e t h o di sc a l l e da s c o r r e c t e db a c k g r o u n d - w e i g h t e dh i s t o g r a m ( c b w h ) i ti n t e g r a t e st h e b a c k g r o u n d f e a t u r e si n t ot a r g e tm o d e la n de n h a n c e st h es a l i e n tf e a t u r e so ft h et a r g e tb yd e c r e a s i n g t h ep r o b a b i l i t yo ft h o s ef e a t u r e sw h i c ha r ep r o m i n e n ti nt h eb a c k g r o u n d t h es e c o n d m e t h o dc o m b i n e st h ec o l o rw i t ht e x t u r ef e a t u r et or e p r e s e n tt h e t a r g e tb a s e do nt h ek e y p o i n t se x t r a c t e db yl o c a lb i n a r yp a t t e r n ( l b p ) ，w h i c he n h a n c e st h es e p a r a t i o n b e t w e e nt h eo b j e c ta n dt h eb a c k g r o u n d k e y w o r d s ：i m a g es e g m e n t a t i o n ，p a r t i a ld i f f e r e n t i a le q u a t i o n ，r e g i o nm e r g i n g ， o b j e c tt r a c k i n g ，m e a ns h i f t ，c o m p u t e rv i s i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的硼 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明磷 明并表示了谢意。 申请学位论 本人签名： 不实之处，本人承担一切的法律责任。 日期望雌笸二丝 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即： 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论 本人签名 导师签名 年解密后适用本授权书。 日期2 盟芝。：竺 日期旦与赴 第一章绪论 第一章绪论 1 1 引言 计算机视觉是通过计算机模拟人类视觉行为的一门学科，其任务为对输入的 图像( 序列) 数据自动进行分析和解释。根据数据的组织形式，计算机视觉可划 分为四个层次，如图1 1 所示【7 2 1 。最底层是原始的目标或场景，通过信号处理和数 字化，得到对应图像的数字化表示形式；中间层则借助各种各样的算法，提取图 像的各种特征，在各层之间建立联系；最后顶层通过模式识别方法，进行图像理 解。 视觉处理方法可分为两类：低级的图像处理方法和高层的图像理解方法。前 者不需要预先知道图像的内容，通常包括图像压缩、图像恢复、图像分割、边界 检测等方法，为高层的图像理解提供支持。而后者是根据目标的相关知识及一些 实现方法，基于低级阶段获取的图像特征来模拟人的视觉和做决策的过程，通常 包括目标识别、图像理解、3 d 视觉和目标运动分析等。 模式识别 豆 提取特征个 r - 。一。1 。一。一。一一一一一一一一。一。一一。1 回固园圃回 数字化 图1 i 计算机视觉的四个处理阶段 值得注意的是，随着视觉理论的发展，低层和高层的方法界限不再明显。将 低层算法和高层知识结合，为计算机视觉研究开辟了一种新的途径。例如，在a c t i v e c o n t o u rm o d e l ( 简称a c m 或s n a k e s ) 伊1 方法中，首先由用户根据先验知识交互式 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 输入目标的初始曲线( 高层知识) ，在内力和外力的约束下，曲线收敛到邻近的边 界。类似地，g r a p hc u t 算法砸7 2 7 4 2 1 的处理也需要用户的交互输入。另外，还有 一些优秀的图像处理算法跨越了低级和高级的界限，包括本文所讨论的m e a ns h i f t 算法【2 8 1 51 0 6 ，它在图像分割和目标跟踪【9 0 】领域均取得巨大的成功 2 2 - 2 4 ，有力地推 动了相关研究的发展。 1 2 研究内容及综述 本文的主要研究内容是基于偏微分方程的图像分割、基于区域的图像分割和 目标跟踪，它们既相对独立又有紧密的联系。 在基于偏微分方程的图像分割方面，以a c m 3 9 年dg r a d i e n tv e c t o rf l o w ( 简称 g v f ) i s * j 为基础，研究提出新的外力场改进分割结果。在基于区域的图像分割方面， 基于w a t e r s h e d 【5 4 7 5 】和m e a ns h i f t 2 2 - 2 4 】两种算法，在已知目标先验知识的前提下， 提高和改进它们的分割结果，并探讨其在生物特征识别领域中的应用。 在目标跟踪方面，深入分析m e a ns h i f t 方法，提出了多种有效的目标跟踪算 法，从不同方面增强m e a ns m f t 的跟踪性能。 在随后的内容中，将以图像分割【7 l 】和目标跟踪【9 0 】为主题，对论文的研究背景 作一综述。其中，图像分割的论述部分还将简单讨论生物特征饵i o m e t r i c s ) 峭4 1 ，4 9 ，6 2 9 6 】这个计算机视觉的研究热点及计算机辅助中医诊断中的舌象分割问题f 6 引。 1 2 1 图像分割 图像分割是指将图像中具有特殊涵义的不同区域区分开来，每个区域在颜色 或纹理等特征方面具有一致性。它是图像处理中的一项最重要的基本任务，也是 图像分析的前提和基础。 1 基于偏微分方程的图像分割 近年来，基于偏微分方程【1 ，5 1 ，1 1 8 ，9 2 ，9 3 ，9 4 ，9 5 】的图像处理研究在边界检测、图像分 割、图像恢复、形状建模及运动跟踪等领域取得了显著的进展，受到了广泛的关 注。早在上世纪8 0 年代，w i t k i n l 8 2 】通过连续对图像用方差逐渐增大的高斯滤波器 生成高斯尺度空间去除噪音，使图像变得光滑。高斯滤波器是一种各向同性的线 性滤波器，其作用等价于用经典的热扩散方程对图像进行处理，作用的时间相当 于高斯滤波器的方差。这个结论说明，类似热扩散方程，其它的扩散方程也应具 有相应的图像处理功能，从而开启了基于偏微分方程图像处理的时代。 基于偏微分方程的方法，也称为变分法，通常基于能量最小化或求解表示某 种意义的偏微分方程，为研究图像处理方法提供了强有力的数学工具。从数学的 第一章绪论 3 观点来看，其可以分为基于扩散的方法、基于曲线进化的方法和基于区域模型的 方法三种【7 3 】。 基于扩散的方法通常用于图像恢复中，它是将图像中每个点的信息( 经常是 梯度) 按照某种机制向其邻域扩散的过程。热方程和p e r o n a m a l i k 模型【6 。7 j 是早期 最有名的方法，p e r o n a 和m a l i k 将热方程拓展为非线性的各向同性热方程，在边界 处扩散速度慢，在图像的光滑区域扩散速度则较快，起到保护边界并去除噪音的 作用，因此效果好于热方程。但是该方程是一个病态方程，在图像信噪比低时， 它也可能锐化噪音，导致不期望的结果。w e i c k e r t 7 9 - 8 1 】进一步研究了热方程和 p e r o n a m a l i k 模型，提出基于张量的各向异性扩散模型。在这种模型中，扩散方向 和扩散速度不是简单依赖于梯度幅值，而是取决于图像的局部结构。 基于曲线进化的方法尝试将由参数方程或水平集表示的封闭曲线曲面在图像 空间中演化，由图像边界和区域导出的吸引力指导曲线向目标的边界收敛。a c m p 圳， g e o d e s i ca c t i v ec o n t o u r 1 0 ，5 3 】和m u m f o r d s h a h t 5 7 】泛函成为这类方法的经典模型。 基于区域模型的方法则从更一般的观点来解决分割问题，由边界和光滑部分 联合产生图像分割的结果。无边的主动轮廓模型【1 2 】和g r a p hp a r t i t i o n i n g 7 1 】是这种 方法的典型代表。 根据变分法所依据的图像特征，以上方法总的可分为两类，即基于边界驱动 和基于区域驱动。本文的研究对象是a c m ，它属于一种基于边界驱动的偏微分方 程图像处理方法。 a c m 作为一种交互式图像分割方法，基本思想是将一个由参数方程表示的封 闭曲线( 二维) 或曲面( 三维) 嵌入一个极小化能量泛函模型，将寻找目标边界 的过程转换为能量函数最小化的过程。在内力和外力的作用下，曲线向目标边界 方向运动。内力由曲线本身决定，而外力由图像导出，因此也称为图像力。热方 程是导出图像力最早的模型，它的性质正如其图像恢复效果一样，虽然能够去除 噪音，增加图像力的捕获范围，但会导致边界的平移，使曲线不能够收敛到目标 边界。因此，构造性能良好的图像力场，对a c m 的分割有重要的影响。g v f 惮1 图像外力场的提出，极大地推动了a c m 的发展。g v f 通过将图像的梯度向量代 入一个能量极小化泛函，对图像的梯度进行滤波，在去除噪音的同时，保护图像 的边界特征。g v f 是一个全局性力场，能够进入目标的凹部，对初始曲线不敏感， 极大地提高了a c m 的分割性能。 另一方面，原始的a c m 中，曲线通过参数方程表示，因此又被称为p a r a m e t r i c a c t i v ec o n t o u r 。参数蛇模型虽然收敛速度快，但是难以处理曲线自动分裂与合并。 在后来提出的g e o d e s i ca c t i v ec o n t o u r l l o ，5 3 】模型中，用水平集( l e v e ls e t ) t 1 ，6 1 ，1 1 8 】隐 式地表示曲线，能够自动处理曲线分割与合并，其缺点是需要不断初始化符号距 离函数，因此收敛速度慢，且只能朝一个方向运动。近年来，p a r a m e t r i cs n a k e s 和 4 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 g e o d e s i cs n a k e s 二者之间关系的进一步研究【8 5 】显示，曲线能否正确地收敛到目标 边界与基于图像导出的外力场性能有密切的关系。p a r a g i o s l 6 4 等将g v f 集成到 g e o d e s i c a c t i v ec o n t o u r l l o ，5 3 】中，使得l e v e ls e t 曲线能够部分地双向运动，在一定 程度上改进了分割性能。 以上的讨论可以看出，图像力场的性能对p a r a m e t r i c a c t i v ec o n t o u r 和g e o d e s i c a c t i v ec o n t o u r 的分割起着重要的作用。因此，对图像力场的深入研究，将是本文 的一个重要研究课题。 2 基于区域的图像分割 基于区域的图像分割方法将图像按内容分割成许多光滑区域。经典的 w a t e r s h e d 7 5 】和流行的m e a ns h i f t 2 2 埘，4 8 】都是基于区域的图像分割算法，它们都能 够得到完整的目标边界。但其缺点是存在过分割现象，即一个目标被划分成许多 区域，所以它们的分割结果难以直接应用于后续的图像分析任务。因此，作为一 种低级的图像处理方法，如果没有经过一些适当的预处理或缺乏目标的先验知识， 很难得到有意义的分割结果。例如g r a p hc u t 昏7 】方法，一种交互式图像分割算法， 在分割之前，用户需要手工输入目标的有关知识，算法才能得到较好的分割结果。 实际上，基于区域的w a t e r s h e d 和m e a ns h i f t 两种算法【6 6 ，7 0 ，7 9 , 8 1 , 9 8 1 虽然存在 过分割，但每个分割区域都具有一定的意义。基于这些算法的分割结果，研究交 互式区域合并算法，将是一个非常有意义的课题。 3 图像分割在中医舌诊技术上的应用 舌诊【4 l ，4 9 】是中医望诊中的一项重要内容，也是中医诊法的特色之一，其优点 是简单、快速，且无副作用、无痛和非接触，适宜于远程诊断。根据中医理论， 舌苔的颜色和纹理能够反映病人的健康状况。对胰腺炎、阑尾炎等一些疾病，舌 诊可给出一个清晰的病理过程1 8 ，6 2 j 。 将舌诊技术通过专家系统、计算机视觉等技术实现自动化辅助诊断治疗，对 中医现代化意义重大。但是如何将舌体图像从含有面部的图像中分割出来，是进行 舌诊的前提。如何将先进的图像分割技术应用到舌象分割，是本文的一个重要研 究课题。 1 2 2 目标跟踪 目标跟踪【9 0 1 2 0 1 是在一段视频序列中寻找与目标最相似区域的过程。视频分析 的三个关键步骤分别是感兴趣区域的检测、运动目标的跟踪、目标行为的自动分 析。其中，目标检测是目标跟踪的前提，而目标跟踪是进行模式识别或行为分析 的基础。当前，高性能的计算机，高性价比的摄像机使视频目标的自动分析和监 控的需求显著增加。总的来说，与视频序列跟踪技术有密切关系的应用领域主要 第一章绪论 有： ( 1 ) 自动监控：监控一个场景，检测令人可疑的行为，它在商业、军事上有广 泛的应用。 ( 2 ) 视频检索：在多媒体数据库中，感兴趣内容的自动提取和检索。 ( 3 ) 人机交互：比如姿势识别，眼睛运动的自动跟踪识别。 ( 4 ) 交通监控：如车流量的实时统计。 ( 5 ) 车辆导航：基于视频的自动驾驶和障碍物躲避。 虽然目标跟踪有着广泛的应用领域，但是它也是非常复杂的一个难题，原因 主要有以下几点： ( 1 ) 目标信息的损失。因为将三维目标投影成二维图像，不可避免地会损失一 部分信息。 ( 2 ) 图像中的噪音对目标跟踪的干扰。 ( 3 ) 目标的复杂运动，使得一般的跟踪算法很难对其建立模型。 ( 4 ) 目标的非刚体运动，使得目标部分特征发生变化时，易造成目标跟丢。 ( 5 ) 场景的光照变化，改变了目标特征，使得跟踪器难以识别。 ( 6 ) 目标和背景相似时，一般的目标表示方法难以有效建模。 ( 7 ) 实时目标跟踪要求跟踪算法必须相对简单，占用尽可能少的系统资源，但 是同时也可能降低跟踪效果。 为了简化问题，通常的跟踪算法总是假定目标的运动是光滑和渐变的。一些 应用中甚至假设目标的尺寸和个数已知，或基于先验信息约束目标以恒定的速度 或加速度运动。虽然这些算法在特定领域中可能会取得较好的结果，但是也降低 了算法的通用性，不能适用于复杂情况下的目标跟踪。同样许多跟踪算法都假定 初始目标能够较好地反映目标的特征。在实际中，初始的目标一般都需要通过某 种方法检测，如果检测的区域包含较多噪音，那么即使再好的跟踪算法，也难以 有效地进行跟踪目标。 在众多的跟踪算法中，m e a ns h i f t 算法由于具有理论严谨、实时性好和跟踪精 度较高等特点，最近几年受到了广泛的关注。m e a ns h i f t 算法最早由f u k u n a g a 和 h o s t e t l e r 2 s 提出，作为一个非参数化的数据统计方法，用于数据聚类，也称之为峡 谷搜索算法( v a l l e y s e e k i n gp r o c e d u r e ) 。c h e n g t l 5 】在1 9 9 5 年首次将其引入图像处理 领域。b r a d s k i t 3 j 基于m e a ns h i f t 设计了一个c o n t i n u o u s l ya d a p t i v em e a ns h i f t ( c a m s h i f t ) 跟踪算法，用于人脸跟踪。m e a ns h i f t 成功地应用于图像处理是由 c o m a n i c i u 和m e e r 所著的关于图像分割和目标跟踪的两篇论文【2 3 ，2 4 1 ，极大推动了 m e a ns h i f t 在图像处理中的研究。他们所提出的m e a ns h i f t 跟踪框架，也称之为基 于核的目标跟踪，对目标的外表变化、噪音和遮挡等不敏感，成为目标跟踪算法 的研究热点【2 0 ，2 1 ，3 0 ，5 0 , 8 8 ，9 1 1 0 1 ，1 1 3 ，n 4 1 。 6 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 但是，原始的m e a ns h i f t 跟踪算法仍有一个重要问题未解决，即目标的尺度 和方向自适应跟踪。它只考虑了目标位置运动，而没有考虑目标尺度和旋转( 方 向) 变化。因此，当目标发生较大形变时，其跟踪效果并不理想。 另外，原始m e a ns h i f t 跟踪算法使用颜色直方图对目标建模。虽然颜色直方 图不受目标尺度和旋转变化的影响，对目标的部分遮挡也具有一定的鲁棒性。但 是当目标和背景具有相似的颜色时，基于颜色直方图的目标模型很难将目标和背 景区分，因此需要结合其它特征改进目标跟踪性能。 1 3 论文的内容安排及主要贡献 论文共分7 章。第一章介绍论文的研究背景、研究内容、安排及主要贡献。 第二章介绍本文所需的数学基础，包括偏微分方程图像处理、w a t e r s h e d 和m e a n s h i f t 等算法的数学背景。第三章为基于偏微分方程的图像分割，将基于a c m 分 析g v f 的扩散过程，提出的新的外力场。第四章是基于区域的图像分割。首先， 从图像插值的角度，提出基于梯度幅值图像扩散的1 维g v f ( 1 d g v f ) ，结合 w a t e r s h e d 算法，取得了良好的分割结果。其次，提出了一种基于最大相似度机制 的交互式区域合并算法，从基于区域的分割算法的结果中提取目标。最后，将前 面提出的两种算法结合，应用于计算机辅助中医舌诊，从舌图像中自动提取舌象。 第五章提出了一种尺度和方向自适应m e a ns h i f t 跟踪方案s o a m s t ( s c a l ea n d o r i e n t a t i o na d a p t i v em e a ns h i f tt r a c k i n g ) ，初步解决了如何在m e a ns h i f t 框架下估 计目标尺度和方向的难题。第六章基于背景和纹理特征，分别提出了两种目标表 示方法，增强目标和背景的可分性，改进了m e a ns m r 算法的跟踪性能。第七章 总结和展望了论文的研究结果。 论文的选题来自于两个国家自然科学基金项目“真实场景与虚拟物体混合的 增强视频技术研究”( 编号：6 0 4 7 3 1 1 9 ) 和空间曲线的离散微分几何不变量研究和 三维重建f 编号：6 0 7 7 5 0 2 0 ) 。 本文的主要贡献如下： ( 1 ) 提出了法线方向g v f ( g v fi nt h en o r m a ld i r e c t i o n ，简称n g v f ) 和各向异 性g v f ( a n i s o t r o p i cg v f ) 两种改进的主动轮廓模型外力场图像分割方法。n g v f 以拉普拉斯算子沿法线方向的扩散代替g v f 中的拉普拉斯扩散项；a n i s o t r o p i c g v f 依据图像的局部结构自适应选择拉普拉斯算子沿法线和切线方向的扩散速 度。二者分别改进了g v f 在进入细长凹部和保护图像边界等方面的性能。 ( 2 ) 提出了一种结合1 d g v f 和分水岭算法的图像分割方法。1 d g v f 的扩散 过程既使边界信息向光滑区域插值，又能在保留图像大尺度特征的同时，去除小 尺度细节信息。处理后的图像具有适合于分水岭分割的良好结构，显著降低了过 分割现象，为区域合并等后处理提供了较为可靠的统计基础。 第一章绪论 ( 3 ) 提出了一种交互式区域合并算法。该算法从区域分割算法的初始结果中提 取有意义的目标。它是一种基于最大相似度机制的区域合并算法，能够在用户定 义的标记的指导下，自动提取目标。 ( 4 ) 将1 d g v f 图像分割方法和交互式区域合并算法相结合，用于计算机辅助 中医舌诊。首先，基于g v f 和分水岭算法分割舌图像，得到初步的区域分割结果。 其次，通过分析舌图像的结构特征自动设置目标标记和背景标记，运用提出的交 互式区域合并算法提取舌象。最后，利用a c m 算法进一步优化提取的舌象边界。 ( 5 ) 提出了一种尺度和方向自适应m e a ns h i f t 跟踪算法s o a m s t 。该算法基于 矩分析和b h a t t a c h a r y y a 系数，在原始的m e a ns h i f t 框架下，估计目标的真实尺度 和方向，增强了m e a ns h i f t 算法在目标发生较大形变时的适应能力。 ( 6 ) 结合背景和纹理特征，提出了两种目标表示方法，增强m e a ns h i f t 算法在 复杂场景下的跟踪性能。第一种方法是c o r r e c t e db a c k g r o u n d w e i g h t e dh i s t o g r a m ( 简称c b w h ) ，集成背景特征，通过降低目标模型中背景特征的概率，增强目标 模型中的凸特征，抑制背景成分对目标定位的干扰。第二种方法基于l o c a lb i n a r y p a t t e r n ( 简称l b p ) 纹理模型提取目标的关键点，结合颜色和纹理特征表示目标，增 强了目标和背景的可分性。 第二章背景知识 第二章背景知识 本章主要讲述论文所涉及的数学知识。首先介绍基于变分法的图像分割理论， 包括主动轮廓模型( a c t i v ec o n t o u rm o d e l ，简称a c m ) 和梯度向量流( g r a d i e n t v e c t o rf l o w ，简称g v f ) 。另外，将简单地介绍分水岭分割算法。最后，将详细地 介绍m e a ns h i f t 理论及其在图像分割和目标跟踪中的应用。 2 1 泛函及变分法 泛函是指函数的函数，经典的a c t i v ec o n t o u rm o d e l d 9 】、m u m f o r d s h a h 5 7 】方法 都是从泛函的极值问题推导而来的。本节简单介绍一些泛函及变分法的基本知识 【5 1 ，1 2 2 1 ，它们是基于偏微分方程图像处理的基础。 2 1 1 变分原理 1 泛函 把具备某种性质的函数的集合记作d ，对于集合中d 的任何函数f ( x ) ，函数 q 都有唯一确定的值与它对应，那么函数q 叫做依赖于函数f ( x ) 的泛函，记为 o = q ( 厂( x ) ) 或q = q ( 厂) ( 2 1 ) 例2 1 已知y ( x ) c 1 o ，1 】，r y ( o ) = 口，y ( 1 ) = b ，则积分 q ( y ) = f 1 + 少( x ) 2 出( 2 - 2 ) 是曲线y = f ( x ) 的弧长公式。显然，对任何一个在 o ，1 】上1 阶导数连续的函数 y = f ( x ) 来说，q ( ) 有唯一确定的值与它对应。如 s ( x ) = ( b - a ) x + a ( 2 - 3 ) 为直线，贝oq ( 厂( x ) ) = f 1 + ( ( ( 6 一口) x + 口) ) 2 = r i 而。 2 泛函的变分 对于泛函q ( y ( x ) ) ，设y ( x ) 是集合中d 中任意一个元素。如果y ( x ) 由y o ( z ) 变成m ( x ) ，则乃( x ) - y o ( x ) 上的变分记作 5 y = y i ( x ) - y o ( x ) ( 2 - 4 ) 对于泛函q ( 少( z ) ) ，给y ( x ) 以增量6 y ( 即y ( x ) 的变分) ，则泛函有增量 q = q ( 少( x ) + 万y ) 一q ( 少( z ) ) 。如果q 可表示为： 1 0 西安电子科技大学博士学位论文：图像分割和目标跟踪中的若干问题研究 q = r ( y ( x ) ，万夕) + ( y ( x ) ，8 y ) ( 2 - 5 ) 这里，丁( y ( x ) ，酊) 对渺是线性泛函，而 f l ( y ( x 盯) , s y ) 一o ( 当少( x ) 固定，m a x l 6 y l o ) m a x l o y l 那么，( y ( z ) ，砂) 称为泛函的变分，记作万q 。 3 泛函的极值 泛函的极值相当于函数的极值。当取定义域中的某