（计算机科学与技术专业论文）基于条件随机场模型的视频目标分割算法研究.pdf

浙江大学博士学位论文摘要 摘要 视频目标分割是计算机视觉领域的一个热点问题，它是视频监视、人机交互 以及视频编辑等众多应用系统的基础，高效准确的视频目标分割算法可以大大降 低后继应用的处理难度。视频目标分割算法有自动视频目标分割算法和交互式视 频目标分割算法两种，其中自动视频目标分割算法的应用比较广泛，本文的视频 目标分割算法都属于自动视频目标分割算法。自动视频目标分割算法按对视频序 列的处理层次可以分为低级层次的分割算法、中级层次的分割算法和高级层次的 分割算法，我们在这三个层次上分别提出了相应的分割算法。本文的第一章为研 究背景，第二章提出了一种基于加权模型的前景和阴影概率模型，第三章提出了 一种基于二维条件随机场模型的视频阈值化方法，在第四章中提出了基于分层条 件随机场模型的视频目标分割算法，在第五章中我们提出了一种融合目标识别信 息的多目标视频分割算法，在第六章中给出了一个视频交通流量统计系统。 本文取得的研究成果和创新点主要表现在以下几个方面： 1 ) 提出了一种基于加权模型的阴影和前景的建模方法 低级层次的分割算法一般在像素级别上对视频序列的背景、阴影以及前景进 行建模实现分割。活动阴影是影响视频目标分割算法效果的一个重要的因素，有 效地处理活动阴影可以提高分割的质量。本文的第二章提出了一种基于加权模型 的阴影和前景的建模方法，它可以处理室内户外多种环境中的活动阴影。阴影模 型在像素级别上对视频序列中的活动阴影建模，并计算出分布概率。前景模型通 过加权的方法对视频序列中的前景目标进行建模获得它们的分布概率。这些模型 的分布概率可以为后继章节中更高层次的分割算法提供必需的数据。 2 ) 提出了一种基于二维条件随机场模型的视频阈值化方法 一般情况下，低级层次的分割算法的分割结果中会出现许多误分类，而中级 层次的分割算法中，这些误分类可以通过融合视频序列的邻域关系得以纠正。在 第三章中，我们提出了一种基于二维条件随机场模型的视频阈值化方法，它属于 浙江大学博士学位论文摘要 中级层次的分割算法。这种方法根据第二章中的背景、阴影和前景的分布模型以 及视频序列的邻域关系定义相应的特征函数，同时构造了一个二维条件随机场模 型，利用这个模型对这些特征函数进行约束建模，通过推断算法求出全局最优解 获德最终的分割结果。 3 ) 提出了一种基于分层条件随机场模型的视频目标分割算法 基于二维条件随机场模型的视频阈值化方法可以消除像素级别的分割算法所 产生的误分类问题。但是当误分类的像素块尺寸比较大时，仅仅依靠二维条件随 机场模型对视频序列的时空域邻域关系的约束是无法纠正的。为了解决这个问 题，我们在第四章中引入了视频序列的局部邻域关系和全局邻域关系，并对隐条 件随机场模型进行扩展，构建了一个分层条件随机场模型。利用分层条件随机场 模型对视频序列的局部邻域关系和全局邻域关系进行约束，可以纠正尺寸比较大 的像素块误分类。 4 ) 提出了一种融合目标识别信息的多目标视频分割算法 在视频监视领域，常用的基于背景建模的分割方法存在一些局限性，比如需 要视频序列的背景相对固定、需要对活动阴影进行特别处理以及多目标分割的困 难性。在第五章中提出了一种融合目标识别信息的多目标视频分割算法，它属于 高级层次的分割算法，算法可以对视频中包括相互遮挡以及残缺不全等多种特殊 的目标进行分割。融合目标识别信息的多目标视频分割算法由训练部分和分割部 分组成。在调练部分中通过对训练数据集的学习构建特征字典，并获得分层条件 随机场模型的参数。在分割部分利用分层条件随机场模型对特征函数进行约束求 解，可以获得一个融合自顶向下信息和自底向上信息的分割结果。 5 ) 视频交通流量统计系统的初步研究 基于视频的交通流量统计方法是近几年提出来的新方法，它与一些传统的方 法相比具有很多的优点。第六章给出了一种基于视频目标分割算法的视频交通流 量统计系统，整个系统主要由目标分割和目标跟踪两部分组成。在目标分割部分 中，系统根据不同的应用环境选择不同的分割算法。目标跟踪部分是在目标分割 部分的基础上通过搜索相邻视频帧之间目标的最短帧间距离来实现，并把颜色特 浙江大学博士学位论文摘要 征作为跟踪的辅助信息。我们实现了视频交通流量统计系统的原型，它可以用来 对车辆流量的统计，并可以根据流量信息估计出交通繁忙等级。 关键词计算机视觉，自动视频目标分割算法，概率图模型，条件随机场，视频 交通流量统计 浙江大学博士学位论文a b s t r a c t a b s t r a c t v i d e oo b j e c ts e g m e n t a t i o ni sac h a l l e n g ef o rc o m p u t e rv i s i o n ，w h i c hi sac r i t i c a l s t e pi nm a n ya p p l i c a t i o n ss u c ha sf i d e os u r v e i l l a n c e ，h u m a n - c o m p u t e ri n t e r a c t i o n ，a s w e l la sv i d e oe d i t i n g e f f i c i e n ta n da c c u r a t ev i d e oo b j e c ts e g m e n t a t i o na l g o d t h mc a n g r e a t l yr e d u c et h ed i f f i c u l t i e so fs u b s e q u e n ta p p l i c a t i o n s v i d e oo b j e c ts e g m e n t a t i o n a l g o d t h m sc a nb ed i v i d e di n t oa u t o m a t i cv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h m sa n d i n t e r a c t i v ev i d e oo b j e c ts e g l n e n t a t i o na l g o r i t h m s 1 1 l ea u t o m a t i cv i d e oo b j e c t s e g m e n t a t i o na l g o r i t h m s a r em o r eu s e f u l a n dt h ev i d e oo b j e c ts e g m e n t a t i o n a l g o r i t h m sp r o p o s e di nt h i sd i s s e r t a t i o na r ea l la u t o m a t i cv i d e oo b j e c ts e g m e n t a t i o n a l g o r i t h m 1 1 l ea u t o m a t i cv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h m sc a nb es e p a r a t e di n t o s e g m e n t a t i o na l g o r i t h m sa tl o wl e v e l ，s e g m e n t a t i o na l g o r i t h m sa ti n t e r m e d i a t el e v e l a n ds e g m e n t a t i o na l g o r i t h m sa th i g hl e v e la c c o r d i n gt op r o c e s s i n gl e v e l sf o rv i d e o s e q u e n c e s a tt h e s et h r e el e v e l s ，w ep r o p o s e dc o r r e s p o n d i n gs e g m e n t a t i o na l g o r i t h m s t h ef i r s tc h a p t e ri nt h i s d i s s e r t a t i o ni st h er e s e a r c hb a c k g r o u n d , a n dam o d e l i n g m e t h o db a s e do nw e i g h t e dm o d e l sf o rs h a d o w sa n df o r e g r o u n di sp r e s e n t e di nc h a p t e r 2 av i d e ot h r e s h o l dm e t h o db a s e do n2 dc o n d i t i o n a lr a n d o mf i e l dm o d e li sp r o p o s e d i nc h a p t e r3 ，a n di nc h a p t e r4 ，av i d e oo b j e c ts e g m e n t a t i o na l g o r i t h mb a s e do n h i e r a r c h i c a lc o n d i t i o n a lr a n d o mf i e l dm o d e li sp r e s e n t e d am u l t i p l ev i d e oo b j e c t s e g m e n t a t i o na l g o r i t h mw i t hi n c o r p o r a t i n go b j e c tr e c o g n i t i o ni n f o r m a t i o ni sp r o p o s e d i nc h a p t e r5 hc h a p t e r6 as y s t e mo ft r a f 矗cf l o wa n a l y s i sb a s e do nv i d e oo b j e c t s e g m e n t a t i o na l g o r i t h mi sp r e s e n t e d c o n t r i b a t i o n so f t h ed i s s e r t a t i o na r el i s t e da sf o l l o w s ： 1 ) am o d e l i n gm e t h o db a s e do nw e i g h t e dm o d e l sf o rs h a d o w sa n df o r e g r o u n d i sp r e s e n t e d s e g m e n t a t i o na l g o r i t h m sa tl o wl e v e lu s u a l l ym o d e lb a c k g r o u n d ，s h a d o w sa n d f o r e g r o u n do fv i d e os e q u e n c ea tp i x e ll e v e l a c t i v es h a d o w sa r et h ef a c t o r sa f f e c t i n g v i d e os e g m e n l a t i o nq u a l i t y , e f f i c i e n ts h a d o wr e m o v a lm e t h o dc a ni m p r o v et h e s e g m e n t a t i o nq u a l i t y am o d e l i n gm e t h o db a s e do nw e i g h t e dm o d e l sf o rs h a d o w sa n d 浙江大学博t 学位论文a b s t r a c t f o r e g r o u n di sp r e s e n t e di nc h a p t e r2 ，w h i c hc a nd e t e c ta c t i v es h a d o w si n d o o r sa n d o u t d o o r s t h es h a d o wm o d e l sm o d e lt h ea c t i v es h a d o w so fv i d e os e q u e n c ea tp i x e l l e v e la n dc o m p u t et h e i rp r o b a b i l i t i e s t h ef o r e g r o u n dm o d e l sc o m p u t et h ep r o b a b i l i t y d i s t r i b u t i o n so ff o r e g r o u n db yt h ew e i g h t e dm e t h o d t h ep r o b a b i l i t i e so ft h e s em o d e l s a r ec a p a b l eo fp r o v i d i n ge s s e n t i a ld a t af o rs e g m e n t a t i o na l g o r i t h m sa th i g h e rl e v e l si n t h ef o l l o w i n gc h a p t e r s 2 、av i d e ot h r e s h o l dm e t h o db a s e do n2 dc o n d i t i o n a lr a n d o mf i e l dm o d e li s p r o p o s e d t h e r ea r cu s u a l l ym a n yf a l s ec l a s s i f i c a t i o n si nt h er e s u l t so fs e g m e n t a t i o n a l g o r i t h m sa tl o wl e v e l t h e s ef a l s ec l a s s i f i c a t i o n sc a l lb ec o r r e c t e db ys e g m e n t a t i o n a l g o r i t h m sa ti n t e r m e d i a t el e v e lt h a ti n c o r p o r a t en e i 曲b o r i n gr e l a t i o n s h i p so fv i d e o s e q u e n c e av i d e ot h r e s h o l dm e t h o db a s e do n2 dc o n d i t i o n a lr a n d o mf i e l dm o d e l ， w h i c hi sas e g m e n t a t i o na l g o f i t h ma ti n t e r m e d i a t el e v e l ，i sp r o p o s e di nc h a p t e r3 t h e p r o p o s e da l g o r i t h md e f i n e sf e a t u r ef u n c t i o n sf o rn e i g h b o r i n gr e l a t i o n s h i p so fv i d e o s e q u e n c ea n df o rb a c k g r o u n d ，s h a d o wa n df o r e g r o u n dm o d e l sd e s c r i b e di nc h a p t e r2 ， i te o n s t r t l c t sa2 dc o n d i t i o n a lr a n d o mf i e l dm o d e l b yw h i c ht h e s ef e a t u r ef u n c t i o n sa l e m o d e l e d t h ei n f e r e n c ea l g o r i t h mi sa d o p t e dt os o l v et h em o d e l sf o ro b t a i n i n gt h ef m a l s e g m e n t a t i o nr e s u l t s 3 1av i d e oo b j e e ts e g m e n t a t i o na l g o r i t h mb a s e do nh i e r a r c h i c a lc o n d i t i o n a l r a n d o mf i e l dm o d e li sp r e s e n t e d v i d e ot h r e s h o l dm e t h o db a s e do n2 dc o n d i t i o n a lr a n d o mf i e l dm o d e lc a l le l i m i n a t e f a l s ec l a s s i f i c a t i o n sp r o d u c e db ys e g m e n t a t i o na l g o r i t h m sa tp i x e il e v e l b u ti fp i x e l b l o c k so ff a l s ec l a s s i f i c a t i o na r et o ol a r g e , t h e2 dc o n d i t i o n a lr a n d o mf i e l dm o d e l 啪 n o tc o r r e c tt h e s ef a l s ec l a s s i f i c a t i o n s t os o l v et h i sp r o b l e m , w ei n t r o d u c el o c a l n e l g h b e r i n gr e l a t i o n s h i p sa n dg l o b a ln e i g h b o r i n gr e l a t i o n s h i p sf o rv i d e os e q u e n c ei n c h a p t e r4 ，a n de x t e n dh i d d e n c o n d i t i o n a lr a n d o mf i e l dm o d e lt oc o n s t r u c ta h i e r a r c h i c a lc o n d i t i o n a lr a n d o mf i e l dm o d e lb yw h i c hl o c a la n dg l o b a ln e i g h b o r i n g r e l a t i o n s h i p sa r em o d e l e d 。 舢am u l t i p l ev i d e oo h e c ts e g m e n t a t i o na l g o r i t h mw i t hi n c o r p o r a t i n go b j e c t r e c o g n i t i o ni n f o r m a t i o ni sp r o p o s e d 浙江大学博：学位论文a b s t r a c t s e g m e n t a t i o na l g o r i t h m sb a s e do nb a c k g r o u n dm o d e l i n gf o rv i d e os u r v e i l l a n c e s y s t e mh a v es o m el i m i t s ，w h i c hn e e da s s u l l l eb a c k g r o u n da l er e l a t i v es t a t i ci nv i d e o s e q u e n c e ，a n dn e e dd e a lw i t ha c t i v es h a d o w s ，a n di sd i f f i c u l tt os e g m e n tm u l t i p l e o b j e c t s am u l t i p l ev i d e oo b j e c ts e g m e n t a t i o na l g o r i t h mw i t hi n c o r p o r a t i n go b j e c t r e c o g n i t i o ni n f o r m a t i o n , w h i c hi sah i g h - l e v e ls e g m e n t a t i o na l g o r i t h m ，i sp r o p o s e di n c h a p t e r5 t h ep r o p o s e da l g o r i t h mc a l ls e g m e n tt h eo b j e c t so c c l u d e de a c ho t h e ra n d t h ep a r t i a lo b j e c t s t h ea l g o r i t h mc o n s i s t so f t r a i n i n gs e c t i o na n ds e g m e n t a t i o ns e c t i o n a tt h e t r a i n i n gs e c t i o n ，t h ea l g o r i t h mc o n s t r u c t sf e a t u r ed i c t i o n a r ya n dl e a r n i n g p a r a m e t e r so fh i e r a r c h i c a lc o n d i t i o n a lr a n d o mf i e l dm o d e l sf r o mt r a i n i n gd a t a a tt h e s e g m e n t a t i o ns e c t i o n , t h ea l g o r i t h mm o d e l sf e a t u r ef u n c t i o n sv i ah i e r a r c h i c a l c o n d i t i o n a lr a n d o mf i e l dm o d e l st oo b t a i ns e g m e n t a t i o nr e s u l t sw h i c hc o m b i n et h e t o p - d o w ni n f o r m a t i o na n db o t t o m u pi n f o r m a t i o n 蜘r e s e a r c ho nv i d e ob a s e dt r a f f i cf l o wa n a l y s i ss y s t e m v i d e ob a s e d 蛐cf l o wa n a l y s i sm e t h o d sw h i c hh a v em a n ya d v a n t a g e so v e r t r a d i t i o n a lm e t h o d sa r ep r o p o s e di nr e c e n ty e a r s as y s t e mo ft r a f f i cf l o wa n a l y s i s b a s e do nv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h m si sp r e s e n t e di nc h a p t e r6 ，t h es y s t e m m a i n l yc o n s i s t so fo b j e c ts e g m e n t a t i o ns t e pa n do b j e c tt r a c k i n gs t e p t h es y s t e m s e l e c t s s e g m e n t a t i o na l g o r i t h m sa c c o r d i n g t od i f f e r e n ts c e n e sa tt h e o b j e c t s e g m e n t a t i o ns t e p a tt h eo b j e c tt r a c k i n gs t e p ，t ot r a c k i n gt h eo b j e c t s ，t h es y s t e m s e a r c h e st h es h o r t e s tf r a m ed i s t a n c e sa m o n go b j e c t sa ln e i g h b o r i n gf l a m e sw h i c ha r e p r o v i d e db yt h eo b j e c ts e g m e n t a t i o ns t e p ，a n dc o l o rf e a t u r e sa l ea d o p t e dt oa s s i s tf o r t r a c k i n g w ci m p l e m e n tad e m oo fv i d e ob a s e dt r a f 五cf l o wa n a l y s i ss y s t e mt h a ti s c a p a b l eo f m e a s u r i n gv e h i c l e sa n dp r o v i d i n gt r a f f i cf l o wl e v d s k e y w o r d sc o m p u t e rv i s i o n , a a t o m a t i cv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h m s , p r o b a b i l i s t i cg r a p h i c a lm o d e l s , c o n d i t i o n a lr a n d o mf i e l d s ，v i d e ob a s e dt r a f 矗cf l o w a n a l y s i s 浙江犬学博 学位论文 图目录 图目录 图1 1 视频目标分割算法的分类4 图2 1 视频序列中两种不同的背景1 7 图2 - 2 室内户外不同环境中的活动阴影1 8 图2 3 轻量级阴影2 3 图2 4 重量级阴影2 5 图2 5 视频背景、阴影和前景建模流程图2 9 图2 - 6 户外环境中背景、阴影和前景的分割结果3 0 图2 7 室内环境中背景、阴影和i j 景的分割结果3 l 图3 1 一维条件随机场模型3 7 图3 2 二维条件随机场模型3 9 图3 3 视频序列中的时空邻域关系3 9 图3 - 4 基于二维条件随机场模型的视频阈值化方法流程图4 3 图3 5 户外环境中视频背景、阴影和前景的分割结果4 4 图3 - 6 室内环境中视频背景、阴影和前景的分割结果4 5 图3 7 误分率4 5 图4 1 条件随机场模型和隐条件随机场模型5 0 图4 2 分层条件随机场模型5 2 图4 3 视频帧中的超像素5 5 图4 - 4 基于分层条件随机场模型视频目标分割算法流程图5 8 图4 - 5 大卖场中顾客的分割结果5 9 图4 6 行人的分割结果6 0 图4 7 连续5 帧视频的分割结果6 2 图5 - 1 目标中心点估计6 9 图5 2 训练和分割的流程7 2 图5 3 部分训练数据集7 3 图5 4 视频目标之间不存在相互遮挡情况下的分割结果7 4 图5 5 视频目标之间相互遮挡或者目标之间距离很近情况下的分割结果7 5 图5 - 6 视频目标存在残缺情况的分割结果7 5 图6 1 通过对比虚线区域颜色来统计流量的方法7 8 图6 2 基于直方图的方法分离i i 景中的各个目标8 l 图6 3 特征搜索树结构8 3 图6 4 连续两帧视频中各个目标中心点对应的位置8 5 图6 5 视频交通流量统计流程：8 7 图6 - 6 视频交通流量统计系统d e m o 的界面8 8 i n 浙江大学博士学位论文 表日录 表目录 表4 1 各种视频目标分割算法的误分率6 3 浙江丈学博士学位论文 第l 章绪论 第1 章绪论 1 1 课题背景 如何准确高效地从视频序列中分割出前景目标是计算机视觉领域的一个热点 问题，目前国内外有众多研究人员从事这方面的研究工作。视频目标分割算法是 计算机视觉领域中许多应用系统的基础，分害0 算法的有效性是影响后继应用成败 的关键，准确高效的分割算法可以大大降低后继应用的处理难度。视频目标分割 算法有着广泛的应用前景，以下是几个比较典型的应用： 1 ) 智能交通系统智能交通系统是未来交通系统的发展方向，它的定义是“将 先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术及计算机处 理技术等有效的集成运用于整个地面交通管理系统而建立的一种在大范围内、全 方位发挥作用的，实时、准确、高效的综合交通运输管理系统”。计算机视觉领 域的很多新技术可以应用于智能交通系统中，它们用于代替一些传统的技术或者 为智能交通系统增加新的功能。视频目标分割算法在智能交通系统中应用主要有 基于视频的交通流量统计、基于视频的车辆测速、基于视频的车型识别以及基于 视频违章检测等几个方面。基于视频的交通流量统计是利用视频监视等手段，对 视频中的车辆进行分割和跟踪来实现对车辆流量的统计分析，它相对于传统的方 法而言具有设备成本低、不易损坏以及便于存档取证等优点。基于视频的车辆测 速是通过对视频目标的分割和跟踪来实现对各个车辆目标的车速进行检测。基于 视频的车型识别是通过对视频目标进行分割，提取视频目标的特征向量来实现对 车型的识别。基于视频的违章检测是利用视频目标分割技术来检测车辆是否存在 违章行为，并为事后处理提供证据。 2 ) 智能楼宇监视系统智能楼宇监视系统是对楼宇中的水电、照明、门禁和 视频监视等各个子系统进行统一管理的系统。在智能楼宇监视系统中，视频监视 是一个非常重要的组成部分。视频监视功能包括人群出入检测、楼字内人群跟踪 等功能，更复杂功能包括商店和车站的人流量统计以及商店中根据顾客的行为挖 掘消费信息等。基于视频的人群出入检测是采用视频目标分割的方法来判断楼宇 浙江丈学博士学位论文第1 章绪论 出入口有无移动的目标，同时对目标进行录像保存，以便事后分析取证。一般楼 宇中安装多个摄像头，每个摄像头对应一个显示窗口，在传统的监视系统中，对 楼宇内可疑人员的监视需要人工在各个显示窗口中寻找。基于视频的楼宇内人群 跟踪技术可以实现楼宇内多个摄像头之间的可疑人员的跟踪，并且给出提示信息 以供工作人员参考，也可以实现对可疑人员的运动轨迹进行记录和查询，为事后 调查分析提供必要的数据。商店和车站的人流量统计技术通过视频目标分割技术 实现对人群的检测和统计，可以为商店和车站的管理决策提供数据。在商店监视 系统中通过对顾客的行为进行监视，利用视频目标分割和跟踪技术分析顾客的行 踪，可以挖掘出消费者的消费习惯，决策人员可以根据这些数据来调整货物的摆 放以及定位目标消费人群等。 3 ) 人机交互系统基于视频的人机交互系统在娱乐、教育和媒体展示等方面 都有广泛的应用。基于视频的人机交互系统一般由摄像头、显示系统和后台处理 系统组成。系统通过摄像头捕获包含人体动作的视频序列，在后台处理系统中对 视频目标进行分割并对动作进行识别，再通过显示系统显示出相应的结果。基于 视频的交互式游戏是一种比较新颖的娱乐方式，它结合计算机视觉、虚拟现实以 及传感器等多种技术，给用户提供新式的游戏体验。在教育和媒体展示领域，基 于视频的人机交互系统可以代替鼠标和触摸屏等输入方式，用户可以直接使用手 进行操作，摄像头通过捕获用户的手或者身体的姿态，后台处理系统对摄像头输 入的数据进行目标分割、跟踪以及识别来获得用户的命令，根据这些命令显示出 相应的结果，从而实现人机之间的交互。 4 ) 视频编辑和基于视频的动画制作系统视频目标拷贝和粘贴是视频编辑系 统中一项有用的功能。在视频编辑系统中，用户选定视频中一个目标，利用视频 目标分割算法交互式地把目标从视频的各帧中分离出来，然后把该目标的动作序 列粘贴到视频的其他位置上或者粘贴到其他的视频序列中合成一段新的视频。基 于视频的动画制作系统可以根据视频序列中的运动目标直接生成二维或者三维 的动画。基于视频的动画制作系统与视频编辑系统有点类似，它也通过用户选定 视频序列中的目标，然后使用视频目标分割算法把选定的目标从视频序列中分离 2 浙江大学博上学位论文 第1 章绪论 出来，用户再把二维或者三维的模型与分割出来的目标之自j 的对应关系一一关 联，系统就可以根据视频中目标的动作来驱动二维或者三维的模型进行变形，从 而生成整个动画。 5 ) 基于内容的视频编码m p e g 系列标准1 1 已成为国际上影响最大的多媒体技 术标准，其中m p e g 一1 和m p e g 一2 是采用以香农信息论为基础的预测编码、变换编 码、熵编码及运动补偿等第一代数据压缩编码技术，而m p e g 一4 则是基于第二代 压缩编码技术的国际标准，它以多媒体对象为基本单元，采用基于内容的压缩编 码方法，以实现视频音频和交互式多媒体的集成。m p e g 系列标准对v c d 、d v d 等 多媒体消费电子产品以及数字电视和高清晰度电视、多媒体通信等信息产业的发 展产生了巨大而深远的影响。m p e g 一4 实现基于内容编码的首要任务就是把视频分 割成不同目标对象或者把运动目标从背景中分离出来，然后针对不同目标采用相 应编码方法，以实现高效的压缩比率。因此视频目标分割是m f e g 一4 视频编码的 关键技术，也是新一代视频编码的研究热点和难点。 1 1 1 研究对象和研究内容 视频目标分割的研究目的是如何高效准确地从视频序列中提取出视频目标对 象。在视频目标分割中，一般不会限定视频序列中目标的类型，它们可以是人群、 车辆、船只以及动物等各种各样我们所关注的对象。而且也不会限制视频序列中 背景的类型，它们可以是室内户外等不同环境中拍摄到的场景。一般来说，我们 把具体应用系统中的处理对象作为视频目标分割算法的目标。在上述的各种应用 中，视频序列可以分为两大类：第一类是摄像机固定不动或者运动幅度很小的情 况下拍摄的视频序列，在这类视频序列中，典型的应用例子是视频监视系统中拍 摄的视频序列；第二类是摄像机的拍摄角度和焦距都可能变化的情况下拍摄的视 频序列，这类视频序列一般在影视娱乐节目制作中应用比较广泛。 在第一类视频序列中，由于摄像机拍摄的范围变化很小，所以背景相对比较 固定。一般情况下，这类视频序列中的背景可以分成静态背景和动态背景两种。 静态背景是指在整个视频序列中或者在较长的一段时间内，背景是固定不变的或 浙江大学博士学位论文 第1 章绪论 者变化非常缓慢，而且光线变化也是缓慢的。动态背景是指在视频序列中光线变 化比较快，或者背景中包含摇晃的树叶和小草以及波光粼粼的湖面等情况。还有 一种情况就是架设在街道旁边的摄像机受到行驶的车辆影响会产生振动，这样会 导致视频序列中背景会产生变化，这种情况也可以看作是一种比较特殊的动态背 景。在这一类视频序列中，背景是呈一定的规律分布的，所以很多研究人员对这 类视频序列的背景进行建模，然后通过视频序列的各帧与背景模型作对比来获得 前景i + 1 标。在这类利用背景建模来获得前景目标的方法中，会产生一个副作用， 那就是活动阴影，它会影响分割的准确性。所谓的活动阴影是指前景目标在光线 下移动，它遮挡了一部分的光线使得当前的背景与原先的背景不相同从而产生阴 影，这种阴影随着目标的移动而变化，所以称之为活动阴影。活动阴影与原先的 背景不相同，如果不作特别的处理，它会被当作前景目标的一部分，严重影响分 割的准确性。 。 、一，、一、 圈圈圈圈 i 法i 法j0j 图l - 1 视频目标分割算法的分类 在第二类视频序列中，由于摄像机拍摄的角度和焦距都可以改变，所以视频 4 浙江大学博士学位论文 第1 章绪论 序列中背景的变化是比较大的。在这一类视频序列中，很难有一种比较通用的方 法对背景进行建模，所以对于这一类视频序列，目标分割的方法一般是采用直接 对目标进行分割的方法。这一类视频序列分割的方法一般是交互式进行的，在分 割过程中，用户根据具体的应用指定一些初始值，分割算法根据这些初始值对视 频序列的目标进行分割，用户再根据分割的结果作一些修改，分割算法再根据这 些修改后的结果作进一步的处理，如此循环直至获褥用户满意的结果为止。对于 这一类视频序列还有一种基于目标识别的分割算法可以使用，这类分割算法需要 了解目标本身的信息，它通过对目标训练数据集学习得到目标的信息，再根据这 些识别信息实现对耳标的分割。这一类分割算法在分割过程中无需与用户交互， 不过它们的分割结果不如交互式分割算法精确，很难满足视频编辑和节目制作之 类应用的需求。 视频目标分割算法可以分为自动视频目标分割算法和交互式视频目标分割算 法两大类。自动视频目标分割算法在分割过程中无需人工干预，而交互式视频目 标分割算法在分割过程中则需要用户给算法指定初始参数，并在运行过程中对算 法进行干预来提高分割的效果。自动视频目标分割算法根据算法处理层次不同可 以分成低级层次的分割算法、中级层次的分割算法以及高级层次的分割算法三 种。低级层次的分割算法一般是在像素级别上作处理，在这个级别上，视频序列 被看作是众多像素的集合，它们关注于在像素级别上对背景、阴影以及前景进行 建模。在中级层次的分割算法中，视频序列被认为是由邻域关系组成的像素集合， 视频帧中像素之间存在邻域关系，相邻的视频帧之间也存在邻域关系。合理地利 用这些邻域信息可以提高分割的效果，中级层次的分割算法一般是以低级层次的 分割算法为基础，利用模型对视频序列中的邻域关系进行约束来获得最终的分割 结果。高级层次的处理一般是基于目标识别信息的，分割算法通过学习来获得目 标的识别信息，再根据这些识别信息对目标进行分割。目前，交互式目标分割算 法按所采用的主要技术可以分成三大类：第一类是基于目标轮廓跟踪技术的方 法；第二类是基于抠图技术的方法；还有一类是基于其他一些技术的方法。 浙江大学博士学位论文第1 章绪论 1 2 相关工作 视频目标分割算法是计算机视觉领域中一个研究的热点，前人在这方面做了 很多研究工作，近几年，在计算机视觉领域的顶级会议i c c v 、e c c v 、c v p r 、i c p r 和i c i p 等，顶级杂志p a m i 和u c v 等，还有国内计算机视觉相关的顶级杂志自 动化学报、模式识别与人工智能、中国图象图形学报以及计算机辅助设 计与图形学学报等上都有关于视频目标分割方面的论文发表。对于前人所做的 工作，我们按图卜1 所示的分类对它们进行阐述。 1 2 1 自动视频目标分割算法 自动视频目标分割算法在对视频序列的整个分割过程中是无需用户进行人工 干预的。自动视频目标分割算法比交互式视频目标分割算法有更广泛的应用环 境，在前面的五个典型的应用系统中，其中有四个应用系统是基于自动视频目标 分割算法的。一般来说，自动视频目标分割算法是通过学习的方法构造模型，再 根据这些模型按一定的规则对视频序列进行分割。前人对自动视频目标分割算法 研究工作可以根据算法对视频序列的处理级别划分为低级层次的分割算法、中级 层次的分割算法以及高级层次的分割算法三个不同的层次。我们按照这三个不同 的层次分别对前人的研究工作进行回顾。 1 2 1 1 低级