（信号与信息处理专业论文）基于静止分割和变化检测的视频对象跟踪.pdf

基于静止分割和变化检测的视频对象跟踪 摘要 本论文介绍了m p e g 4 视频标准的预处理及其视频对象分割和跟踪的 算法的实现。 f m p e g 4 视频标准所定义的编码方案能够提供几种基于内容的功能， 、 这就要求按照所谓的视频对象( v o s ) 来描述场景。因为不同比特流速率的 灵活选择性和视频信息的易操作性，视频对象独立的编码可以大大丰富 用户在多种多媒体服务上的交互式应用。在这种应用结构下，视频的编 码人员可以进行一个本地定义的预处理，这种预处理是为了能够自动识 别出现在视频序列中的对象。因此，分割算法在有效地利用m p e g 4 编 码方案中是一项关键的技术，尽管分割算法完全不影响所有比特流的语 、 一一7 法性。f 本文提出了一种适当地联合了时间域和空问域分割结果的视频对象 分割和跟踪算法。在不需要事先了解视频对像的时。空域信息的情形下， 本文所采用的算法可以检测出在静止摄像镜头下当前某一帧的视频对 象。在此，经过静止分割后可以获得在语义上同质性的区域，具体的过 程主要包括四步：图像简单化，梯度估计，分水岭算法检测和区域合并。为 了获得时间上关联的运动对象模板，对时间域上的分析采用后面跟着边 界平滑技术的变化检测方法。同时，还得估算运动矢量域。在此之后， 在运动矢量的帮助下，联合时间域和空间域的结果来跟踪对象。尽管所 一餐攒j 嚣鬻霪? 簟 跟踪的对象经历了某种形变，仍旧能得到一个很好的结果。 关键词： 对象跟踪，图像分割，运动矢量，形态滤波，分水岭算法，变化 检测。块匹配法 v i d e oo b j e c t t r a c k i n g b a s e do n s t i l ls e g m e n t a t i n a n dc h a n g e d e t e c t i o n a b s t r a c t t h i st l l e s i sd e s c r i b e st h ep r e p r o c e s s i n g f o rm p e g 4v i d e os t a n d a r da n d t h e i m p l e m e n t a t i o n o f v i d e oo b j e c ts e g m e n t a t i o n a n d t r a c k i n g t h ec o d i n gs c h e m ed e f i n e db ym p e g 4v i d e o s t a n d a r do f f e r s s e v e r a l c o m e n t e d _ b a s e df u n c t i o n a l i t i e s ，d e m a n d i n g t h ed e s c r i p t i o no ft h es c e n ei n t e m l so fs o c a l i e dv i d e o o b j e c t s ( v o s ) t h es e p a r a t e c o d i n go ft h e v i d e o o b j e c t sm a y e n r i c ht h eu s e ri n t e r a c t i o ni ns e v e r a lm u l t i m e d i a s e r v i c e sd u e 幻 n e x i b l ea c c e s st o t h eb i t s t r e a m a n da ne a s ym a n i p u l a t i o no ft h e v i d e o i n f 研m a t i o n i nt h i sf r a m e w o r k ，t h e c o d e rm a yp e r f o r mal o c a l l y d e f i n e d p r e p r o c e s s i n g ，a i m e d a tt h ea u t o m a t i ci d e n t i f i c a t i o no f t h eo b j e c t sa p p e a r i n g i nt h es e q u e n c e h e n c e ，s e g m e n t a t i o n i sak e yi s s u ei ne f f i c i e n t l ya p p l y i n gi n t h em p e g 4c o d i n gs c h e m e ，a l t h o u g h n o ta f f e c t i n ga t a l lt h eb i t 。s t r e a m s y n t a x t h i sp a p e rp r e s e n t sav i d e oo b j e c ts e g m e n t a t i o na n dt r a c k i n ga l g o r i t h m w i t ha na p p r o p r i a t ec o m b i n a t i o no ft e m p o r a la n ds p a t i a ls e g m e n t a t i o n t h e p r o p o s e da l g o r i t h mh e l p s t od e t e c tt h ev i d e oo b j e c tp r e s e n ti nac u r r e n tf r a m e u n d e rt h es i t u a t i o n o fs t i l lc a m e r aw i t h n o p r e v i o u ss p a t i o t e m p o r a l i n f o r m a t i o na b o u tt h eo b j e c t i nh e r e ，t h eh o m o g e n e o u sr e g i o n sa r eo b t a i n e d t h r o u g h s t i l l s e g m e n t a t i o n ，w h i c hm a i n l y c o n s i s t so ff o u r s t e p s ：i m a g e s i m p l i f i c a t i o n ，g r a d i e n ta p p r o x i m a t i o n ，w a t e r s h e d d e t e c t i o na n dr e g i o n m e r g i n g w h i l et h ec h a n g ed e t e c t i o nm e t h o df o l l o w e db y b o r d e rr e l a x a t i o n t e c h n o l o g yi su s e df o rt e m p o r a la n a l y s i st og e t a t e m p o r a lc o h e r e n tc h a n g i n g o b j e c tm a s k a t t h es a m et i m e ，m o t i o nv e c t o rf i e l d sa r ee s t i m a t e d a f t e rt h a t ， s p a t i a la n dt e m p o r a lr e s u l t s a r ec o m b i n e dt ot r a c ko b j e c tu n d e rt h eh e l po f m o t i o nv e c t o r av e r yg o o dr e s u l tc a nb eo b t a i n e d ，t h o u g ht h et r a c k e do b j e c t u n d e r g o e ss o m e k i n d so ft r a n s f o r m a t i o n k e y w o r d s ：o b j e c tt r a c k i n g ，i m a g es e g m e n t a t i o n ，m o t i o nv e c t o r , m o r p h o l o g i c a lf i l t e r , w a t e r s h e dm e t h o d ，c h a n g ed e t e c t i o n ，b l o c km a t c h i n g m e t h o d 圭塑奎望奎兰堡圭兰笪堡兰 一羔三! - 堕堡一 第一节引言 第一章绪论 随着计算机的快速发展，以及拓扑学和离散数学理论的创立和完善，使数值 图像处理技术得到迅猛的发展。而其中的对象分割和提取这部分概念一直是数值 图像处理的核心问题。 在最初的工程应用中，比如卫星图像和医学图像中对象的识别和提取，工业 加工过程的控制等等，人们针对不同的应用场景提出多种不同的对象分割和提取 算法。但这些场合有一个共同的特点，都是基于静态图像领域。由于计算机多媒 体技术和网络技术的持续发展，特别是一些特殊的视频处理应用场合的需要，使 得动态图像视频领域的对象分割和提取变得更为迫切。 服务于数字视频处理技术领域的m p e g 、i t u 等国际组织通过制定一系列的 标准，其中主要有h 2 6 1 h 2 6 3 、m p e g - 1 2 和m p e g - 4 7 ，使得整个数字视频处 理技术沿着标准化通用化的方向发展。每一标准的制定总是和相应的技术发展以 及社会的需要相对应，同时也是人们对视频处理技术要求的集中反映。 h 2 6 1 h 2 6 3 的应用范围是视频会议可视电话。它主要基于d c t 变化，采用 运动补偿来压缩码流速率，从而达到能够在有限的带宽中进行实时编解码的要 求。m p e g - 1 的视频标准部分和h 2 6 1 1 - 1 2 6 3 标准大致相同，也主要是压缩码流 速率。继m p e g - 1 推出后，m p e g 组织又制定了m p e g - 2 标准。它主要是基于 模拟电视提出来的，希望今后的电视节目从信源编码到信源解码都是数字的。然 而，这些标准的制定都是为了提高数据的压缩比，是一种压缩编码标准，而且整 个过程的处理是基于帧实现的，无法实现基于内容的交互控制。 正当欧洲、美国、中国和日本等国的政府大力扶持基于m p e g 2 标准的高清 晰度电视时，一种新的视频标准正在形成。由于人们越来越关注于对自然的和合 成的视觉对象( 包括视频、动化、图片和文本) 进行有效的控制、压缩和索引， 为了实现这一目标，m p e g 专家组于1 9 9 4 年制定了新的m p e g - 4 标准，并于1 9 9 9 年一月批准为国际标准。紧接着又开始制定m p e g - 7 标准。m p e g - 4 标准是一个 多媒体通信标准。它兼顾了工具、算法、层面三个方面的编码对象，是一个包括 了未来编码技术发展的开放式标准。m p e g - 7 标准是多媒体描述接口标准。它将 对各种不同类型的多媒体信息进行标准化的描述，并将该描述与所描述的内容相 联系，以实现快速有效的搜索。 圭塑奎望查兰堡圭兰竺笙兰羔二皇! ! ! 一 第二节视频对象 m p e g 4 标准的核心在于“音视频对象”的概念引入。所谓的“视频对象” 实际上是一种语义视觉信息，它代表着输入数据中的一个有意义的实体。比如： 一个小球、一架飞机、一幢建筑物、一个人等等都代表着一些有意义的实体或者 它们之间的联合。语义视频对象是一个在许多领域都很有用的概念。 在基于语义视频对象上，使得m p e g - 4 标准的交互式操作成为可能。首先 m p e g 4 标准的视频编解码是采用v o p ( 视频对象层) 的，它要求对每一语义 上的视频对象分别作为一个独立的层面单独编解码。那么所需要的视频对象不是 在矩形区域内，而是应该知道视频对象精确的形状。特别是要对视频对象的边界 和边界所包括的区域内容采用不同的编码算法时，视频对象的边界信息应该完全 知道。 其次，m p e g - 4 视频标准允许客户自由选择感兴趣的视频对象。在传输带宽 受限的情况下，提高客户要求的视频对象的传输码流，使感兴趣的视频对象的清 晰度增加；而把其他的视频对象的传输码流降低，甚至不传输，来降低不感兴趣 的视频对象的清晰度。这样可以满足客户对感兴趣视频对象的苛刻要求。这是 m p e g 4 视频标准的多比特流的一个应用，当然m p e g 2 视频标准也支持多比特 流的应用，但它只是针对整幅图像的，而不能对不同的视频对象采用不同的比特 流。 还有，m p e g - 4 视频标准允许客户索引和查询感兴趣的视频对象的背景信息。 这就要求系统明确知道客户所选的那个视频对象，以便给出正确的对象的背景信 息。 所有的这些，都要求准确的提取出所需要的视频对象。在现有的文献中，国 际上的很多研究人员提出了各种各样的方法来解决这个问题，但仍然无法找到一 种普遍的使用的方法。所以，在m p e g 4 视频标准中，对视频对象提出这部分 内容没有指定采用什么方法，只是给出推荐性的建议，任何能够满足m p e g - 4 视频标准的对象提出的方法都可以采用。 圭童奎望查堂堡主堂堡垒塞兰兰量型茎堕垄墨垦! 一 第二章系统的方案设计 第一节对象分割算法的研究现状 在电影特技制作中，需要把一幅背景图像中的对象提取出来，比如在室内拍 摄的人物，然后把这个对象放到另一幅背景图像中，这样合成所需要的特技效果。 在这里也牵涉到对象分割和提取的问题一从原始的背景图像中提取对象，那电影 制作人员是怎样实现对象分割算法呢? 其实解决方法很简单，那就是在拍摄时把 对象置于以蓝色为背景的空问中，得到背景为单一色调蓝色的视频：然后把背景 中的蓝色滤掉，就可以把所需要的对象提取出来，再把它合并到另一幅背景中就 得到所谓的特技效果。许多电影的动作特技和电视中的天气预报一般都采用这种 蓝屏技术。 若背景是单一色调的视频，可以采用类似于蓝屏的技术。但是从自然界中拍 摄的色彩是多姿多样的，背景颜色是不可预先知道的，甚至背景色都可能和前景 对象的颜色融合，这就大大加大了视频对象分割和提取的难度。在过去的文献q 一， 人们针对不同的应用范围提出各种不同的视频对象分割算法。由于视频是由以时 间为轴的一幅幅二维图像的联合，所以人们基本上是从时间域和空间域，或者两 者的联合来考虑视频对象分割。下面将列举一些过去提出的算法。 ep e d e r s i n i 、as a r t i 和s t u b a r o 在【4 提出的算法中，用联姻运动模型来估 计位移矢量域，并把这些矢量域分类，每一类位移矢量域具有相近的运动矢量， 然后进步把这些域平滑。然而，由于位移矢量估计所产生的错误，特别是在对 像边界上的错误，必然使得分割算法不够精确。而且，这种技术一般都会导致过 于分割，比如，得到的区域数目大于场景中的运动对象的数目 2 】 3 4 。 针对以上的情况，在文献 5 】 6 】 7 】中认为考虑到对象边界分割技术将可以得 到更加精确的结果。c g 1 l 、一e b r a h i m i 和m k u n t 在 6 1 中，先在空间域中根据 图像的文本信息进行分割，得到具有相近文本信息的区域；然后，这些区域根据 它们运动矢量的相近性判定是否合并在一起。对于运动信息，每个区域可以采用 密度位移矢量域，也可以采用联姻运动模型。由于连续对图像文本信息和运动信 息进行分析， 6 所提到的算法仍然有些缺点，特别是在对象边界上。 因此，c s t i l l e r 在 8 9 】提出通过最小化适当移位后的连续两帧图像的差分来 同时估算图像的文本分割和密度位移矢量域。然而，这种方法的一个缺点是由于 对密度位移矢量域估算算的高度复杂性；另一个缺点是一般这种方法也会导致过 于分割。 圭塑塞堕查堂堡主兰垡笙奎一e 兰已墨堕塑杰墨墨! l 在mh o t t e r 和rt h o m a 的【3 5 】算法中，主要是考虑连续两帧的灰度值差分， 然后用全局门限对差分图像取门限，再用从所估计的位移矢量域的运动信息消除 未覆盖背景。和以上几种方法相比较，这种技术避免了过于分割的问题，因为它 只划分运动的前景和静止的背景。缺点首先是因为采用全局门限，使得算法对噪 声非常敏感。另一个缺点是由于在分割的时候没有考虑图像文本信息或彩色信 息，那所得到对象的边界不会很精确。 在m h o t t e r 和r t h o m a 的 3 5 算法的基础上，t i la a c h 、a n d r ek a u p 和r u d o l f m e s t e r 在 3 3 4 0 提出- - 种改进的算法。它用局部统计门限来代替 3 5 】中的全局门 限，使结果图中的受噪声的干扰大大减小；同时在边界平滑的过程中，引进 g i b b s a c a r k o v 随机域，采用最大后概率判定准则来进一步平滑边界，从而得到较 为平滑的对象区域边界。缺点仍然是没有考虑到图像的彩色信息，仅仅考虑图形 的灰度值信息。 故r o l a n dm e c h 和m i c h a e lw o l l b o r n 在结合多种算法的基础上，特别是 3 5 的基础上，对时间域的视频对象分割和提取算法提出一种系统的法则【3 4 】。这种 算法主要基于变化检测步骤，采用局部门限技术。在平滑对象边界时，从 g - i b b s m a r k o v 随机域的角度考虑周围点的影响。另外，为了使获得的视频对象在 时间上具有相关性，同时考虑上几帧的变化检测模板对当前变化模板的时间上的 延续性。在变化检测后，估计位移矢量域来把变化检测模板分成运动对象区域和 未覆盖区域。最后为了获得对象区域精确的边界，把前面的对象边界自适应于原 始图像的边界点。当然，为了处理处理不同种类的视频，所用到得参数自动适应 于当前的视频序列。 以上是从时间域的角度来考虑视频对象分割。在空间域中对图像进行分割， 主要是通过检测边界来对图像进行分割的。对于边界的检测，人们提出各种各样 的方法【1 】 4 】【5 】。当检测边界后，如何进行图像分割，把图像分成一个个具有同 质性的区域是个困难的问题。其中，分水岭算法( w a t e r s h e d a l g o r i t h m ) 是一种 效果很好的算法【6 】【2 0 】【2 1 】【2 2 】【2 3 】【2 4 】【2 5 】 2 6 】，它能够快速准确的把图像分割 成同质性的区域。但是，它的一个最大的缺点是不可避免的带来图像的过于分割。 在分水岭算法的基础上，p h i l i p p es a l e m b i e r 【2 l 】 2 2 】【2 6 】建议了种典型的采 用形态处理技术的分割算法。首先，算法采用重构开，闭( r e c o n s t r u c t i o nb y o p e n i n g “c l o s i n g ) 形态滤波器来简单化图像，能够较好的保留原始图像重要的边 界信息，同时去除边界内区域中的一些不需要太多考虑得过于繁琐的图像细节信 息图像，使得图像简单化。经过简单化后的图像在彩色或强度上比较同一。这种 形态滤波器最大的优点在于它们不会像低通滤波器或中值滤波器那样模糊或改 ，t ”。簪鱼黪糍鬻一黔噼 圭塑銮望盔堂堡主堂壁垒奎 兰三里j 墼型生墅塑竺! l 变对象轮廓。接下来采用形态梯度来检测边界，便是采用一定的算法来探测同一 性区域，从而提取出相应的分割标记，然后将每一个所提取出的分割标记作为相 应区域的种子点。最后，采用分水岭算法来给那些未分割的像素分配相应的标记， 这和区域生长方法类似。之后，c h o ie t c 【2 7 】又建议了一种新的形态视频分割算法。 算法中，他们的标记提取过程主要是探测那些不仅在亮度上，而且在运动上皆具 有同一性的区域，即所谓的联合标记。同样地，分水岭算法也采用了亮度与运动 联合的同性标准。最后，算法将那些具有相同殃射运动的区域融合起来，从而 使结果简单化。这个算法的缺陷在于缺乏时域上的对应，以至于无法及时保证时 域上的连续性。形态分割技术的优点不仅运算简单，而且也不必预先给定区域或 对象的数量，因为它可以通过标记或特征提取算法自动获得。然而，从分水岭算 法的根本上讲，由于它仍是一种近似于区域生长的方法，因而必然会遇到区域生 长技术有关的各种问题。 第二节本文的系统方案 在基于以上文献的考虑，本文所采用的方案是联合时间域分割和空间域分 割，来对视频序列进行对象分害0 、提取和跟踪。 在时间域分割中是采用r o l a n dm e c h 和m i c h a e lw o u b o r n 在 3 4 提出的改进 后的变化检测方案。它能够检测出视频序列中运动的对象，同时能够把未覆盖区 域给消除。如果视频序列中的对象不是部分做运动，也不是因为运动矢量很小的 话，采用变化检测方案完全可以较为精确地把视频序列中的对象分割很快提取出 来。若视频序列的对象的运动矢量很小的话或者仅仅使对象的部分做运动的话， 那就需要经过多帧的检测才能把对象分割提取。另外，由于在进行时间域的变化 检测的分析时，主要是考虑上下连续两帧之间的图像的差分信息，没有较好的考 虑没一帧图像的彩色信息，特别是其中使用的位移矢量等的运动信息，必然导致 所得的运动对象的边界不是很准确。 为了获得更好的图像信息，基于空间域分割的对象分割和提取不得不考虑。 在这里，空间分割采用分水岭算法【2 0 】。在从以上时间域分割得到的变化检测模 板的基础上，把边界点自适应域采用分水岭算法得到的更为精确的对象边界点， 这样的能够获得更好的对象形状。 从以上考虑可以看出，本文主要是以基于变化检测的时间域分割为主，然后 辅助以基于分水岭算法的空间域分割，同时的考虑视频序列中的所考虑的对象的 位移矢量，在这三者方法相互联合的基础来获得对象分割和提取。 圭塑奎望查堂雯主堂垡丝奎 苎三兰墨堑堕堕墨堡! l 在计算的开始，预先设定一些必要的参数。然后，每次计算完一帧图像时， 把这些参数适应于每一帧中的图像内容。若发生了场景变化，或较强的镜头伸缩， 则把这些参数从新设定。 可以，看出上面所说的是一种自动分割算法，只需要在开始的时候设定必需 的参数，然后运行就行了程序会根据所考虑的不同帧的图像内容自动调整所需 的参数来获得较为理想的结果。由m p e g 组织对各种自动对象分割算法和非自 动对象分割算法的比较和分析可知道，因为一般视频序列中的内容和背景较为复 杂，而自动分割算法计算过程中没有更加符合不同帧的图像信息的交互式的操作 的介入，一般自动分割算法的效果不是很好。 因此，本文采用一种类似于半自动分割算法的方法。在开始进行视频对象分 割算前，可以预先勾勒出所要的跟踪的视频对象，然后把它的模板存储起来，来 调整下一帧所得的对象模板；每次得到的对象模板又用来调整下一帧的对象模 板。这样可以保证在对象跟踪的时候时间上对象形状的连续相关性。 结合以上的考虑，本文所用的系统方案的框图如下所示，图( 1 1 ) ： f i g 1 - 1b l o c kd i a g r a m o f c o m b i n e d t e m p o r a la n ds p a t i a ls e g m e n t a t i o nf r a m e w o r k 图l l 时间域和空间域联合的状态图 本文的结构分布如下：第三章是关于运动矢量，主要讨论和分析块匹配和光 流法，并比较它们之间的优缺点。在时间域分割和时空域联合分割中，将用到 运动矢量。第四章，将详细介绍基于变化检测的时间域分割，并分别介绍不同的 统计模型下所得到的变化检测，并从理论上说明它们之间的优缺点。第五章，主 要讨论基于分水岭算法的空间域分割，同时分析采用形态滤波的图像简单化、检 上海交通大学硕士学位论文 第二章系统的方案设计 测边界用的形态梯度、浸入式分水岭算法和区域合并，从而得到具有语义上同质 性的区域。最后一章，使联合时间域分割算法和空间域算法来对视频对象进行跟 踪，并给出最后的实验结果。 圭塑窒塑盔堂堡主堂丝堡苎墨三兰至塑! ! 兰一 第三章运动矢量 在现有的视频处理文献【1 1 中，运动矢量的估计是比不可少的。其中，常用的 是块匹配法( b l o c k - b a s e d m a t c h i n g m e t h o d ) ，光流法( o p t i c a l f l o w m e t h o d ) ，像素 递归法( 心，柑伽柳坩m e t h o d ) ，贝塞尔法( b a y e s i a nm e t h o d ) 等其它的方法。而 在实际的应用中，光流法和块匹配法是最常见和最常用的。在此，本章将较为简 单地介绍一下则这两种方法，并做出一些分析说明。关于运动矢量详细的介绍， 请读者自行参考关于视频处理的文献。 第一节块匹配法 块匹配法是图像处理中最常用的方法，被广泛应用于h 2 6 1 和m p e g 1 - 2 - 4 等数字视频压缩输标准。本文运动矢量分析只需要考虑所跟踪对象的整体运动矢 量，不直接考虑形变。 块匹配法的原理【1 】是认为图像由运动的块构成，下一帧的块是上一帧的块经 过形变平移得到。如图( 3 一i ) 所示，在当前帧中选定一块图像，在对应的上一 帧图像的位置四周求块匹配。匹配的准则之一是最小平方差准则，方程( 3 - 1 ) 。 那么具有最小平方差的两块之间的位移就是当前块的运动矢量。 m s e ( d - ，如) = 志；，裴”1 ) 一s “啊，矿厶砌2 ( 3 - 1 f r a m e f r a m ek + l 岫u 1 - j f i g3 - lb l a c km a t c h i n g 图3 - 1 块匹配 上海交通大学硕士学位论文 第三章运动矢量 常用的方法【1 】 1 0 】【1 1 】 1 2 1 3 】有全局搜索法，三步搜索法和交叉搜索法。 若要提高精度，可采用分级搜索法。具体的算法的原则，可参考文献 1 4 。本文 所用的是对分级搜索法的改进：为了防此一些过大的运动矢量的出现，在每级搜 索时，把每次得到的运动矢量的最小方差和当前层零运动矢量的方差进行比较， 若比较的值小于一定的门限，则判定当前层运动矢量为零。这种想法所然会有时 带来错误的结果，但它能保证块匹配尽量在原块的周围最近的地方寻找。图( 3 2 ) 是采用改进的分级搜索法的结果。 从中，可以看出所求的运动矢量基本正确。但对象左臂的一些运动矢量误判 为零，但这些并不影响后面时域分割和卒间域分割的结渠 f i g3 - 2m o t i o nv e c t o “l e ma n di t sm k ( n g h t ) w i n gb l o c k - m a t c h i n gm e t h o d 图3 - 2 采用块匹配法得到的运动矢量和它的模板 第二节光流法 2 1 光流方程 光流的原理 1 】是：它试图依据于时空图像亮度梯度来得到一个光流场的估 算，用这个估算来表示图像中像素点的运动矢量。 假设，s ( x ，只f ) 表示连续时空亮度分布。如果沿着运动轨迹上的亮度保持不 变，我们得到： d s ( x ，m 一0 = 。 ( 3 2 ) 其中z 和y 沿着运动轨迹随f 变化。方程( 3 2 ) 是一个全导数表达式，它表 示沿着运动轨迹的亮度变化率。运用微分连锁法，则它可表示成 圭塑銮塑查兰堡主兰垡丝奎! 笙塑生垩垫叁墨一 d s ( x 。f 、：熏d x + 鱼塑+ 尘：鱼”+ 鱼，+ 宴 磊、，y ：7 ) 2 菇d t + 苟一a r t + 瓦2 瓦嘣十万+ 瓦 ：( v s ， ，v ) ) + 害= o o t ( 3 3 ) 其中 ，v ) = ( 笔，笔) 表示空间坐标 ，y ) 点处的像素的运动矢量， d | d f v s ：i 兰窭l ，而( ) 代表矢量的内积。 i 础删l 由方程( 3 3 ) 可以看出，我们进能估算空间图像梯度蔫( 称为法线流 l v d l y ( x ，y ：f ) ) 方向上的流量矢量的分量，因为正交于空间图像梯度的分量在点积 后已经消失了。这一点可从图( 3 3 ) 中看出，这里，箭头位于虚线上的所有矢 暑曲溢早方棵( 3 - 3 、从该式中转们可以计簋m 每一个付詈的法线流，即 o s h ( t y ；f ) 2 网c 3 t ( 3 _ 4 ) 因此，光流方程( 3 - 3 ) 实际上是在流量矢量分量上强加了一个约束条件，这 个分量是沿着每一个像素上的图像亮度空间梯度方向，这和孔径问题是一致的。 方程( 3 - 3 ) 是个二元一次的病态方程，它的解非惟一解。为了获得唯一的解， 附加的假设是非常必要的。这些假设往往是通过将平滑度约束条件强加于二维运 动场上，以获得时域上的连续性。在 1 l q u 增加约束条件来求解方程( 3 3 ) ，主要 介绍了二阶微分法，块运动模型法，h o r n - s c h u n k 法，梯度故激法和自适应法。 在此，仅仅较为详细的介绍h o r n - s c h u n k 法 1 5 1 ，至于其它的算法请参考具体的 文献。 占墨奎望查堂堡主堂垡笙奎鐾望已垩垫墨! l 2 2h o r n s c h u n c k 法 f i g 3 - 3n o r m a lf l o w 图3 - 3 法线流 为了克服孔径问题，寻找另一个约束条件，h o r n 和s c h u n c k 提出了一种新 的算法，称为h - s 光流分析法。h s 法搜寻整个运动场，该运动场的流量矢量逐 像素变化的最小值满足光流方程( o f e ) 。令 占( 矿( x ，y ；t ) ) = ( v s ( x ，y ；f ) ，矿( x ，y ；f ) ) + ：i ! ! 铲( 3 - 5 ) 代表光流方程中的误差，其中v ( x ，y ；t ) = ( i t , v ) 。注意到当s 。( y ( x ，y ；t ) 等于零 时满足o f e ，在有阻塞和噪声的情况下，我们的目的在于求误差二次方的最小 值，以便加强光流约束条件。 速度矢量逐像素的变化可以通过速度矢量分量的空间梯度的模平方和来定 量给出，也即是： g ，2 ( 矿( x ，j ，；f ) ) = j i v 7 ，( x ，y ；t ) 1 1 2 + l l v v ( x ，y ：f ) 1 1 2 = ( 宴) 2 + ( 孚) 2 + ( 娑) 2 + ( 字) 2 ( 3 6 ) 讲o v优 o y 这里我们假设空间和时间坐标是连续变量。一般来说，速度场越平滑， s 。2 ( 矿( z ，y ；f ) ) 越小。 随后，我们利用o f e 中的误差与速度场逐像素变化数值的加权和的最小值 来估算每一个像素( x ，v ) 上的速度场， 曩、，冀裁；? 圭壅奎塑查兰堡主堂垡堕奎整三兰立堑型! 苎一 瞧l a i 弘nf 加2 ( 功+ 口2 f ( 矿) 皿 3 - 7 其中a 代表连续图像的区域范围。通常试探性地选择参数a 2 来控制平滑度 约束条件的强度。较大的口2 值将会增加约束条件的影响。在我们的系统中，口2 取值为6 2 5 。 利用变量的微积分，求函数( 3 7 ) 的最小值需要联立求解以下两个方程： ( 塞) 2 ：( t y ；，) + 塞嘉；( t y ；r ) = 口2 v 2 ：( 墨y ；r ) 一宴o x 窑 出o x 洲 o l 塞：( t y ；f ) + ( 富) 2 ；( t ”f ) = 口2 v2 ；( 丘只。一宴c r y 窑 ( 3 - 8 ) 优洲甜 o l 其中v 2 代表拉氏算子，代表各自分量的估值。在h o r n - s c h u n c k 的实现中，我 们已经用f i r 高通滤波器近似速度矢量的拉氏算子，以便得到g a u s s - s e i d e l 迭代 法 n ( + 1 ) 一( n ) 甜= 一 丞一( “) 丞一( ”) 西 + v + 一 挑拙 却 a t 融口：+ ( 宴) ：+ ( 宴) ： 幽却 西一( “b s 一”b s ”+ v + 一 ：；”一宴生0 1 ( 3 _ 9 ) 砂口2 + ( 竺) 2 + ( 竺) 2 、良 砂。 其中n 是迭代次数，加在上面的短线代表加权局部平均值( 除当前像素外) ， 在点( x ，y ；t ) 上计算所有的偏微分。速度矢量甜( ( x ，y ；t ) 和v ( o ( x ，y ；t ) 的初始 估值通常取做零。在上面的公式中，我们假设了一个连续的时空亮度分布。而在 计算机的实现中，所有时间和空间图像梯度需要来自可观察的图像样本的数值估 值。在我们的系统中，我们采用了有限差分的方法来进行梯度估算。从离散数学 的理论推导可知，我们可以通过前向或后向的有限差分来逼近求解离散图像的偏 微分。为了获得较稳定的偏微分估算，我们可以计算前向和后向有限差分的平均 值，这称为均差分。进一步说，还可以用均差分的局部平均值去消除观察噪声的 影响。具体实现时，我们决定选用四次有限差分来得到，即： 圭坚奎望奎兰堡主堂垡笙塞! 里蔓至型墨! ! 一 $ 唾y ；旦* ；如。+ 1 , f y ；后) 一5 ( n x , t l y ；i ) + s ( 以+ l ，一+ l ；i ) 脚 q s ( ，7 ，p + l ；i ) + s ( 门，+ 1 ，疗y ；| + 1 ) 一s ( n 。，n y ；k + 1 ) + s ( ”，+ l ，”，+ l ：七+ 1 ) 一s ( n ，打y + 1 ；i + 1 ) 掣艘“抛。b + 1 妒帆蛳州取+ 1 b + 1 ，七) 一s ( ”。+ 1 ，z ，；i ) + s ( ”。，y + 1 ；七+ 1 ) 一s ( n 。，n y ；k + 1 ) + s ( ， 。+ 1 ，拧，+ 1 ；七+ 1 ) 一s ( n 。+ l 疗y ；后+ 1 ) 璺! 铲“；矗( ，k ，盯，；_ j + 1 ) 一s ( 胛，。；七) + s ( n x + 1 , i t v , 七+ 1 ) 一s ( ”。+ 1 ，疗，；| ) + s ( 厅。， y + l ；后+ 1 ) 一s ( ”，t l y + 1 ；后) + s ( i q x + l ，l + 1 ；j j + 1 ) 一s ( 胛。+ 1 ，r y + 1 ；七) ( 3 1 0 ) 关于h o i l l s c h u n c k 光流分析法的运算结果如图( 3 - 4 ) 所示， f i g 3 - 4t h eo p t i cf l o w ( 1 e f t ) a n di t sm a s k ( r i g h t ) 图3 - 4光流( 左图) 和它的模板( 右图) 2 3 块匹配法和光流法的比较 这两种方法各有各的优缺点。块匹配法基于图像是由运动的块组成的，那么 块中的像素点都具有相同的运动矢量，即使此块坐落在具有不同运动矢量的区域 的边界上。而光流法是假设图像具有连续的时空亮度分布，即每个像素点的灰度 值在时域上( 连续两帧中) 是连续的，在空问域上( 和周围点相比较) 也是连续 的。当对象运动范围不大，光流法才较为精确。 圭塑銮望奎堂雯主堂堡垒奎兰塑望兰土望壁坌! ! 一 第一节算法原则 第四章时域分割 本文所提供的时域分割算法主要是基于变化检测c h a n g ed e t e c t i o n ，把视频序 列中的每帧图像分为运动对象m o v i n go b j e c t ( 前景) ，静止s t i l l 和未覆盖背景 u n c o v e r e d b a c k g r o u d ( 统称背景) 。图( 4 - 1 ) 是算法的结构图。 f i g 4 - 1b l o c k d i a g r a m o ft h e t e m p o r a ls e g m e n t a t i o n 图4 - 1 时域分割的图解 占塑銮望奎堂堡主兰垡笙奎j 型虫生旦塑堕! ! 一 本算法可以化分为以下几步：首先考虑是否发生明显的场景变换或镜头变 换。在上一帧的背景区域的范围内求出上下两帧的最小平方差( m s e ) ，若大于 某门限，即发生了场景变化或镜头变化，把算法中一些必要的参数重新设定为初 始值。 第二步，先生成连续两帧间的初始化的变化检测模板( c d m i ) 。在这个模 板中，标注那些因为运动对象引起的灰度值变化的像素点。再后，用平滑技术 ( r e l a x a t i o nt e c h n i q u e ) 平缓变化区域的边界，得到一个新的模板( c d m s ) 。 然后，算法自适应摄像机镜头噪声。在前一帧的运动区域模板的基础上，计算更 新后的镜头方差和连续两帧运动区域之间的方差。为了获得时域上稳定的对象区 域，这里引用了检测变化模板内存( 在a 彳) ，而且m e m 的时域长度自己适应于 视频序列。之后，c d m s 用形态闭滤波器来消除小的区域，生成最后的c d m 。 第三步，从c d m 中把未覆盖区域去掉，得到初始的运动对象模板o m i 。因 此变化区域中每一个像素点的位移信息须预先得到，在此采用的多级块匹配法 ( h b m ) 或光流( o p t i c a l f l o w ) 。为了提高位移矢量域( d v f ) ，在计算h b m 时，从一开始就要把c d m 考虑进去。最后，0 1 1 4 # 的边界点适应于原始图像的灰 度值边界，来提高所获图像的边界精确度，结果就是最后的对象模板( o ! m ) 。 本章节的安排如下：第二节，简单地讲讲场景变化检测。第三节和第四节， 详细地讲解变化检测模板的基础知识和原理结构，包括初始的获得和边界平滑， 并对结果做出详细的分析。在这两节中，采用多种不同的方案，并从理论上说明 它们之间的比较和联系。第五节，关于对象模板估计，包括未覆盖背景的去除和 边界适应。 第二节场景变换检测 当发生场景变化或强镜头变化时，相关对应的前后两帧将没有必然的联系， 即两帧的图像是完全不一样的，这时分割算法将重新开始，如所有的参数必须重 新设置为初始值，因为这些参数已经不适应于新的图像。 在本文的算法中，采用前后两帧对应象素点的平方差的平均值是否大于某一 给定的门限值。从理论上讲，应该只考虑背景区域的像素点，因为作为前景的运 动对象区域中的相对应的两帧的像素点之间没有必然的联系。在计算时，因为当 前帧的背景模板还未获得( 在分割算法中最后一步得到) ，只有前一帧的背景模 板，为了方便和可行起见，故在前帧的背景模板的范围内做场景变换检测。场 景变换检测法则如下： ( ，0 ) t p o m l ( p ) = o 抛) ) 2 t s cj s c e n e cut,(4-1、 s t s cj n o $ c e b ec u t 一一 圭塑奎望查堂堡主堂篁笙苎苎旦兰塑墅塑! 一 n b g 指前一帧o m 中值为0 的像素点的数目总和即背景像素点的数目总和。 第三节初始c d m 计算 3 1 一些定义 我们在计算机上看到的动态的图像序列一般是用摄像机摄录下来的( 以下都 以此为假定) ，在摄录的过程中，因为实际景象中的物体光线强度的变化，光线 通过镜头的传输以及扫描时的光电转换等等 1 】，这些会给最终所获得的图像带 来噪声，统一记为。 这些噪声都是随机的，很难准确的给出具体的模型。当用中心极限定理来分 析这些噪声时【2 9 】【3 0 】，可以大概地判定为均值等于，方差为碍的高斯分布， 因此把这些噪声记为高斯噪声，且前后两帧的噪声是不相关的。所以所获得的图 像信息是原图像信息和高斯噪声之和，即： 以= s k + 以 ( 4 - 2 ) 其中k ，和坼分别为第k 帧的所获得图像信息，原图像信息和高斯噪声 信息。肌服从均值等于，方差为霸的高斯分布，且不相关，即： ( 4 3 ) ( 4 4 ) 3 2 基于单点的判断准则 给定图像序列中连续地两帧k 和k 。，则这两帧地灰度值的差分图像 d = 缸 ，其中d t = y e + ( o - y ( o ，i 是图像阵列的像素点位置【1 l 】。西的概率密度推 导如下： d t = y 卧l ( i ) - y d i ) = s k + l g ) + n k + l l i ) 一t s 稚1 七n 婚) ) = l s f 1 1 一s 雌) ) 七( n i i ) m 娃t ) ) 假定在空假设胁时，像素点i 没有发生变化，即吼+ 一s 订z ) 。对应的h l 假 设就是像素点i 发生变化，取+ ，删。 在月j 假设的情况下，研= r + ( o - s o ) j 十r 佩+ j - l l k 何，；+ ，船。因为 i l k + ，和，都是高斯分布，所以西也是高斯分布 x x x ，且均值和方差计算如下： e d ) 2e ( n k + 1 n 0 = e o z ) - e 饼0 = u - i t = o j 囊”+ 。 兰噼 加一 “ 雠 赢如 = d 0 g 圭塑銮望查堂堡主堂篁丝壅苎里兰塑堑! 童l 矿r d l ；e ) ( e ( d ) p =