（计算机应用技术专业论文）基于时空联合的视频对象分割算法的研究.pdf

学位论文版权使用授权书 江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、 缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致， 允许论文被查阅和借阅，同时授权中国科学技术信息研究所将本论文编入中国 学位论文全文数据库并向社会提供查询，授权中国学术期刊( 光盘版) 电子杂 志社将本论文编入中国优秀博硕士学位论文全文数据库并向社会提供查询。 论文的公布( 包括刊登) 授权江苏大学研究生处办理。 本学位论文属于不保密。 学位论文作者签名：私萄 2 0 l 年占月gf t 指导教师签名： t 年c ，月p r 分类号： 至殴2 曼：垒 u dc ： 鲤生墨 密级： 垒珏 编号：曼丝窆窆s q 墨q 鲤窆鱼 江蒜大学 硕士学位论文 基于时空联合的视频对象分割算法的研究 r e s e a r c ho nv i d e oo b je c ts e g m e n t a t i o nb a s e do n s p a t i o t e m p o r a li n f o r m a t i o n 指导教师 毯建明教撞作者姓名毯蕴 申请学位级别 亟专业名称i 篡扭应用撞苤 论文提交日期2 q ! ! 鱼 学位授予单位和日期江菱太堂 2 0 1 1 年6 月 评阅人 江苏大学硕士学位论文 摘要 近年来，随着多媒体以及网络技术的飞速发展，基于内容的视频应用得到了 人们越来越多的关注，成为数字视频技术乃至计算机视觉领域的一个研究热点。 这些应用包括基于内容的视频检索、面向对象的视频压缩和编辑、智能人机交换 等方面，而视频对象分割效果的好坏将直接影响后续的视频应用。 当前视频分割算法众多，而其中基于时空联合的分割方法是一种常见且有效 的分割方法，因而得到众多学者的广泛关注。本文在综合分析以往的视频对象分 割算法的基础上，从时域、空域以及时空融合三方面入手，对基于时空联合的视 频对象分割算法进行了研究，具体内容如下： ( 1 ) 从时间域角度，提出一种基于多帧边缘灰度差异的运动检测方法。考虑 到区域边界在运动中较区域内部更为显著以及多帧差异可以弥补信息丢失的特 点，本文采用多帧边缘灰度差异检测的方法得到时域帧差掩模，以此进行计算提 取区域边界信息，以便去除区域内部像素可能引入的不利影响，从而降低了运算 量，然后采用聚类方法去除图像背景中的噪声点，再通过边界高斯检测获取视频 图像的运动区域。 ( 2 ) 从空间域角度，提出一种基于梯度修正和层次区域融合的分水岭分割算 法。本算法从梯度修正和区域合并入手，根据开闭重建运算可以有效地抑制图像 噪声的特点，用其对梯度图像进行重建，并将重建后的梯度图进行非线性划分和 浮点活动图像的计算，作为分水岭算法的输入，以此来缓解过分割现象；同时考 虑到分水岭处理以后出现的大量细小区域，本文采用改进的区域合并方法对区域 进行合并，以得到有意义的分割结果。 ( 3 ) 从时空融合角度，提出一种基于形态处理和二次扫描的时空融合方法。 针对传统的时空融合方法易造成分割对象不完整的问题，本算法从形态预处理以 及后期的二次扫描入手，采用形态膨胀操作对时域分割结果进行处理以得到紧凑 的掩模图像，然后使用基于区域隶属度粗细分割相结合的算法进行时空投影操 作，最后再使用二次扫描的方法对得到的初始结果进行处理，以使分割对象的边 缘更加完整和精确。 ( 4 ) 采用面向对象思想设计并开发基于时空联合的视频对象分割的原型系 统。该系统包括时域分割子系统、空域分割子系统以及时空融合子系统等功能模 块。并通过实验对比验证上述方法的有效性。 关键词：视频分割，视频对象，多帧灰度差异，分水岭变换，时空联合分割 基于时空联合的视频对象分割算法的研究 i i 江苏大学硕士学位论文 a b s t r a c t w i t ht h ev i g o r o u s d e v e l o p m e n t o fm u l t i m e d i a t e c h n o l o g y a n dn e t w o r k t e c h n o l o g yi nr e c e n ty e a r s ，t h ec o n t e n t b a s e dv i d e oa p p l i c a t i o n s ，w h i c hc o n t a i nv i d e o s e a r c h e s ，c o m p r e s s i o na n do b j e c t - o r i e n t e d e d i t i o n ，a p t i t u d e h u m a n - m a c h i n e e x c h a n g e ，e t c ，h a v er e c e i v e dm o r ea n dm o r ep e o p l e sa t t e n t i o na n db e c o m eah o tt o p i c i nt h ed i g i t a lt e c h n o l o g y ，a l s ot h ec o m p u t ev i s i o n a n dt h er e s u l to fo b j e c t s s e g m e n t a t i o nw i l la f f e c ts u b s e q u e n ta p p l i c a t i o n sd i r e c t l y t o d a yt h e r e a r es o m a n ya l g o r i t h m s a b o u tv i d e oo b j e c t s s e g m e n t a t i o n t e c h n o l o g y a n da m o n gt h e m ，s p a t i a l t e m p o r a ls e g m e n t a t i o ni s ac o m m o na n d e f f e c t i v em e t h o d ，w h i c hh a sr e c e i v e dm u c ha t t e n t i o no fm a n ys c h o l a r s i nt h i sw o r k ， w ef i r s t l yd i s c u s st h eb a c k g r o u n do fo u rr e s e a r c ha n da n a l y z et h em a i ne x i s t i n gv i d e o s e g m e n t a t i o na l g o r i t h m s ，a n dt h e nw eh a v ear e s e a r c ho nv i d e os e g m e n t a t i o nb a s e d o ns p a t i o t e m p o r a li n f o r m a t i o nf r o mt e m p o r a l a s p e c t ，s p a t i a la s p e c ta n ds p a t i o - t e m p o r a la s p e c t ，t h ed e t a i l sa r ea sf o l l o w s ： ( 1 ) i na s p e c to ft e m p o r a ls e g m e n t a t i o n ，o n ea l g o r i t h mb a s e do nd e t e c t i o no fe d g e d i f f e r e n c ea m o n gm u l t i p l ef r a m e si sp r o p o s e d a c c o r d i n gt ot h ep r o p o s e da l g o r i t h m ， e d g ed i f f e r e n c eb e t w e e nag r o u pf r a m e si su s e dt od r a wt h ea r e ao fm o v i n go b j e c t s ， a n dt h e no nt h eb a s i so ft h i s ，w ec a no b t a i nt h ee d g ei n f o r m a t i o nb yc o m p u t i n gi n o r d e rt og e tr i do ft h ee f f e c to fi n t e r n a lp i x e l so fr e g i o na n dr e d u c et h ec o m p u t i n g c o m p l e x i t y t h e nb a c k g r o u n dp i x e l sa r er e m o v e dt h r o u g hs e t t i n gu pp i x e l m e s u r i n g w i n d o wa n dt h r e s h o l dv a l u e ，a n df i n a l l yt h r o u g hg a u s s i a n i t yt e s t ，t h et e m p o r a l t e m p l a t ew i l lb eo b t a i n e d ( 2 ) i na s p e c t o f s p a t i a ls e g m e n t a t i o n ，a n o v e l a l g o r i t h m o fw a t e r s h e d s e g m e n t a t i o nm e t h o db a s e do ng r a d i e n tm o d i f i c a t i o na n dh i e r a r c h i c a lr e g i o nm e r g i n g i s d e v e l o p e d f i r s t ，n o n l i n e a rt r a n s f o r m a t i o na n dm o r p h o l o g i c a lt e c h n i q u e sc a l l e d o p e n i n g b y - r e c o n s t r u c t i o n a n dc l o s i n g - b y r e c o n s t r u c t i o na r eu s e d t o m o d i f y t h e g r a d i e n ti m a g e ；s e c o n d ，t h ef l o a t i n g p o i n ta c t i v e i m a g ei sc o m p u t e da st h ei n p u to f w a t e r s h e da l g o r i t h m ；f i n a l l y , s o m es m a l ls e g m e n t e dr e g i o n ss h o u l db ei n c o r p o r a t e d i n t ot h en e a rb i g g e rr e g i o n sa f t e rw a t e r s h e da l g o r i t h mw h i c hi sb a s e do nc r i t e r i o no f t h ea v e r a g eg r a yv a l u eo ft h er e g i o n ，a n da tt h es a m et i m ea c c o r d i n gt ot h ec o n t r a s t c o n t r o la n dt h ee d g es t r e n g t hc r i t e r i o n ( 3 ) d u r i n g t h e a m a l g a m a t i o n o f s p a t i a l a n d t e m p o r a ls e g m e n t a t i o n ，a s p a t i a l t e m p o r a lp r o j e c t i o na l g o r i t h mb a s e do nt h em o r p h o l o g yo p e r a t o ra n dt w i c e s c a ni sp r e s e n t e d b e f o r et h ea m a l g a m a t i o n ，w eu s em o r p h o l o g yo p e r a t o rt op r o c e s s 1 1 i k e v w 。r d s ：v i d e os e 舯e n t a t i 。n ，v i d e 。0 b j e c t ，d i v e r s i t y o fm u l m 锄e s 铲a yv a l u e ， 。 w a t e t s h e da l g o r i t h m ，s p a t i a l t e m p o r a ls e g m e n t a t i o n i v 江苏大学硕士学位论文 目录 第一章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状及存在的问题2 1 2 1 国内外研究现状2 1 2 2 存在的问题4 1 3 论文研究内容及主要工作4 1 4 论文的结构。5 第二章视频分割相关技术7 2 1 基于运动的分割方法7 2 1 1 二维运动分割方法8 2 1 2 三维运动分割方法1 1 2 2 基于时空域的分割方法1 2 2 2 1 时域分割方法1 2 2 2 2 空域分割方法1 3 2 2 3 时空联合分割方法1 3 2 3 视频分割的算法性能分析1 5 2 4 本章小结1 5 第三章时域帧问分割1 6 3 1边缘检测1 6 3 2多帧间边缘差异检测1 6 3 3背景像素点的去除1 8 3 4运动区域的获取2 0 3 - 5实验结果与分析2 1 3 6本章小结2 3 第四章空域帧内分割。2 4 4 1 算法流程2 4 4 2 分水岭变换2 5 4 2 1 分水岭算法的基本思想2 5 4 2 2 分水岭算法2 5 4 3 开闭双重建获取形态梯度2 8 v 基于时空联合的视频对象分割算法的研究 4 4 给定阈值的非线性变换2 9 4 5 浮点活动图像的计算及分水岭变换2 9 4 6 层次区域融合3 0 4 6 1 基于灰度相似性和对比度的区域合并3 0 4 6 2 基于边界强度准则的区域合并。3 1 4 7 实验结果与分析3 1 4 8 本章小结3 3 第五章时空投影提取视频对象3 4 5 1 形态预处理3 4 5 2 时空投影3 5 5 2 1 空域分割结果向时域掩模投影3 6 5 2 2 粗分害0 3 6 5 2 3 更新计算隶属度3 6 5 2 4 细分害0 3 7 5 3 二次扫描及原值填充3 7 5 4 算法评价及实验结果分析3 7 5 4 1 数据源选择及评价标准3 7 5 4 2 实验结果与分析。3 9 5 5 本章小结4 1 第六章原型系统的设计与实现4 2 6 1 概述4 2 6 2 原型系统的主要框架4 3 6 3 核心类的设计与实现4 4 6 4 原型系统实现4 8 6 4 本章小结5 1 第七章总结和展望。5 2 7 1 工作总结5 2 7 2 展望5 3 参考文献5 4 致谢5 9 发表论文砷 v i 江苏大学硕士学位论文 1 1 研究背景及意义 第一章绪论 当今的信息时代，每天都会产生大量的多媒体信息，其中视频信息因其能够 表示更加丰富的内容而得到大家的广泛关注。数字视频技术已经深刻地影响到我 们的日常生活，数码相机、数码摄像机、多媒体电脑等已经融入个人家庭生活中， v c d d v d 、视频电话、视频会议、网络视频点播、远程医疗等已经成为现代生 活中不可或缺的娱乐手段及工作方式。 面对每天产生的大量视频信息，我们需要解决以下两个问题：( 1 ) 如何存 储如此大量的视频信息，以及如何在宽带有限的互联网上高效地压缩视频和有效 地传输视频，达到实时要求。( 2 ) 如何有效地分析和描述视频信息，以及如何 让用户能够快速地在互联网上搜索到相关的视频信息。具体来说上面两个基本问 题可以概括为：一是进行有关视频压缩和传输技术的研究，以寻求最优的压缩算 法来尽可能地消除视频间的冗余信息，以及研究如何利用视频间的冗余信息在互 联网中传输视频序列；二是进行有关视频检索方面的研究，主要研究如何索引视 频序列，以便有效地管理组织视频序列。 随着计算机视觉技术和模式识别技术的不断发展，现有的视频标准m p e g 4 和m p e g 一7 分别致力于视频压缩和视频检索的标准制定工作。无论是m p e g 4 中的基于内容的视频编码，还是m p e g 7 中的多媒体内容描述接口标准，其中一 个非常关键的环节就是获得数字视频基于内容的表示，把这种基于内容的视频表 示称为视频对象( v i d e oo b j e c t ) ，即视频对象是连续视频序列中某个特征上( 如 颜色、形状、纹理或运动) 表现出的具有一致性的区域集合。由于原始的数字视 频是以像素为基本单位的，而人们对数字视频的视觉理解是基于视频内容的，所 以要想获得基于内容的视频表示，视频对象是它们之间唯一的桥梁。近十年来的 大量研究工作也表明，对视频对象的分析和研究一直是计算机视觉领域中颇具挑 战性的研究课题。 尽管m p e g 4 引入了视频对象的概念，以支持基于内容的交互性和分级性f 1 1 ， 但是m p e g 4 标准本身并没有提出从视频序列中获取视频对象的方法【2 】，因此， 视频对象分割是m p e g 4 成功与否的关键因素之一。 视频对象分割的目的就是通过从视频序列中分割出具有一定语义的视频对 象，来获得基于内容表示的视频信息。视频对象的分割与表示在商业、军事、工 基于时空联合的视频对象分割算法的研究 业等领域有着十分广泛的应用，例如： ( 1 ) 商业上，视频处理广泛应用于数字电视、多媒体、桌面视频图像、视 频会议系统、可视电话和移动图像通信以及其他消费娱乐领域。 ( 2 ) 工业上，用于工业过程控制、机器人视觉、以及自主运载器导航等。 ( 3 ) 军事上，用于对空监视中的多目标跟踪等。 其他的应用领域包括重点部门的监视系统、远程多媒体教育系统、智能化交 通高速公路系统、港口交通控制、航空和飞行控制系统等。 视频对象的分割提取一直与基于内容的视频编码标准m p e g 4 和“多媒体内 容描述接口视频标准m p e g 一7 的制定与测试是紧密关联的，并且也有效地促进 了视频对象分割的研究与发展。 1 2 国内外研究现状及存在的问题 1 2 1 国内外研究现状 早在上个世纪八十年代末九十年代初，视频对象分割就引起许多学者的关 注。近年来，视频对象分割算法已经成为多媒体领域的热门研究课题。最初在 m p e g 一4 标准的制订过程中，m p e g 专家组也提出了一些算法，这些算法大多利 用多帧差分模板的累积作为当前帧的差分模板，经过测试，结果并不理想，这些 算法仅适用于在有限的范围内反复运动的缓动目标，对于快速运动以及大范围运 动的对象却难以获得理想的结果。此外，国内外的一些研究机构和高等院校从不 同的角度对视频对象分割问题进行了研究，积极探索鲁棒性的、快速的视频分割 算法，但遗憾的是这些方法并没有统一的分类标准。随着对图像信息理解程度的 发展以及各种知识的跨学科应用，不断有新的方法涌现出来。 本文按照使用视频图像信息的特点和层次的不同，将视频对象分割的方法分 为基于时空域信息的方法，基于模型构造的方法和基于特定理论的方法。 ( 1 ) 基于时空域信息的方法 空域信息包括图像的颜色、灰度、纹理及其它变换的或统计的特征，比如直 方图、梯度图像等，利用空域信息可以得到视频对象精确的边缘，但往往存在着 较大的盲目性，因为背景中的静止物体也被分割出来了，但最后还要合并到一起。 较常用的基于空域信息的分割方法有基于边界的分割法和基于区域的分割法。 边缘检测法【3 叫是通过检测出视频图像中不同区域的边界来进行分割的。由 于边缘总是以强度突变的形式出现，所以可定义为图像局部特征的不连续性，如 纹理结构的突变、灰度的突变等。边缘常常意味着一个区域的终止和另一个区域 的开始。图像的边缘包含物体形状的重要信息，它不仅在分析图像时可以大幅减 2 江苏大学硕士学位论文 少要处理的信息量，而且还保护了目标的边界结构。因此，边缘检测可以看作是 解决许多复杂问题的关键所在。 区域分割法【7 以2 】的主要思想是基于这样的前提：属于同一区域的像素具有相 似的性质。其概念是相当直观的，为把图像分割成不同的区域，可以采用阈值法、 区域生长法、区域分裂、合并等方法。 分水岭算法是一种自适应的确定多个分割阈值，然后进行图像分割的方法。 这种方法将一幅图像看成是一幅地形图，其中的灰度值对应于地形的高度值，高 灰度值对应于山峰，低灰度值对应于山谷，多个山谷之间的山脊被称为分水岭( 也 称为阈值) ，低洼处为吸水盆地，水平面的高度相当于阈值，随着阈值的升高， 吸水盆地的水位也跟着上升。分水岭算法主要应用于从背景中提取出一致的对象 的情况。 时域信息主要表现为帧差【1 3 - 1 6 1 、光流场和运动矢量【1 7 。1 9 】这三种形式，据此可 以检测出帧与帧之间的变化、运动的区域以及运动的方向和大小，从而得到变化 检测掩模。变化检测掩模在分割过程中是最常见的运动信息，它们能够反映出连 续两帧图像之间的绝对变化。但仅使用时域信息并不能得到精确的边缘，比如利 用帧差图像可以方便地得到两帧之间的变化部分，但得到的差分模板可能会残缺 不全，而且其中也可能会包含有显露突出的背景部分，因此不能把差分模板直接 当作对象模板使用。时空联合的方法是结合使用时域信息和空域信息的方法，这 种方法可以得到较好的分割结果。 ( 2 ) 基于模型构造的方法 基于时空联合的视频分割方法是直接对图像数据进行操作，很少利用先验知 识，而基于模型的视频分割是在先验知识的基础上对图像进行建模。常用的模型 分割方法有：基于g a u s s i a n 混合模型 2 0 - 2 4 1 、基于m a r k o v 随机场( m r f ) 模型【强硐 和基于s n a k e 模型【2 7 3 1 1 。 高斯混合模型( g a u s s i a nm i x t u r em o d e l ，简称g m m ) 是单一高斯概率密度 函数的延伸，由于g m m 能够平滑地近似任意形状的密度分布，因此近年来常用 于视频图像的分割中，而且得到不错的效果。但使用这种模型进行视频分割的难 点是分割时模型的选择及参数估计的初值选择问题。 m a r k o v 随机场是一种条件概率模型，可以描述图像中各点与其邻域的相关 性。m r f 能够区分出图像中不同的纹理分布，通常用于纹理图像的分割。使用 m r f 模型的关键在于参数的估计，分割结果的好坏取决于参数估计的准确程度。 要想取得较准确的参数估计，就必须有较多的先验知识和训练图像集。 s n a k e 模型用于描述分割目标的动态轮廓，通过能量函数的动态优化来逼近 目标的真实轮廓。由于能量函数是以积分的形式呈现的，所以具有较好的抗噪性， 3 基于时空联合的视频对象分割算法的研究 对分割对象的局部模糊也不敏感，因此这种模型得到了很广泛的应用，但它容易 收敛到局部最优，因此要求初始轮廓尽量逼近真实轮廓。 ( 3 ) 基于特定理论的方法 近年来不断有新的理论应用到视频对象分割中来，其中比较受关注的有基于 图论【3 2 - 3 4 】的分割方法，基于神经网络【3 5 。3 9 l 的分割方法，基于注意机制m - 4 2 1 的分割 方法等。这些理论的应用旨在能够在语意层次上分割出目标，有些理论在视频分 割领域的应用尚处于尝试阶段，比起传统的分割方法，可能得不到更好的分割结 果，但却为语义对象的分割提出了一些新思路。 1 2 2 存在的问题 尽管视频对象分割受到越来越多的重视，而且目前也存在许多优秀的算法， 但这些算法都是针对特定的应用场合提出的，而适合于任何场景的全自动视频分 割算法仍然是一个有待解决的经典难题，需要进行创造性地解决和突破。 一般来讲，一个好的视频分割算法应该满足下面的一些条件：( 1 ) 准确性， 即分割出来的视频对象应符合人类视觉系统( h v s ) 特性，也就是具有语义意义 的视频对象，边界和轮廓应达到像素级精度；( 2 ) 高效性，即分割算法应该能快 速地进行视频分割，这对于视频应用尤为重要；( 3 ) 通用性，即能自动地或在尽 可能少的人工交互方式下对某类视频或一般视频进行分割。初始化应该简单和易 于操作，也就是人机交互要尽量少。 虽然目前有多种视频分割算法，但每一种算法都有其优点与缺点，与 m p e g 4 标准的要求相比还远未成熟。概括起来，目前的视频分割算法主要存在 以下一些问题：首先，由于视频对象的语义一致性难以定义，目前还不存在一种 适合于所有视频序列的通用分割方法；其次，由于分割过程中计算量非常大，所 以难以满足实时性的要求。 1 3 论文研究内容及主要工作 在广泛阅读国内外视频对象分割技术相关文献的基础上，比较并借鉴现有的 视频对象分割算法，对相应的视频对象分割的关键技术进行改进和完善，同时提 出自己的算法，并开发出基于时空联合的视频对象分割的原型系统。论文的主要 研究内容包括： ( 1 ) 基于多帧边缘灰度差异的运动检测方法 通过采用多帧边缘灰度差异检测的方法对视频图像进行处理，减少局部噪声 对分割精确度的影响，得到时域帧差掩模，然后以此进行计算，提取区域边界信 4 江苏大学硕士学位论文 息，以便弃除区域内部像素可能引入的不良影响，从而降低了运算量。然后采用 聚类方法去除图像背景中的噪声点，最后再通过边界高斯检测获取视频图像的运 动区域。 ( 2 ) 基于梯度修正和层次区域融合的分水岭分割算法 对传统的分水岭算法进行改进，在初始分割时尽量抑制噪声和目标内部细密 纹理的影响，同时保留重要轮廓，合理降低区域数量，以减小后面的区域合并难 度和复杂度。同时在分水岭变换之后，采用层次区域融合的合并算法，来实现对 细小区域的合并，在合并初期，采用灰度相似性和对比度的合并准则进行合并， 在合并后期，引入边界强度准则，进行区域的合并。 ( 3 ) 基于形态处理和二次扫描的时空融合方法 为了提取最终的视频对象，本文采用隶属度粗细分割相结合的方法对时空分 割的结果进行投影操作。在进行投影操作前，先对时域分割得到的视频对象分割 掩模进行膨胀操作，来实现区域闭合及区域的填充操作，然后再将处理后的时域 分割模板和空域分割模板进行投影融合，得到初始的视频分割结果。最后，本文 使用二次扫描的方法对得到的初始结果进行处理，从而使最终的分割结果更加完 整和精确。 ( 4 ) 基于时空联合的视频对象分割原型系统的设计与实现 采用面向对象技术设计并实现基于时空联合的视频对象分割的原型系统。该 系统包括时域分割子系统、空域分割子系统以及时空融合子系统等功能模块，并 从实验角度验证上述方法的有效性。 1 4 论文的结构 论文共分七章，主要内容概括如下： 第一章介绍课题的研究背景和研究意义，概述目前的视频对象分割提取算法 的分类及其潜在的应用领域；综述国内外的研究现状，对现有方法从理论上给出 比较，同时分析和提出本文的主要研究工作。 第二章综述视频对象分割的相关技术，并对相关技术已有的方法进行论述和 比较，并从理论上对这些方法的优缺点进行了分析。 第三章详细阐述基于时空联合分割算法中的时域分割算法。首先通过边缘检 测算法提取对象的边缘参数，然后进行多帧间边缘差异的检测，再通过聚类方法 去除图像背景中多余的像素点，最后进行边界高斯检测，这样就可以获取图像的 运动区域，从而完成时空联合分割中的时域分割。 第四章详细阐述空域分割算法中的分水岭算法。本章首先简单介绍空域分割 5 基于时空联合的视频对象分割算法的研究 算法的流程，并详细介绍分水岭算法的基本思想以及目前分水岭变换的各种算 法，并对这些算法的优缺点进行分析比较。该算法首先利用开闭双重建操作以及 非线性变换对梯度图像进行修正，然后求取浮点活动图像并作为分水岭算法的输 入，最后在区域灰度相似性准则的基础上，结合对比度和边界强度准则对分水岭 变换结果进行小区域的合并，得到最终的分割结果。最后给出实验结果与分析。 第五章详细介绍隶属度粗细分割相结合的时空融合方法。本章首先介绍数学 形态学中的膨胀操作及其在图像处理中的作用，并使用膨胀操作对时域分割得到 的模板进行边缘处理及内部填充操作，然后使用隶属度粗细分割相结合的方法进 行时空投影操作，得到初始的视频分割对象。最后，使用二值扫描的方法对初始 分割结果进行处理以及原值填充，从而得到最终的分割结果。本章最后给出实验 结果及分析。 第六章描述本文如何采用面向对象及设计模式的思想来设计并开发基于时 空联合的视频对象分割的原型系统的方法与过程。 第七章对全文工作进行总结，并指出下一步需要开展的工作。 6 江苏大学硕士学位论文 第二章视频分割相关技术 视频对象分割是把视频序列中人们感兴趣的视频对象或者具有某种重要性 的一个或多个物体从视频场景中提取出来，这些对象往往在某些方面具有一致属 性，比如亮度、色彩、形状及运动等。随着第二代编码技术的发展，视频对象分 割领域的研究得到了人们的广泛关注f 4 3 1 。对视频对象分割的研究虽然已经进行了 很多年，而且国内外的专家学者也提出多种分割算法，但由于视频图像本身内容 复杂，而且容易受噪声的影响，目前还不存在一种对各类视频都有效的、通用的 解决方法【删。目前视频对象的分割方法还没有统一的分类标准，本文根据视频分 割方法的不同特点将视频分割方法分为两类：基于运动的分割方法和基于时空的 分割方法。图2 1 所示为视频分割方法分类示意图。 图2 1 视频分割方法分类示意图 2 1 基于运动的分割方法 基于运动的分割方法主要包括以下三个要点：一是运动模型，可以是二维光 流场或三维运动参数，它包括参数估计和运动估计；二是数据单元【4 5 】，可以是单 个像素、角、线或区域块；三是分割准则，可以是最大后验估计( m a p ，m a x i m u m ap o s t e r i o r i ) 、期望最大化( e m ，e x p e c t a t i o na n dm a x i m i z a t i o n ) 或霍夫变换( h o u g h t r a n s f o r m ) 。由于图像在实际中易受噪声的影响，而且场景运动也比较复杂，所 以实际的分割算法要复杂得多。图2 2 为一个简化的运动分割方法流程，如图2 2 所示。 7 基于时空联合的视频对象分割算法的研究 襁獭肘豫 f 图2 2 简化的基于运动的分割方法 基于运动的分割方法可以按照运动模型来分类，也可以按照聚类准则来分 类。本文按照运动模型将基于运动的分割方法分为二维分割方法和三维分割方法 两类，下面就简单地介绍一下这两类方法。 2 1 1 二维运动分割方法 二维运动分割方法主要包括光流场法和变化检测法。 1 光流场法 运动分割的经典算法是先进行运动密度场的估算，然后在此基础上对场景进 行分割。运动场是三维物体的实际运动在图像平面上的投影，我们并不能直接得 到运动场，得到的只是图像的亮度随时间的变化，即所谓的光流场。光流场是一 种二维瞬时速度场，其中涉及的二维速度矢量是三维速度矢量在成像表面上的投 影。 光流场并不总是对应于运动场，例如当外部照明条件发生变化时，即使没有 运动发生，也能观测到光流；另外在缺乏足够的空间图像梯度的区域，通常也不 能够观测到实际的运动。在理想情况下，这种表面观测运动却能够反映出实际的 运动。基于光流法的分割就是通过研究光流场，从视频序列图像中得到近似的运 动场，然后根据运动场的运动特征进行视频分割【蛔。光流法使用的是与投影位移 模型不同的投影速度模型，它常用于估算运动场。 目前，比较典型的光流场估计的方法有：基于光流在整个图像上光滑变化的 假设，h o r n 和s c h u n c k 4 7 1 以此来求解光流；l u c a s 和k a n a d e 鸺】则通过假设运动 矢量在一个小的空间邻域上保持恒定，然后通过使用加权最小二乘法来估计光 流。我们可以发现，光流场的估计方法都是建立在运动物体表面上每一点的亮度 至少在一个较小的时间范围内保持不变的假设基础之上。 由于光流分割法容易受到各种噪声的影响，而且精度还会受到遮挡问题及孔 径问题的限制，因此它们的性能受限于光流估算的精度，从而得不到准确的边界。 近年来不少人通过联合运动对象的边缘、颜色、亮度等空间聚类特征来进行视频 对象的分割，以此来获得更加准确的视频对象。比如h o t t e r 和t h o m a 4 9 1 通过考 8 一 江苏大学硕士学位论文 虑图像的边缘信息来提高边界精度；c h o i 5 0 】等在视频对象的分割标记提取过程 中，不但考虑运动对象的亮度聚类信息，而且还考虑目标的运动聚类信息，通过 密度流场对每个亮度分割标记进行计算，从而得到仿射运动参数，那些仿射模型 不够精确的分割标记则被进一步分割成较小的标记。这样，从单特征的分割标记 就可以得到多特征的分割标记。最后，对相似仿射运动的区域进行合并操作，从 而完成视频对象的分割过程。 2 变化区域检测法 对于序列图像来说，最有用的信息就是相邻帧间图像信号的变化信息，如果 帧与帧之间没有任何变化，则序列图像的信息量将大大降低。而且帧间图像信号 的变化通常会含有丰富的目标运动信息，这恰恰是我们利用运动信息对视频对象 进行分割的基础。 ( a ) 第k 帧 o ( b ) 第“1 帧( c ) 运动变化区域 图2 3 对象运动示意图 图2 3 是视频对象运动的示意图，其e p ( a ) 表示视频序列的第k 帧，m ) 表示第 k + l 帧，比较图( a ) 和图( b ) 可以发现，由于目标发生运动，它在第k 帧和第k + l 帧中的位置已经发生了变化，引起第k + l 帧相对于第k 帧也发生了变化，设第 k + l 帧为当前帧，从图( c ) 中我们还发现，由于目标的运动引起的变化区域在空间 位置上包括以下三个部分：运动对象在前后两帧中的共同位置( 图中交叠部分) 、 当前帧中新显露出的背景区域和新覆盖的背景区域。由于这三部分都是由于目标 的运动引起的，所以我们称之为运动变化区域。 在不存在由摄像机运动带来的背景变化以及外界环境无变化的理想情况下， 运动变化区域可以通过相邻两帧之间的差分运算进行检测。 ( a ) 第k 帧( b ) 第k + l 帧 图2 4 运动变化区域示意图 9 基于时空联合的视频对象分割算法的研究 d t + l i ( x ，y ) = 无( x ，y ) 一l ( x ，y ) = v o k + 1 ( x ，y ) + r + 1 t ( x ，y ) 一v q ( x ，y ) 一d 七，i + l ( z ，y ) ( 2 1 ) 式( 2 1 ) 中的崛+ 。( x ，y ) + r + 1 t ( x ，y ) - v o k ( x ，y ) - o k “。( x ，y ) 是由于视频对象运动 所引起的运动变化区域( 如图2 4 所示) 。 在实际成像过程中，由于噪声的存在是不可避免的，而且相邻两帧图像在成 像过程中的噪声也有所不同，这使得相邻两帧之间的差分图像除了运动变化区域 之外还存在着噪声区域( ，如果相邻两帧在某个位置上的噪声相同，则表示差分图 像该处的噪声为零、 。 吨+ 1 t ( 工，y ) = v o k + 1 ( z ，) ，) + r + 1 t ，y ) 一v o k ( x ，y ) 一q ，m ( 戈，y ) + n k + 1 0 ，y ) 一仇o ，y ) ( 2 - 2 ) 式( 2 2 ) 中心+ 。( x ，y ) ；| ；| l l ( x ，y ) 分别表示第k + l 帧和第k 帧图像成像过程中的 噪声。令n ( x ，y ) = n k + 。( z ，y ) - n k ( x ，y ) 表示相邻两帧之间的相对噪声，令 m g ( x ，y ) = v o k + 。 ，y ) + r “t o ，y ) - v o , ( x ，y ) 一q “， ，y ) 表示运动变化区域，则 可得到： d ( x ，y ) = m r ( x ，y ) + n ( x ，y ) ( 2 - 3 ) 由式( 2 3 ) 可知，差分图像由两个部分构成：一部分是由目标运动引起的运动 变化区域，另一部分是噪声区域。从图2 3 ( c ) 我们还可以发现，运动对象虽然不 等同于运动变化区域但却存在于运动变化区域当中。这就提示我们一种分割视频 对象的方法是先对相邻两帧进行差分运算，然后再在差分图像中对噪声区域和运 动变化区域进行划分从而检测出运动变化区域，最后在运动变化区域中根据视频 对象的其他特征( 如边界特征等) 分割出视频对象。 在一些应用场合，由于受到摄像机旋转、平移等运动的影响，实际的成像过 程中相邻两帧之间对应位置的背景区域存在着变化。由于摄像机的运动而造成的 视频场景的运动是一种全局运动，具有运动同一性的特点，我们可以对这种全局 运动先做出估计，对当前帧进行补偿，消除由于摄像机运动而带来的相邻两帧之 间背景变化的影响。 因此，对于背景静止或场景只有简单全局运动的视频序列可以采用如下方法 分割对象：通过全局运动补偿消除由于摄像机运动而引起的相邻两帧之间的背景 变化，相邻帧间的差分图像就只包含噪声区域和运动变化区域两部分，通过噪声 1 0 江苏大学硕士学位论文 滤波等方法，就可以滤除差分图像中的噪声区域，从而检测出运动变化区域。由 于运动对象存在于检测出的运动变化区域当中，我们就可以结合其他特征分割提 取出视频对象。 图2 5 为一个基本的基于运动变化区域检测的视频分割系统。 输入视频 噪声 运动 区域 变化 和运 区域 动区 中视 域的 频对 象的 划分 生成 视频对象卜 图2 5 基于运动变化区域检测的视频对象分割系统 由于运动区域检测算法简单方便，因此一直是人们研究的热点：j a i n l 5 1 】通过 利用累积差分图像( a d p ，a c c u m u l a t i v ed i f f e r e n c ep i c t u r e ) 从静止摄像机的