（通信与信息系统专业论文）基于多线索的立体视频对象分割.pdf

上海大学硕士学位论文基于多线索的立体视频对象分割 摘要 当今社会对数字化视频的需求越来越多，对视频服务的要求也越来越高。除 了要求更快的传输速度、更小的存储空间外，还需要即时点播( v o d ) 、远程视频 通信( 如视频会议) 、远程医学诊断、视频数据库浏览和关键帧检索等更高级的 视频服务。基于视频内容的处理技术是实现这些需求的主要措施，而对于基于内 容的视频处理来说，视频对象分割是其关键技术。现有的基于单视点的视频对象 分割技术还不能很好地对语义对象进行精确分割，而对于立体视频来说，可以获 得单视点视频中所没有的深度( 视差) 信息，深度信息是接近语义的，这对于对 象分割是十分有利的。本文采用基于视差分析的方法，结合边缘、运动以及颜色 等多种线索，较精确地分割视频对象，解决了在时空分割中难以解决的问题，或 者用相对简单的方法分割出在单视点视频中需用复杂方法才能分割的视频对象。 本文在比较了基于区域和基于特征的视差匹配各自优缺点后，实现了一种基 于区域的视差估计方法。本方法采取优化搜索路径的措施提高了匹配速度。针对 传统视差匹配计算量大、误匹配率高的问题，本文还提出了一种基于特征约束的 立体匹配新方法。能在比较精确的边缘特征点视差值的约束下，将非边缘特征点 的匹配搜索区域大大缩小，不但可以减少计算量，而且还能保证匹配的可靠性。 采用上述改进的基于区域视差估计方法，本文提出了一种基于视差和闽值的 立体视频对象分割算法。首先对图像进行视差估计，并对所得到的结果作数学形 态学的处理，然后针对不同的对象分别采用迭代阈值法和自适应阈值法进行二次 分割，最终提取出对象。本方法适用于摄像机与静止景物之间有相对运动的立体 视频序列的多对象分割问题。 采用所提出的基于特征视差估计方法，本文提出了一种基于多线索融合的立 体视频对象分割提取算法。在视差分割的基础上，在不同的对象区域范围内采用 不同的阈值进行运动变化检测：最后融合时空分割结果，并用颜色信息进行边界 修正，最终得到准确的分割对象。本方法适用于含有重叠多对象的视频序列的分 割问题。 上海大学硕士学位论文基于多线索的立体视频对象分割 关键词：对象分割，视差匹配，自适应闽值，迭代闽值，变化检测。 上海大学硕士学位论文 基于多线索的立体视频对象分割 a b s t r a c t i nm o d e r ns o c i e t y , d e m a n d sf o rd i g i t a lv i d e oa r ei n c r e a s i n g ，a n dt h er e q u i r e m e n t s f o rv i d e os e r v i c e sa r eb e c o m i n gh i 曲e r b e s i d e sh j 【g h c rt r a n s m i s s i o nv e l o c i t ya n d s m a l l e rs t o r a g es p a c e ，al o to fh i g h - l e v e lv i d e os e r v i c er e q u i r e m e n t sa r ee m e r g i n g s u c ha s ：v i d e oo i ld e m a n d ( r o d ) ，l o n g d i s t a n c eo fv i d e oc o m m u n i c a t i o n ( s u c ha s v i d e oc o n f e r e n c e ) ，l o n g - d i s t a n c eo fp h y s i cd i a g n o s e s ，v i d e od a t a b a s eb r o w s i n ga n d k e yf r a m es e a r c h i n g ，e t c t h et e c h n i q u e sb a s e do nv i d e oc o n t e n t sa r et h ep r i m a r y m e a s u r et oa c h i e v et h e s es e r v i c e s f o rv i d e om a n a g e m e n tb a s e do nc o n t e n t s ，v i d e o s e g m e n t a t i o ni st h ek e yt e c h n i q u e e x i s t i n ga l g o r i t h m sf o rs i n g l ev i d e oo b j e c t s e g m e n t a t i o nc a nn o ts e g m e n ts e m a n t i co b j e c t sw e l l i ns t e r e o s c o p i cv i d e os e q u e n c e s ， w ec a na c q u i r et h ed e p t h ( d i s p a r i t y ) i n f o r m a t i o nt h a tt h e r ei sn o ti nm o n o c u l a rv i d e o d e p t hi n f o r m a t i o ni sc l o s et ot h ed e f i n i t i o no fs e m a n t i co b j e c t s ，w h i c hi sp r o p i t i o u st o o b j e c ts e g m e n t a t i o n i nt h i sp a p e r , f o ra c c u r a t e l ys e g m e n t i n gt h eo b j e c t s ，w eu s et h e m e t h o db a s e do nd i s p a r i t ya n a l y s i sc o m b i n i n gw i t hm u l t i - c l u e ss u c ha se d g e ，m o t i o n a n dc o l o ri n f o r m a t i o n ，e t c i nd o i n gs o ，w es o l v et h ep r o b l e mt h a tc a nn o tb es o l v e di n s p a t i a l - t e m p o r a ls e g m e n t a t i o n i no t h e rw o r d s ，w eu s er e l a t i v e l ys i m p l ew a yt o s e g m e n to b j e c t s ，w h i c hn e e d sc o m p l i c a t e dm e t h o di nm o n o c u l a rv i d e o a f t e rc o m p a r i n gt h et w oe x i s t i n gm e t h o d s ，r e g i o n b a s e da n df e a t u r e - b a s e d d i s p a r i t ym a t c h i n g ，ar e g i o n - b a s e dd i s p a r i t ym a t c h i n ga l g o r i t h mi si m p l e m e n t e d i n t h i sa l g o r i t h m ，w et a k ea no p t i m i z e ds e a r c h i n gp a t ht oi n c r e a s et h em a t c h i n gv e l o c i t y t os o l v et h ep r o b l e mo fe x c e s s i v ec a l c u l a t i o nm a di n a c c u r a t em a t c h i n gi nd i s p a r i t y m a t c h i n g ，an o v e ld i s p a r i t ye s t i m a t i o nb a s e do nf e a t u r ec o n s t r a i n ti sp r e s e n t e d t h e a l g o r i t h mc a nr e d u c et h es e a r c hp a t h sf o rf e a t u r e l e s sp o i n t s c o r r e s p o n d e n c e su n d e r t h ec o n s t r a i n to ff e a t u r ep o i n t s i nt h i sw a y , n o to n l yc a nw er e d u c et h es e a r c h i n g c o m p l e x i t yf o rc o r r e s p o n d e n c e sb u ta l s oe n s u r et h ev a l i d i t yo f m a t c h i n g b yu s i n gt h ei m p r o v e dr e g i o n b a s e dm e t h o da sa b o v e f o rd i s p a r i t ye s t i m a t i o n , a d i s p a r i t ya n dt h r e s h o l db a s e da l g o r i t h m f o rs t e r e o s c o p i cv i d e os e g m e n t a t i o ni s p r e s e n t e d f i r s t l y , e v a l u a t et h ed i s p a r i t yf i e l d s o ft h es t e r e oi m a g e s a f t e rt h a t ，m a t h m o r p h o l o g i c a lp r o c e s s i n gi sp e r f o r m e do nt h ed i s p a r i t ym a pt oo b t a i nt h ed i s p a r i t ys e g m e n t s t h e na na d a p t i v et h r e s h o l da n di t e r a t i v et h r e s h o l ds e g m e n t a t i o na r eu s e dt od i f f e r e n t 1 1 1 上海大学硕士学位论文基于多线索的立体视频对象分割 o b j e c t sa r e aa c c o r d i n gt od i s p a r i t ys e g m e n t sf o rs e c o n ds e g m e n t a t i o n f i n a l l ye x t r a c t t h eo b j e c t s t h ea l g o r i t h mi ss u i t a b l ef o rs e g m e n t a t i o ni m a g es e q u e n c e st h a te x i s t s c o m p a r a t i v e l ym o v e m e n t sb e t w e e nc a m e r a sa n ds t i l ls c e n e ， a d o p t i n gt h ep r o p o s e dd i s p a r i t ye s t i m a t i o nm e t h o db a s e do nf e a t u r e s ，v i d e o o b j e c ts e g m e n t a t i o nf o rs t e r e o s c o p i cb a s e do nm u l t i - c l u e sa l g o r i t h mi sp r e s e n t e d a f t e rd i s p a r i t ym a t c h i n ga n ds e g m e n t a t i o n ，w eu s ed i f f e r e n tt h r e s h o l d st od i f f e r e n t o b j e c t sr e g i o n sf o rm o t i o nc h a n g ed e t e c t i o n t h e ns p a t i a l t e m p o r a ls e g m e n t a t i o na n d c o l o ri n f o r m a t i o na r ef u s e dt oc o r r e c tt h eb o u n d a r i e so fd i s p a r i t ys e g m e n t a t i o n f i n a l l ye x t r a c tt h eo b j e c t s t h i sa l g o r i t h mc a ns o l v et h ep r o b l e mo fs e g m e n t a t i o n m u l t i p l eo b j e c t so v e r l a p p e d k e yw o r d s ：o b j e c ts e g m e n t a t i o n ，d i s p a r i t ym a t c h i n g ，a d a p t i v et h r e s h o l d ， i t e r a t i v ct h r e s h o l d m o t i o nr e g i o nd e t e c t i o n 上海大学硕士学位论文基于多线索的立体视频对象分割 1 1 课题来源 第一章绪论 本课题来源于上海市科委自然基金项目三维视频中任意形状视频对象的自 动提取研究( 编号：0 4 z r l 4 0 5 6 ) 和上海市教委发展基金项目基于对象的三维 视频分割与虚拟视生成技术研究( 编号：0 4 a b 5 6 ) 的研究内容，并受到上海市 重点学科建设项目( t 0 1 0 2 ) 的资助。 1 - 2 课题研究的目的和意义 随着现代信息社会的发展，人们对各种多媒体信息的需求不断增长，其中视 觉信息无疑是其中极其重要的部分。科学研究和统计表明，人类从外界获得的四 分之三以上的信息是视觉信息。针对视觉信息的处理技术是一个富有挑战意义的 研究领域。视觉信息中视频是指一个被观察系统( 如摄像机) 所记录的运动图像 序列，是人类直接从外界获得的重要动态信息，由于视频信息包含的信息量十分 巨大，给目前的传输和存储技术带来了许多困难，因此，相应的j 玉缩编码技术是 数字视频信息处理的重要应用。 为满足通信、存储、检索等不同的应用，人们不断提出各种视频编码技术。 到目前为止，相关的标准化组织已经提出了两代视频压缩标准。第一代压缩标准 以m j p e g ，h 2 6 1 h 2 6 3 ，m p e g l m p e g 2 等为代表，它们的主要特点是将象素和象素 块为作为基本的编码单元，并在许多应用领域中( 如数字视频监控，视频会议，以 v c d d v d 为代表的娱乐应用等) 已经取得了显著的成功。随着多媒体信息的日益 丰富，人们不再满足于对多媒体信息的简单浏览，而是提出了基于对象的交互、 查询和检索等新的要求。而且，传输的码流应该能够适应不同的网络环境和各种 终端。这样，以m p e g 4 为代表的第二代压缩标准便适时地提出了 1 。除了提供 更高的压缩效率之外，m p e g 4 更重要的特点是基于对象的编码，它要求对图像和 视频( 自然的或合成的) 作更多的分析，甚至是理解。所谓对象，是指图像中具 有一定的物理的、视觉的或语义的区域。例如，将视频对象分为运动对象和静止 的背景对象，通过对各个对象采用不同的压缩方法或分配不同的比特，使得在一 定码率要求下能提供更好的图象质量。m p e g 4 的另一个重要特点是提供了基于对 上海大学硕士学位论文基于多线索的立体视频对象分割 象的交互功能，一个视频对象对应于一个有语义意义的对象，如个人、椅子、 建筑等，用户能够访问( 搜索和浏览) 和操作( 剪贴、移动) 一个场景中的各个 对象。 基于对象的编码和交互需要首先分割出图像中的各个对象，而对象的分割被 认为是一个具有挑战性的难题，基于语义的对象分割就更困难了 25 。第二代 视频编码技术推动了视频分割研究的发展。它与第代区别在于：第一代采用传 统的规范形式，将像素或像素块理解为基本编码单元；第二代编码技术采用基于 人类视觉系统得图像描述，将图像理解为对象的合成，这些对象由颜色、形状和 纹理定义，而不是由空间上规范排列的像素定义。最初，在这种思想下编码的主 要目的是进一步提高压缩率，以得到极低比特率的视频流，根据亮度、色彩、运 动等分割出具有一致或相似特征的视频对象，然后对其轮廓、纹理和颜色分别编 码。因而这些对象对于人的视觉来说不一定有意义，所以严格地说，这些对象只 具有区域意义。这些区域并不能用来完成基于内容的功能，如对象识别与检索。 许多应用如基于内容的视频检索以及视频合成，都要求分割的对象具有语义意 义。事实上，多媒体应用标准m p e g 4 明确规定，视频由有意义的视频对象组成 6 2 6 3 。m p e g 4 视频基于内容的功能标志着数字视频描述的一场革命，并对视 频领域产生极其深远的影响。基于内容的视频分割是目前数字视频研究的一个热 上 m0 而现行的大部分视频信号都是二维( 2 d ) 的，难以满足众多应用领域对“交 互性”和“深度层次”的要求。与2 d 视频信号相比，三维( 3 d ) 视频信号具有 更有效的视觉表达，可以使人产生强烈的沉浸感和临场冲动，必将成为未来多媒 体通信的重要内容，所以对3 d 立体视频的研究愈来愈显得重要。因此，新一代 多媒体编码标准m p e g 4 也支持立体视频及多视点编码，m p e g 一7 则支持3 d 视 频检索。 3 d 视频对象分割是3 d 视频处理和应用的核心部分，其提取的单个或多个 目标对象可以嵌入或合成到真实的或是计算机生成的虚拟3 d 场景中，在基于对 象的操作、虚拟现实等方面有着良好的应用前景。而在立体视频中，由于可以得 到深度信息而使视频对象分割变得更为有效，这是因为视频对象通常是由位于相 同深度平面上的区域组成的。然而，由于视差场的估计误差和遮挡问题，视频对 象的边界( 轮廓) 识别的准确性并不能通过深度分割来提高。 上海大学硕士学位论文 基于多线索的立体视频对象分割 因此，本研究的主旨就是获得一种基于多线索的立体视频对象分割模型和建 立高效的分割算法，从而可解决上述问题。本研究成果预期在3 d 视频数据库浏 览和关键帧检索、网络多媒体通信、远程会议系统、3 d 远程医学、3 d h d t v 、 3 d 电子游戏、3 d 遥控机器人以及虚拟现实等方面有良好的应用前景。 1 3 国内外研究概况 1 3 1 国外研究概况 由于单视点视频( 二维视频) 主要利用同一性准则( 颜色或运动等) 来进行 对象分割，目前还不能很好的识别语义对象，因为语义对象通常包括由不同颜色 和运动属性组成的区域，然而在立体或多视点视频分析系统中，却能将更多的物 理特征信息( 视差或深度信息等) 用于分割语义对象。一些科研机构或个人证在 从事相关方面的研究。 针对立体视频对象分割，国外的一些研究机构和大学就提出了一些分割算 法。n t a l i a n i s 等人【7 利用提供的深度信息，提出了一种新颖、快速的无监督 ( u n s u p e r v i s e d ) 语义立体视频序列对象分割方案，首先对每个立体对进行分析， 得到视差场和遮挡区域，然后利用r s s t ( r e c u r s i v es h o r t e s ts p a n n i n gt r e e ) 算 法进行深度分割，最后又结合了运动几何空间( m g s ) 来识别对象边界。d o u l a m i s 等人【8 提出了一种无监督的具有语义意义立体视频序列对象分割的技术，他们 首先估计图像对的视差和深度场，检测遮挡区域并进行补偿，以得到更加可靠的 视差场，然后应用多分辨率r s s t 方法对深度和颜色分割，最后结合深度和颜色 信息完成视频对象分割。n t a l i a n i s 等人 9 提出了一种基于神经网络分类器的无监 督立体视频对象提取方案，首先对第一帧图像对进行分析得到深度分割图，然后 在每个深度分割区域边界，初始化主动轮廓以便检测其包括的视频对象，提取的 视频对象信息用来训练网络，优化凋整网络权值，最后将网络应用于其余的图像 帧，跟踪感兴趣的视频对象。另外，他们还提出了一种利用修改的主动轮廓技术 进行无监督立体视频语义分割的方法 1 0 】，首先获得深度信息，然后从感兴趣的 区域中构建了边缘图，为了提取视频对象，使用了主动轮廓模型，该模型在深度 轮廓上初始化，并向能量减小的方向变化。在文献 11 中，n t m i a n i s 等人基于深 度信息的利用提出了两种无监督立体视频对象分割技术，并针对计算开销和分割 上海大学钡士学位论文 基于多线索的立体视频对象分割 质量进行了比较。在文献 6 4 】中，s a n g 等人提出了一种基于颜色和深度信息的迭 代修改匹配区域尺寸和形状的方法，首先是选择基于对象边界的匹配区域来避免 投影点的失真，其次通过合并相似视差区域来迭代修改分割结果。而在文献 6 5 】 中，l e e 等人提出了一种使用随机模型的同时产生的视差估计和对象分割的方法， 对视差场和分割场均采用马尔可夫随机场的模型，并用能量最小化过程对两个场 分别进行估计，实验结果表明可以提取出较好的前景对象。 1 3 2 国内研究概况 国内，对于立体视频对象分割技术的研究要晚于国外，但目前许多高校和科 研院所也积极开展了立体视频对象分割技术的研究。朱仲杰等人【1 2 】首先在单通 道视频目标分割的基础上提出一种轮廓跟踪匹配算法，以提取立体视频目标对， 然后提出一种基于目标的视差估计算法来得到视频对象。韩军功等人 1 3 】在研究 传统估计算法的基础上，提出了一种新的带极线约束的d t 基立体图像视差估计 算法。该算法首先把立体图像中的左图像作为参考图像，用d t 网格进行描述。 然后，利用极线约束条件在右图像中估计出各三角形顶点的对应点，整个估计过 程要求d t 结构保持不变通过估计出来的对应点计算出这些顶点的视差矢量，再 用六参数仿射变换估计出三角形内部各点的视差矢量。编码时，只需编码各顶点 的视差矢量。从实验结果看，这种新算法阿传统的“块”匹配视差估计算法相比， 视差矢量的估计更加准确，视差图中主要物体的轮廓更加清晰，有利于进一步的 物体分割。w a n g 1 4 利用多级的梯度算法和分水岭变换方法进行了颜色分割，估 计了每个区域的运动参数并且将具有一致运动的区域合并成对象。此外，清华大 学相关研究组正在开展三维音视频( 3 d a v ) 技术的研究，三维视频对象分割是 其研究内容之一，目前处在系统实验平台搭建及前端数据获取的阶段，还未深入 有关对象分割的研究。 总的来讲，国内外对于立体视频对象分割的研究采取的主要方法是先根据视 差信息进行基于深度的分割，然后用运动信息或图像颜色信息修正深度分割结果 1 5 卜 1 8 。这些研究结果存在以下五个主要问题：1 ) 视差估计与运动估计过程 相互独立，限制了实际估计精度的提高；2 ) 由于遮挡而引起的误匹配导致视差 估计的错误，影响分割结果：3 ) 得到的分割结果严重依赖于视差图的质量；4 ) 计算量过大，难以适应实时性高的应用领域；5 ) 尚未形成成熟的多线索的三维 4 土海大学镀士举艇论文基于多线索豹立体瓣籁对蒙势割 视频对象分剿模型。 1 4 论文主要工作 本论文楚以 睾者攻读硕学位期霆承整漂题豹王俸燕基旗，主要是农藏差分 割的基础上，结合阈值、边缘稳测、变纯检测、颜色簿多种信息来对立体视频进 行对象分割。论文主要工作及取得的成果如下： t ) 提出种基于特征约束的区域匹配算法：政算法结合了基于区域郴基于 特薤匹酝务舞豹饯势。首先对对象戆边缘签进行援戆羧酝，在撂到豹魄较准礁的 边缘特征点稀疏襁差图的终束下，将对象的菲边缘特征点的匹配搜索区域大大缩 小，最终得到对象的视差图。 2 ) 提出种变化检测算法：根据视差场分割的结果，在相邻帧中把对应于 各个视差分割对象的区域单独遗行运动变化检测，针对各自区域的局部特缝选取 适当兹阕壤，大大簿低了臻声对变鬟二硷测酌影稳。 3 ) 提出了一种基于视差和闽值的立体视频分割算法：首先进行视麓估计， 然后分割视麓场，并作形态学处理，最后根据不同对象分别采用迭代阈饿法和自 适应闽值法遨行二次分割，得到各个层次上的对象。本方法适用于摄像机与静止 景兹之蠢煮枣羹瓣运动戆立蒋竣颞穿列静多对象劳砉l 鞫麓。 4 ) 提出了一种多信息融合的立体视频分割算法：首先进行视差估汁，然后 分割视差场，并作形态学处理，在视差分割图的基础上进行运动检测以提取对象 边缘，对有条件的视频序列再进行颜色修正，最终得捌精确的对象。本方法对含 有重叠多踺蘩瓣筏凝痔爱毒良好貔分裁效票。 1 5 论文结构安排 论文共分六拳，具体的结构安排如下：在第一誊中阐述了课题研究的来源、 嚣魏、意义潋殿嚣幽莠磅究戆疆羧。第二章谨缨阙遴了立蒋援囊帮双嚣缀豫系统 的原理及篡税羞估计。第三章对视频对象分割算法的理论基础及其所采用的主要 技术，如对运动估计、图像分割技术等进行了简要评述，为后续章节做了铺垫。 第四章提出了基于视差和阈值的分割算法，同时进行了仿真实验，得到了较为满 l 海大学硕士学位论文基于多线索的立体视频对象分割 意的效果，充分说明了视差信息在分割中所起的重要作用。第五章对基于多线索 分割算法作了详细的阐述，文中用两种序列分别说明了在有重叠的多对象的场合 和对象在不同深度层次运动的场合中，本算法都可以达到满意的效果。第六章总 结本论文的研究工作，并对进一步的研究工作进行展望。 6 上海大学硕士学位论文 基于多线索的立体视频对象分割 第二章立体视觉及视差估计 2 1 立体视觉及双目摄像系统 立体视觉是仿照人类利用双目线索感知距离的方法，实现对三维信息的获 取。在实现上采用基于三角测量的方法，运用两个或多个摄像机对同一景物从不 同位置成像，并进而从视差中恢复距离。一个完整的立体视觉系统通常可分为图 像获取、摄像机定标、特征提取、立体匹配、深度确定及深度稠密化( 内插) 等 6 个大部分f 1 9 1 。 立体视觉的工作过程与人类视觉系统的感知过程是类似的，事实上，人类视 觉系统就是一个天然的立体视觉系统，如图2 - 1 所示。而视差为立体视觉提供了 最基本的信息，是产生立体感觉的原因，有关视差的具体含义和特性将在后续章 节中作具体介绍。 图2 一1 人类视觉系统立体成像过程 其中双目系统是人类和动物的视觉系统获取深度信息的主要手段之一，而本 文采用的序列也是由双目摄像机采集而米的，因此先对双目摄像机系统作一下简 单介绍。 上海大学硕十学位论文基于多线索的立体视频对象分割 镜 左图像 图2 - 2 双目摄像机系统模型 外极线 图2 2 所示的就是一个双目摄像机系统的模型，图中两个摄像镜头中心的连 线称为摄像机系统的基线b ，其中摄像机的焦距为，景物与两个摄像机镜头 中心所确定的平面称为外极平面( e p i p o l a r p l a n e ) ，外极平面与左右图像平面的两 条交线称为共轭外极线( c o n j u g a t ee p i p o l a rl i n e ) 。 2 2 视差及其匹配 在立体视觉的6 大部分中，立体匹配是最重要也是最困难的部分。立体匹配 是寻求同一空间景物在不同视点下投影图像的象素问的一一对应关系。而在本文 中，我们采用的是基于视差信息的立体匹配方法，以下就对视差及其匹配作详细 的阐述。 2 2 1 视差定义 所谓视差是指立体成像系统中，三维场景中的一个点在左右两幅图像中投影 点的位置的差异，包括各摄像机的摄像角度、相对运动及场景中对象的运动所产 生的差异。以下我们以平行双目摄像系统对视差作更进一步的说明。 如图23 所示，由于我们采用的是平行双目摄像系统，两条共轭外极线相互 平行，即基线c 筋和外极线l 卜两两相互平行，构成了平行双目摄像系统， 图示为平行双目摄像系统的俯视图。f 轴为水平方向，和基线重合；z 轴为摄像 上海大学硕士学位论文基于多线索的立体视频对象分割 机和物体的距离轴；垂直方向的y 轴没画出。图中两条粗黑线表示左右成像平面， d f 和0 r 是成像平面的中心；p f 和只是三维空问p 点在左右成像平面上的成像点 “，和脚相对于平面中心的位移，其中设竹为正值则p r 为负值；摄像机的焦距为 ，基线c f c r 的长度为拍。 q 0 ，矾和a c t c p 、a c r o ，以和a c r c p 都是相似三角形，由几何知识可得 式( 2 一1 ) 、式( 22 ) ： 一 p jh + x ，z 二生：生 z 在式( 2 - 1 ) 和式( 2 - 2 ) 中消去z ，可得式( 2 - 3 ) ： 卑一只：型 ( 2 1 ) ( 2 2 ) ( 23 ) 定义p 点在左右成像平面的投影点离各自平面中心的位移之差为视善d ，即 d ：只一e ：2 h s z ( 2 4 ) p ( x , y ，z ) l | | - p 1 0 l _ - h 一 ： l 1 o； 陋 。 u f ：1 uc 一i g j 图2 - 3 平行双目摄像系统俯视图 上海大学硕士学位论文基于多线索的立体视频对象分割 由式( 2 4 ) 可知，视差d 与深度z 成反比，离摄像机较近的物体，产生较大的 立体视差；而离摄像机较远的物体则产生较小的立体视差。由于位于不同深度层 的对象往往具有相近的视差值，故我们可以利用这一点来区分不同对象，实现对 对象的分割。 2 2 2 视差特性 我们从以下两个方面来分析视差的主要特性： l 、视差与遮挡：由于立体摄像机的几何结构，会出现物体的一部分仅在图 像对中的一个图像中出现的情况，这种现象称为“遮挡”。如图2 4 所示，由于 物体1 的遮挡，阴影所对应的物体2 的部分，只能在一个成像面中成像，物体2 上面被物体1 遮挡的部分不能在下面的成像面成像；同样，物体2 下面被物体1 遮挡的部分不能在上面的成像面成像。一般，遮挡会使视差估计复杂化。 物体2 2 、视差与基线：从式( 24 ) 中我们可以发现，两个立体摄像机间的基线 2 小，图像对之间的差异小，即视差d 小；而基线2 大，虽然可以提高三角距 离测量的精度，但大基线导致两幅图像中的公共区域减少，使得图像对之间的差 异大，出现较多的遮挡，给视差估计带来了困难。如图2 5 是小基线图像对，左 右图像之间的差别很小；图2 6 为大基线图像对，其左右图像之间有很明显的差 异 2 0 1 。 上海大学硕士学位论文基于多线索的立体视频对象分割 左图像 左图像 图25 小基线立体图像对 图2 - 6 大基线立体图像对 右图像 右图像 2 2 3 视差估计 2 2 3 1 视差估计中的基本约束 由于噪声、光照条件、遮挡以及其他一些因素的影响，同一景物在不同视点 下的图像会有很大不同。对于一幅图像中的某一特征基元，在另一幅图像上总有 几个对应的匹配基元，因此为了获得更好的视差图，通常需要采用一些约束条件 或限制。下面介绍几种基本约束 6 6 】： ( 1 ) 外极线约束 对于给定的左图像上的一点p ，该点位于它所对应的空间点p 与左摄像机 光心0 ，的连线上。这条连线和右摄像机的光心o r 一起组成一个平面，这个平面 与右图像平面相交于一条直线f ，它就是左图像上点p ，的外极线，如图2 7 所示。 容易看出，对于任意位于直线o t p 上的点( 例如p 点) 在左图像上的投影 都为t 2 r ，它对应的点一定在外极线上，也就是说，对于任一点p f ，我们只需在它 的外极线上搜索其对应点，这就是外极线约束，它大大限制了搜索范围，是立 上海大学硕士学位论文 基于多线索的立体视频对象分割 图2 7 外极线约束 体视觉中的基本约束。在理想的双目立体视觉模型下，外极线与图像行重合 2 1 。 为不失一般性，本章研究的立体视差估计方法，都是针对理想视觉模型获 取或经校正后的立体图像对，即其外极线与图像行重合。 ( 2 ) 相容性约束( d e t a i l e dm a t c h ) 对应的特征，应有相同的属性，这一约束的具体含义随所选用的特征及其 属性不同而有所不同。例如m a r t 的边缘检测用过零点作为特征，每个匹配的两 个过零点应有的两个属性是相同的，一是边缘的极性，即它是由正到负还是由 负到正的突变；另一个是在该边缘点处边缘的方向。 ( 3 ) 唯一性约束( u n i q u e n e s s ) 在一般情况下，一幅图像上的每一特征只能与另一幅图像上的唯一特征对 应，即一幅图像中的一个特征只能被赋予唯一的视差值。 ( 4 ) 平滑性约束( s m o o t h n e s s ) 由于物体表面一般是平滑的，因而它们的视差一般也是平滑的，在物体边 界处的深度不连续处除外。 ( 5 ) 形状连续性约束( f i g u r a lc o n t i n u i t y ) 该约束是对连续性约束的改进。物理表面的边界及表面上的标记一般延伸 一定的长度，而且它们的凹凸变化与观察者到它们的距离相比是光滑的。边界和 标记在二维图像上表现为边缘，所以上述约束意味着具有一定长度的边缘段若能 获得匹配，则视差在这个边缘段上应是连续的。 ( 6 ) 视差梯度约束( d i s p a r i t yg r a d i e n t ) 1 2 上坶大学硕： 学位论文基于多线索的立体视频对象分割 对于在图像中相邻近的匹配一定具有相近的视差，而较远的匹配允许有较大 的视差，这个约束是基于一物体总是占据一定的三维空问这一假设。正确匹配 的视差梯度通常小于2 ，而不正确的匹配很少满足这一约束。 2 2 3 2 视差匹配 我们知道，对两幅有视差的图像进行匹配所得出的结果好坏，直接影响到景 物结构最终深度的计算精度及后续的分割工作。所以，视差匹配问题一直是研究 及应用立体视觉的关键性问题，而且针对此问题已经提出了许多方法。根据匹配 特征和方式的不同，视差估计基本上可以分为两类 2 2 1 ：即基于区域和基于特征 的方法。 ( 1 ) 基于区域的视差估计方法 基于区域的视差估计方法是指通过对一幅图像中任意点的一个邻域( 如3 3 或5 5 ) 内象素与另一幅图像中各个潜在对应点的同样邻域内象素之间的相似 性测量，来计算出该点视差的方法 2 3 1 1 2 4 1 1 2 5 。该方法假设立体图对上对应点及 其邻域内的象素在灰度上具有相似性。由于基于区域的视差估计方法需要对搜索 区内的每一位置进行穷举匹配，且在每一位置上要进行逐点的运算，因此该方法 的运算量较大。基于区域的视差估计方法通常具有较高的匹配精度，可直接获得 密集的视差图，在许多领域已得到成功的应用 2 7 】【28 】。但其计算量大，易受噪 声干扰，鲁棒性差。 当遇到存在多个对象重叠的序列时，用基于区域的匹配方法可以得到更多的 对象信息，有利于对象提取，因此在第四章中针对我们所用的序列将采用改进的 基于区域的视差估计算法。 ( 2 ) 基于特征的视差估计方法 基于特征的视差估计方法通常包括两个步骤：特征提取和特征匹配。特征 提取主要是利用特征提取算子提取图像特征，这些特征通常都是图像上灰度变 化明显的点、线、面或是图像的结构关系。特征提取的目的有两个：1 ) 进行待 匹配点和候选匹配点的筛选；2 ) 特征提取中所获得的一些特征信息可以作为后 续匹配的相容性判决。特征匹配实际上是在左右图像对的特征之间寻找一种对 应关系，这种关系一般是一一对应的。通常，我们根据匹配准则和一些假设， 在一定的搜索范围内考虑到周围特征匹配结果的相容性，从而找出最佳候选特 上海大学硕士学位论文基于多线索的立体视频对象分割 征作为匹配结果。 特征提取是整个基于特征立体匹配的基础。提取出特征的多寡，特征定位 精度的好坏，特征信息可信度的高低都会直接影响到后面的匹配结果。通常进 行特征提取的对象有两类，一类为点特征，如零交叉点、边缘点、角点 2 9 以及 一些通过兴趣算子获得的兴趣点 3 0 3 ；另一类为图像的结构特征，如直线段 3 l 】、 灰度段 3 2 、二次曲线 3 3 3 4 1 等。特征匹配的方法有很多种，既可以直接利用 特征点邻域的灰度信息，也可以利用特征提取时获得的特征信息，如特征的强 度、方向、特征问的相互关系等等。常见的特征匹配方法有相关法、松弛法、 动态规划法以及多分辨率法等。其中，多分辨率法可以与其他方法结合使用， 减少计算时间。 基于特征的视差估计方法由于以鲁棒性更强的特征为匹配基元，因此可以 得到比较精确的匹配，另一个优点就是可以提高匹配速度，这是因为它只对特 征进行搜索匹配，而不是每一象素点。但由于匹配只建立在一少部分特征之上， 因此该方法只能得到稀疏的视差图，如果需要获得密集的视差图，必须通过内 插或表面重建的方法实现；另外，各种各样的特征提取和匹配算法性能相差较 大，制约了匹配结果精度的提高。 在第五章中我们提出了一种基于边缘特征约束的匹配方法，融合了上述两种 方法各自的优点，即在比较准确的边缘特征点稀疏视差图的约束下，将非边缘特 征点的匹配搜索区域大大缩小，以降低计算量，减少误匹配。 2 3 本章小结 本章简要介绍了立体视觉的概念和双目摄像系统模型；在对平行双目摄像系 统的原理分析中，介绍了视差的涵义，推导得出视差与深度之间的反比关系，此 关系也是把视差信息用于对象分割的理论依据；此外，本章还就视差特性以及视 差估计中的约束条件进行了深入分析，并介绍了常用的视差匹配方法。 视差估计作为立体视觉技术中的核心问题之一，是立体视频对象分割的重要 步骤。在后续章节描述的对象分割中，将采用改进的视差估计方法，以提高视差 估计的效率。 4 上海大学硕：i ：学位论文纂于多线索的立体视频对象分割 第三章视频对象分割基本理论 3 1 引言 视频对象的分割与其它的视频处理技术一样，可分为各种辅助处理技术和基 奉处理技术两类。辅助处理技术主要有预处理和后处理两种方法，而基本的视频 对象分割技术是在图象分割技术的基础上发展起来的，可以分为三大类：基于帧 内的空间域分割技术、基于帧间的时间域分割技术、基于时空信息融合的分割技 术。 辅助处理技术的目的主要是将要处理的图像得到简化，或对运算得到的结果 进行后处理以使结果更为完善。主要采用的技术有各种滤波技术和数学形态学处 理方法 3 5 。滤波技术发展较早，在图像处理方法被广泛使用，而数学形态学由 于其良好性能，在视频对象分割中有更多的应用。 进行基于帧内的分割技术采用的是传统的图象分割技术，按照一定的空间信 息( 包括颜色、灰度、边缘、纹理等) 、变换域信息( d c t 、d w r i 、) 、统计信息、 模型和先验知识( 对特殊类图像) 等对图像中的一致性区域进行分割 3 6 3 8 。 基于帧间的分割技术不仅可利用上述图像分割所用的信息，还可利用对象的 时间相关性和多视点信息来进 j 二分割。由于运动信息是运动对象的一个重要特 征，因此常常根据运动的一致性来分割各个对象，也可以结合颜色、纹理、边沿 等特征 3 9 。为了避免运动场的复杂计算，可以通过计算帧问差分来得到运动区 域，然后再进行分割得到运动对象。通常认为差分图像服从高斯分布或拉普拉斯 分布，根据统计特性的不同可以区分出运动对象和静止背景。 时空融合分割技术一般先通过时域分割标识出运动对象，然后与空域分割得 到的对象边界融合在一起，以获得更精确的对象分割结果 4 0 4 1 。时空分割由 于同时利用了图像的空间相关性和视频的时间相关性，因此可以取得更好的效 果，是目前主流的分割算法。当前视频对象分割算法的研究趋势之一就是寻找更 好的时域分割和空域分割的融合方法 4 2 儿4 3 】。 上海大学硕士学位论文基于多线索的立体视频对象分割 3 2 数学形态学处理 形态学一般指生物学中研究动物和植物结构的一个分支。后来，人们用数学 形态学( 也称图像代数) 表示以形态为基础对图像进行分析的数学工具。它的基 本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状，以达到对 图像分析和识别的目的 4 4 。数学形态学的数学基础和所用语言是集合论。数学 形态学的应用可以简化图像数据，保持它们基本的形状特性，并除去不相干的结 构。数学形态的算法具有天然的并行实现的结构。 3 2 1 形态学基本运算 数学形态学的基本运算有四个：膨胀( 或扩张) 、腐蚀( 或侵蚀) 、丌启和闭 合。形态学的运算对象是集合。设用a 表示图像，b 表示结构元素( b 本身也是 图像集合，爿和口均为集合) ，形态学运算就是用口对a 进行操作。 膨胀( d i l a t i o n ) 猷j 算符为o ，用口对4 进行膨胀可以记为4 0 曰，其定义为： 彳o b = x i ( 曰) 。n a o ) ( 3 1 ) 上式表明用b 膨胀4 的过程就是先对b 做关于原点的映射( 注意这里b 代表