（通信与信息系统专业论文）综合时空信息的视频序列中运动目标分割算法.pdf

综合时空信息的视频序列中运动目标分割算法 中文摘要 综合时空信息的视频序列中运动目标分割算法 中文摘要 本文提出一种综合时空信息的视频序列中运动目标分割算法，其目的是在复杂彩 色视频序列每一帧中提取出相对背景运动的目标所在的区域。算法的思路是：首先构 建不包含运动目标的背景全景图，然后用经过配准的各帧图像与背景相应部分做差分 提取出运动模板，最后引入空间分割的信息对模板进行优化，得到精确的分割结果。 静态背景全景图的构建。本文采用了图像镶嵌( m o s a i c ) 方法对一个镜头( s h o t ) 的背景进行全景图的构建。由于摄像机的运动，所拍摄各帧图像会发生位置上的变化， 而且同一目标在不同帧中形状也会变化，构造全景图，需要在全局运动补偿的基础上 把所有帧中的图像形状进行统一。因此首先要获得连续图像帧之间在空间位置和形状 上的变化，即坐标变换关系。为此本文研究了两种坐标变换模型：6 参数的仿射模型 和8 参数的投影模型，实现对所有帧中的图像形状的统一，并对两种方法的结果进行 了对比研究。仿射模型参数较少，运算量小，但并不能准确反映摄像机运动对图像形 状变化造成的影响：投影模型可以描述大多数情况下摄像机运动造成的形状改变，但 存在运算量较大的问题。实际应用中可以根据不同的场合选用不同的参数模型，本文 给出了一些建议。 运动模板的提取。摄像机获取的每一帧图像都同时包含了背景和运动目标的信 息，可以认为是背景和运动目标的叠加。当获得了背景的全景图后，就可以用经过校 准的各帧图像和背景相关部分进行差分运算，则该帧图像中背景部分相减后为零，运 动目标部分非零，从而得到非零区域就获得了该帧中运动目标所在的区域。由于噪声 等影响，获得的区域并非运动目标的精确形状和区域。可以采用阈值法提高精度，并 除去过小的区域。 彩色图像分割。运动目标分割要把运动目标所在的区域从背景中分割出来，就 需要在每一帧图像实现空间分割，即把彩色图像分割成具有色彩一致性的区域，其中 运动目标就是这样一些色彩一致性区域的集合。本文采用基于均值偏移( m e a ns h i t t ) 的算法，该算法本质上是一种特征聚类算法。首先把彩色图像映射到一定的特征空间 综合时空信息的税频序列中运动目标分割算法 中文摘要 中，本文采用的是包含空间信息和颜色信息的混合特征，在映射过程中完全没有损失 信息，因而特征空间中的特征点能忠实反映彩色图像。在特征点聚类过程中采用最常 用的各向同性e p a n e c h n i k o v 核函数，根据特征空间中的密度，寻找密度梯度为零的 点作为模式点，把所有特征点都归类到某一模式中，最终实现把数量众多的特征点分 类到数目较少的模式中。最后把经过聚类的特征点再映射回彩色图像，从而实现彩色 图像的分割。本文提出了一种新的滤波聚类方法，即始终把计算得到搜索窗口的中心 和实际存在的特征点联系起来，减少需要进行偏移矢量计算的特征点数目。实验证明 该方法可以得到理想的分割结果。 关键词：运动参数图像镶嵌颜色空间均值偏移图像分割 作者：伊怀锋 指导教师：黄贤武 s t u d i e so nm o v i n go b je c t ss e g m e n t a t i o ni nv i d e o s e q u e n c e sb a s e do ns p a t i o t e m p o r a l i n f o r m a t i o n a b s t r a c t t h ep u r p o s eo ft h i st h e s i si st os e g m e n tm o v i n go b j e c t sf r o ms t a t i o n a r y b a c k g r o u n di nc o l o rv i d e os e q u e n c e s i nt h ef i e l do fv i d e op r o c e s s i n g ，t h e s e g m e n t a t i o no fm o v i n go b j e c t si sah o tr e s e a r c ht o p i ci nr e c e n ty e a r s v a r i e s o fs e g m e n t a t i o nm e t h o d sc a nb eu s e da c c o r d i n gt od i f f e r e n ts i t u a t i o n so f m o v i n go b j e c t sw i t ht h e i rd i f f e r e n tb a c k g r o u n d t h i sp a p e rp r o p o s e dam e t h o db a s e do ns p a t i o t e m p o r a li n f o r m a t i o n ： f i r s tc o n s t r u c tas t a t i o n a r yp a n o r a m i cb a c k g r o u n d ，a n dt h e nd e t e c tt h em o v i n g a r e a si ne v e r yf l a m e a tt h es a m et i m ei m p l e m e n tc o l o ri m a g es e g m e n t a t i o n i n e v e r yf r a m e a n dg e tas e r i e so fa r e a sw h i c hh a v et h es a r n ec o l o r i n f o r m a t i o n a tl a s t ，u s i n gc o l o ri n f o r m a t i o no p t i m i z et h er e s u l to ft e m p o r a l s e g m e n t a t i o na n dg e ta c c u r a t em o v i n go b j e c t s i nt h es e c t i o no ft e m p o r a ls e g m e n t a t i o n ，c o n s t r u c t t h es t a t i o n a r y p a n o r a m i cb a c k g r o u n df i r s t w en e e dg e te v e r yf r a m eo f t h es h o ta tf i r s t ，a n d g e tt h em o t i o nv e c t o r so fe v e r yf l a m e ，a n dc a l c u l a t et h em o t i o np a r a m e t e r s u s et h em o t i o np a r a m e t e r s ，w ec a ng e tt h et r a n s f o r m a t i o no fs u c c e s s i v e f r a m e s ，a n dt h e ng e tt r a n s f o r m a t i o no fe v e r y t w of l a m e s w es e l e c taf r a m ea s t h er e f e r e n c ef l a m e ，c o n s t r u c tt h ep a n o r a m i cb a c k g r o u n d a f t e rg e t t h i s b a c k g r o u n d ，w eu s ee v e r ya l i g n e d f l a m ec o m p a r ew i t ht h i sp a n o r a m i c b a c k g r o u n d ，s oc a nd e t e c tw h i c ha r e ai sm o v i n gi nt h i sf l a m e ，a l t h o u g hi t sn o t v e r ya c c u r a t e i nt h es e c t i o no fs p a t i a ls e g m e n t a t i o n ，w eu s ean o n p a r a m e t r i cc l u s t e r i n g a l g o r i t h mb a s e do nm e a ns h i f t a tf i r s t ，t r a n s f e ra l lt h ep i x e l so f c o l o ri m a g e ! 竺璺! ! ! 竺竺! ：! 堕! 堕竺坚! ! g 里! ! ! ! ! ! ! ! ! ! ：! ! ! ! ! ! ! ! ! ! ! 竺! 竺望! ! 1 2 1 11 1 ：! 竺婴翌! ! ! 生! ! ! ! ! ! 垒璺兰! 坠兰! t oaf e a t u r es p a c ea n dg e tm a n yd a t ap o i n t si nt h i sf e a t u r es p a c e b ys e t t i n g o n l yaf e wp a r a m e t e r s ，w es u b s u m ee a c hd a t ap o i n ti n t oi t sc o r r e s p o n d i n g d e n s i t yp a t t e ma n dr e a l i z ec l u s t e r i n g a n da tl a s t ，w er e c o n s t r u c tt h ec o l o r i m a g eu s et h i sc l u s t e r e dd a t ap o i n t s e x p e r i m e n t a lr e s u l t sa r ep r o v i d e du s i n g t w od i f f e r e n tc o l o ri m a g e s i ts h o w st h a tt h ep r o p o s e da l g o r i t h mc a ng e t e x c e l l e n tr e s u l t s a tl a s t ，i n t e g r a t et h es p a t i a ls e g m e n t a t i o ni n f o r m a t i o na n dt e m p o r a l s e g m e n t a t i o ni n f o r m a t i o n ，g e tm o r ea c c u r a t er e s u l t k e yw o r d ：m o t i o np a r a m e t e ri m a g em o s a i c c o l o r s p a c e m e a ns h i f t i m a g es e g m e n t a t i o n v w r i t t e nb y ：y ih u a i f e n g s u p e r v i s e db y ：h u a n gx i a n w u y9 5 7 1 9 7 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：馥蛏鳞 日期：2 塑笪： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名： 导师签名： 日期： 日期： 2 。f 亟：生! ! ：翌 综台时空信息的视频序列中运动目标分割算法第一章概述 第一章概述弟一早僦殓 1 1 引言 近年来，随着多媒体计算机技术的发展，尤其是计算机运算速度和存储能力的提 高，视频图像得到了广泛的重视和应用，其应用领域遍及广播电视、医学、保安监控、 交通管理、军事及生命科学等方面。 视频序列中运动目标的分割是当今视频处理领域的一个热点和难点问题。所谓运 动目标分割，就是根据序列场景图像和运动目标图像的特征，将运动目标区域从场景 中表示出来，进而达到分割目标图像的目的。运动目标分割有多种技术，最为典型的 有两种：一种是在一帧图像上对目标图像进行分割，根据相邻帧图像分割出的目标图 像情况，预测下一帧图像上目标的位置，以达到在下一帧对运动目标快速分割的目的； 另一种是根据图像的时域( 帧间) 特性，估计目标区域和背景区域，然后在一帧图像 上分割目标。 国际标准化组织制定了视频图像编码和传输的若干标准，大大促进了多媒体通信 的发展，在世界范围内推动了数字电视、h d t v 以及“三网”合一的发展。但是传统 的视频编码标准m p e g 一1 m p e g 一2 和h 2 6 1 h 2 6 3 ，都缺乏视频内容的高层次信息描 述。而m p e g 一4 视频编码标准引进了视频对象v o ( v i d e oo b j e c t ) 的概念，具有基于 内容的编码功能。它要求在编码前把视频序列分割成多个与不同视频对象相对于的视 频对象平面v o p ( v i d e oo b j e c tp l a n e ) ，然后对视频对象进行编码。这样的一个优点 是不仅可以对不同视频内容进行编码，还可以灵活的重构或在译码端对内容进行任何 所需的操作。因此，在视频编码时，如何将视频序列中的每帧图像分解成具有一定语 义的视频对象和背景，将是m p e g 一4 和m p e g 7 的关键所在。除了编码以外，视频 序列中运动目标的分割还具有其他广泛的应用。例如生产安全领域，军事领域等等。 可见，将运动目标提取出来是视频处理的一个基础性问题，如果能找到一个方便 快捷的方法把运动目标精确而迅速的提取出来，必将对高层次的视频处理带来极大的 方便。 综合时空信息的视频序列中运动目标分割算法第一章概述 1 2 视频序列中运动目标分割的发展动态 纵览国内外的相关文献，视频运动目标分割有两种分类方法，一种是依据视频序 列图像本身特征，另一种是依据分割的实现方式。 视频运动对象的分割算法基本上可以分为基于帧内的分割算法和基于帧间的分 割算法两大类，但发展的趋势是两种方法的融合 基于帧内的分割算法采用传统的图像分割算法，按照一定的空间信息( 颜色、灰 度、边缘和纹理等) 、统计信息、模型和先验知识等对图像中的一致性区域进行分割 最常见的是分水岭分割算法，由于分水岭算法对噪声比较敏感，具有过度分割的现象， 所以必须进行区域合并无论是分水岭算法还是区域合并算法，它们的计算量都非常 大 基于帧间的分割算法是利用时域信息对运动对象进行分割运动信息是运动对 象的一个重要特征，因此常根据运动的一致性来分割各个对象，这就是经典分割算法 运动估计分割算法基于块的运动估计分割算法首先将当前帧分成大小相等的 若干个块，对每个块在下一帧指定大小的窗口中进行匹配，得到运动场，然后把运动矢 量相近的块合并这种方法不能处理旋转和缩放情况，精度受到块尺寸的影响，而且 在大多数情况下，得不到十分精确的运动场：基于贝叶斯概率统计的运动估计分割算 法是另一种常用的运动估计分割算法它利用随机平滑度约束条件，采用g i b b s 分布， 估计位移场在给定光流数据的条件下，搜索分割标记的最大后验概率，使当前分割 与期望分割的符合程度最大这种算法可以同时完成运动场估计和对象分割，但计算 量比较大，而且需要选择合适的特征并建立较好的对象特征概率分布模型。 根据视频序列本身特征，运动目标分割大体上分为两种： 1 2 1 基于空间信息的图像分割方法 基于空间信息的图像分割算法，充分利用图像的空问信息，将图像分割成具有 不同特征的区域。该类方法又可分为两种：基于轮廓的分割算法和基于区域的分割算 法。 基于轮廓的分割算法。基本思想是：先检测图像中的边缘点，然后按照定的 策略连接成轮廓，从而形成分割区域。该类算法存在的一个问题是精确性和抗噪性之 综合时空信息的视频序列中运动目标分割算法 第一章概述 间的矛盾。若要提高检测精度，则对噪声会非常敏感，噪声产生的伪边界会导致不合 理的轮廓：若要提高抗噪性，则会造成边缘漏检和位置的偏差。为解决这一矛盾，人 们提出了多尺度边缘信息的结合方案，可以兼顾两者。 基于区域的分割算法。基本思想是：根据图像数据的特征将图像空间划分为互 不重叠的区域，从而达到分割的目的。这类算法首先应确定选用什么特征。一般来讲， 图像的数据特征包括：直接来自于图像像素点的信息灰度值或颜色值；由原始图 像数据变换而来的特征。确定了特征后就要选定分类的方法，常用的基于区域的分割 算法有：阈值法，聚类法，松弛算法和区域生长算法。 阈值法 3 5 】 3 6 】通过设定不同的特征阈值，将像素点分为若干类。算法实现的难点 在于阈值的设定，对传统阈值法的改进包括局部阈值、模糊阈值和随机阈值等方法。 聚类方法口7 1 1 3 8 1 通过在特征空间对像素点进行聚类，实现图像分割。常用的方法 包括硬聚类、概率聚类和模糊聚类等。由于缺乏对像素空间拓扑关系的考虑，往往还 需要进行算法的后续处理才能完成分割。聚类准则的设定是聚类算法实现的关键。 松弛法【3 9 】是一种动态调优的标号方法，包括概率松弛和模糊松弛等。把对应于 不同目标的标号分别赋给图像中的每个像素，根据相邻像素之间的相容性，不断调整 标号知道满足收敛条件。算法实现的关键在于标号相容性模型的建立和迭代方法的收 敛条件的设定。 区域生长方法【4 0 1 1 4 1 1 是将像素点或小的区域组合成大的图像区域的过程。其中的 像素凝聚法最为常见，这种方法从一系列的“种子”点开始，利用这些点，通过将其 邻近的像素中性质相似的像素附加到这些种子点上而生长形成区域。利用区域生长算 法进行图像分割时，有两个问题需要解决：其一是“种子”的选择，如何选取种子使 其能代表感兴趣的区域：其二是评价标准的选择，如何选择适当的标准，使得生长过 程中能将满足语义的像素点划分到相应的区域中。 1 2 2 基于时间信息的图像分割方法 基于时间信息的运动目标检测方法可以分为以下几种： 光流估计算法。根据人眼视觉原理，人眼能感知到的物体是因为物体的反射光会 在眼睛视网膜上成像。当物体运动时，视网膜上成的像也随之变化，如同一种光的“流” 在视网膜上“流过”，人们称之为“光流”。z h u a n g 和h a r a l i c k 通过研究发现，三维 综合时空信息的视频序列中运动目标分割算法第一章概述 运动参数与平面光流的关系为一非线性运动方程式，证明了一个三维空间点的运动与 一个光流图像可以唯一的确定刚体的运动。该算法的缺点是计算复杂，至少需要知道 光流图像上的8 个点方可求解，而且光流容易受到多种因素的干扰，直接影响到最终 的分割结果。 变化检测算法。该算法仅仅针对图像中变化区域进行处理，可以提高算法的速度。 在大多数视频序列中，图像的背景是静止的，或只是一种简单的全局运动，对于后者， 在采用变化检测算法之前，需要进行全局运动补偿。一种简单的变化检测方法是，对 前后两帧图像进行相减运算，通过判断像素的差值的绝对值是否大于某一个阈值，来 判断该像素是否属于运动区域，这种方法也称为基于像素的变化检测方法。这种方法 容易受到随机因素的影响，为了提高鲁棒性，人们提出了一种改进的算法：预先设定 一个检测窗，通过判断检测窗中像素差值的绝对值之和是否大于某一个阈值，来判断 该像素是否属于运动区域，这种算法也称为基于区域的变化检测方法。 运动恢复结构算法( s f m ：s t r u c t u r ef r o mm o t i o n ) 。该方法从图像平面的二维运 动中，恢复运动物体三维结构。算法的原理如下：在视频序列图像中的物体，若发生 旋转，可借助平面上获得的信息来获知物体的物理特征。在实际应用中，首先在多幅 图像中手工定义一些相对应的特征点，使用计算机技术恢复特征点的坐标和摄像机参 数，由此计算出径向基值插值函数的系数，进而获得描述运动模型的一般网格。最后， 通过更多的特征点，可将一般网格微调到与真实物体非常接近的形状上。 基于运动信息的参数模型方法。该方法有一个前提就是运动目标必须是刚体，对 于形状需要发生改变的运动目标，该方法具有一定的局限性。对此可以采取视频分段 的方法来拓展该方法的使用，具体操作就是在某一个视频段可以把运动目标近似为刚 体。该方法的思想如下：假设有k 个相互独立的投影物体，每一个光流矢量对应于 单个不透明的三维刚体的运动投影，那么不同物体的运动可以通过一系列映射参数来 正确描述。参数模型的建立实现了对视频图像的分割，整个视频区域的运动可用个 参数集合来描述，运动矢量可以由这些参数模型来合成。 1 2 3 结合时空信息的运动目标分割算法 没有空问信息的引入，单纯的基于运动信息的分割算法无法得到精确的分割结 果。为此，人们将基于空间分割的信息引入到基于运动信息的分割方案中来，提出很 综合时空信息的视频序列中运动目标分割算法第一章概述 多有效的综合时空信息的运动目标分割方案。一般来讲，基于运动信息的分割是算法 的主体，而空间分割信息作为有益的补充对基于运动信息的分割结果进行修正，可以 得到较为理想的结果。 1 3 本文采用的分割算法 本文提出一种具有较强适应性的运动目标分割算法。该算法可应用于多种场合： 摄像机可以静止也可以运动：运动目标的运动速度可在较大的范围内变化：运动目标 的尺寸和形状可以发生改变，等等。 该算法是一个综合时空信息的视频序列中运动目标分割算法，具体实现分为两个 步骤： 第一步构建出一个镜头( s h o t ) 的静态背景全景图，然后利用和背景图像差分提 取每一帧图像的运动模板。首先把视频序列的每一帧提取出来，求得相邻各帧之间的 运动参数，然后采用基于图像镶嵌( m o s a i c ) 的方法，在参考帧的基础上构建背景的 全景图，一般以每个镜头的第一帧作为参考帧。然后把经过配准的各帧与该背景做差 分运算，就可获得大致的运动区域，即得到运动模板。由于噪声等因素的影响，得到 的模板中可能存在许多面积较小的伪运动区域，可以根据预先设定的闽值对所有区域 进行检测，把这些过小的区域除去。 第二步实现在每一帧上对彩色图像进行分割，获得色彩一致性的区域。图像中的 所有目标都是一些色彩一致性区域的集合。本文采用基于均值偏移( m e a ns h i f i ) 的 彩色图像分割算法，在该算法中，仅需要很少的人为参与，就可以得到较为精确的分 割结果。均值偏移算法实质上是一种特征聚类算法。首先把彩色图像映射到一个特征 空间中，用特征空间中的特征点分布来描述彩色图像，在本算法中使用l u v + 颜色 空间构建特征空间。然后利用空间相近的原则对特征点进行聚类，把位置相近的点归 为一类，实现整个特征空间中特征点的聚类。最后再把特征点映射回彩色图像，达到 分割图像的目的。经过分割后的图像变成一些可以控制的小的区域，这里的所谓“控 制”包括：知道每一个区域的大小、位置、颜色信息等等。 前两步的任务完成后，就可以在时间域分割的基础上利用空间分割的信息对结果 进行优化，得到较为精确的结果。 综合时空信息得视频序列中运动目标分割算法可以用下面的流程图表示，以第 综合时空信息的视频序列中运动目标分割算法第一章概述 k 帧图像为例，如下图所示： 图1 1 运动目标分割系统框图 6 综台时空信息的视频序列中运动目标分割算法第二章静态背景的构建 第二章静态背景的构建 2 1 本算法的目的 本算法目的是构建一个镜头( s h o t ) 的全景图。摄像机拍摄的过程中，如果摄像 机静止不动，且没有镜头的缩放变换，如普通监视器，则摄像机获取的范围与一帧图 像大小相同：如果摄像机运动，或者存在镜头的缩放，则所拍摄的区域不仅包含一个 图像帧的大小，而是包含一个更广泛的范围。本章的目的就是研究摄像机在一般运动 状态下所拍摄各帧图像之间位置上的关系，并构建出一幅不包含运动目标的背景全景 图。静态背景全景图构建流程如图2 1 所示： 图2 1 静态背景构建框图 需要声明一点，本文研究的运动模板提取，实际是在由一个镜头( s h o t ) 获取的 视频序列中完成的。所谓一个镜头，就是摄像机连续不断的拍摄形成的图像序列，这 些图像序列具有时间和空间上的连续性。因此长的视频序列将包含多个s h o t ，因此首 先要进行s h o t 分割。视频序列中s h o t 分割算法 3 3 1 不是本文研究的内容。本文基于如 下的假设：视频序列已经实现了镜头分割，而且已经获得了该镜头中的每一个图像帧。 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 2 2 图像镶嵌技术 图像镶嵌1 1 技术就是一种将从真实世界获取的图像序列合成一个宽视场的场景 图像技术。摄像机拍摄的图像序列之间由于时间和空间的连续性，存在大量的冗余信 息，图像镶嵌技术可以剔除这些冗余信息，紧凑客观的描述真实世界。 图像镶嵌技术主要相关技术包括以下几个方面： 图像配准技术：图像配准是指寻求两幅图像之间在坐标位置和灰度级上的双重 映射变换，其目的是达到两幅图像的内容在拓扑上的对应和几何上的对齐，即建立两 幅图像内容的对应关系模型并使相对应的内容在几何位置上对齐。 图像重采样插值技术：在进行图像配准时，需要计算非整数点坐标像素点的像 素值，其中需要采用图像重采样插值技术。 图像合成技术：由于图像间存在光照变化，若将配准后的图像直接镶嵌在一起， 会出现明显的镶嵌痕迹，为了实现图像内容的平滑过渡，消除镶嵌痕迹，需要采用图 像无缝合成技术。 本文重点研究图像配准技术，即研究相邻两幅图像之间的坐标变换模型。一旦得 到任意相邻两帧之间的变换关系，根据坐标变换的累积性，就可以得到任意两帧之间 的变换关系。此时如果选定一帧做参考，就可以在该帧坐标系统的基础上建立背景的 全景图。一般选择镜头中的第一帧作为参考帧，以该帧的坐标为基准，其他各帧经过 配准后排列到该坐标系统中，然后选择适当的像素构成背景。图象镶嵌的原理如图 2 2 所示： jly ox l 图2 2 图像镶嵌原理 ： 8 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 当把所有图像帧排列起来以后，选择适当的像素填充，就可得到背景。为了使 构建的图像只包含背景而尽量不含运动目标，本文采用如下的原则：在参考坐标系统 的每一个坐标位置上，都对应现实世界中的一个点。如果只有一帧图像中含有该位置 的信息，那么就用该帧图像中的信息作为背景；如果多帧图像都有该点的信息，只是 由于时间不同各帧中它或许是背景，或许被运动目标遮挡，但这点的位置是固定的， 映射到在基准坐标系中，这一点的位置始终是( t y ) 。由于运动目标相对背景是运动 的，所以该点( 工，y ) 在大多数时间都没有被运动目标遮挡，也就是包含该点的各帧中， 大多数帧里反映的是背景，一部分帧反映的是运动目标。假设，一共有d 帧图像有点 b ，y ) 处的信息，它们在该点的像素值分别为：p 。，p ：，岛。那么我们在构建背景时， 就选择这个数中出现次数最频繁的一个作为背景中的值。经过如上的处理之后，就可 以构建出一幅基本不含运动目标的背景全景图了。图像镶嵌的示例如图2 3 所示： ( a ) 图像l ( c ) 镶嵌形成的图像 图2 3 图像镶嵌示例图 ( b ) 图像2 综台时空信息的视频序列中运动目标分割算法第二章静态背景的构建 2 3 坐标变换模型 2 3 1 常用的图像坐标变换模型 在摄像机拍摄的过程，是获取真实世界信息的过程，用连续不断的图像表达真 实世界的信息。在一般情况下，摄像机都不是固定不动的，而且常伴随着镜头的缩放。 这就造成即使是相邻的图像帧，它们所反映的客观世界也是不同的。假设摄像机镜头 不变，只是做简单的平移运动，则拍摄的图像帧之间也应该存在类似的平移关系；假 设摄像机位置固定不变，镜头存在缩放，则所拍摄的图像帧反映的真实世界的区域会 发生变化，而且同一目标在不同帧中的尺度不同；假设更一般的情况，则不同图像帧 反映不同的背景区域，而且同一目标在不同帧中尺度和形状都会发生相应的改变。因 此，为了构建静态背景，应该首先知道这些图像反映的区域有什么变化，图像形状发 生了什么样的变化，也就是要找到它们之间的坐标变换关系。 确定同一场景在不同图像帧中的坐标变换关系，是图像配准过程中的一个关键 步骤，这种变换映射一幅图像像素的坐标x = k ，j ， 到新坐标系中的某一坐标 文= 瞄，多r 。为了确定图像之间的坐标变换，首先要将其用相应的对应关系模型( 函 数) 表示，这样一旦确定图像之间的变换模型，则寻找图像坐标之间的坐标变换的问 题就转化成确定该模型参数的问题。 人们提出了多种坐标变换模型，如最简单的平移模型，常用的仿射变换模型和 投影模型等。实际应用中可以根据摄像机运动的复杂程度加以选择使用。如表2 1 所 不： 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 表2 1 图像坐标变换模型 变化模型坐标变换函数参数自由 度 平移 x = x + b b r 2 2 刚性变换 c o s 0 一s i n 们 0 ( o ，2 n ) 3 k 2 0 。臼j x + b b r 2 仿射变换 a r2 “b r 2 6 x = a x + b 双线性变化 主= m o x y + m l 工+ m 2 y + m 3m ，r ，i = 0 , 1 ，7 8 y 2 m d x y + m s x + m 6 y + m 7 投影变换 文：一a x + b a r 2 。2 8 c 。x + 1 b c r 2 伪投影变换 主= m o 工+ m 1 y + m 2 + ，”3 x 2 + 卅4 x y m ，r l o 多= ，1 5 工+ m 6 y + m 7 + m 8 x 2 + m 9 x y i = 0 , 1 ，9 双二次型变 i = m o 工2 + l 砂+ 2 y 2 + m 3 x + m 4 y + m 5 m r ， 1 2 换多= m 6 x 2 + m 7 x y + 埘8 y 2 + m 9 x + 埘l o y + m l l i = 0 , 1 ，1 1 各种不同的坐标变换模型，对应不同的形状改变效果，几种常见模型的变换效果 如图2 4 所示： 原始图像仿射变换双线形变换投影变换伪投影变换双二次型变换 图2 4 图像坐标变换示例 2 3 2 常用参数计算方法 运动参数估计是计算机视觉领域的一个基本问题，也是数字视频处理的一个核心 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 问题，是研究的热点。传统的运动参数估计算法有光流法、块匹配法、贝叶斯法、像 素递归法、相位相关法和基于小波变换的方法。 光流是一个二维速度场，是对运动场的近似。光流携带了物体可见表面的深度、 曲率和取向的重要信息，可以反映出有关场景中的物体与传感器系统之间相对运动的 关系。光流法有一个重要的约束条件，图像的亮度沿着运动轨迹保持不变。在图像灰 度连续的情况下，可以得到： 导厂g 戊f ) = 0 ( 2 1 ) 其中z ( x ，y ，f ) 表示连续图像序列在时刻f ，x ，y ) 位置的灰度值。这个方程可改写为 v ( x ，y ，f ) v y ( x ，y ，r ) + 导厂g ，y ，f ) = 0 ( 2 2 ) 其中v = 篆，考 t 表示空间梯度算子，且v g ，弘r ，= ( 妄，等 7 表示沿着运动轨迹的速 度矢量。式( 2 2 ) 通常称为光流方程( o f e ) 。可以看出，运动矢量v 包含两个未知量， 所以光流方程是一个不定方程，必须加入其他约束才能唯一地确定光流场。 块匹配技术被广泛的应用于图像分析和运动估计，特别是视频编码，已经被许多 压缩标准采用，! t t l h 2 6 3 ，m p e g 2 和m p e g 一4 等。块匹配算法的思想是：把一帧图像 分成m n 或n m 大小的像素块，然后在( n + 2 w ) x ( n + 2 w ) 3 d 、的匹配窗中，将当 前块与前一帧中对应的块相比较，按照实现选定的匹配标准找出最佳匹配，得到当前 块的最佳位置。通常用到的匹配标准有最小均方误差( m s e ) 和最小绝对误差( m a e ) 。 块匹配的搜索方法有全局搜索法和各种快速搜索算法，如三步搜索法、交叉算法、简 单搜索算法和四步搜索算法等。全局搜索法的优点是可以找到全局最优值，缺点是计 算量大：各种快速搜索算法的优点是计算速度得到了提高，但缺点是固定的块尺寸限 制了运动估计场的精度，而且它不适合处理运动场中的不连续值。 贝叶斯估计理论应用于二维运动估算。从优化的角度看，作二维运动估计实际上 是最小化某个代价函数的能量，即求解式 二= a r g m i n 。，e o 瑚 ( 2 3 ) 其中，i f 是一个多维估计向量。为了避免陷入局部极小可以采用模拟退火的方法得到 较好的解，还可以将二维运动估算问题模型转换成一个最大后验概率估算( m a p ) 问 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 题。一般思想是使用最大后验概翠( m a p ) 准则，根据运动场的极大概率，给出f 一帧图 像能量的观测值。 a p 估计能通过随机张弛法，如模拟退火，保证全局极大值收敛。 4 a p 算法需要两个概率密度函数( p d f ) 模型：给定运动场下的被观察图像亮度条件的 似然模型：运动矢量的先验模型。m a p 算法可表示为给出两帧，。和，。，找到： 瓴，五) = a r g m a x 叱。：p ( 1 。k ，d ：， 一。b 0 。，d ：l ，。) ( 2 4 ) 其中p ( z 。l d 。，d ：，。) 是条件概率，p 0 。，d ：i ，。) 是运动场的先验 p d f ，d ( x ) = 0 。( x l d ：( x ) ) 表示从帧，。到，。是位移矢量。贝叶斯法能处理运动场的不 连续区域。然而，随机张弛法收敛速度慢，虽然存在快速算法，如迭代条件模式算法 ( i c m ) 等，但它们不能保证最优解。 相位相关法通过傅里叶变换计算的归一化互相关函数，来估计两个图像块的相对 位移。对于作简单二维平移的块的运动模型可写为 j ( x ，y ，f ) = i ( x + m ，y + n ，t + f ) ( 2 5 ) 对运动模型式( 2 5 ) 两边作二维傅里叶变换，当z x t = l 时， f ( “，v ) = f + 。( “，v k 一。“”j ( 2 6 ) 其中，f t ( u ，v ) 表示t 帧对于空间变量x ，y 的二维傅里叶变换。 由此可见，在平移运动的情况下，各个块的二维傅里叶变化的相位差为： a r g f ( u ，v ，f ) 一a r g f ( u ，v ，t + 1 ) ) = 2 厅b “十n v ) ( 2 7 ) 可见相位差处在一个变量( u ，v ) 定义的平面上。帧t 与t + 1 间的互相关函数为 e 。k y ) - - i ( x ，y ，f ) + g ，y ，hi ) ( 2 8 ) 其中，$ 代表二维卷积运算。两边作傅里叶变换，就可得到互功率谱： c 。+ ，0 ，v ) = f 0 ，v ) f 0 ，v ) ( 2 9 ) 归一化互功率谱可得到互功率谱的相位 “蚺蹦= e - j 2 ( m u + n v ) 将式( 2 1 0 ) 作逆傅里叶变换得到相位相关函数 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 e 。g ，y ) = 8 ( x m ，y n ) ( 2 1 1 ) 相位相关函数是一个脉冲函数，其位置就是位移矢量。但是，在实际的计算过程中，采 用二维离散的傅里叶变换来替代傅里叶变换，会遇到一系列问题，例如：边界效应。 二维离散傅里叶变换在两个方向上都呈现周期形式，由于图像边界的不连续性，就可 能造成虚假的尖峰。频谱泄漏。由于非整数运动矢量造成频谱泄漏。 以上的运动估计方法尽管有较低的运算复杂度，但这些技术都假定运动目标信号 是稳定不变的，即目标随时间没有变化。这些方法一般不能适当处理包含噪声、时变 和目标遮挡的情况，这使得它们的应用只能局限于目标平移，无遮挡和灰度值不变的 情形。为此有人提出小波变换的方法“。小波变换具有多分辨率分析和在时一频两 域都具有表征信号局部特征的优良性质，很适合探测运动目标信号中的瞬态变化并展 示其变化信息，即运动目标的低频部分反映了运动目标的基本特征，而高频部分则反 映了运动目标的细节。 二维连续小波变换( c w t ) 可以使基本小波除尺度伸缩、平移外还具有旋转能力， 从而拥有方向分析能力，特别适合于运动目标的旋转变化等复杂运动情况。 2 4 两种模型比较 以参考帧的坐标系统为基准，按照各帧的运动参数把该镜头中的所有帧都映射 到这个坐标系统中。获得的运动参数反映的都是相邻两帧之间的相对运动信息。当选 择了参考帧之后，需要知道每一帧相对于参考帧的运动参数。由于各帧运动的累积性， 可以通过各帧相对于前一帧的运动参数来得到任意两帧之间的运动参数，如下： h l l = 1 3 x 3 h 1 2 = h l l h l 2 h ，。= h 1 1 h 1 2 h 2 3 h 。一1 。 = h m l 日。一l 。 ( 2 1 2 ) 其中日就是反映帧，和，。之间的运动转换关系。根据式( 2 1 2 ) 就能求得该镜头中 的任意一帧相对于参考帧的运动转换关系，也就是说知道了每一帧在参考坐标系统中 的位置，当然里面也包含了相应的形状变化信息。 综合时空信息的视频序列中运动目标分割算法第二章静态背景的构建 2 4 1 仿射模型 6 参数的仿射模型可用下列式子表示： 一= a o + a i t + a 2 y f ( 2 1 3 ) y 净a 3 + a 4 x 。+ a s y ( 2 1 4 ) 其中g 。，y 。) 和，) 分别表示当前帧和下一帧中的像素，n ，为参数。只要能计 算求得这六个参数，就可以得到相邻帧之间同一像素的变换关系。本文对6 参数的仿 射模型进行简化近似，得到下面的4 参数变换模型： u ( x ，y ) = a i x + a 2 y + 毛 ( 2 1 5 ) v ( x ，j ，) = d 2 x + a lj ，+ 口4 ( 2 1 6 ) 其中0 g ，y l v ( x ，j ，) ) 是在点g ，y ) 处的运动矢量。为此需要求得一帧图像中每一个点的 运动矢量，然后估计出全局运动参数。本文采用块匹配和相位相关法相结合的方法计 算图像间的运动矢量场。然后根据运动矢量场确定图像子块之间的对应关系，然后由 这些图像子块之间的对应关系估计出图像间的变换模型参数。采用上述方法采用 文献“1 中的视频序列做构建背景的实验。图2 5 中是从f o o t b a l l 视频序列中抽取出 来的若干帧图像，图2 6 就是选用式子( 2 1 5 ) ( 2 1 6 ) 所示的模型构建的背景。 ( a ) 2 0 帧( b ) 6 0 帧( c ) 1 0 0 帧 图2 5f o o t b a l l 视频序列的部分帧图像 图2 6f o o t b a l l 视频序列构建的背景图 综合时空信息的视频序列中运动目标分割算法第二章静态背景的掏建 图2 7 是s k a t e 视频序列中部分帧，图2 8 是构造的背景图。 ( a ) 2 0 帧( b ) 4 0 帧( c ) 6 0 帧 图2 7s k a t e 视频序列部分帧图像 图2 8s k a t e 视频序列构建的背景图 2 4 2 投影模型 仿射模型计算相对简单，但没有考虑到最一般的情况。可以证明，在满足一定 的假设条件下，8 参数的投影模型是最适合描述摄像机在一般运动情况下所拍摄图像 之间的坐标变换关系的f ”，因此，本文再研究该模型。 设i 。和1 2 是连续的两帧图像，由于摄像机的运动，l l 和1 2 在不同的坐标系统中， 为了找出从i ，到1 2 坐标变换关系p ，我们可以假设采用如下的8 参数模型： p ( x ，y ) = b ，y ) 该式也可以写成下式的形式 扣尘a 6 x i 毪a 7 鬻y j +十i 一= 坐a 6 x 磐ia t y i t - 1 + ( 2 1 7 ) ( 2 1 8 ) 、 如一q + 一+ y y 哑一q 竺抖 一心生竹 口一乜+ 一+ 一y q 一吩 + 一+工一工 q q ，。 综合时空信息的视频序列中运动目标分割算法第二章静态背最的构建 其中x ，y ) 和g ；，) 为相邻两帧对应点的坐标。 如果连续图像是由摄像机在摇摄、倾斜、旋转和变焦等各种复杂运动情况下获得 的，可以证明上式都能满足要求。其中矩阵) 3 。，是可逆矩阵，称为p 的一个表示， 因此只要求出矩阵b f ) 3 。，的各个参数，就可以得到p ，从而获得两幅图像之间的坐标 变换关系。 i 殳i ( x ，y ，f ) 表示f 时刻的图像帧，由于相邻各帧图