（信号与信息处理专业论文）动态场景的视频分割算法研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：迅泫孽里 日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：1 盈螂导师签名：己垂茎豆日期：- j 呦 山东大学硕士学位论文 中文摘要 视频分割技术是众多面向对象的视频应用的技术基础，这些应用领域包括面 向对象的视频编解码、视频编辑和检索、计算机视觉等。分割的准确性直接影响 后续任务的有效性，因此具有十分重要的意义。随着计算机处理能力的提高和多 媒体技术的发展，特别是腑e g q 这一面向对象的视频编码框架提出以后，视频分 割成为一个急待解决的技术问题。 从上个世纪九十年代开始，国内外的学者们做了大量的研究，也提出了许多 方法，但由于视频图像的复杂性和特殊性，至今为止提出的相关理论和方法尚存 在不足之处，在某些具体情况下仍不能很好的分割出视频对象，难以找到一种是 通用的、可靠的自动分割算法。因此，根据具体的应用要求设计新的视频分割方 法，或者对现有方法进行改进以得到满意的视频对象分割结果，是现在研究的主 流方向 根据分割过程中所利用的信息不同，视频分割算法可分为时间分割，空间分 割和时空联合分割。为得到更好的分割效果，当前主流的视频对象提取算法都将 时间域的连续性和空间域的相似性结合起来以获得语义意义的视频对象。在视频 流的记录过程中，为了扩大视频流中的信息量摄像机不可避免产生缩放、平移和 旋转等运动。由摄像机运动产生的全局运动使得视频序列具有了动态场景较之 静止背景，从动态场景中提取出运动对象，在视频跟踪、视频摘要和数字监控等 领域有更加重大的实用价值 在动态场景下，由于背景的运动，使得直接分割变得非常困难。目前传统的 动态场景视频对象分割方法都是先进行全局运动补偿来去除摄像机运动的影响， 然后再采用静态背景下的视频分割方法进行视频对象的提取而精准背景补偿阶 段往往是整个分割过程中计算量最大、最耗时的阶段。在考虑到具体的实际应用 的情况下，本文对动态场景下的视频对象提取算法作了深入的思考，提出了一种 基于时空联合的动态场景视频分割算法在时间域，采用一种初略的整体运动分 析方法：首先利用频域相位关系求得运动向量，然后根据前景与背景运动向量的 山东大学硕士学位论文 不同，采用相应的全局运动参数模型，反复处理得到当前帧的前景区域进行形 态学后处理，去除干扰块，填充内部孔洞，得到完整封闭的前景物体，即视频分 割的大致轮廓。得到前景物体大致区域以后，根据不规则金字塔算法，对运动模 板内的图像区域进行空间域分割，提取出最终语义视频对象。 对于从具有动态场景的视频流中提取运动对象的情况，本文算法能有效地避 开精准背景补偿，节省了计算量，而且提取出来的语义对象精度较高。实验表明， 无论是对动态场景中刚性还是非刚性运动物体的分割，该算法都具有较好的效果。 关键词：动态场景； 视频对象提取；相位相关；运动估计；图形金字塔 2 山东大学硕士学位论文 a b s t r a c t v i d e os e g m e n t a t i o ni st h et e c h m c a lf o u n d a t i o no fm a n yo b j e c t - o r i e n t e dv i d e o a p p l i c a t i o n s ，s u c ha so b j e c t - o f i e n t e dv i d e oe n c o d i n g d e c e d i n g v i d e oe d i ta n di n d e x ， a n dc o m p u t e rv i s i o n t h ea c c u r a c yo fs e g m e n t a t i o nd i r e c t l ya f f e c t st h es 眦e 龉o ft h e n e x tt a s k , s ov i d e os e g m e n t a t i o ni so n eo ft h em o s td i f f i c u l tp a r t s e s p e c i a l l ya f t e r m p e g - 4 , a no b j e c t - o r i e n t e dv i d e oc o m p r e s s i o ns t a n d a r d , h a db e e np r o p o s e d v i d e o s e g m e n t a t i o nb o c o 麟ae x i g e n tp r o b l e m i n1 9 9 0 s m a n ys c h o l a r sb e g a nt o 面r e s e a r c ho nv i d e os e g m e n t a t i o n , a n dp r o p o s e d m a n y m e t h o d s s i n c et h ec o m p l e x i t ya n dp a r t i c u l a r i t yo ft h ev i d e oi m a g e , t h e e x i s t i n g t h e o r i e sa n da l g o r i t h m sf o rv i d e os e g m e n t a t i o ns t i l lh a v es e m ed r a w b a c k sa n dc a nn o t s e g m e n tv i d e oo b j e c ts a t i s f a c t o r i l yi ns o m ec a s e ni sh a r dt op r o p o s eag e n e r a lm e t h o d o fv i d e oo b j e c ts e g m e n t a t i o na p p l i e dt oa l lc a s 璐s o , i th a sb e e nn 瞎f o c u so fc u r r e n t r e s e a r c hw o r kt of i n dn e wm e t h o d sf o rv i d e oo b j e c ts e g m e n t a t i o nw i t i ls p e c i f i c a p p l i c a t i o nr e q u i r e m e n t so rt om a k ei m p r o v e m e n t st oe x i s t i n gm e t h o d s b a s e do nt h ei n f o r m a t i o nu s e di nt h es e g m e n t a t i o np | d 豁，e x i s t i n ge x t r a c t i o n m e t h o d sc a nb ec l a s s e di n t ot h r e e c a t e g o r i e s ：t e m p o r a ls e g m e n t a t i o n , s p a 6 a l s e g m e n t a t i o n , s p a t i a l t e m p o r a ls e g m e n t a t i o n f o rb e t t e rs e g m e n t a t i o ne f f e c t , c u r r e n t m a i n s t r e a mv i d e oo b j e c te x w a c t i o na l g o r i t h m sc o m b i n et e m p o r a lf i e l d sc o n t i n u i t ya n d s p a d a lf i e l d ss i m i l a r i t yt og e ts e m a n t i cv i d e oo b j e c tt oe n l a r g et h ei n f o r m a t i o ni nt h e v i d e os t r e a m s ，t h ec a m e r an e e d st od om o v e m e n t s ，i e p a n , t i l t r o t a t i o na n di r a u s l a t i o n c a m 盯a sm o v e m e n t sl e a dt od y n a m i cs t o n e v i d e os c q u e l w 圮e x t r a c t i o no fv i d e oo b j e c t f r o md y n a m i cs c c n eh a sm a n yp r a c t i c a la p p l i c a t i o n si nv i d e ot r a c k i n g , v i d e os u m m a l t a n dd i g i t a ls u r v e i l l a n c e d u et ot h em o v e m e n t so fb a c k g r o u n d ，d i r e c te x t r a c t i o nb q n ：o m e sd i f f i c u l t n e w l y p r o p o s e dm e t h o d so fv i d e os e g m e n t a t i o ni nd y n a m i cs c e n e 1 0g l o b a lm o t i o ne s t i m a t i o n f i r s tt oc o m p e n s a t ec a m e r am o t i o n , t h e nu $ et r a d i t i o n a ls t i l lb a c k g r o u n dm e t h o d 幻 e x t r a c tv i d e oo b j e c lp r e c i s eb a c k - g r o u n dc o m p e n s a t i o nc a nb r i n gl a r g ec o m p u t a t i o n i nt h ec a s eo fc o n s i d e r i n gp r a c t i c a la p p l i c a t i o n s ，w ep r o p o s ea na l g o r i t h mt oe x t r a c t m o v i n go b j e c tf r o md y n a m i cs c e n eb a s e do ns p a t i o - t e m p o r a li n f o r m a t i o n i nt e m p o r a l f i e l d , ac o a r s em o t i o na n a l y s i sm e t h o di su s e d ：f i r s tw ef i n do u tm o t i o nv e c t o r , a n dt h e n 山东大学硕士学位论文 g i o b a lm o t i o ne s t i m a t i o nw i t hp a r a m e t e r - m o d e li su s e dt of i n dt h ef o r e g r o u n da r e a t h e nm o r p h o l o g i c a ld i l a t i o nm e t h o d sa ms e l e c t e dt oo b t a i nf i n a lm o t i o nt e m p l a t e m a k e s u r et h et e m p l a t ec o n t a i n st h ew h o l ef o r e g r o u n do b j d a a n dt h e ns p a t i a ls e g m e n t a t i o n u s i n gg r a p hp y r a m i di sa p p f i e dt oi m a g er e g i o ni nt h et o r r e n tm o t i o nt e m p l a t e t h r o u g h t h em e t h o dw ec a ng e tb e t t e rr e s u l t sw i t hl e s sc o m p u t a t i o n t h ep r o p o s e dm e t h o da v o i d s p r e c i s eb a c k g r o u n dc o m p e n s a t i o na n di s v e r y c o m p u t a t i o n a l l ye f f i c i e n t , w h i l et h ee x t r a c t e ds e m a n t i co 嘲i so fh i g hp r e c i s i o n t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tb o t hr i g i da n dn o n - r ! i g i dm o v i n go b j e c t si nd y n a m i c 9 n ea w e l le x t r a c t e db yt h i sa l g o r i t h n ：l k e y w o r d s ：d y n a m i cs c e n e ；v i d t g oo b j e c te x t r a c t i o n ；p h a s ec o r r e l a t i o n ；m o t i o n e s t i m a t i o n ；g r a p hp y r a m i d 4 山东大学硕士学位论文 1 1 引言 第一章绪论 现在，每天的工作和生活中我们都要接触到大量的多媒体信息，如文本、图 像、音频和视频其中视频无疑是多媒体中最重要的一种表现形式，因为视频信 息能够表现现实世界中更为丰富的内容，而且在我们通过媒体获得的信息量中所 占的比例最大。数字视频技术已经大大的改变了我们的日常生活，数码摄像机、 网络视频点播、视频电话、视频会议和远程多媒体教育已经成为现在不可或缺的 娱乐和工作方式。 随着计算机处理能力的提高和多媒体技术的发展，人们对视频应用提出了更 高的要求，其中面向对象的应用就是一个典型的例子如面向对象( 或基于内容) 的多媒体数据存取、游戏或多媒体家庭编辑、网上购物和电子商店、远程监控、 医疗和教学等。多媒体数据压缩技术的发展趋势也将是基于内容的压缩。这实际 上是信息处理的更高阶段，更加向人自身的信息处理方式靠近。人的信息处理并 不是基于信号的，而是基于一个比较抽象的、能够直接进行记忆和处理的方式。 如果多媒体数据也能做到基于内容的处理、压缩、存储和传输，人使用起来就更 具亲和力，也更简单方便肝e g - 4 就是适应这种发展趋势而制定出来的新一代多 媒体压缩标准 面向对象的功能是肝e g - 4 的核心内容为了实现1 4 p e g - 4 的基于对象的编码，视 频对象的分割提取是必不可少的一个关键步骤，因此需要一个有效的视频分割工具 1 2 视频对象分割的概念 视频是指具有一定长度的活动图像序列，比如电影、电视，或数字电影，它 通常在时间轴上具有内容的连贯性。为了记录现实世界中的活动场景，我们必须 在时间轴上进行采样，一般采用固定间隔。考虑到人眼的视觉暂留效应，一般每 秒采样2 4 帧以上就可以在人眼中得到连续的重现效果。p a l 制电视2 5 帧秒，n t s c 5 山东大学硕士学位论文 制电视采用3 0 帧秒，电影为2 4 帧秒。 为了用计算机处理视频信息，必须经过数字化处理，然后以一定的格式存储 到计算机的存储设备中。本质上讲，视频是由一幅幅图像组成的，但通常并不是 一幅幅图像单独存储，而是把视频的所有帧统一存储在一个文件中，比如a v i ，m p g 等格式的文件。这是因为除了图象本身之外，视频还包括其它的整体描述信息 比如帧率信息、声音同步等对于压缩格式，帧间还存在参考关系。 对象，是指在一个场景中能够访问和操纵的实体，每个对象都有独特的颜色、 纹理、形状和高层语义信息。而视频对象是指一个具有一定生存周期的、在时间 轴上连续的对象，属于三维空间概念，一个视频对象就对应视频场景中的一个特 定的物体。在肝e g - 4 中，视频序列的每一帧图像都被分解成若干个任意形状的有 意义的对象，视频对象在某一时刻( 某一帧中) 的表象成为视频对象平面( v i d e o o b j e c tp l a n e ，v o p ) 视频分割是指把视频序列中人们感兴趣的或者具有某种重要性的一个和多个 物体( 称为视频对象，v i d e oo b j e c t ) 从视频场景中提取出来，这些对象往往在 某些方面具有一致属性，比如亮度、色彩、形状及运动等。视频分割的目的是定 义图像或视频序列中有一定意义的相对独立的空间或时间集合，并有效地组织属 于这些集合的元素( 如像素) 视频对象是具有一定高层“语义”的区域。例如 衄e g - 4 标准测试序列a k i y o 中视频对象如图所示，播音员是一个运动的语义整体， 可认为是一个视频对象，可用一个视频对象平面表示，属于感兴趣图像区域，其 余静止的区域可认为是背景区域 6 圈1 1a k i y o 序列原始图像和提取的感兴趣对象 山东大学硕士学位论文 i 3 视频分割的应用领域和研究现状 1 3 1 对象分割的应用 视频编码 m p e 6 - 4 要实现基于对象的编解码，视频对象分割是必不可少的一个前处理步 骤。在视频的传输过程中，由于网络传输带宽的限制，必须对压缩比特率进行控 制，这样就直接影响图像的质量。传统方法下，在比特率低时，整帧图像的质量 都受到影响，没有灵活性可言；而m p e g - 4 中队比特率的控制可以基于对象，即使 在低带宽时，也可以利用码率分配方法，对用户感兴趣的对象多分配一些比特率， 而对于用户不感兴趣的地方少分配一些比特率，这样图像的主观质量就可以保证。 为了实现高效压缩，每个视频对象用三类信息来描述：运动信息、形状信息 和纹理信息。再根据这些信息完成视频的编码和解码具体地，m p e g - 4 在编码过 程中对不同的视频对象采用不同的压缩编码策略：对前景对象的压缩编码尽可能 保留细节和平滑；对背景对象采用高压缩率的编码策略“1 m p e g - 4 基于对象的编 码结构如图1 2 所示 图i 2h p i 弘4 压缩编码结构框图 相应地，m p e g - 4 的视频解码结构也是基于对象形状、运动和纹理信息的，如 图i 3 所示。从h p e g - 4 的编解码结构可以看出，m p e g - 4 标准是严格细致地建立在 7 山东大学硕士学位论文 视频对象的概念基础之上的，以到达高压缩效率、高视频质量的目的。 视频对象的分割是实现上述的m p e g - 4 编解码的重要基础，尽管咿e g q 的框架已 经制定，但是最为重要的对象分割问题却一直存在争论，押e g 组织并没有制定将数 字视频序列分割成视频对象的具体方案。这也意味着需要对视频对象分割技术进行深 入研究。 d e m u l t l 一酥1 p l b x b r 圈1 3i 1 陀2 j - 4 压缩解码结构框图 视频检索 目前实用的视频数据库索引技术仍然依靠诸如颜色、纹理和运动等底层特征， 检索到用户满意的视频片断往往需要多次的用户反馈如果视频序列能够存储为 各个视频对象的形式，那么可以方便地在视频数据库中检索特定的对象或者特定 内容的片断。视频信息的检索同文本信息的检索一样方便，数字图书馆就可以提 供更为有效的视频检索服务 视频监控 智能化的视频监控系统要求能够从监控场景中检测出特定事件，自动跟踪运 动对象，甚至理解场景图像的高层语义，视频对象分割是实现这些功能的前提 例如，智能交通的监控系统通过统计分割出的车辆和行人对象的密度来分析交通 的拥堵情况，通过跟踪分割出来的车辆对象来判断是否超速 在现有的视频监控系统基础上，提高视频监控系统的智能化程度，实现实时 智能多媒体监控。智能监控系统的应用领域和市场前景是十分广阔的，智能化楼 宇、银行、机场和任何需要安全保护的地方都需要更加智能化的监控系统。 8 山东大学硕士学位论文 1 3 2 对象分割的研究现状 早在上个世纪八十年代末九十年代初，视频分割就引起了许多学者的兴趣。 近年来，随着m p e c , - 4 压缩标准和m p e g - 7 多媒体内容描述接口的制定，视频对象 分割算法已经成为多媒体领域的热点研究课题 传统的图像分割可以看作是基于帧内的分割技术，按照一定的空间信息( 包括 颜色、灰度、纹理等) 、变换信息( d c t ，明t ) 、统计信息、模型和先验知识 ( 对特殊类图像) 等对图像中的一致区域进行分割。算法的研究己有几十年的历史 了，借助各种理论己提出了上千种不同类型的分割算法，而且这方面的研究仍然 在继续。但至今尚无通用的分割理论，现已提出的算法大都是针对具体问题的并 没有适合于所有图像的通用分割算法。形态学分水岭算法由于计算简单而被广泛 使用，能较好地提取运动对象的轮廓。但是，由于分割依赖梯度信息，因此对噪 声比较敏感：而且没有利用帧间信息，通常会产生过度分割嘲 随着多媒体技术的发展，肝e g 专家组提出了m p f 躬, - 4 视频编解码框架，首次提 出视频对象和场景的概念，并把基于对象的视频压缩、传输、操纵作为该标准 的一个重要方面，再次激发了人们对视频分割技术的研究兴趣。m p e c - - 4 专家组在 标准制订的过程中也提出并测试了一些算法1 ，但从无论是从原理上还是从效果 上都不是很理想 尽管视频运动对象分割方法很多，但总的来说有两种方式：即自动方式”和 半自动方式噼”自动分割难度大，分割效果随图像和视频的内容复杂程度变化很 大主要特点是面向特定应用：预先调整好参数，可完成实时处理任务，如车辆 检测系统、大厅监测系统、可视电话和电视会议等；半自动分割方式则适用于复 杂场景下对象的分割，虽然分割质量较好，但不具有实时性其主要特点是依赖 于人工的交互确定语义级对象并干预分割和跟踪结果，可用于任意对象的分割、 操作和高效压缩。 一 国内外目前的研究现状是：一方面新的方法和思路不断的涌现，每年都有大量的 相关论文发表，但另一方面，至今尚没有通用的实用化方案，也就是说各个方法都不 理想，要么应用范围很狭窄，要么分割的效果不理想。人类通过视觉系统可以轻而易 举地认识和理解自然景物，但依靠计算机提取视频对象的技术还处在不成熟的发展 阶段。 9 山东大学硕士学位论文 视频对象的分割技术是众多新兴视频应用技术的基础，特别是在面向对象的 视频压缩、存储、检索、编辑、传输等方面发挥着重要作用。目前国际上己经制 定或提出了相关的标准，但其中的视频分割方面却至今尚无理想的方法。因此， 视频对象的分割技术的研究不但是有意义的，而且是很迫切的。 1 4 本文的主要工作 本文首先阐述了课题的研究背景、意义以及该领域的发展状况，介绍了图像 分割的相关理论以及当前主流的视频对象提取算法，并对这些算法进行了分析比 较本文提出了一种在动态场景下提取视频对象的方法，先对相邻帧图像进行运 动学分析，通过全局运动估计得到前景物体大致区域，然后在对前景区域进行空 间域分割，最终提取出语义意义视频对象与现有算法相比，对于从具有动态场 景的视频流中提取运动对象的情况，本文算法能有效地避开精准背景补偿，节省 计算量，而且提取出来的语义对象精度较高实验表明，无论是对动态场景中刚 性还是非刚性运动物体的分割，该算法都具有较好的效果。 正篇文章的具体结构安排如下： 第一章阐述了课题的研究背景、意义以及该领域的发展状况。 第二章介绍了几种当前主流的视频对象提取算法 第三章研究了在摄像机运动情况下，基于运动学分析的视频对象提取算法 对得到的视频对象区域，进行了形态学后处理。 第四章介绍了一种空间域中区域生长分割算法 第五章分析了动态场景中视频对象提取算法的研究现状，结合第三、四章完 整地提出了一种动态场景下的视频对象提取算法 第六章是对本文工作的总结和展望 1 0 山东大学硕士学位论文 第二章视频对象提取算法理论及经典方法 视频对象分割算法与普通的图像分割存在着密不可分的关系，它可以使用很 多图像分割中采用的算法。然而图像分割获取的是具有某种相似特征的区域，还 不能把这些区域看作是对象，视频对象分割就是要利用视频序列中存在的运动信 息将这些区域，区分为前景和背景，从而将视频对象从背景中分割出来 视频分割技术作为多媒体技术应用的一个主要方面，在视频编码、检索、多媒 体交互中存在着广阔的前景，而且在计算机视觉中也有着极为重要的应用；但是由 于视频图像内容复杂，还没有一个通用的分割方法，视频分割算法还面临着挑战。 本章将概要介绍了图像分割的相关理论以及当前流行的视频对象提取算法，并分 析了各自利弊，总结了实现的难点所在 2 1 图像分割理论 图像分割是一种重要的图像分析技术，在对图像的研究和应用中，人们往往 只对图像的某些部分感兴趣这些部分称为对象或前景，其它部分称为背景。要 对对象区域进行标志和分析，首先要把它从背景中提取出来，在此基础上才有可 能进一步对对象进行测量和对图像进行利用图像分割就是指把图像分成不同的 区域并提取出感兴趣的目标的技术和过程 2 1 1 基于阈值的图像分割方法 阈值法计算简单，具有较高的运算效率，是图像分割中广泛采用的方法。阈 值分割法是一种基于区域的图像分割技术。其基本原理是：通过设定不同的特征 阙值，把图像像素点分为若干类常用的特征包括：直接来自原始图像的灰度或 彩色特征；由原始灰度或彩色值变换得到的特征设原始图像为f ( x ，y ) ，按照一 定的准则在f ( x ，y ) 中找到特征值t 将图像分割为两个部分，分割后的图像为 加) = 佞老鬻 ( 2 1 ) 若取：b o - - - o ( 黑) ，b l = l ( 白) ，即为我们通常所说的图像二值化。 山东大学硕士学位论文 ( 原始图像)( 阈值分割后的二值化图像) 图2 1 闷值分割图 阚值分割法的结果很大程度上依赖于对阈值的选择，因此该方法的关键是如 何选择合适的阈值。常用的阈值选取算法有熵方法，基于直方图变化的方法，局 部阈值和多阌值方法阈值分割的缺点是；( 1 ) 对于图像中不存在明显灰度差异或 灰度值范围有较大重叠的图像分割问题难以得到准确的结果( 2 ) 由于它仅考虑了 图像的灰度信息而没有考虑图像的空间信息，阈值法对噪声和灰度不均匀很敏感 阙值法经常和其他方法结合起来一起使用册 2 1 2 基于边缘的图像分割方法 边缘是所要提取目标和背景的分界线，提取出边缘才能将目标和背景区分开 来，因此它是图像分割所依赖的重要特征在图像中，边界表明一个特征区域的 终结和另一个特征区域的开始，边界所分开区域的内部特征或属性是一致的，而 不同区域内部的特征或者属性是不同的，边缘的检测正是利用物体和背景在某种 图像特性上的差异来实现的，这差异包括灰度、颜色或者纹理特征边缘检测实 际上就是检测图像特性发生变化的位置 边缘检测是图像分割领域研究得最多的方法，它试图通过检测包含不同区域 的边缘来解决图像分割问题这类方法一般利用图像一阶导数的极大值或二阶导 数的过零点信息来提供判断边缘点的基本依据。但是，在不同的应用中，人们要 实现的目标不同，因此对边缘的定义也不同，目标边缘、图像纹理甚至噪声都可 能成为有意义的边缘，因此很难找到一种普适性的边缘检测算法这样就要求我 们根据具体应用，寻找和改进一些边缘检测方法下面简单的介绍几个常见的算 子： 基于梯度的边缘检测算子 ( 1 ) r o b e r t s 算子：交叉算子，采用的是对焦方向相邻两像素之差 l ( x ，y ) = ，“y ) 一f ( x + l ，) ，+ 1 ) ，。o 、 工( 工，y ) = ，( 工+ 1 ，) ，) 一f ( _ ) ，+ 1 ) ( 2 ) p r e w i t t 算子：为了在检测图像边缘的同时减少噪声的影响，p r e w i t t 从加大边 1 2 山东大学硕士学位论文 缘检测算子的模板大小出发，由2 2 模板扩大到3 3 模板计算差分算予，将方 向差分运算与局部平均相结合。 疋( 五力= f ( x l ，) ，+ 1 ) + ，( 】o y + 1 ) + ，( j + l ，】，+ 1 ) 东嘉f 一( x 卜+ l 篇y - 1 ) z f 嚣；# 岩m 州 ， 工瓴y ) = ， + 0 + l ，) ，) + ，0 + l y + 1 ) 。 一( x 一1 ，y 1 ) 一f ( x 一1 ，y ) - f ( j - 1 , y + 1 ) ( 3 ) s o b e l 算子：在p r e w i t t 算子的基础上，在3 3 邻域内作加权平均和差分运算 ( 工，) ，) = f ( x i ，】，+ 1 ) + 2 ，( 毛y + 1 ) + ，( 毒+ l y + d o荔：+-l，2f(一x,fy(x, y1 ) p + 2 d f 嚣：等完“y + 1 ) ( 2 曲 ) ) = ，( 工+ l ，一( 毒+ l y ) + ， + l ，) ，+ 1 ) 一 ，( 工一1 。) ，一1 ) 一2 ，( x - l , y ) - o - 1 , y + d l a p l a c i a no fg a u s s i a n ( l o g ) 算子 图像首先与高斯滤波器进行卷积，既平滑了图像又降低了噪声，孤立的噪声点 和较小的结构组织将被滤除由于平滑会导致边缘的延展，因此边缘检测器只考 虑那些具有局部梯度最大值的点为边缘点这一点可以用二阶导数的零交叉点来 实现。拉普拉斯函数用作二维二阶导数的近似，是因为它是一种无方向算子为 了避免检测出非显著边缘，应选择一阶导数大于某一阈值的零交叉点作为边缘点 l o g 算子的输出坂y ) 是通过卷积运算得到的： h ( x 。y ) = v 2 【g ( j y ) ，( 毒。) ，) 】( 2 5 ) 根据卷积求导法有 h ( x , y ) f v 2 s ( x ，) ，) p ，( 力 ( 2 6 ) 其中： v 2 咖加p 导习e 等 ， l矿 滤波( 通常是平滑) 、增强、检测这三个边缘检测步骤对使用l o g 边缘检测仍然 成立，其中平滑是用高斯滤波器来完成的；增强是将边缘转换成零交叉点来实现 的；边缘检测则是通过检测零交叉点来进行的 c a n n y 算子 边缘提取的基本问题是解决增强边缘与抗噪能力间的矛盾，由于图像边缘和 噪声在频率域中同是高频分量，简单的微分提取运算同样会增加图像中的噪声， 山东大学硕士学位论文 所以一般在微分运算之前应采取适当的平滑滤波，减少噪声的影响。c a n n y 运用严 格的数学方法对此问题进行了分析，并采用最优化数值方法得到对应给定边缘模 型的最佳边缘检测模板，其算法的实质是用一个准高斯函数作平滑运算，然后以 带方向的一阶微分定位导数最大值，c a n n y 算予边缘检测是一种比较实用的边缘检 测算子，具有很好的边缘检测性能。c a n n y 边缘检测法利用高斯函数的一阶微分， 它能在噪声抑制和边缘检测之间取得较好的平衡。 运用各种边缘算子对标准的t i r e 图像进行边缘特征提取，其结果如下图： 田2 2 标准t i r e 图像边缘特征提取示意图 2 1 3 基于区域的图像分割方法 山东大学硕士学位论文 区域分割的实质就是把具有某种相似性质的像素连通起来，从而构成最终的 分割区域。 2 1 3 1 区域生长 区域生长是将具有相似性质的像素集合起来构成区域。具体做法是先给定图 像中要分割的目标物体内的一个小块或者说种子区域，然后将种子像素周围邻域 中与种子像素有相同或相似性质的像素根据事先确定的生长或相似准则来判定合 并到种子像素所在的区域中将这些新像素当作新的种子像素继续进行上面的过 程，直到再没有满足条件的像素可被包括进来 区域生长法的生长准则一般可分为3 种：基于区域灰度差准则、基于区域内灰 度分布统计性质准则和基于区域形状准则在实际应用区域生长法时需要选择一 组能正确代表所需区域的种子，确定能将相邻像素包括进来的生长准则，制定让 生长停止的规则 2 1 3 2 聚类法 通过聚类将图像表示为不同区域即所谓的聚类图像分割方法该方法实质上 是将图像分割问题转化为模式识别的聚类分析在进行聚类图像分割时，k 均值、 参数密度估计、非参数密度估计都能应用到图像分割中。在聚类合并的过程中， 对灰度图像中相似灰度的区域进行合并，根据隶属度的高低将像素归于不同的类 得到清晰的图像分割效果。 2 1 3 3 区域分裂合并 区域分裂合并的思想，是从整幅图像开始通过不断分裂和合并得到各个l 域 实际中常先把图像分成任意大小且不重叠的区域，按照属性一致的原则，继续分 裂具有不一致属性的图像区域，合并属性一致的相邻图像区域，直到达到图像分 割的要求。 2 2 基于运动的对象提取算法 2 2 1 基于光流法的视频分割 光流场的计算最初是由美国学者h o r n 和s c h u n e k 提出的嘲1 9 8 1 年，h o r n 等人在相邻图像之问的间隔时间很小( n xl o ms ) ，且其图像中灰度变化也很小 1 5 山东大学硕士学位论文 的前提下，推导出灰度图像光流场计算的基本等式 记时刻t 时，图像上一点( x , y ) 处的灰度值为e ( x , y ，t ) 在时刻t + f 时，这一 点运动到新位置，其在图像上的位置变为0 + 缸，) ，+ y ，t + a o ，灰度值记为 e “+ 缸，) ，+ 分，r + f ) ，假定它与e ( x ，y , t ) 相等，即 e ( x ，y , t ) = e ( x + a x , y + y ，t + a t ) ( 2 8 ) 将( 2 1 ) 式右边用泰勒公式展开，那么经化简和略去两次以上的项，得 芸“+ 警v + 鲁= o c z 9 ， 这就是光流场计算的基本公式，( 2 2 ) 式中的( u ，v ) 为t 时刻，成像平面上投影点 ( x ，y ) 在x 方向和y 方向上的速度分量，即 做v ) = 匿，割 ( 2 1 0 ) 将( 2 2 ) 式写成梯度形式为 ( v e ) r u + e = 0 ( 2 1 1 ) 由于光流场u ：i “l 有两个变量，而基本等式只有一个方程，因此只能求出 l v j 光流场沿梯度方向上的值，而不能同时求出光流场的两个速度分量“和k 这就 是说，从基本等式求解光流场是一个不适定问题 基于光流法的分割主要是基于光流场的运动参数估计，求出符合运动模型的 像素区域，进而合并区域构成运动对象进行视频分割。光流法是用于估计运动参数 的一个普遍的方法，但是由于存在孔径问题和遮挡问题叫，用光流法估计的二维运 动场往往是不确定的。 1 6 山东大学硕士学位论文 ( a ) 图片1( b ) 图片2 ( c ) 光流场图 图2 1l u c a s - k a n a d e 光流场估计 上图是应用l u c a s - k a n a d e “”方法的到的光流场估计它假设在一个小的空问 邻域上运动矢量保持恒定，然后使用加权最小二乘法估计光流另外，典型方法还 有：n a g e l “”使用二阶导数来估计光流，但是光流场的估计方法都是建立在运动物 体表面上，每一点的亮度至少在一个较小的时问范围内是保持不变的假设基础之 上；为了消除噪声的影响，o n g “2 采用了二乘方中值最小法的非线性方法，而 h a d i a s h a r 等人嘲使用了正交距离平方中值最小法方法这些方法都属于超定方 程组的求解方法，在处理运动突变区域方面能取得较好的效果，但还是没有解决光 流场估计中的一些基本问题，如在图像纹理信息不丰富时，用这些方法也无法得到 好的结果 2 2 2 基于变化检测的视频分割 对于背景静止或者场景只有简单全局运动的视频图像，可以使用差分或运动补 偿的变化检测算法，其算法避免了逐点计算光流估计中的光流场，通过区分时域上 相邻两帧图像的变化和未变化区域，再将场景中的像素通过判决归属为不同的区 域就可以分割出运动对象 m e e h 和w o l l b o r n ”利用估计出的变化检测模板( c h a n g ed e t e c t i o n m a s k ，c d m ) 来生成视频对象平面“i d e oo b j e c tp l a n ，v o p ) 他们利用相邻两 帧之间的差值以及一个全局门限值构造c d m ，然后利用松弛迭代算法对所得到的 c d m 进行修正，再利用形态学c l o s e 算子去掉那些小区域从而获得最终的c 叫。通过 1 7 山东大学硕士学位论文 去除露出来的背景，根据灰度值自适应地调整边缘位置，就可以从这个c d m 中生成 对象模板。其算法大大地减少了计算量，但是要求运动物体要包含有足够丰富的纹 理细节，而且物体是处于运动之中，不能停止运动一段时间。d u f a u x 等人“”也使 用了相似的算法，但是其算法消除了静态背景的假设，允许摄像机移动镜头和变 焦j a i n 和n e g e l “”通过分析累积差分图像( a c c u m u l a t i v ed i f f e r e n c e p i c t u r e 。a d p ) 从静止摄像机的场景中提取刚体运动体，它主要利用从图像序列中 恢复静态场景分量或整幅图像背景，运动对象的检测通过比较当前帧与静止背景 图像完成。但是在一般场景中由于照明和摄像机位置的改变，以及摄像机电子噪声 都会产生很多错误数据，a d p 算法很难使用，所以它只能用于特定的场景中 j a y a r a m e m u r 和j a i n n 7 1 通过结合像素运动速度和差分图像来分割包含纹理对象的 动态场景，通过差分图像来获得运动区域，并使用霍夫变化来估计运动区域的运动 参数。t h o m a 和b i e r l i n g “耵将变化检测和光流结合在一起，并且利用中值滤波来消 除变化模板中的小元素以完成对象分割。a a c h 等人“”提出了使用姒p 和松弛算法 来完成变化检测，其算法通过使用姒p 来修正和更新变化模板，消除小的分离的区 域。 2 2 3 基于参数模型的视频分割 参数化方法主要是利用空间物体运动和场景中明确的物理结构来构造的方法， 它描述的是曲面上的三维运动物体在图像平面上的正交或透视投影。参数化方法 需要对视频图像进行分割，每一个区域的运动用一个参数集来表示三维物体通常 模型化为3 一d 仿射运动模型，由三维运动参数、旋转矩阵和平移矢量构成。其物理 结构模型由物体表面模型来构造，物体表面模型分为平面和二次表面模型。一个由 平面的三维刚体运动产生的二维运动场，在正交投影下的平面用6 参数仿射模型 来表示，见式( 2 4 ) ；在透视投影下的平面则用8 参数模型来描述，见式( 2 5 ) ；但在 透视投影下的二次表面则用1 2 参数模型来描述，见式( 2 6 ) 使用参数模型的分割 算法参阅参考文献删，使用参数化模型的缺点是只适合刚体运动的情况。 6 参数仿射模型 j = a l x + a 2 y + 码 ) ，。= a 4 x + a s y + a 6 ( 2 1 2 ) 山东大学硕士学位论文 8 参数透射模型 j = q x 一+ a t y + a s a ，x + a s y + l v = a 4 x + a s y + a 6 。 a l x + a s y + l 1 2 参数模型 j - 4 i ，+ 吒) ，2 + 码刁，+ 4 工+ 吩y + 口 ) ，= 熟，+ 也) ，2 + 岛j 咿+ 乜工+ 毛y + 2 3 基于时空信息的对象提取算法 ( 2 1 3 ) ( 2 1 4 ) 在肝e g - 4 和m p e g - 7 的应用中，要求分割出来的对象在语义上是有意义的但是 单纯使用空间分割技术，即利用亮度、色度或者纹理等方面的空间域特性对视频图 像中具有某种相似性的区域聚集，这些区域可能只是物体的一部分，单独的一部分 往往是没有什么语义的，往往不符合语义上的对象。对于视频序列，还可以利用对 象的运动信息，在一个自然场景中。对象的运动基本上是平稳的：相邻帧之间的对 象具有某种相似性，同一对象各个部分的运动基本相同。因此，如果相邻帧运动相 同，就认为它们属于同一对象，从而分割出运动对象这样的分割主要就是利用了 空间和时域上的特性同时进行分割的方法。 2 3 1 时域分割方法 时域分割主要是利用视频图像相邻帧之间在时域上的连续性和相关性来分 割。n e r i 等人删在分割算法中提