（计算机系统结构专业论文）视频运动对象提取和跟踪方法的研究.pdf

山东大学硕士学位论文 摘要 传统的视频压缩编码标准押e g 一1 2 和h 2 6 x 都采用基于帧的技术，不要求 对场景进行分割，它们能获得较高的压缩比，并在很多领域得到广泛的应用。随 着多媒体信息的日益丰富，人们不再满足于对视频信息的简单浏览，而要求提出 基于对象的操作、交互等功能。为此，m p e g - 4 引入视频对象的概念，以支持基 于对象的交互性和可分层性。视频对象的应用价值主要有：对不同的视频对象按 其对视觉重要性分配不同的码率，可提高压缩编码效率；支持对象可分级，在较 低的网络带宽时获得更好的视觉效果：用视频对象来组织视频内容，能实现基于 视频内容的存储、交互和查询等功能。 然而，船e g - 4 尽管引入了视频对象的概念，它并没有指定从视频序列获取视 频对象的具体方法。一方面，视频对象的语义一致性难以通过视频的低级物理特 性来建模，使得针对各种视频序列的通用视频对象分割算法是一个尚未解决的经 典难题；另一方面，针对特定的应用，往往可以利用先验知识设计相应的算法。 本文在对传统的运动分割分割方法进行实现的基础上，研究和改进了两种获 取视频对象的策略。为了克服利用变化检测分割视频对象过程中的噪声、复杂运 动、暴露背景的影响，提出了一种基于三次求帧差边缘然后取交集的视频对象分 割方法。该方法利用间隔为k 帧的两帧图象代替连续两帧求帧差，可以很好地处 理关节运动和慢运动：取三次帧差边缘的交集，可以有效地解决由于视频对象的 运动所造成的背景遮挡和显露问胚，并能消除背景噪声所造成的帧差边缘。然后， 对三幅帧差图像边缘的交集进行行列扫描得到运动对象的轮廓，对轮廓的断裂点 进行连接。最后，通过填充和数学形态学处理实现视频对象的分割。提高了对象 分割的完整性。在基于h a u s d o r f f 距离的对象跟踪提取策略中，提出了一种新的 鲁棒h a u s d o r f f 距离测度，实现了复杂背景中对局部遮挡显露对象的准确跟踪， 提高了传统改进方法的鲁棒性。 在对分割和跟踪策略进行研究的同时，注意到算法的适用性，强调了运动分 割与时域跟踪之间的紧密联系。在对象提取策略中加人了预处理或后处理方法， 为算法的有效应用提供了保证。 山东大学硕士学位论文 关键词：对象提取；变化检测；帧差边缘；轮廓闭合：豪斯道夫距离 i i 山东大学硕士学位论文 a b s t r a c t c l a s s i c a lv i d e oc o d i n gs t a n d a r d ss u c ha sh 2 6 xa n dm p e g - 1 2o r ef r a m e - b a s e d t e c h n i q u e s , a n d n os e g m e n t a t i o no fv i d e os c e n a r i o si s r e q u i r e d t h d rh i g h c o m p r e s s i o np e r f o r m a n c em a k e st h e mw i d e l yu s e di nv i d e oa p p l i c a t i o n s w i t ht h e p r o l i f e r a t i o no fm u l t i m e d i ai n f o r m a t i o n p e o p l eo r en om o r es a t i s f i e dw i ms i m p l e n a v i g a t i o no fv i d e oc o n t e n t s ，b u tr e q u i r eo b j e c t - b a s e df u n c t i o n a l i t i e s t h e r e f o r e ， m p e g - 4i n t r o d u c e st h e c o n c e p to fv i d e oo b j e c tt os u p p o r tc o n t e n t - b a s e d f u n c t i o n a l i t i e s ，m p e g - 7d e f i n e sau n i v e r s a la n dn o r m a l i z e dd e s c r i p t i o no fv a r i o u s m u l t i m e d i ao b j e c t s a c c o r d i n gt ot h em p e g - 4v e r i f i c a t i o nm o d e l ，v i d e os e q u e n c e m u s tb es e g m e n t e di n t os e m a n t i cv i d e oo b j e c t s t h e i rm o t i o n ，s h a p ea n dt e x t u r e i n f o r m a t i o no r ec e d e dr e s p e c t i v e l y t h em a i nv a l u e sa ：i m p r o v e dc o d i n ge f f i c i e n c y b ya l l o c a t i n gd i f f e r e n tb i tr a t e t od i f f e r e n tv i d e oo b j e c ti na c c o r d a n c ew i t ht h e i r i m p o r t a n c et oh 眦趾v i s u a ls y s t e m ；o b j e c t - b a s e ds c a l a b i l i t ys oa st oo b t a i nb e t t e r v i s u a le f f e c ta tl o wb i tr a t ea p p l i c a t i o n s ；c o n t e n t - b a s e ds t o r a g e , i n t e r a c t i v i t ya n d r e t r i e v a lo r g a n i z i n gv i d e oc o n t e n ta c c o r d i n gt ov i d e oo b j e c t t h o u g hm p e g - 4i n t r o d u c e st h ec o n c e p to fv i d e oo b j e c t , i td o e sn o ts p e c i f ya n y c o n c r e t et e c h n i q u e sf o ro b t a i n i n gv i d e oo b j e c t sf r o mv i d e os e q u e n c e o no n eh a n d , t h es e m a n t i ch o m o g e n e i t yo fv i d e oo b j e c ti sh a r dt ob em o d e l e db ya n yl o wl e v e l f e a t u r e s ，w h i c hm a k e sag e n e r a ls e g m e n t a t i o na l g o r i t h mf o rv a r i o u sv i d e os e q u e n c e s i ss t i l lac l a s s i c a lp r o b l e mt ob er e s o l v e d ；o nt h eo t h e rh a n d , p r i o r ik n o w l e d g ec a n o f t e nb eu t i l i z e df o rs p e c i f i ca p p l i c a t i o n a u t h o rp r e s e n t st w os t r a t e g i e so fo b t a i n i n gv o ei no r d e rt oe l i m i n a t et h ee f f e c t c a u s e db yn o i s e , c o m p l e xm o t i o na n du n c o v e r e db a c k g r o u n di nt h ep r o c e s so f s e g m e n t i n gv i d e oo b j e c t s ，an e wm e t h o db a s e do nt h ei n t e r s e c t i o nb e t w e e nt h r e ee d g e o ff i a n l ec h a n g ei sp r o p o s e d , w er i s et w of r a m e sa tad i s t a n c eo fkf o rf r a m ec h a n g e i n s t e a do ft w os u c c e s s i v ef r a m e s , t h u st h eo r t i c u l a t i o nm o t i o n sa n ds l o wm o t i o n sc a n b ep r o c e s s e dp r o p e r l y ；t h eu n c o v e r e db a c k g r o u n dd u et ot h em o t i o n so f v i d e oo b j e c t s c a nb ee f f e c t i v e l ye l i m i n a t e db yt h ei n t e r s e c t i o nb e t w e e nt h r e ee d g eo ff r a m ec h a n g e ， i i i 山东大学硕十学位论文 a n dt h ee d g eo ff l a m ec h a n g ec a u s e db yt h eb a c k g r o u n dn o i s ec a nb ee l i m i n a t e da tt h e s a m et i m e t h eo u t l i n ec a l lb eo b t a i n e db ys c a n n i n gt h ei n t e r s e c t i o ni nr o wa n d c o l u m n ，w en e e dt or e p a i rt h ep a r to u t l i n ep o i n tb e f o r ef i l l i n gi no u t l i n et of o r mt h e b i n a r yi m a g e f i n a l l y m o r p h o l o g yp r o c e s s i n gw a sp e r f o r m e do nt h eb i n a r yi m a g e o b t a i n e df r o mt h ep r e v i o u ss t e pt og e tt h es e g m e n t a t i o nr e s u l t e x p e r i m e n tr e s u l t s s h o wt h a tt h en e w a l g o r i t h mc a r ls e g m e n tv i d e oo b j e c t sa c c u r a t e l ya n da u t o m a t i c a l l y f o rt h ea l g o r i t h mo fb a s e do nh a u s d o r f fd i s t a n c e da u t h o rp r o p o s ean e wd i s t a n c e m e a s u r ea n dt r a c ko c c l u d e d & r e v e a l e do b j e c t t h ea l g o r i t h mh a sm o r er o b u s t n e s s t h a no t h e rm e d i f i e dh a u s d o r f fd i s t a n c e w i t ht h er e s e a l c ho fs e g m e n t a t i o na n dt r a c k i n go fv i d e oo b j e c t , w et a k en o t eo f a l g o r i t h m s a p p l i c a b i l i t ya n dr e l a t i o nb e t w e e ns e g m e n t a t i o na n dt r a c k i n g i n t h e s t r a t e g i e s a u t h o ra d d sp r e p r o c e s s i n ga n dp o s tp r o c e s s i n gt oe n s u r et h ev a l i d i t yo f t h e a l g o r i t h m s k e yw o r d s ：o b j e c te x t r a c t ；o n ：g h a n g ed e t e c tio n ：e d g eo ff r a m ec h a n g e ： o u t i n eo i o s o ：h a u s d o r f fd s t a n c e i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：痊壁遣日期：至! 翌：! ：笸 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：庭查赶导师签名：高堂皇姿日期：全2 ：墨盟 山东大学硕士学位论文 第1 章绪论 传统的视频编码标准，如h 2 6 1 3 4 和m p e 6 - 1 2 获得了较高的压缩比，并在 许多领域得到了广泛的应用。随着多媒体信息的日益丰富，人们不再满足于对多 媒体信息的简单浏览，而是提出了基于对象的交互、查询和检索等新的要求。而 且，传输的码流应该能够适应不同的网络环境和各种终端当前，多媒体技术正 朝着分布式环境下提供交互式多媒体服务的方向发展。然而，h 2 6 1 3 和h p e g l 2 都采用基于帧的技术，不要求对景物进行分割和分析，因而不能支持基于内容的 新功能。新的多媒体应用呼唤着新的多媒体编码标准，为此肝e 6 - 4 弓1 入了视频对 象的概念，以支持基于内容的交互性和可分级性。m p e g - 4 的最大特点是基于对象 的编码和基于对象的交互性。它必将在视频检索、视频数据库浏览、交互式视频 购物、虚拟现实、数字图书馆、移动多媒体通信及基于对象形状表达的视频编辑、 远程医疗、教育、视频监控“1 上有广泛的应用前景。 但是，m p e g - 4 标准本身并没有指定从视频序列中得到视频对象的方法。因此， 视频对象分割是肝e g - 4 成功与否的关键因素之一。 1 1 基于对象的多媒体压缩标准 为了支持基于视觉内容的交互，m p e g - 4 啪引入了视频对象和视频对象面的概 念a 在这一概念中，我们根据人眼感兴趣的一些特性，如形状、运动、纹理、灰 度等，将图像序列中每一帧的场景分割成多个任意形状的图象区域，每个区域覆 盖场景中特定的感兴趣的图像或视频内容，这些区域构成了视频对象面 v o p ( v i d e oo b j e c tp l a n e ) 。同一对象连续的v o p 称为视频对象v o ，它可以是视 频序列中的人物或具体的景物；也可以是计算机图形技术生成的二维或三维图 形。这样我们可将一个视频序列视为由多个v o 组成，对各个v o 单独进行编解码， 使用户更加自由、灵活地对场景中的v o 进行访问( 搜索、浏览) 和操作( 剪贴) 。 这种基于内容的表示方法正是其交互活动的关键所在。在b i p e g - 4 中，矩形帧被 认为是v o p 的一个特例“，这时系统不用处理形状信息，退化为传统的编码系统， 从而与原来的标准兼容，多数情况下，v 0 被定义为画面中分割出来的不同物体。 l l 东大学硕士学位论文 m p e g - 4 视频位流语法从上到下大致分为：视频对象( v i s u a lo b j e c t ) 、视频 对象序列( v i s u a lo b j e c ts e q u e n c e ) 、视频对象层( v i d e oo b j e c tl a y e r ) 、视频 对象( v i d e oo b j e c t ) ，其中视频对象包括：视频数据、静态纹理数据、2 d 网格数 据、人脸活动参数数据等，这些结构化数据称为对象，它是用户可以访问和处 理的实体。一个序列有多个v 0 ( v i s u a lo b j e c t ) 集合，一个v o 有多v o l ( v i d e o o b j e c tl a y e r ) v 0 是场景中的某个物体， 它是有生命期的，由时间上连续的许 多帧构成。某一帧中的v o 就是v o p ( v i d e oo b j e c tp l a n e ) 。即v o 是以v o p 的形式出 现的，所以编码也是针对该时刻的v o 的形状、运动、纹理这三类信息进行的，图 1 - 1 是v o p 的编码结构流图。其中： ( a ) 预测1 是指标准8 x 8 或1 6 x 1 6 块的运动估计。 ( b ) 预测2 是指使用仿射变换的全局运动补偿。 ( e ) 预测3 是指基于动态s p r i t e s 的全局运动补偿、，m 程序中的形状、运动、纹理 编码的基本技术。 i ： 罐动信息驻瑗信纛l 麓动先td 甜薰囊i j 图卜1m p e g - 4 视频编码后的码流结构 编码器包含2 个主要部分：形状编码及传统的运动和纹理编码，如图1 2 所示。 其中纹理编码、运动估值及补偿部分在原理上类似于其它现有视频标准“1 。 m p e g 4 为了支持基于内容的编码，引入了形状编码，为了支持高压缩，m p e g - 4 仍然采用了m p e g 1 ，m p e g - 2 中的变换、预测混合编码框架。对于一般的任意形 状的对象，m p e g 4 编码后的码流结构如图1 - 3 所示。 对于实时的极低比特率的应用( 如可视电话) ，m p e g - 4 视频编码采用v l b v ( 极 低比特率视频) 核进行编码，类似于i t u 的h 2 6 3 直接对矩形视频编码，而不采 用形状编码模块。 可见，v o p 的定义是m p e g 一4 的基础和核心，也是对图像视频信息进行肝e g 一4 编码的首要工作。适当选择v o p 并清除那些图像元素之间“无关”的关联，是实 现交互、在极低位速率环境下高效输出视频流的关键。视频对象的分割、跟踪作 为获取自然视频对象信息的最为关键的技术，成为当今多媒体通信领域的研究热 点之一。 2 山东大学硕士学位论文 图卜2m p e g - 4 的编码框图 i 誊对僖且筑曩情息i l 斌精舞量 。c t 秉蠹l 图卜3 视频编码后的码流结构 1 2 视频对象分割、跟踪方法概述 羹 m h 目h 誊簟 视频对象分割和跟踪方法按用途可分为用于编码目的和基于内容可操纵两 大类。按照人工参与的程度，可分为自动分割和半自动分割技术。这两类分割都 是人机结合的过程，人的参与不仅表现在半自动分割中通过图形用户界面g u i 生 成初始帧分割结果，而且表现在全自动分割中设定门限值、初始条件以及挑选适 合计算机处理的视频序列。 1 2 1 面向运动的视频对象分割 运动对象分割是指在序列特征的多种运动中，标记出与每一独立运动相关联 的象素，并对这些象素按照各自所属的媒体对象进行聚类，其主要目的是从静止 背景或全局运动中提取出作为前景的运动物体，即初始的视频对象。 山东大学硕士学位论文 ( 一) 基于频域的方法。 最典型的方法是对图像序列进行f f t 变换，通过目标在频域中的幅值不变 而相位变化的特性计算相邻帧间的相位角度差来估计空域对象的位移。或是对图 像进行频域处理，然后再进行峰值检测，峰值的位置对应了运动对象的速度。 ( 二) 基于特征的方法 根据图像特征或由特征组成的模型来分割、识别运动对象。 ( 三) 基于像素的方法 基于像素的方法是根据图像中像素灰度模式的变化来检测运动、识别目标 的。现有的算法如：基于帧差的方法、静态图像边缘检测与运动估计结合的方法、 基于图像时空梯度信息的方法、b a y e s 理论的最大后验概率方法、光流估计与运 动分割同时处理的方法等。 目前，时空域基于像素的分割方法研究较多，特别在v o p 提取的应用中，该 类方法分割效果较好，是本文重点探讨的方法。 1 2 2 视频对象的时域跟踪 对象跟踪是在一个视频序列中监控对象的时空变化，包括它的存在、位置、 形状、大小等，它依靠时域一致性来解决，在小的时空间隔内匹配目标区域。刚 体是指任意两点的相对位置在运动过程中保持不变的物体，反之，则为非刚体。 目前的跟踪算法主要有以下三类： ( - - ) 即j 体对象的跟踪算法 利用精确的对象外形信息进行跟踪。 ( 二1 非刚体对象的跟踪算法 没有精确的对象外形信息可以利用，而是使用动态模型处理检测到的运动对 象，在跟踪过程中模型被定时更新，以补偿对象的改变，目前有三类动态模型可 以使用。第一类模型对应着运动对象的参数化外形。第二类模型对应着检测到的 运动对象区域，根据运动区域内象素颜色( 灰度) 的分布所创建。第三类模型也以 运动区域为模板创建，但这类模型是根据对象边缘的集合定义的，能够在局部被 遮挡的情况下跟踪一个非刚体目标。 ( 三) 没有外形信息的对象的跟踪算法 4 山东大学硕士学位论文 没有对象的先验模型利用，大多使用对象的位置坐标来计算对应对象。 本文中任意形状视频对象的跟踪属于非刚体目标跟踪的范畴。 1 2 3 分割、跟踪相结合的视频对象提取 对视频对象提取来说，分割和跟踪的方法往往是相互交融的，我们可以用一 个广义的分割概念来表达这种提取过程。现有的运动对象提取方法有以空间域灰 度分割为主、以时间域运动分割为主、基于知识的分割等几类，本文采用的是时 域、空域信息相结合的视频对象提取方法。即跟踪通常从发现运动并根据运动信 息分割出初始运动对象开始，而后续帧中，在进行跟踪的同时，基于运动的分割 必须重复进行，以帮助更正跟踪的结果。一般说来，在视频中有两方面的信息能 够利用：视觉特征( 如灰度、纹理、形状、边缘、轮廓等) 和运动信息，而将视觉特 征的统计分析与时域运动信息相结合，往往能得到更鲁棒的方法嘲。 1 3 视频对象提取方法研究的现状和问题 视频对象分割和跟踪领域的研究工作已经有近二十年的历史，但它仍然是一 个开放性的课题”，寻找鲁棒、精确和高性能的方法直到今天还是极具挑战性的 工作，依靠计算机提取视频对象的技术从整体上还处于不成熟的发展阶段，想要 实现适用于任意场景下的视频对象自动提取算法目前几乎是不现实的，因为计算 机只能描述灰度、颜色、纹理、运动等低层特征，不能对视频对象进行明确的定 义和描述，所以现有的各种方法都是解决了运动分割和对象跟踪问题的一个方面 或某种条件下的应用，同时许多方法结合和交叉使用了多种技术。要成功地对实 时视频序列进行对象自动提取需要在人工智能、图像理解等多方面做进一步研 究。 半自动对象提取虽然质量较好，但依赖于人工的交互，实时性差。而当前的 自动提取算法都是在一些图像的低层次的特征上进行的，大多面向特定的应用， 通用性和分割质量也难以让人满意。另外，绝大部分的自动提取方法都需要调整 或指定参数，从某种意义上来说，这也是一种人工交互。目前，要实现一个完整 的m p e g - - 4 系统，难度还非常大，视频对象提取算法性能的好坏对m p e c r - - 4 产品的开发更是至关重要。由于对象提取问题本身的原因，当需要分割的视频满 山东大学硕士学位论文 足特定条件时，自动分割方法即可完成分割提取的工作，而在一般条件下，都会 有不同程度的交互。 1 4 本文的主要工作 本文讨论了分割、跟踪视频对象的一些关键技术，以自动对象分割的思想 为依据，辅助以参数调整等交互手段，提高算法的适用程度。主要对时域与空域 信息相结合的对象分割、跟踪提取算法进行了详细研究并软件实现，获得了较好 的实验结果。算法在视频对象自动分割领域进行了有益的探索，在对象分割的完 整程度和跟踪精度等方面取得了进展。 论文的主要内容安排如下： 第二章介绍了提取视频对象过程中使用的静态图像处理方法。第三章讨论了 运动估计和视频序列中运动区域的判定方法，第四章提出了基于三次帧差边缘交 集的视频对象提取测略，第五章提出了基于h a u s d o f f 距离跟踪的视频对象提取 策略，第六章讨论分割和跟踪算法在其他方面的应用，对发展前景进行了展望， 指出下一步的研究方向。 围绕论题，作者主要完成了如下工作： 1 对静态图像的各种分割方法进行了研究，指出了其优缺点和适用性。 2 对一些传统的面向运动的对象分割提取方法和运动估计理论进行了研究，指出 了其优缺点和适用性。 3 提出了基于三次帧差边缘交集提取视频对象的分割算法，提高了传统方法的分 割精度；采用后处理方法保持对象的完整性。 4 对h a u s d o r f f 距离跟踪算法进行了软件实现，提出一种匹配策略，提高了对象 跟踪的鲁棒性，实现了对象的连续、稳定跟踪。 6 山东大学硕士学位论文 第2 章静态图像分割和边缘检测方法 所有的图像处理技术都能够应用于单独的帧，提取视频对象的过程离不开静 态图像的操作和处理。视频序列在空间轴上的分割可以看作是静态图像的分割， 有了静态图像分割的基础，辅以时间轴上的信息，我们可以分割出有意义的实体。 在进行视频序列的模板匹配跟踪时，为减少运算量，大多采用边缘信息作为跟踪 的依据，要求采用性能较好、符合匹配要求的边缘检测方法。在技术上，图像分 割和边缘检测是紧密关联的。 2 1 图像分割 视频是一串连续的图像序列，视频的每一帧( 某一时刻的采样) 即可视为一幅 图像。因此，视频分割通常包含图像分割的过程。图像分割是将图像划分为若干 互不相交的小区域的过程。小区域是某种意义下具有共同属性的象素的连通集 合。连通的概念是指集合中任意两个点之间都存在着完全属于该集合的连通路 径。图像分割是图像理解的基础，而在理论上图像分割又依赖图像理解，彼此是 紧密关联的。图像分割在一般意义下是十分困难的问题，目前的图像分割一般 作为图像的前期处理阶段，是与针对分割对象的技术问题相关的。 多年来，人们对图像分割提出了不同的解释和表达。借助集合的概念可以对 图像分割进行一个比较正式的定义： 令集合r 代表整个图像区域，对r 的分割可看做将r 分为n 个满足以下条件 的非空子集：r l ，如，r 。 ， u 焉。焉 m 对于历青的毛，当f ，时满足与n 弓a ， 对i = l ，2 ，t 有，蝎= 豫磁# 对予i ，有联焉u 局) 一b 峨 对i - i ，2 ，咒是连通的区域l 7 山东大学硕七学位论文 上式中，p 为对所有集合r 中元素的逻辑谓词。通过定义可知：对一幅图像 的分割结果中全部子区域的并集应能包括图像中的所有象素，而分割结果中各个 子区域是互不重叠的，即每个象素不能同时属于不同的区域。属于同一区域的象 素应该满足某些相同的属性，而不同的区域具有不同的特性。分割结果中同一子 区域内的象素应该是连通的。 下面介绍目前已提出的几种典型的图像分割技术。 2 1 1 色度空间的直方图阈值 阈值化分割是一种并行的区域分割技术，而针对区域进行图像分割是一种最 直接的方法。简单地说，阂值化分割就是先确定一个处于图像灰度取值范围之中 的灰度值，然后将图像中各个象素的灰度值都与这个阈值进行比较，并根据比较 结果将对应的象素划分为两类：象素的灰度值大于阈的为一类，象素的灰度值小 于阈的为另一类。由此可见，阈值化分割算法主要有两个步骤：、确定需要的 分割阈值：、将分割阈值与象素值比较以划分象素归类。 显然，确定阂值是分割的关键。如果能确定一个合适的阂值就可以方便地将 图像分割开来。而在阂值确定后，将阅值与象素值比较和划分象素可以对各个象 素并行地进行，分割的结果则直接给出图像区域。 在利用阈值方法分割灰度图像时，一般都对图像有一定的假设，即基于一定 的图像模型。最常见的模型可描述为：假设图像由具有单峰灰度分布的目标和背 景组成，处于目标或背景内部相邻象素间的灰度值是高度相关的，但处理背景和 目标交界处两边的象素在灰度值上有很大的差别。如果满足上述模型，则灰度直 方图可以看作是由分别对应目标和背景的两个单峰直方图混合构成的。 闽值是在分割时作为区分物体与背景象素的门限，大于或等于阈值的象素属 于物体，而其它属于背景。这种方法对于在物体与背景之间存在明显差别( 对比) 的景物分割十分有效。实际上，在任何实际应用的图像处理系统中，都要用到阀 值化技术。为了有效地分割物体与背景，人们发展了各种各样的阂值处理技术， 包括全局阂值、自适应阂值、最佳阈值等等。 l 、全局阈值 全局阈值是指对整幅图像使用同一个阈值做分割处理。适用于背景和前景有 山东大学硕士学位论文 明显对比的图像。 2 、自适应阈值 在许多情况下，物体和背景的对比度在图像中不是各处一样的，这时很难用 统一的一个阈值将物体与背景分开。这时可以根据图像的局部特征分别采用不同 的阂值进行分割。实际处理时，需要按照具体问题将图像分成若干子区域分别选 择阂值，或者动态地根据一定的邻域范围选择每点处的阈值，进行图像分割。 3 、最佳阂值 阂值的选择需要根据具体问题来确定，一般通过实验来确定。对于给定的图 像，可以通过分析直方图的方法确定最佳的阂值，例如当直方图明显呈现双峰情 况时，可以选择两个峰值的中点作为最佳阈值。 图2 - l 列出对c a m e r a m a n 图像进行直方图阈值分割的实验结果。图( a ) 为原 始图像。图( b ) 为原始图像的直方图分布。从直方图中可以看出，图像的直方图 在3 0 - - 1 3 0 之间对应的是一个低峰，阈值应该在此范围之内。图( c ) 为当取阂值为 8 0 时所得到的二值分割图像，可见由于阈值的选取偏低，将很多不必要的细节 分割出来了。图( d ) 则为当选取阈值为1 2 0 时得到的二值分割图像，由于该阈值 的选取偏高，分割得到的二值图像丢失了部分细节。图( e ) 则为优化闲值为1 0 8 时得到的分割图像，得到了较好的分割效果。可见，阈值的选取是一个关键的因 素。至于这里优化闽值的选取是通过反复实验得到的。 9 山东大学硕士学位论文 汹愿始嚣俄 ( c ) 较低嗣值 2 1 2 色度空间聚类 ( b ) 童方霸 ( d ) 较离阉擅o ) 最佳闲位 图2 - l 直方图阈值分割 区域生长方法是根据同一物体区域内象素的相似性质来聚集象素点的方法， 从初始区域( 如小邻域或甚至于每个象素) 开始，将相邻的具有同样性质的象素或 其它区域归并到目前的区域中，从而逐步增长区域，直至没有可以归并的点或其 它小区域为止。区域内象素的相似性度量可以包括平均灰度值、纹理、颜色等信 息。 在实际应用区域生长法时，需要解决以下三个问冠 选择或确定一组能正确代表所需区域的种子象素 确定在生长过程中能将相邻象素包含进来的准则 制定让生长过程停止的条件或规则 2 1 3 分裂合并 分裂合并是另种图像分割算法，它的思想是先从整幅图像开始通过不断分 裂得到各个区域。实际中常先将图像分成任意大小且不重叠的区域，然后再合并 山东大学硕士学位论文 或分裂这些区域以满足分割的要求。 与区域生长算法一样，分裂合并时也需要设定图像区域属性的一致性测度。 一般情况下，图像区域属性的一致性测试常根据图像的统计特征进行设定，最常 见的测试多数基于灰度统计特征。 另外，还可以借助区域的边缘信息来决定是否对区域进行合并或分裂。 分裂合并算法的数据结构原理可以利用四叉树的表达方法来说明，如图2 2 所示。设r 代表整个正方形图像区域，p 代表逻辑谓词。从最高层开始，把r 连 续地分裂成越来越小的1 4 的正方形子区域尺，并且使区域r 满足p ( ) = t r u e 如果p ( r i ) = f a l s e ，则将该区域分成四等分。如此类推，直到为单个像素。 r e 氏1r 艟 r 3 r 4 s r 4 4 o 藏 l 层 图2 - 2 分裂合并算法的结构图 分裂合并算法的步骤可以概括如下： 、对任意一个区域，如果p ( r i ) = f a l s e ，则将其分裂为互不重叠的四等 分： 、对相邻的两个区域风和玛( 它们可以在不同的层，即大小可以不同) ，如 果满足p i 1 7 r i 户r r i m ，就将它们合并起来。 、当以上和都不再满足，即不能进一步的分裂或合并时，则结束。 图2 - 3 是分水岭算法的原理示意图。假设待分割对象是由不连续的物体组成 的，则形态学梯度将由“深度”不同的区域组成。图中的不同深度区域对应不同 的图像梯度。分水线就是明显不同的梯度的交汇线，注水盆地则对应着梯度的极 小值。对于一个给定的极小区域，水珠则会滚入该区域的所有点构成的集合，可 以称之为该极小区域的集水域或流域。对流域变换也可以换一个角度看，即不从 水珠流入区域的角度而从水溢出的角度看。假没注水盆的底部有一个小孔，水从 这个小孔注入时不同流域的水面都将不断提高而将要汇合在一起。为防止不同流 山东大学硕七学位论文 域的水相互混合，需要筑起一条坝。堤坝即对应着流域的分界线。 图2 3 分水岭算法的原理示意图 图2 - 4 中给出了用于视频分割的数学形态学的分水岭算法原理图。它可以分 为如下五个过程视频图像的化简、标志提取、边缘判决、分并小的区域以形成 分割的区域。 视频图象他筒 i 标衷拇暇 l 边缘判凌 i 巾的区域音井 形成分割结果 图2 - 4 基于数学形态学的视频图像分割过程 2 1 4 图像分割方法小结 阂值化分割对于在物体与背景之间存在明显差别( 对比) 的景物分割十分有 山东大学硕士学位论文 效，但对于物体和背景的对比度不是各处一样的图像分割效果较差。区域生长方 法是一种比较普遍的方法，在没有先验知识可以利用时，可以取得最佳的性能可 以用来分割比较复杂的图像，如自然景物。但是，区域生长方法是一种迭代的方 法，空间和时间开销都比较大。像的分水岭变换进行分割。分水岭方法计算速度 快，轮廓线封闭性和定位精确性好，但运算量较大，且容易造成过度分割。 2 2 静态图像边缘检测 边缘( e d g e ) 是指图像局部强度变化最显著的部分边缘主要存在于目标与目 标、目标与背景、区域与区域( 包括不同色彩) 之间，是图像分割、纹理特征和形 状特征等图像分析的重要基础叫 经典的边缘提取方法是考察图像的每个像素在某个邻域内灰度的变化，如 r o b e r t s 算子、s o b e l 算子、p r e w i t t 算子、k r i s e h 算子等，它们简单快速，r o b e r t s 算子是2 x 2 算子，对具有陡峭的低噪声图像响应好，其他的是3 x 3 算子，对灰度 渐变和噪声较多的图像处理的较好。一些较新的边缘提取方法，如基于形态学、 基于小波以及运用神经网络的方法等，效果得到了不同程度的改进，但有的方法 适用范围小，或过于复杂，不适合运动对象提取中的应用。下面，就常用的几个 边缘检测方法作一个介绍。 1 r o b e r t s 算子 r o b e r t s 交叉算子嘲为梯度幅值计算提供了一种简单的近似方法： g 【f ，j 】= 1 卯，卜f i + l ，+ 1 1 i + 矿【f + l j - ，e ，+ l 】l ( 2 - 1 ) 用卷积模板，上式变成： g 【f ，刀= 陋i + l g ，i ( 2 - 2 ) 其中g z 和g y 由下面的模板计算： q = 口 q ： 田 ( 2 - - 3 ) 同前面的2 2 梯度算子一样，差分值将在内插点p + 1 1 2 ，+ 1 1 2 1 处计 算r o b e r t s 算子是该点连续梯度的近似值，而不是所预期的点口，朋处的近似值。 山东大学硕士学位论文 2 s o b e l 算子 正如前面所讲，采用3 x 3 邻域可以避免在像素之间内插点上计算梯度考虑 下图2 5 中所示的点【f 卅周围点的排列s o b e l 算子也是一种梯度幅值， m = 必：+ 霉( 2 - - 4 ) 其中的偏导数用下式计算； ：幌( a o ：c a ：a q 2 ；二2 ：c 嚣a 二a 搿 c z s ， j ，= + l +) 一“k +5 十4 ) 。 和其他的梯度算子一样，s ，和0 可用卷积模板来实现： 圈圹圈 其中常数c = 2 ( 2 - 6 ) 这一算子把重点放在接近于模板中心的像素点s o b e l 算子是边缘检测器中 最常用的算子之一 hq a 2 i 口， f ，1疗3 i 4 sa 5 4 4 图2 - 5 用于说明s o b e l 算子和p r e w i t t 算子的邻域像素点标记 3 拉普拉斯算予 平滑过的阶跃边缘二阶导数是一个在边缘点处过零的函数。拉普拉斯算子是 二阶导数的二维等效式”“函数f ( x ，力的拉普拉斯算子公式为 v 2 f ：擎+ 粤 ( 2 7 ) 优。 砂。 使用差分方程对x 和y 方向上的二阶偏导数近似如下： 山东大学硕士学位论文 矛2 f 。 舻 缸 = 坳鼍半迹( 2 8 )6 x二o ， d ，+ q 囝q ，】 矗a = ( 以f ，+ 2 1 2 , - i i ，+ q ) + p ，月 这一近似式是以点【_ + l 】为中心的，用歹一l 替换，得到 窘= ( 几川h 邝d + f i , j l 】 ( 2 - 9 ) 它是以点【f 卅为中心的二阶偏导数的理想近似式，类似地， 窘= c f 】_ 2 f i 卅m 月 o ) 把这两个式子合并为一个算子，就成为下面能用来近似拉普拉斯算子的模板： ( 2 1 1 1 有时希望邻域中心点具有更大的权值，比如下面的模板就是一种基于这种思 想的近似拉普拉斯算子： r 1 4 1 1 v 2 14 2 0 4 i 【i 4 1 j ( 2 1 2 ) 当拉普拉斯算子输出出现过零点时就表明有边缘存在，其中忽略无意义的过 零点( 均匀零区) 。原则上，过零点的位置精度可以通过线性内插方法精确到子像 素分辨率，不过由于噪声，结果可能不会很精确。 考虑图2 - 6 中所给的例子。图中表明了对一幅具有简单阶跃嘲边缘的图像进 行拉普拉斯运算的结果。输出图像中的一行是： 仉甜 l 4 l mm一 钟 2 v 山东大学硕士学位论文 在本例中，对应于原始图像边缘的零交叉点位于两个中心像素点之间。因此，边 缘可以用其左边的像素或右边的像素来标记，但整幅图像的标记必须一致。在多 数情况下，零交叉点很少恰好在两像素点中间，因此边缘的实际位置要通过内插 值来确定1 。 ( a ) 一幅包含垂直阶跃边缘的图像 0oo66oo0 oo066oo0 0oo66oo0 0oo6- 600 0 ( b ) 垂直方向的阶跃边缘拉普拉斯响应 图2 - 6 对一幅具有简单阶跃边缘的图像进行拉普拉斯运算 现在考虑一下图2 7 所示的例子该图给出了拉普拉斯算法对斜坡边缘的 响应，其中的一行输出是 零交叉点直接对应着图像中的一个像素点再者，这是一种理想情况，边缘的实 际位置仍要通过内插方法来确定 山东大学硕士学位论文 ( a ) 一幅包含垂直斜坡边缘的图像 d003o300 300303oo d o 0 3o30 0 )003o300 ( b ) 垂直方向的斜坡边缘拉普拉斯响应 图2 - 7 拉普拉斯算法对斜坡边缘的响应 4 c a n n y 边缘检测器 检测阶跃边缘的基本思想是在图像中找出具有局部最大梯度幅值的像素 点检测阶跃边缘的大部分工作集中在寻找能够用于实际图像的梯度数字逼 近由于实际的图像经过了摄像机光学系统和电路系统( 带宽限制) 固有的低通 滤波器的平滑“”，因此，图像中的阶跃边缘不是十分陡立图像也受到摄像机噪 声和场景中不希望的细节的干扰图像梯度逼近必须满足两个要求：( 1 ) 逼近必 须能够抑制噪声效应，( 2 ) 必须尽量精确地确定边缘的位置抑制噪声和边缘精 确定位是无法同时得到满足的“”，也就是说，边缘检测算法通过图像平滑算子去 除了噪声，但却增加了边缘定位的不确定性；反过来，若提高边缘检测算子对边 缘的敏感性，同时也提高了对噪声的敏感性有一种线性算子可以在抗噪声干扰 和精确定位之间提供最佳折衷方案，它就是高斯函数的一阶导数，对应于图像的 高斯函数平滑