（交通运输工程专业论文）城市交通中的视频监控与检索关键算法研究.pdf

摘要 摘要 视频监控系统是一种比较直接的监控手段，被广泛地应用于工业生产、交 通、电力、办公大楼和居民小区，很多远程监控系统都采用本地端采集压缩数 据，远程监控中心解压处理的模式。数字视频监控系统的核心技术主要包括： 数字视频的压缩编码，打包传输，解码检索等三个方面。本文探索了一种在m p e g 视频流中检测检索运动目标的方法。 本文首先对于压缩域中的运动对象进行分割，主要利用的是压缩编码中的 运动矢量。 其次提出了基于改进的h a u s d o r f f 距离的对象检索方法。分成边缘检测算 法和形状匹配算法两个部分。 最后论文对将来还需要研究的问题进行了总结。 本文的三个主要贡献为： 1 提出了对象分割方法，该算法利用压缩域中的对象运动矢量，同时提出 了新的连通区域标注算法； 2 提出实时对象检索算法，利用h a u s d o r f f 距离进行对象匹配，提出了新 的后向匹配算法，主要解决实时性的问题。 3 利用上述算法实现了一个视频对象检索系统。 关键词：视频监控系统，压缩编码，对象检索，边缘检测，形状匹配 a b s t r a c t a b s t r a c t v i d e os u r v e i l l a n c es y s t e mh a sb e e nw i d e l yu s e di ns o m em o n i t o r i n gf i e l d ss u c h a si n d u s t r yp r o d u c t i o n ，t r a n s p o r t a t i o n ，e l e c t r i cp o w e r , o f f i c e ，b u i l d i n g s ，c o m m u n i t y c t c m a n yl o n g - d i s t a n c es u r v e i l l a n c es y s t e m sa d o p tam o d e lt h a tl o c a lp o i n t p l a y sa r o l eo fc o l l e c t i n ga n de n c o d i n gd a t a ，w h i l el o n g d i s t a n c es u r v e i l l a n c ec e n t e rd e c o d e s a n dp r o c e s s e sd a t a ，t h ek e yt e c h n i q u e so fd i g i t a lv i d e os u i v e i l l a n c es y s t e mi n c l u d e v i d e oc o m p r e s s i o n ，t r a n s i m i s s i o n ，d e c o d i n ga n dr e t r i v a lo fd i g i t a lv i d e os e q u e n c e w e p r e s e n ta na l g o r i t h mt h a td e t e c t sm o v i n go b j e c t sf r o mm p e gc o m p r e s s e df i e l d t h i st h e s i si n t r o d u c e st h ea l g o r i t h mo nv i d e oo b j e c ts e g m e n t a t i o nf i r s t l y t h i st h e s i si n t r o d u c e st h er e t r i a lm e t h o d si n c l u d et h es h a p em a t c h i n gm e t h o d s a n dt h ee d g ed e t e c t i o nm e t h o d ss e c o n d l y i ns u m m a r y , t w om a i nc o n t r i b u t i o n so ft h i st h e s i sa r e ： i an e wm e t h o db a s e do nm o t i o nv e c t o ri nc o m p r e s s e dd o m a i nt os e g m e n t m o t i o no b j e c ti sp r o p o s e di n c l u d ean e wa l g o r i t h mt ol a b e l ec o n n e c t i o na r e a s 2 am e t h o dt or e t r i v a lv i d e oo b j e c t sb yu s i n gh a u s d o r f fd i s t a n c ei sp r o p o s e dt o a n s w e rt h er e a l t i m ep r o b l e m 3 av i d e oo b j e c tt e t r i v e l s y s t e mb a s e do nt h ep r o c e s s i n ga l g o r i t h m si s c o m p l e t e d k e yw o r d s ：v i d e os u r v e i l l a n c es y s t e m ，e n c o d i n g ，o b j e c tr e t r i v a l ，e d g ed e t e c t i o n ， s h a p em a t c h i n g 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签 年月日 日 忿犀 第1 章绪论 1 1 课题的提出 第1 章绪论 对城市交通的智能监控和信息处理是数字城市的重要组成部分。目前苏州 市已建成了比较完善的市内交通数字视频监控系统，在国内城市交通管理信息 化方面居于前列。随着系统的日益扩展和完善，获取的视频数据量急剧增加。 充分利用这些信息，不仅有利于进一步改进城市交通管理，保证道路畅通，也 可为治安和刑侦工作服务，有利于保障社会安全和稳定。 目前城市交通监控信息的主要形式是数字视频，据此提出“城市交通监控 中的视频对象跟踪与检索系统”项目。本项目在对典型交通监控视频流进行分 析的基础上，研究开发一套应用系统，在庞大的视频流中搜索目标，提取包含 特定目标的视频片断，提供交通管理部门和公安1 1 0 作进一步观察、分析。 面对浩如烟海的视频信息，如何有效地找到所需内容? 基于内容的视频检 索技术就是为了满足这一需求而迅速发展起来的。它通过对视频数据中所包含 的视觉内容进行分析和特征提取，使人们可以快速搜索符合某些特征的内容片 段。常用的方法是基于内容的视频分段。基于内容的视频检索包括视频结构分 析、视频数据自动索引和视频聚类等一系列技术。视频结构分析通过镜头边界 检测，把视频分割成基本的组成单元。视频数据自动索引包括关键帧的选取、 静止特征和运动特征的提取。视频聚类就是根据这些特征进行的，常用视频视 觉特征有颜色、纹理、形状、空间关系以及运动信息等。 1 2 主要技术简介 1 2 1 主要压缩编码标准 到目前为止，主要的图象编码标准有i s o i e c 于1 9 9 0 年制定的关于静止图 象的编码标准j p e g ；c c e t t 于1 9 9 0 年制定的针对可视电话和会议电视、窄带i s d n 等要求实时编解码和低延时应用的编码标准h 2 6 1 ；i s o i e c 于1 9 9 2 年制定的 第1 章绪论 针对数字存储媒介( d s m ) 中的视频、音频信息压缩的标准m p e g - 4 ；i s o i e c 于 1 9 9 4 年制定的旨在于更高的比特率上产生更高质量的视频，适用于基于电视的 应用，如数字卫星广播或c a t v 及h d t v 的标准m p e g 一2 ( 也为国际电信联盟c c i t t 关于活动图象的编码标准h 2 6 2 ) ；i t u t 于1 9 9 5 年通过的低于6 4 k b s 的视听 业务的视频编解码标准h 。2 6 3 ，以及i s o i e c 于1 9 9 8 年制定的既可适用于甚低 比特率( v l b c ) 又支持可码率的视频编码标准m p e g - 4 。 静止图象压缩编码标准j p e g 主要是将原始图象分成8 8 子块，对每个子 块进行d c t 变换，并对变换后的不同系数采用不同的量化步长进行量化，量化 后的系数用x 形扫描按频率从低到高排列后进行编码。采用j p e g 标准对图象进 行压缩时，图象质量与比特率的关系如下： 1 5 - 2 o b i t p i x e l 时，很难看出图象与原图的区别； 0 7 5 一1 5 b i t p i x e l 时，图象质量优良可满足大多数应用； 0 5 - 0 7 5 b i t p i x e l 时，图象质量好很好满足多数应用； 0 2 5 0 5 b i t p i x e l 时，图象质量优良中好，可满足某些应用； 当然，具体到哪一种质量标准，还与原始图象本身有关系。 h 2 6 1 具有两种编码模式：帧内编码和帧间编码。帧内编码模式的编码方法 与m p e g 标准类似，帧间模式采用前向运动估计，具体地说就是在编码的同时重 构图象，将下一帧要编码的图象的8 8 子块在重构图象的搜索窗中进行搜索， 找到最佳匹配位置并计算偏差，将运动估计所得运动矢量进行编码传输，同时 对残差图象做d c t 变换，量化和v l c 编码。h 2 6 1 可达到p 6 4 k b i t s 的比特率， 其中p 取值为从1 到3 0 之间的整数，对应比特率从6 4 k b i t s 到1 9 2 m b i t s 。 应用于c d r o m ，数字录音带( d a t ) 、计算机硬盘和可擦写光盘等的标准 m p e g 一1 ，也只有帧内编码和帧问编码两种模式。与h 2 6 1 不同的是，在帧间编 码模式中引入了双向预测的运动估计方法。编码帧分为i 帧、p 帧、b 帧三类。 图象组层( g o p ) 由i 帧和基于i 帧的若干个p 帧和b 帧组成。i 帧与p 帧的编 码方法类似于h 2 6 1 中的帧内和基于前向运动估计的帧间模式，但对于b 帧图 象，则采用与其最近的前向i 帧( p 帧) 和与其最近的后向i 帧( p 帧) 进行双 向预测运动估计。且b 帧不作为运动估计预测的参考图象。m p e g 一1 的比特率不 超过1 5 m b i t s ，传输信道为i s d n 和l a n 等，在1 2m b i t s d 速率下可以得到 高质量的娱乐型视频图象。 m p e g 一2 是m p e g - 1 的扩展，它拥有m p e g - 1 的所有功能，但只规定语法而不 2 第1 章绪论 规定编码采用的具体方法，并在以下几个方面进行了扩展： 输入输出图象彩色分量之比可以是4 ：2 ：o ，4 ：2 ：2 ，4 ：4 ：4 ； 输入输出图象格式不限定； 既适合于m p e g - 1 那样的逐行扫描图象，也可适用于隔行扫描图象，因此在 混合编码部分扩充了以场为基础的运动补偿技术，并在编码过程中顺判决以场 还是以帧为基础进行d c t 。 在空间分辨率、时间分辨率 信噪比方面的可分级性适合于不同用途的解码 图象要求，并可给出传输上不同等级的优先性； 输出码流速率可以是恒定的也可以是变化的以适应同步或异步传输。 m p e g - 2 的传输比特率高于3m b i t s ，低于1 0m b i t s 。低于6 4k b i t s 的 视听业务编码标准h 2 6 3 主要编码方法和h 2 6 1 大体一致，但做了一些改进， 使其在低码率下有较高的图象编码质量。主要的改进措施有：采取了半象素运 动估计，提高预测精度；在霍夫曼编码中，用由( r u n ，l a s t ，l e v e l ) 组成的 三维v l c 代替了t t 2 6 1 中由( r n u ，l e v e l ) 组成的二维v l c ，提高了编码效率； 可选项“不受限运动矢量模式( u n r e s t r i c t e dm o t i o nv e c t o rm o d e ) 允许每 个宏块有四个运动矢量以及采用重叠块运动补偿，提高了运动预测的精度，减 少了方块效应；可选项“p b 帧模式( p b - f r a m e sm o d e ) 引入了m p e g 中的双向 预测技术，将p 帧和b 帧作为一个单元来编码，提高了编码效率；可选项“基 于句法和算术编码模式( s y n t a x b a s e da r i t h m e t i cc o d i n gm o d e ) 采用了算术 编码代替霍夫曼编码，在不影响图象质量的情况下减少了编码位率。 m p e g - 4 是1 9 9 8 年公布的最新视频编码标准。旨在建立一种能被窄带、宽带 网络、无线网络、多媒体数据库等存储传输设备所广泛支持的通用视音频数据 编码工具包。这些工具包可以在压缩效率、s n r 分层，空间分层，时间分层以及 错误的坚韧性等方面功能强大。与上述各种传统的编码方法不同的是，编码对 象是用自动或半自动方法分割出来有语义的物体，即编码可以是基于物体的编 码，因此，需要编码传输的信息有：形状信息、运动信息和纹理信息。 胛e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 已经联合开发了一个比早期研发的m p e g 和h 2 6 3 性能更好的视频压缩编码标 准，这就是被名为a v e ( a d v a n c e dv i d e oc o d i n g ) 的，也被称为i t u - th 2 6 4 建 议和m p e g - 4 的第1 0 部分的标准。简称h 2 6 4 a v c 或n 2 6 4 ，于2 0 0 3 3 正式被 i t u t 所通过并在国际上正式颁布。 第1 章绪论 1 2 2 视频对象分割算法 视频对象分割算法包括3 一d 分割、仅基于运动信息的分割、时空分割和联 合运动估计和分割。许多学者提出仅基于运动信息进行场景分割的方法 1 - 5 。 a d i v 曾提出了一种分层结构的三阶段算法。h s t t e r 6 和m u s m a n n 7 等提出了 目标在于面向对象的分析合成编码算法，其中每个区域的运动可由一组运动参 数表达，它们没有明确地估计运动场。此外，m u r r a y 和b u x t o n 提出了对观察0 使用估计流场的贝叶斯方法，3 一d 分割方法把视频序列看成是三维信号。通过 增加第三维时间轴扩展经典的2 一d 分割方法。h i n d s 和p a p p a s 把二维自适应算 法扩展到视频序列的分割算法中。s a l e m b i e r 和p a r d 6 s 提出了3 一d 视频信号形 态分割算法。s a l e m b i e r 提出另一种和上述类似的算法，不同之处是以逐帧分割 为基础。通过附加的投影步骤使先前帧的变形投影到当前帧上从而获得分割的 时域连续性和链接。 目前视频分割技术 8 1 5 大多是基于像素域的算法，像素域的视频分割技 术可以利用视频图像的灰度和颜色信息，采用灰度帧差的方法和区域分割的方 法分割。像素域分割分割精度高。 1 2 3 边缘检测和形状匹配算法 形状匹配是计算机视觉和模式识别的一个基本问题，它被应用到很多领域， 如目标识别、基于内容的图像检索、文字识别、医疗诊断等。所谓形状匹配就 是通过按一定的度量准则来衡量形状间的相似性。根据匹配方法处理形变的能 力可以将形状匹配方法分为两大类。一类只能处理各种变换引起的形状变化， 它们通过搜索在不同变换下的不变量来进行匹配，另一类方法可以处理更加复 杂的形变，它们通过寻找目标和模型之间局部特征的对应来使得匹配误差最 小。 h a u s d o r f f 距离 1 6 ，1 7 作为一种距离测度，常用于衡量两个二维点集之间 的相似程度。由于使用h a u s d o r f f 距离作为距离测度时无需考虑两个点集中的 点与点之间的对应关系，因此可以有效解决当图像中存在噪声和目标被部分遮 挡时的识别问题。 本文讨论一种基于h a u s d o r f f 距离的多分辨率匹配算法 1 8 ，利用 h a u s d o r f f 距离和多分辨率分解相结合的算法进行形状匹配，较大幅度地提高了 4 第1 章绪论 匹配的准确程度和算法的效率。 边缘检测是图像处理中的重要内容。边缘是图像的最基本特征。所谓边缘， 是指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。边缘与图像中物 体的边界有关但又是不同的。边缘反映的是图像灰度的不连续性。边缘在边界 检测、图像分割、模式识别、机器视觉等中有很重要的作用。边缘是边界检测 的重要基础，也是外形检测的基础。边缘广泛存在于物体与背景之间、物体与 物体之间，基元与基元之间，因此它也是图像分割所依赖的重要特征。边缘检测 对于物体的识别也是很重要的。 边缘检测的方法主要有以下几种： 第一种检测梯度的最大值。由于边缘发生在图像灰度值变化比较大的地方， 对应连续情形就是说是函数梯度较大的地方，所以研究比较好的求导算子就成 为一种思路。r o b e r t s 算子、p r e w i t t 算子和s o b e l 算子等就是比较简单而常用 的例子。还有一种比较直观的方法就是利用当前像素邻域中的一些像素值拟合 一个曲面，然后求这个连续曲面在当前像素处梯度。第二种是检测二阶导数的零 交叉点。这是因为缘处的梯度取得最大值( 正的或者负的) ，也就是灰度图像的拐 点是边缘。第三种，统计型方法。比如说利用假设检验来检测边缘。第四种， 小波多尺度边缘检测 1 9 。九十年代，随着小波分析的迅速发展，小波开始用于 边缘检测。作为研究非平稳信号的利器，小波在边缘检测方面具有得天独厚的优 势。 1 9 8 6 年c a n n y 2 0 总结了以往理论和实践的成果，提出边缘检测c a n n y 三准 则：好的检测结果，好的定位还有对单一边缘低重复响应，并给出了他们的数学 表达式。这是一个连续准则。利用这些准则的数学表达式，可以求出特定边缘的 最优线性滤波器，也可以对不同的算子的性能进行比较。 第2 章视频对象分割算法 第2 章视频对象分割算法 面对浩如烟海的视频信息，如何快速有效地找到所需内容? 迅速分离出视频对象是快速检索的第一步。 由于本文分析的对象为城市交通监控视频流，搜索的目标均为车辆，该目 标具有快速运动的特征，因此提出了一种特定的对象分割方法，该算法利用了 压缩域中的对象运动矢量，同时提出了新的连通区域标注算法。 2 1 算法简介 本算法首先在一个视频流的解码播放软件内实现，将运动检测模块内嵌在 视频流解码中，从中截取到的宏块运动矢量作为以后分割的输入信息，快速处 理后这些数据仍留给后续的解码步骤，具体如下： 按层次复解控制信息，视频流在输入缓冲区中聚集起来，当达到一定的充满度 之后，解码器开始启动。解码器按照视频序列、图像组、图像、片、宏块、块 的层次，自顶向下依次解码，每一层都有相应的开始标记和控制信息。解码器 寻找到第一个序列头的开始标记s e q u e n c eh e a d e rc o d e ，紧跟其后的比特位是图 像的宽度( 1 2 b i t s ) ，高度( 1 2 b i t s ) ，高宽之比( 4 b i t s ) ，帧率( 帧秒，4 b i t s ) ，图像传 输比特率( 比特秒，18 b i t s ) ，解码缓冲区的大t j , ( 10 b i t s ) 等初始化信息，它们都有 规定的比特位数和语法说明，如此向下复解到块层。 可变长度字解码v l d ，对宏块寻址、宏块类型、宏块图案、宏块运动矢量、块 d c t 系数等进行统计，制定了相应的可变长编码统计表，编、解码双方都有这 些统计表。当一串二进制比特流接收到时，预先并不知道其可以分割为几部分， 每部分有多少比特位。在表项比较少的情况下，用遍历方法查阅相关统计表可 较快地解码，但是有些统计表表项较多，例如块d c t 系数可变长编码统计表有 几百项。其次是z 型定位和反量化，这一步是在块层次上执行。将顺序接收的 量化d c t 系数按z 型次序放入到每个块中，同时乘以量化尺度，完成反量化。 在同一帧图像中，量化尺度也并非不变。 逆离散余弦变换i d c t ，这一步是在块层上实现频域到空间域的变换。逆离散余 6 第2 章视频对象分割算法 弦变换i d c t ( i n v e r s ed i s c r e t ec o s i n et r a n s f o r m a t i o n ) 的计算量大，是解码中最耗费 处理时间的环节。 运动缓存和补偿，运动补偿是运动估计的逆过程，p 帧参考过去时间图像，为前 向运动补偿；b 帧参考过去和将来图像，为插值补偿，但也允许单向参考，分别 为前向运动补偿和后向运动补偿。 1 ) 本文算法仅利用i 和p 帧进行视频对象分割和检索，所以上述各部分算 法进行了跳过b 帧的运算。首先开辟两个存储区，分别保留已解码的过 去或将来的i 、p 图像作为参考，然后以宏块运动矢量找到参考图像中 的预测宏块值，并加上可能存在的匹配误差，恢复当前宏块初始值。并 且在这一步将解码的宏块运动矢量进行缓存作为分割之用。具体实现函 数如下： v o i dd e c ：c a l _ _ m v ( i n tm v x ，i n tm v y , i n tb x ，i n tb y ) ( i n ti ，j ，w i d t h ； i = i n t ( b y 1 6 ) ；水平方向宏块序号 j = i n t ( b x 16 ) ；垂直方向宏块序号 m v _ s r c i j = f l o a t ( m v x ) ；水平方向宏块运动矢量缓存 m v _ s r c l i j = f l o a t ( m v y ) 垂直方向宏块运动矢量缓存) 当所有的信息都获得以后，我们开始对所解码出来的视频序列进行运动对象区 域的分割并迸一步进行对象的检索。在运动对象区域的分割中我们采用背景恢 复和运动区域连通算法，在检索算法中使用模板匹配算法。最后进行编码顺序 到显示顺序转换，并显示输出。 2 2 背景恢复 在进行对象分割的时候，我们首先对视频序列进行预处理，即进行背景恢复， 背景恢复算法首先保证相邻两帧可能是运动的对象尽可能被滤除，得到静止不 第2 章视频对象分割算法 变的部分，并将可靠的静止部分拷贝到背景缓存中去。具体算法如下：将解码 输出的y u v 序列进行处理，首先转换成r g b 序列，对于相邻的两帧分别求r 、 g 、b 的帧差，并利用自适应门限进行二值化，值为“1 ”的说明该像素点发生 了变化，值为“0 ”的点表明没有发生变化。无变化的像素帧差满足正态分布： p ( f dh o ) = 去脚( 等) 其中：f d 是帧差，仃为帧差的方差，h 0 表示当前像素没有运动的假设情况。二 值化门限由下式确定： 口= p ( if df 掰f 凰) 其中a 是显著性水平，t h 是二值化门限。由于采用r 、g 、b 空间进行背景检测， 如果像素的灰度和色度任何分量发生变化，则该像素被认为是运动像素，这种 检测算法的优点是最大限度地去处运动像素而保留静止的背景像素。在三个帧 差分量中，如果一个帧差的分量取值为“1 ”，则认为对应的该点像素发生了变 化。 利用上述算法计算出静止与运动点之后，对每一点像素进行连续不变帧数计数， 如果计数超过一定的值，则认为该点为背景帧，并用连续不变的所有帧中的像 素值的平均值作为背景帧。 得到背景帧之后，用解码出来的每一帧与背景帧相减得到一个运动对象区域， 该区域作为后继算法的输入。 2 3 运动区域连通算法 一般地，刚体目标在空间位置上是聚集在一起的。因此在得到i 、p 帧的m v 后， 把其中连通的宏块都归并为一个区域。本文提出一种新的连通算法进行宏块归 并。具体的做法是先对宏块做标记再合并。以自上至下、从左到右的顺序扫描 宏块，对任一一个判断为异背景的宏块a ，其上侧和左侧宏块是已经扫描标记过 的宏块，对a 加标记的方法将由左侧宏块和上侧宏块确定，分为三种情况： 两个相邻宏块皆属于背景，当前宏块a 加新标记； 两个宏块仅有一个标记过的异背景宏块，a 与其同标记； 两个宏块皆为标记好的异背景宏块，a 与左侧宏块同标记。 第2 章视频对象分割算法 如图1 - 1 所示，第一幅图a 表示异背景宏块，0 表示背景宏块。在第一遍 扫描完后，所有的a 宏块都加上了数字标记，第二幅图有5 个标记。由于一 个物体可能有多个标记，进行第二遍扫描，将连通的标记区域合并，第三幅图 只存在3 个独立的区域了。通过区域的合并可屏蔽离散的干扰噪声，即删去那 些宏块数目少、孤立的区域。 图2 - 1 运动区域连通 上述算法是基于宏块的运算，为了细化结果，我们在实际的系统中的算法是基 于4 * 4 子块的。由于原理相同，这里就不再赘述。 以下是连通区域标注算法的部分实现代码。 v o i dm p e g d e c ：c a l _ s i m ( i n tm v x ，i mm v y , i n tb x ，i n tb y ) l i i l tf l a g = l ，i ，d c s u m = o ，d c f l a g = 1 ； m v b 木m v o b j , * p o i n t e r , 枣p o i n t e r z , * p o i n t e r l , * p o i n t e r 2 , * p o i n t e r j , * p o i n t e r 3 , * p x m a x l , * p y m a x l , * p x m a x 2 , * p y m a x 2 , * p x m i n l , * p y m i n l , * p x m i n 2 , * p y m i n 2 ； d o u b l ea n g l l ； i n tc n d x ，c n d y , j ，k ，o b j _ n u m1 ； m v _ o b j = ( m v b _ o b j ) m a l l o c ( s i z e o f ( m v b ) ) ； p o i n t e r = p o i n t e r l = p o i n t e r 2 = p o i n t e r 3 = p o i n t e r j = p x m a x l = p y m a x l = p x m a x 2 = p y m a x 2 = p x m i n1 = p y m i n1 = p x m i n 2 = p y m i n 2 = n u l l ； 9 第2 章视频对象分割算法 m v o b j 一 m v x = m v x ； m v o b j - m v y = m v y ； m vo b j 一 b y = b y ； m v _ _ o b j - x m i n = b x ； m v _ _ o b j 一 y m i n 2 b y ； m v _ o b j 一 x m a x 5 b x ； m v o b j 一 y m a x = b y ； m v o b j 一 a n g l e = 0 ： m v o b j - n e x t = n u l l ； m vo b j n u m _ m b = 0 ： i f ( ( o b j _ n u m ) ：o ) 0 | 2 m v _ o b j 一 x m a x = b x ； m v _ o b j 一 y m a x = b y ； m v _ o b j 一 x m i n = b x ； m v o b j - y m i n = b y ； m v _ o b j - n u m _ m b = l ； o b j _ _ p o - - r n v _ o b j ； ( o b j p u m ) + + ； 2 e l s e | 3 f o r ( i = 0 ；i b x p o i n t e r - b x = = 4 ) & & ( m v _ o b j 一 b y - p o i n t e r - b y = = o ) ) n e f t | 6 p o i n t e r 2 = o b j _ p i ； p o i n t e r j = p o i n t e r ； 第2 章视频对象分割算法 6 e l s ei f ( ( m v _ o b j - - b y - p o i n t e r - b y = = 4 ) & & ( m v _ o b j - - b x - p o i n t e r - b x - - = 0 ) ) d o w n 0 n p o i n t e r 3 = o b j _ p i ； p o i n t e r j = p o i n t e r ； 7 p o i n t e r = p o i n t e r - n e x t ； i f ( p o i n t e r 21 = n u l l l l p o i n t e r 31 = n u l l ) b r e a k ； 、淌 w h i l e ( p o i n t e r ! = n u l l ) ； 、| 4 i f ( p o i n t e r 21 = n u l l & & p o i n t e r 3 - - = n u l l ) p o i n t e r z = p o i n t e r 2 ； e l s ei f ( p o i n t e r 31 = n u l l & & p o i n t e r 2 = = n u l l ) p o i n t e r z = p o i n t e r 3 ； e l s ei f ( p o i n t e r 31 = n u l l & & p o i n t e r 21 = n u l l & & p o i n t e r 3 = = p o i n t e r 2 ) p o i n t e r z = p o i n t e r 2 ； e l s ei f ( p o i n t e r 31 = n u l l & & p o i n t e r 2 1 = n u l l & & p o i n t e r 31 = p o i n t e r 2 ) p o i n t e r z = p o i n t e r 2 ； i f ( ( p o i n t e r 21 = n u l l & & p o i n t e r 3 = = n u l l ) l l ( p o i n t e r 31 = n u l l & & p o i n t e r 2 = - n u l l ) l l ( p o i n t e r 31 = n u l l & & p o i n t e r 21 = n u l l ) ) 8 p o i n t e r = p o i n t e r z ； l l 旧 d o 1 0 i f ( p o i n t e r - x m a x b 心 h 1 i p o i n t e r - x m a x = m v _ o b j 一 b x ： 1 1 第2 章视频对象分割算法 i f ( p o i n t e r - x m i n m v _ o b j 一 b x ) 1 2 1 1 2 1 3 p o i n t e r - x m i n = m v _ o b j - b x ： i f ( p o i n t e r - y m a x b y ) p o i m e r - y m a x = m v _ o b j 一 b y ； ) 1 3 i f ( p o i n t e r - y m i n m v _ o b j 一 b y ) 1 4 p o i n t e r - y m i n - - - m v _ o b j - b y ； ) 1 4 ) 1 0 p o i n t e r l = p o i m e r z 一 n e x t ； p o i n t e r z 一 n e x t = m v o b j ； m v _ o b j 一 n e x t = p o i n t e r l ； ( p o i n t e r z 一 n u 玎 1 j n b ) + + ； f l a g = o ； i f ( p o i n t e r 21 = n u l l & & p o i n t e r 31 = n u l l & & p o i n t e r 21 = p o i n t e r 3 ) p o i n t e r = p o i n t e r 3 ； i f ( p o i n t e r - x m a x x m a x ) p o i n t e r - x m a x = p o i n t e r 2 一 x m a x ； 1 1 i f ( p o i n t e r - x m i n p o i n t e r 2 x m i n ) 1 2 第2 章视频对象分割算法 p o i n t e r - x m i n = p o i n t e r 2 一 x m i n ； 1 2 i f ( p o i n t e r - y m a x y m a x ) 1 3 p o i n t e r - y m a x = p o i n t e r 2 一 y m a x ； 1 3 i f ( p o i n t e r - y m i n p o i n t e r 2 一 y m i n ) 1 4 p o i n t e r - y m i n = p o i n t e r 2 - y m i n ； ) 1 4 w h i l e ( p o i n t e r ! = n u l l ) p o i n t e r l = p o i n t e r ； p o i n t e r = p o i n t e r - n e x t ； ) 1 7 p o i n t e r l 一 n e x t = p o i n t e r 2 ； p o i n t e r l - - n u m _ m b = + p o i n t e r 2 - - n u m _ m b ； f o 响= 0 j y m a x = b y ； m v _ o b j - x m i n 2 b x ； m vo b j 一 y m i n = b y ； m vo b j n u m _ m b = 1 ； o b j _ p o b j _ n u m = m v _ o b j ； ( o b j n 啪) + + ； 、 l 1 v o i dm p e g d e c ：c a l _ m v ( i n tm v x ，i n tm v y , i n tb x ，i n tb y ) i n ti , j w i d t h ； w i d t h = i n t ( c o d e d _ p i c t u r e _ w i d t h 16 ) ； i = i n t ( b y l6 ) ； j = i n t ( b x 16 ) ； m v _ s r c i j = = f l o a t ( m v x ) ； ) 接着进行运动和非背景块的区域连通算法，即将检测出来的背景和每一帧进行 相减，按照阈值确定前景区域以后，用这些前景块对上述运动连通区域进行修 正得到运动对象区域。 上述运动对象区域与背景帧相减得到一个运动对象区域的并集作为运动对象边 缘提取的区域。 1 4 第2 章视频对象分割算法 由于噪声的影响和算法本身是基于4 * 4 块的( 为了加快计算速度) ，上述算法在 运动对象的边界区域不能很好地精确到像素点的分割，但对于进一步的对象检 索，提供了一个准确的运动对象的矩形框，我们仅对矩形框中的图象进行边缘提 取，所用的算法是c a n n y 边缘提取算法，提取出来的对象边缘作为下一步对象 跟踪和对象检索的输入。 2 4 实验结果 图表示利用运动对象连通区域标记和背景信息进行语义对象分割的结果。由结 果可以看出分割是比较准确的，进一步进行边缘提取可以进行对象检索。 晕， i j 。i 。il h1 r 1o 图2 - 2 分割结果 第3 章视频对象检索算法 第3 章视频对象检索算法 为了实现视频对象检索，在视频流中分离出视频对象后，下一步就是对视 觉内容进行分析和特征提取，使人们可以快速搜索符合某些特征的内容片段。 常用的方法是基于内容的视频分段。基于内容的视频检索包括视频结构分 析、视频数据自动索引和视频聚类等一系列技术。视频结构分析通过镜头边界 检测，把视频分割成基本的组成单元。视频数据自动索引包括关键帧的选取、 静止特征和运动特征的提取。视频聚类就是根据这些特征进行的，常用视频视 觉特征有颜色、纹理、形状、空间关系以及运动信息等。 本文提出了一种实时对象检索算法，利用h a u s d o r f f 距离进行对象匹配，提 出了新的后向匹配算法，主要解决实时性的问题。 3 1c a n n y 准则及c a n n y 算法 1 9 8 6 年j o h nc a n n y 在i e e e 上发表了划时代意义的文章a c o m p u t a t i o n a la p p r o a c ht oe d g ed e t e c t i o n 。这篇文章承前启后，作者对 过去的一些方法和应用做了小结，在此基础上提出了边缘检测的三条准则一一 这就是著名的c a n n y 准则( c a n n y sc r i t e r i a ) ，并在此基础上得到了一个很不 错的实用算法。 c a n n y 准则的目的就在于：在对信号和滤波器做出一定假设的条件下利用 数值计算方法求出最优滤波器并对各种滤波器的性能进行比较。 3 1 1c a n n y 连续准则 c a n n y 考察了以往的边缘检测算子和边缘检测的应用，他发现尽管这些应 用出现在不同的领域，但是他们都有一些共同的要求： a 信噪比准则( g o o dd e t e c ti o n ) 好的检测结果，或者说对边缘的错误检测率要尽可能低：就是在图像上边 缘出现的地方检测结果中不应该没有；另一方面也不要出现虚假的边缘。这是 显然的，所有使用边缘检测做更深入工作的系统，它的性能都依赖于边缘检测 1 6 第3 章视频对象检索算法 的误差； b 定位精度准则( g o o dl o c a liz a tio n ) 对边缘的定位要准确：也就是我们标记出的边缘位置要和图像上真正边缘 的中心位置充分接近；在实践中我们发现仅仅满足这两条的算子并不好，有的 算子会对一个边缘产生多个响应。也就是说图像上本来只有一个边缘点的，可 是检测出来就会出现多个边缘点。 c 单边缘响应准则( l o w r e s p o n s e s ) 对同一边缘要有低的响应次数。 这就是c a n n y 三准则。事实上，在c a n n y 之前就有人提