（通信与信息系统专业论文）基于压缩域的运动目标检测与跟踪算法研究.pdf

论文题目：基于压缩域的运动目标检测与跟踪算法研究 学科专业：通信与信息系统 学位申请人：王敬 指导教师姓名：王沛 论文类型：应用研究 摘要 对于视频运动对象的检测与跟踪一直以来是计算机视觉领域的研究热点和难点，其 目的在于检测和分割人们感兴趣的运动对象，并随着视频序列进行跟踪处理。该技术被广 泛应用于视频检索、智能监控以及模式识别等相关领域。 大多数运动目标检测与跟踪技术是在像素域对其进行研究的，然而，一方面像素域 信息量大，需要处理海量的信息，无法满足对于实时性的要求；另一方面，随着多媒体技 术的日新月异和视频压缩标准的迅速发展，视频信息一般以压缩的形式存储与传输，因此 对于压缩域的运动目标进行检测跟踪的研究具有理论需求与实际意义。 在压缩域进行运动目标的检测与跟踪只需要部分解压视频码流，相比于完全解压视 频来说其耗时要少的多。另外，压缩域中主要以块作为单位信息，其信息量远少于像素域 的像素信息，因此也潜在减少了处理视频信息的巨大运算开销。 本文主要研究基于h 2 6 4 编解码标准的压缩域运动目标检测、分割以及跟踪算法。首 先提出一种基于阈值的压缩域目标检测方法。通过研究h 2 6 4 压缩域的码流信息，在部分 解码的情况下提取压缩域下的运动矢量信息，并对运动矢量场进行预处理，再根据运动矢 量区域块时域相关性这一特性进行基于阈值的运动目标检测，应用于背景静止的视频序 列。 其次，本文提出了一种基于粒子群聚类的压缩域目标分割方法，本文将聚类的思想 引入压缩域运动目标分割中来，利用改进的粒子群k 均值聚类算法对h 2 6 4 压缩域预处 理后的运动矢量进行聚类，并使用压缩域中宏块层信息对噪声进行处理。该算法不但适用 于背景静止的视频序列，也可分割背景运动的视频运动对象。 最后，本文提出一种基于压缩域的运动目标跟踪方法，以运动矢量的方向角特征作 为系统观测量，通过粒子滤波估计算法对目标的状态进行估计求解，得到最终的跟踪结果。 该算法受噪声影响较小，但对于目标的运动方向的突变较敏感。 关键词：h 2 6 4 压缩域运动矢量粒子群聚类粒子滤波 i l t i t l e ：r e s e a r c ho nm o v i n go b j e c td e t e c t i o na n dt r a c k i n gi nc o m p r e s s e dd o m a i n m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s d e g r e ea p p l i c a n t ：w a n gj i n g t u t o r ：w a n gp e i p a p e rt y p e ：a p p l i e dr e s e a r c h a b s t r a c t i ti sa l w a y sd i f f i c u l tt od e t e c ta n dt r a c km o v i n go b j e c t si nv i d e o sa n dt h u sm a k i n g i tah o t s p o t t h ep u r p o s ei st od e t e c ta n ds e g m e n tt h em o v i n go b j e c t sw h i c hp e o p l ea r ei n t e r e s t e d i n t h i st e c h n i q u ei sw i d e l yu s e di nv i d e oi n d e x i n g ，i n t e l l i g e n tm o n i t o r i n ga n dp a t t e r nr e c o g n i t i o n t h em 旬o r i wr e s e a r c h e so fm o v i n go b j e c td e t e c t i o na n dt r a c k i n ga r ea p p l i e di np i x e l d o m a i n h o w e v e r , t h e r ei sg r e a ta m o u n to fi n f o r m a t i o ni np i x e ld o m a i n ，u n a b l et om e e tt h e r e q u i r e m e n t sf o rr e a l t i m eu s a g e o nt h eo t h e rh a n d ，w i t ht h er a p i dd e v e l o p m e n to f m u l t i m e d i a t e c h n 0 1 0 9 ya n dt h a to fv i d e oc o m p r e s s i o ns t a n d a r d ，v i d e oi sg e n e r a l l ys t o r e do rt r a n s m i t t e di n t h ec o m p r e s s e dd o m a i n s or e s e a r c ho nm o v i n go b j e c td e t e c t i o na n dt r a c k i n gi nc o m p r e s s e d d o m a i ni so fg r e a ti m p o r t a n c e i nc o m p r e s s e dd o m a i ni to n l yr e q u i r e sp a r t i a ld e c o m p r e s s i o nf o rm o v i n go b j e c td e t e c t i o n a n dt r a c k i n g c o m p a r e dt oc o m p l e t e l yd e c o m p r e s s i o n ，i tt a k e s l e s st i m e i na d d i t i o n ，i n c o m p r e s s e dd o m a i nw eu s u a l l yr e g a r da b l o c ka sau n i t ，w h i l et h en u m b e ro fp i x e l si nv i d e o si s m u c hn l o r et h a nt h a t w h i c hm a k e si tm u c hf a s t e rt op r o c e s si n f o r m a t i o ni nc o m p r e s s e da r e a t h i sp a p e rm a i n l yr e s e a r c h e so nm o v i n go b j e c td e t e c t i o n ，s e g m e n t a t i o na n dt r a c k i n g a l g o r i t h mi nh 2 6 4c o m p r e s s e dd o m a i n f i r s t o fa l l ，am e t h o do ft h r e s h o l d - b a s e do b j e c t d e t e c t i o ni sp r o p o s e di nc o m p r e s s e dd o m a i n a f t e rs t u d y i n gt h ec o d e ci n f o r m a t i o n o fh 2 6 4 ，w e g e tt l l em o t i o nv e c t o r s ，w h i c ha r e e x t r a c t e dw h e ni ti s o n l yi n c o m p l e t e l yd e c o d e d t h e n p r e t r e a t m e n ti sa p p l i e df o rm o t i o nv e c t o r sa n dm o v i n go b j e c t s a r ed e t e c t e da c c o r d i n gt o t e m p o r a lc o r r e l a t i o n ，w h i c hi sb a s e do n t h r e s h o l da n ds t a t i cv i d e os e q u e n c e s s e c o n d l y , t h i sp a p e rp r e s e n t sam o v i n go b j e c ts e g m e n t a t i o nm e t h o db a s e do np a r t i c l e s ，a n nc l u s t e r i n ga l g o r i t h m ，a p p l y i n gi m p r o v e dk - p s oc l u s t e r i n ga l g o r i t h mt oc l a s s i f yt h e m o t i o nv e c t o r sa f t e rp r e t r e a t m e n t t h e ni n f o r m a t i o ni nm a c r ob l o c kl a y e ri s i n t r o d u c e dt o d i f f e r e n t i a t et h en o i s ea n dm o v i n gp a r t f i n a l l y , am e t h o do nm o v i n go b j e c tt r a c k i n gi sp r o p o s e di nc o m p r e s s e dd o m a i n i tr e g a r d s d i r e c t i o na n 9 1 eo fm o t i o nv e c t o r sa ss y s t e mm e a s u r e m e n la p p l y i n gp a r t i c l e f i l t e rt ot h e i b u ti ss e n s i t i v et ot h em o v m gd i r e c t i o no fd e t e c t e do b j e c t k e yw o r d s ：h 2 6 4c o m p r e s s e dd o m a i n ，m o t i o nv e c t o r , p a r t i c l es w a r m ，p a r t i c l ef i l t e r i v 上海师范大学硕士学位论文 第一章绪论 1 1 课题背景及意义 第一章绪论 多年以来，对于运动目标检测跟踪的技术研究是计算机视觉领域研究的热点以及难 点。根据对视频流中的运动目标的处理，主要可用作后续的智能监控、视频检索、模式识 别等目的。一般来说，运动目标检测与跟踪的低层次定义是指按照视频目标对象划分所包 含的一些相同的属性( 比如目标的形状、运动、色彩等) ，从视频序列中提取人们感兴趣 的或具有特别含义的运动物体。但是事实上，人们不仅对低层次中相似的特征感兴趣，而 更趋向于高层的对象语义。人眼比较容易辨别出在某一视频序列中的一个语义对象，但计 算机却很难做到，因为计算机难以用一些低层特征来准确的描述一个具体对象，例如动物， 汽车和人。这就对目标提取的可靠性和精确性带来困难和挑战。 基于运动图像的目标处理技术早期一般在像素域进行。虽然像素域中具有丰富的可提 取的信息，其结果可较为准确地获得，但是在像素域的处理方法算法复杂度高，消耗时间 长，存储空间大。而且随着网络技术的迅速发展，人们对于信息传输的实时与高效的需求 日益增加，而大部分的视频数据信息都以压缩域的方式储存与传输的，因此基于像素域视 频处理方法的弊端尽显无疑，从而使得压缩域视频处理方法的研究拥有了巨大的理论研究 需求和实际意义。 为了满足人们对于视频数据压缩的需求，出现了各种视频编解码标准。其中h 2 6 4 作为新一代视频压缩标准，正受到越来越多的关注与应用。h 2 6 4 采用了多种新技术，如 多参考帧运动估计、多宏块分割模式运动估计、最佳编码模式等。这些技术在提高视频质 量的同时，也为视频处理开辟了许多新的研究课题。就运动目标的检测与跟踪而言，利用 h 2 6 4 压缩域标准，可提取其压缩域的信息，如帧间编码运动估计中产生的运动矢量信息， 而提取这些信息仅需对压缩域的视频进行部分解码，与完全解码相比时间耗费可以忽略不 计，由此很大程度上提高了算法的运行效率。 本文利用了h 2 6 4 压缩域的码流特征，通过对h 2 6 4 视频码流进行部分解码，并提取 出压缩域视频特征信息，实现了基于压缩域的运动目标检测和跟踪。 第一章绪论 上海师范大学硕士学位论文 1 2 运动目标检测与跟踪概述 1 2 1 运动目标检测与分割 运动目标检测与分割是指：把单个或者多个运动目标根据视频中对象的特征属性，从 背景中提取出来。 伴随着视频编解码技术的迅速发展，压缩域运动对象的检测和分割技术成为图像视频 领域研究的热点。大多数学者主要以压缩域中提取的运动矢量m v 以及离散余弦变换， 即d c t 系数来对压缩域视频进行检测与分割。其中运动矢量反映了视频图像的运动信息， 而d c t 系数则表示了视频序列的纹理信息，两者都可以从压缩域视频流中经过对码流的 部分解析获得。压缩域运动目标检测分割算法一般分为如下3 类： 第一，使用压缩域视频流中的运动矢量信息对运动对象进行处理，称作基于运动的处 理方法；第二，使用压缩域中重新建立的d c 图和a c 图对运动目标进行检测，因此叫做 基于纹理的处理方法；第三，把如上两种方法结合起来，使用运动矢量与d c t 系数相辅 相成的联合检测方法。 基于压缩域的运动目标检测分割技术，早期的研究主要集中在m p e g 2 压缩标准上。 s u k m a r g e 1 】等人把时间上的运动矢量和空间上的d c t 系数结合，通过最大失真熵模型的 构建，获得相似的运动区域。y e o 2 】首先从压缩域视频序列中提取d c 图像，且对压缩域 视频进行检索与分割。b e n z o u g a r 3 】则将马尔科夫随机场引入压缩域运动对象分割。 基于h 2 6 4 编解码标准的检测分割方法起初基本是参考原有的m p e g 2 压缩标准来 处理的。但近年来提出了许多新方法，比如文献【4 】利用m e a n s h i i t 算法，在空间和时间 上分别根据运动矢量以及压缩域宏块层信息，对运动对象进行分割。文献 5 】运用马尔科 夫随机场对运动物体进行检测分割。该方法有效利用了时域的运动矢量信息和空域的 d c t 系数信息，是一种联合检测方法。文献 6 】通过k 邻域算法获得初步的运动区域，再 根据运动矢量与宏块层信息用后滤波算法去除噪声与背景。文献【7 】利用基于块的最大似 然估计( e m ) 方法对运动矢量场进行聚类，从而分割出运动目标。文献【8 】利用了蚁群聚 类的算法对运动目标进行检测。 1 2 2 运动目标跟踪 一般而言，运动目标跟踪是指对视频图像处理分析后，提取人们所感兴趣的运动对象 部分，通过估计对象的位置，大小和移动速度等参数指标，从而得到该运动对象的实时信 息。但由于运动物体在移动过程中容易受到外界的干扰，例如遇到复杂变化的背景，摄像 2 上海师范大学硕士学位论文第一章绪论 机的快速移动，目标被遮挡与重现的情况等，因此优秀的跟踪算法必须具备以下几个特性： 实时性，准确性和鲁棒性。实时性的要求具体表现在目标跟踪运用的场合一般是实时监控 中，使用者需要立即获得目标状态，或者进行后续分析。准确性指运动对象的跟踪效果需 要达到一定的精确条件，按不同的场合给予不同的指标要求，比如极端的情况下需要跟踪 目标的精确位置，甚至于运动姿态。鲁棒性顾名思义就是要求抗干扰能力强，主要指在运 动目标被遮挡和重新出现时要仍然能够跟踪到目标，且对周围噪声的敏感程度越小越好。 由于运动目标跟踪算法相比检测算法对于特征信息具有更大的依赖性，因此在压缩域 进行运动目标跟踪的难度有所增加。许多学者在压缩域进行繁琐的解码过程，以消耗一定 的实时性为代价提取部分颜色信息，结合运动矢量信息一起来对目标进行跟踪。比如文献 【9 】 10 】均采用部分解码的信息和运动矢量为特征进行运动对象跟踪。 近两年，有学者为提高算法效率，在压缩域中仅利用运动矢量信息对运动目标进行跟 踪。文献【l l 】以运动矢量为特征的跟踪方法，比起像素域运行速度显著提高。 1 3 压缩域处理方法优势与难点 随着互联网行业的发展和人们对于高清晰度视频的需求增大，视频处理迎来了机遇 与挑战。而视频图像信息一般以压缩的形式进行传输、储存，对于数据量庞大的数据信息 而言，其一要通过编码尽可能将其压缩，另外还需要利用压缩域的数据来直接进行处理和 分析。因此，对于视频图像压缩方法的研究除了要考虑高压缩比之外，还需要对压缩域下 数据分析提供支持。 视频的处理方法最开始集中在像素域，是将压缩域的数据完全解压之后才进行的， 额外增加了运行的时间。然而，压缩域视频处理方法则减少了大部分解码环节，直接利用 压缩域信息对视频序列进行处理，因此需处理的信息远少于同等条件下像素域的数据。 压缩域处理方法具有以下优势： 1 省去了大量的解码时间，增加了总体处理的速度，提高了算法的实时性。 2 压缩域下处理的信息量减少，对于数据量巨大的视频信息处理尤为重要。 3 在视频图像处理领域中，以压缩数据作为主要的存储和传输格式更加普遍。 综上所述，压缩域数据处理方法相比传统像素域具有巨大的优势。当然，由于正处于 研究阶段，因此还有很多难点要克服： 1 理论上还需要有更多的研究，因为许多压缩域处理方法始终还是从像素域中借鉴 而来的。 2 处理效率的提高必然带来处理精度的降低，因为压缩域处理是以块信息为基础的， 因此精度也因此受到了制约。 第一章绪论 上海师范大学硕士学位论文 3 信息块中所蕴含的运动矢量、d c t 信息等比起原始的信息往往显得信息量不足。 以上是压缩域处理方法的难点，不过即使如此，压缩域视频处理技术也有广泛的应 用价值。 1 4 研究内容与章节安排 本文以h 2 6 4 压缩域编解码标准为研究平台，主要研究h 2 6 4 压缩域下的运动目标检 测，分割以及跟踪。具体研究内容如下： 1 对h 2 6 4 视频编码标准进行了研究，深入分析其码流结构，从中提取出能表示运 动目标运动信息的矢量特征以及宏块层信息，并对运动矢量场进行预处理，得到与运动目 标真实运动最为相似的运动矢量场。 2 提出基于压缩域的运动目标检测和分割算法，分别利用阈值处理的方法和聚类的 思想方法对运动目标进行检测与分割。 3 提出基于压缩域的运动目标跟踪算法，使用粒子滤波算法对运动目标进行实时有 效的跟踪。 本文的章节安排如下： 第一章介绍了课题背景及意义，概括了压缩域运动目标检测，分割及跟踪的一般方 法，分析简述了国内外学者在该领域的研究现状，指出压缩域处理方法的优势，以及技术 难点。 第二章对视频编码进行了概述，讨论了h 2 6 4 压缩标准的编解码框架，着重分析了运 动矢量的产生原理。 第三章提出了基于阈值的运动目标检测方法，首先对从h 2 6 4 压缩域中提出的运动矢 量场进行预处理，再根据运动矢量区域块时域相关性这一特性进行基于阈值的目标检测。 第四章提出了基于粒子群聚类的运动目标分割方法，使用改进的p s o k 算法，通过 聚类的思想实现对压缩域的运动目标分割。 第五章提出了基于粒子滤波的运动目标跟踪方法，对压缩域下的运动目标进行实时 有效的跟踪。 第六章，对整篇论文的研究成果进行总结，并对今后的研究方向进行了展望，提出 了需要改进的地方。 4 占塑堕堕奎堂硕士学位论文 第二章h 2 6 4 编解码基本框架 第二章h 2 6 4 编解码基本框架 2 1 视频编码概述 当今社会，随着多媒体技术的迅速发展，对于信息的传递和使用的要求也呈现了多样 性，且实现的形式也趋于丰富。像电话、传真和电视等普通的媒体服务已不能满足人们对 于物质生活的需求；相反，人们普遍希望信息技术的发展能给他们的生活带来更大的便利， 比如视频会议与实时监控，这些都要求通过对视频图像和声音的多媒体处理来进行实时的 沟通。作为多媒体信息处理技术的主要组成之一，视频由于生动、直观和高效的特点被人 们广泛的关注。统计结果表明，大约7 0 的人类感官器所接受的信息来自于视觉。因此 视频处理技术得到了巨大的发展空间。 然而，视频传输与储存所遇到的最大的困难之一是其庞大的数据量，虽然可以通过增 大信道带宽和硬盘容量一定程度上解决一些问题，但对于大量的原始视频数据来说处理速 度还远远不能达到实用的要求。因此为了降低视频传送存储的成本，有效利用通信带宽， 一般采用数字编码技术对视频序列进行压缩。 压缩技术的核心思想是通过去除信息之间的冗余和重复来进行的，视频压缩同样是通 过消除各种数据间存在的相关性，保留相互独立的信息部分，而实现对视频序列的压缩。 视频中存在的信息冗余一般包括如下三类： 1 视觉冗余 人类视觉系统对于视频图像的任何变化，并不是都能感知的，因为人类的视觉系统对 于视频图像的感觉是非均匀和非线性的。一般而言，人眼对于视频图像的亮度要比其色度 更加敏感，因此通过降低色度的采样频率，针对不同信号量选择相应的量化步长，消减对 于人类视觉来说不敏感的色度信号，能有效提高压缩比，同时保证人眼对视频质量的变化 无法察觉。 2 统计冗余 统计冗余有两种，分别包括时间冗余和空间冗余，他们与视频的统计特性有关，因此 称作统计冗余。时间冗余表示了前后两帧视频序列之间的相关性。一般而言，视频的当前 帧与其前后两帧或多帧具有相同或相似的背景与目标，尤其在视频对象变化平缓的情况 下，前后两视频图像具有很强的时间相关性。在压缩编码技术中通常采用帧间预测来去除 视频的时间冗余。空间冗余则表示在同一帧的视频图像中相邻像素之间一般具有较强的空 间相关性，通过对已知的像素预测帧内相邻像素的方法叫做帧内预测。帧间预测与帧内预 5 第二章h 2 6 4 编解码基本框架 上海师范大学硕士学位论文 测是去除视频序列统计冗余的有效方法。 3 编码冗余 编码冗余通常也叫做信息熵冗余。根据信息论可知，数据压缩的理论极限是信息熵， 将信息不失真地完全保留下来而使之逼近信息熵的信息保持编码方式叫熵编码。它是根据 消息出现概率的分布特性而进行的，是一种无损压缩编码。而视频图像由许多像素点组成， 每一个像素表示一个信息符号，所以可以使用熵编码技术来去除视频图像的编码冗余。哈 弗曼编码与算术编码都属于熵编码技术。 2 2h 2 6 4 ，a v c 编解码框架 i s o i e c 的活动图像专家组和i t u t 的视频编码专家组( v c e g ) 共同成立了联合视 频小组( j v t ) ，该小组于2 0 0 3 年3 月发布了h 2 6 4 a v c l l 2 1 标准。i t u t 在增强型多媒体 通信标准h 2 6 l 的基础上提出了新一代视频编码标准h 2 6 4 a v c ，该标准继承了h 2 6 3 ， m p e g 1 ，m p e g 2 以及m p e g 4 的优点，如变换和预测等技术。h 2 6 4 a v c 的编码器结 构如图2 1 所示。 图2 - 1h 2 6 4 a v c 编码器结构 如图2 1 ，首先，当前帧或场f 。根据宏块信息，可以选择帧内或帧间的预测方法进行 处理，其中甩代表当前时刻，f 是参考图像，表示当前帧和参考帧之间的时间距离。如 果选择的是帧间预测，如图中p 所示，它的预测值根据当前片中已编码了的参考图像经 过运动补偿得到。实际所用的参考帧可以根据过去或者未来已编码后的重建帧中获取。残 6 上海师范大学硕士学位论文第二章h 2 6 4 编解码基本框架 差块现经过变化和量化后，通过z i g z a g 扫描重排后再进入熵编码，得到最终的码流信息。 以上的编码器结构是比较成熟的，与第一代标准中的编码器结构基本相似，只是各功 能模块的实现细节上会有不同。视频序列不同于普通图像，它是时刻变化的，细节时多时 少且受传输信道影响较大。这两方面的因素为获得高压缩比带来了挑战也，但同时带来了 压缩技术的复杂性。h 2 6 4 a v c 通过实现高运算复杂度来对抗这些不定因素，来获得高压 缩比，保证视频质量具有较高的水准。在相同失真率的条件下与以往标准相比，它的编码 效率大幅提高。 图2 2 显示了h 2 6 4 a v c 的解码器主要结构。码流首先经过熵解码和重排序后得到 一组变换系数x ，再经过反量化和反变换等过程，获得残差d n ，与预测值p 相加后再经 过环路滤波器，产生最后的输出图像，即重建帧f 锄。 2 3 运动信息的产生 2 3 1 运动估计与补偿 图2 - 2h 2 6 4 a v c 解码器结构 运动估计和运动补偿【1 3 】共同组成了运动补偿技术( m o t i o nc o m p e n s a t e d p r e d i c t i o n ， m c p ) ，是视频编解码中的重要技术，它们是h 2 6 4 标准中算法复杂度最高的算法之一， 算法性能的好坏直接影响视频压缩性能的优劣。 ( 一) 运动估计( m o t i o ne s t i m a t i o n ) 运动估计是帧间预测编码的主要环节。根据视频序列邻近帧中内容存在的相关性，把 视频图像分成若干宏块或块，然后使用搜索算法在邻近帧中找出与当前处理宏块最为相似 的宏块或块，计算两者的相对偏移量。则获得的相对偏移量就是运动矢量，而对运动矢量 进行预测的过程叫做运动估计。 第二章h 2 6 4 编解码基本框架 上海师范大学硕士学位论文 运动矢量和运动匹配后两者的差值同时被送到解码端，解码时根据运动矢量所指向的 位置，从已解码的参考序列中找到相应的宏块或块的信息，和差值信息相加后便得到了当 前位置宏块或者块的信息。 运动估计可以消除帧间冗余，大大减少了视频图像传输时所使用的比特数。 一般的运动估计方法如图2 3 所示：假设，时刻的图像是视频的当前帧，时刻的图 像是参考帧，参考帧在时间上既可以位于当前帧的前面也可以在当前帧的后面。图中，白 点表示宏块或块在当前帧中的位置，黑点则表示当前帧中的宏块或块在参考帧中最佳的匹 配位置。若t ， t ，如图所示t + a t 时刻为前向运动估计；若f ， i l 大于0 或m v y ( i , j ) n 大于0 则b ( i j ) 属于初步划分的运动目标； 否则 b ( i j ) 属于背景； 其中，m v x ( i , j ) 和m v 撕j ) 表示编码块相对应运动矢量的水平和垂直分量，b ( i j ) 是坐 第三章基于阈值的压缩域运动目标检测 上海师范大学硕士学位论文 标( i j ) 位置的编码块，n 是人为设定的右移位数，通过实验取得。经过预处理和第一步的 阈值化，就得到了运动目标的初步划分。 3 3 基于区域块时域相关性的运动目标检测 通过矢量预处理和阈值化后，一般还不能得到较好的效果，因为通常初步划分的运动 区域会包含部分背景或噪声，所以必须将这些区域从目标中剔除。 3 3 1 运动矢量的时域相关性 下面引入运动矢量时域相关性的概念。由3 2 节的分析可知，前景矢量与噪声矢量的 最大区别在于其前后两帧矢量的相关程度不同，运动目标的相邻两帧可以看做匀速运动， 因此它们有很强的时域相关性；而噪声是随机产生无法预计的( 例如光照条件的变化等) ， 所以前后两帧间具有较弱的时域相关性。 运动矢量的时域相关值计算公式定义如下： 巾门。1 1 1 v 1 ，x i 1 1 v l 卅y x l 觋2 而 一 i 肋r v y 一叫l 即褊 ( 3 - 6 ) ( 3 7 ) t c = 孵+ t c y j ( 3 8 ) z 其中，m k 和m k 为当前块运动矢量的水平分量和垂直分量，m v x 与肘k 是当前块 的四个参考块运动矢量的加权平均的水平与垂直分量。 以m v x 为例，在图3 - 2 ( b ) 中阴影部分为当前块的位置，箭头表示其运动矢量，图3 - 2 ( a ) 的阴影部分是通过映射之后当前块在参考块中的位置，其中由数字标明的四个区域在块中 所含的比例即为加权系数，而朋攻为参考块中的各区域运动矢量的加权平均。t c x 是水 平方向上的时域相关值，而t c l ，则是垂直方向上的时域相关值，t c 是最后的时域相关值。 t c 的值越小表明该块矢量的相关性越强，反之则说明其相关性较弱。 上海师范大学硕士学位论文第三章基于阈值的压缩域运动目标检测 斤 1 1 i b4 川 运动矢量 l 鞋l 1 岳h 一h 。 ( a ) 参考块( b ) 当前块 图3 - 2 时域相关值的计算 3 3 2 区域块的划分 ： 运动矢量的时域相关性可以用来区别运动物体和噪声，最简单的方法是设定一个阈 值，对每个块来说，若时域相关值小于该阈值( 说明时域相关性较强) ，则判断该块仍属 于运动目标，否则将该块归为噪声或背景处理。然而单个块的矢量时域相关性具有不确定 性，经常会产生错误的结果，所以本文采用合并运动矢量块的方法以“区域块 为单位对 整体运动矢量的平均时域相关值作判断。 区域块就是把相邻的块组合在一起形成一个“区域”，从而形成若干个区域块。单一 的运动目标可以由一个或几个区域块构成。区域块既可以包含真正的运动物体，也可以是 噪声或背景。 阈值处理后的初步运动目标的划分实质上可以看成一幅二值图像m ，若坐标( x ，y ) 处为初步运动目标区域，则m ( x ，y ) = 1 ，否则m ( x ，y ) = o 。这里采用区域块标记算法。经 过标号处理后，得到和原始图像m 对应的标记后的灰度图像n 。本文通过下面的区域块 标记算法来得到区域块的划分： 步骤l ：起始标号为i = l ； 步骤2 ：对图像m 由左到右，由上到下逐个扫描。当m ( x ，y ) = 0 时继续扫描；若 m ( x ，y ) = 1 ，则： ( 1 ) 若m ( x 1 ，y ) = m ( x ，y 1 ) = 0 ，即m ( x ，y ) 的上块和左块均为背景或噪声块，则 n ( x ，y ) = i ，此时i 加l ； ( 2 ) 若m ( x ，y 1 ) = l 或m ( x - l ，y 户1 ，即m ( x ，y ) 的上块或左块为目标块，则n ( x ，y ) - - - n ( x 1 7 第三章基于阈值的压缩域运动目标检测 上海师范大学硕士学位论文 - l ，y ) 或n ( x ，y ) = n ( x ，y 。1 ) ； ( 3 ) 若n ( x 1 , y ) = n ( x ，y 1 ) ，即m ( x ，y ) 的上块和左块均为目标块，且它们具有相同的 标号，则n ( x ，y ) _ n ( x 一1 ，y ) ； ( 4 ) 若n ( x ，y 1 ) n ( x 1 ，”，即m ( x ，y ) 的上块和左块均为目标块，但它们具有不同的 标号，则n ( x ，y ) - - m i n ( n ( x 1 , y ) , 1 1 ( x ，y - 1 ) ) ，并将已扫描块中标号等于m a x ( n ( x 一1 , y ) ，n ( x ，y - 1 ) ) 的块的标号改为m i n ( n ( x - 1 , y ) ，n ( x ，y 1 ) ) ； 如图3 3 所示，如下阴影部分表示通过区域标记算法产生的2 个区域块。 黝。“”嘲 p 口 獬 锄 一，8 蕊 r 镌 躲缈捌 。 酽 。 渤。，一捌 缈 。# 糕 黪 j t 缁 锄磁 图3 - 3 区域块标记示意图 3 3 3 基于阈值的运动目标检测 利用运动矢量的时域相关性和组成的区域块可以对视频序列做第二次阈值判断。对于 任一区域块，假设t c i 为该区域块的平均时域相关值，砌为设定的阈值，以下为判断依 据： 若t g 坼獬( 其中s 为设定的阈值) ，则按照最近领域法则得到最终划分的聚类结果，且算法结束，否则跳到 步骤3 。 算法最终的输出是拥有最大全局最好适应度的粒子的各聚类中心的位置，和相应的运 动矢量样本的最终聚类划分。最后对聚类划分，类内距离小的为标记运动目标，而类内距 离大的标记为噪声。 粒子群聚类的算法流程如图4 3 所示： 图4 - 3 粒子群聚类算法流程 上海师范大学硕士学位论文第四章基于粒子群聚类的压缩域运动目标分割 4 4 噪声处理 经过粒子群聚类输出的聚类结果虽然分离了背景和运动目标，很大程度上滤除了噪 声，但若背景上的噪声的运动矢量正巧与运动目标相似，则会被误认为运动目标，从而产 生分割精度上的缺失。 本文利用h 2 6 4 压缩域宏块层的信息来去除噪声。一般分割块较大的宏块是背景和噪 声，而分割块较小的运动块为运动目标，而运动块分割的大小与j m 代码中m b 的值_type 密切相关，具体形式如表4 3 所示： 表 3 宏块层运动信息的提取 块分割大小 ps k i pp 1 6 1 6p 1 6 * 8p 8 1 6p 8 81 4 + 41 1 6 事1 6 m b _ t y p e ol23 4 56 7 3 0 具体噪声处理方法如下：， 假设当前块为m b ( i o ，j o ) ，提