（信号与信息处理专业论文）视频监控系统中运动目标检测方法研究.pdf

西北大学硕士学位论文 摘要 视频监控系统运动目标检测融合了图像处理、模式识别、人工智能以及计算机科 学等许多领域的先进技术，已经成为计算机视觉研究的重要领域。本文主要研究在静 止背景下运动目标的检测与提取，在前人工作的基础上对运动目标检测各种算法进行 分类研究，分析比较各算法的优缺点，并在此基础上增强对算法的理解以及提出改进。 本文总结了当前视频图像分割技术的基本原理，给出了运动目标检测与分割的理 论模型。在介绍了三种传统的运动目标检测算法的基本原理的基础上，提出了一个改 进的将背景差分法和帧间差分法相结合的算法，该算法使用帧间差分累积图像，结合 前帧的检测效果，在当前帧的前后位置分别粗定位运动目标并更新背景，然后利用背 景信息检测出运动目标，实验结果表明该方法既有背景差分法完整检测运动目标的优 点，又具有帧间差分法在光线变化情况下的鲁棒性；本文通过研究背景图像的统计特 性，给出了一种自适应的背景模型估计法，该方法有效地吸取了s t a u f f e r 等提出的自 适应混合高斯背景模型基础思想，为每个像素构建高斯背景模型，并在此基础上做了 一些改进，即分别对均值和方差6 2 采用不同的更新率口，进行更新，经实验验证， 该方法提高了检测灵敏度并降低了模型的适应程度；最后本文提出一种融入帧间差分 法的背景模型估计方法，该方法用帧间差分法作为进行高斯背景模型估计的指导，实 验表明该方法能有效地分割出图像序列中的前景目标，而且也明显地减少了前景目标 对背景模型的影响。 关键字：视频监控系统；运动目标检测；图像分割：背景模型 西北大学硕士学位论文 a b s t r a c t m o v i n go b j e c td e t e c t i o ni nv i d e os u r v e i l l a n c es y s t e m ，w h i c hi n v o l v e st h ea d v a n c e d t e c h n o l o g i e si nt h ef i e l d so fi m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ，a r t i f i c i a li n t e l l i g e n c ea n d s oo n ，h a sd e v e l o p e di n t ot h es i g n i f i c a n tf i e l do fc o m p u t e rv i s u a lr e s e a r c h t h et h e s i s f o c u s e so nt h et e c h n o l o g i e so fm o v i n go b j e c td e t e c t i o na n de x t r a c t i o ni nas t a t i cs i t u a t i o n t h i st h e s i sa t t e m p t st oe x p l o r et h ei n t e r n a lc o n s i s t e n c ya m o n gv a r i o u sc a l c u l a t i o n st h r o u g h t a x o n o m i c a lr e s e a r c ho nt h ec a l c u l a t i o no fm o v i n go b j e c td e t e c t i o ni nt h eh o p eo f f a c i l i t a t i n go u rc o m p r e h e n s i o na n di m p r o v i n gi te v e n t u a l l y t h et h e s i sg i v e sa no v e r a l ls u m m a r yo ft h er a t i o n a l eo ft e c h n o l o g yo fv i d e oi m a g e s e g m e n t a t i o na n dp r e s e n t sat h e o r e t i c a lm o d e lo fm o v i n go b j e c td e t e c t i o na n ds e g m e n t a t i o n a n dp r o p o s e sam o d i f i e dc a l c u l a t i o nb a s e do nt h er a t i o n a l e ，w h i c hc o m b i n e sb o t h b a c k g r o u n ds u b t r a c t i o nm e t h o da n df r a m es u b t r a c t i o nw i t he x p e r i m e n t a lr e s u l t s b yu s i n g f r a m es u b t r a c t i o n ，t h i sm e t h o da c c u m u l a t e si m a g e s ，c o m b i n e st h et e s t i n ge f f e c to ff o r m e r f r a m e ，l o c a t e st h em o v i n go b j e c t si nt h ef r o n ta n db a c ko ft h ec u r r e n tf r a m er e s p e c t i v e l ya n d u p d a t e sb a c k g r o u n d ，a n dt h e nt e s t st h em o v i n go b j e c tb yu s i n gb a c k g r o u n di n f o r m a t i o n t h ee x p e r i m e n t a lr e s u l t p r o v e d t h a tt h i sm e t h o d p o s s e s s e s n o t o n l yb a c k g r o u n d s u b t r a c t i o n sc o m p l e t eo b j e c tt e s t ，b u ta l s of r a m es u b t r a c t i o n sr o b u s t n e s si nt h ec o n d i t i o n s o fl i g h tv a r i a t i o n f u r t h e r m o r e ，a f t e rs t u d y i n gs t a t i s t i c a lc h a r a c t e r i s t i c so fb a c k g r o u n di m a g e ，i tb r i n g sa s e l f - a d a p t i v em e t h o do fb a c k g r o u n dm o d e l i n ge s t i m a t i o n ，w h i c he f f e c t i v e l ya d o p t st h e f u n d a m e n t a lt h o u g h t so fs e l f - a d a p t i v em i x t u r eg a u s sb a c k g r o u n dm o d e l i n gs u g g e s t e db y s t a u f f e r , s oa st oc o n s t r u c tm i x t u r eg a u s sb a c k g r o u n dm o d e l i n gf o re a c hp i x e la n dm a k e s o m ei m p r o v e m e n t s i t u p d a t e sm e a n a n dv a r i a n c e6 2w i t h d i f f e r e n tu p d a t e dr a t e s 口a j l d 侈r e s p e c t i v e l y t h ee x p e r i m e n tp r o v e dt h a tt h i sm e t h o di m p r o v e dt e s t i n gs e n s i t i v i t y a n dr e d u c e dt h ed e g r e eo fm o d e l sa d a p t a t i o n i nt h ee n d ，t h et h e s i sa d v a n c e sab a c k g r o u n dm o d e l i n ge v a l u a t i o nm e t h o dc o m b i n e d w i t hf r a m es u b t r a c t i o n ，w h i c hw a sp r o v e dt h a ti tc o u l d e f f e c t i v e l ys e p a r a t e t h e i l 西北大学硕士学位论文 f o r e g r o u n d h a go b j e c t si nt h ei m a g es e q u e n c e sa n dd e l e t ei t si n f l u e n c eo nb a c k g r o u n d m o d e l i n g k e y w o r d s ： v i d e os u r v e i l l a n c es y s t e m ；m o v m go b j e c t d e t e c t i o n ；i m a g ed i v i s i o n ；t h e b a c k g r o u n dm o d e l i n g i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名： 套纽基 指导教师签名： 2 o 。8 年6 月) - e l肿月细 西北大学学位论文独创性声明 本人声明；所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经 发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书而 。使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意 学位论文作者签名：乃潞 o 容年石月，2e l 西北大学硕士学位论文 第一章绪论 本章着重阐述了论文选题的背景和研究意义，分析了视频监控系统中运动目标检 测问题的研究现状，在本章的最后介绍了本文的研究内容以及论文的结构安排。 1 1 课题背景及研究意义 人们通过感官来感知外界的环境信息，视觉信息所占的比例是最大的，占到人类 感知信息的8 0 1 1 1 ，它是人类重要的信息交流方式。视觉不仅指对光信号的感受，还 包括了对视觉信息的获取、传输、处理、存储和理解的全过程。计算机的出现，使得 人们可以用摄像机获取环境图像并转换成数字信号，从而用计算机代替大脑，实现对 视觉信息处理的全过程。 伴随着网络技术和数字视频技术的飞速发展，多媒体技术走入社会和生活的各个 方面，继图像和声音之后，视频已经逐渐成为信息传播的主流载体之一。视频是由一 系列被称为“帧 ( f r a m e ) 的单个并具有联系的静止图像前后连续组成的数据集合。 视频数据和其它媒体所不同的一个最大特征就是它包含有丰富的运动信息，如何利用 这些运动信息来为计算机视觉服务，是一个值得深入研究的问题。 通常情况下，视频图像序列中的运动目标是人们最为关注的部分。与静态图像相 比，视频图像序列的最大优点就在于人们可以轻松的对运动信息进行捕获。因此，视 频图像中的运动目标分析是视频研究的一个重点，其中，视频图像中的运动目标检测 是必须解决的基本问题之一。 实现对视频信息检测的一个很重要的方法就是在视频图像序列中分割出运动的 视频对象。视频对象的分割，也叫视频分割，它是将视频图像序列按照一定的标准划 分成若干区域，目的是为了从图像序列中标记出有意义的实体，这些有意义的实体被 称为视频对象，然后在时间轴上对这些视频对象进行跟踪。它是目标分类、目标识别 与跟踪以及行为理解的基础。通常，一个视频场景由背景和目标组成，而视频序列中 的运动目标往往是视频序列中最重要的组成部分。因此，如何能有效地分割出视频对 象，对视频图像分析具有重要的意义。视频分割在很多领域中有非常重要的作用，它 是新一代视频编码、视频检索、网络多媒体交互等新兴领域的关键技术。另外视频分 西北大学硕士学位论文 割在模式识别、计算机视觉等领域得到了广泛的应用。 对视频图像进行研究的目的就是使机器视觉实现智能化，简单来说，就是通过机 器来模拟人类的视觉，使其能真正理解图像的内容。在复杂的背景下，人眼观察运动 的目标是很容易的，但是如何使得计算机能够有效地跟踪视频图像序列中的运动目 标，却是一项富有挑战性的工作。摄像机作为人类视觉的延伸起着非常重要的作用。 智能化的视频监控系统就是在不需要人为干预的情况下，利用计算机视觉的方法，通 过对摄像机所摄取的视频图像进行自动分析，实现对监控场景中目标的检测、识别和 跟踪，并在此基础上分析和判断目标的行为，从而完成日常管理以及在异常情况发生 时及时做出反应。 视频监控系统不仅符合信息产业的未来发展趋势，也代表了监控行业的未来发展 方向，蕴藏着巨大的商机和经济效益，受到学术界、产业界和管理部门的高度重视。 例如，在高速公路、交通路口、停车场等过往车辆的实时登记、流量统计和对特定目 标的抓取，对肇事车辆、被盗车辆、犯罪车辆进行识别；在银行、机场、珠宝店等重 要场合等对安全要求非常敏感的场合，对可疑的目标进行实时的跟踪，对其危害性行 为做出预警。虽然在银行、商场、停车场和交通路口等重要场合中已经广泛的存在有 监控摄像机，但现有的视频监控系统，通常只能是录制视频图像，用来当作事后证据， 没有充分发挥实时主动的监控作用。如果对现有的视频监控系统加以改进，实现对被 监控目标的自动检测与提取、识别、跟踪、运动分析与理解，就可以节省大量的人力 物力资源，极大的方便社会生活的各个方面。 视频监控有着广泛的应用前景，从功能上讲，视频监控系统可用于安全防范、信 息获取和指挥调度等方面，可以有效防止各种刑事案件和自然灾害等事件的发生，是 保证现代社会公共安全的重要高科技手段与技术，在很大程度上减轻了监控人员的劳 动强度，克服了可能的人为失误。毋庸置疑，在2 0 0 8 年的北京奥运会中，视频监控 将大放异彩，它将广泛用于智能化的交通调度、现代化的体育场馆和优雅舒适的奥运 村。 综上所述，作为视频监控的第一步，运动目标检测有着较强的研究价值和意义。 2 西北大学硕士学位论文 1 2 课题的国内外研究现状 运动目标检测技术是智能视频监控系统中的一个关键组成部分，它能够有效地检 测到指定区域内或全景中运动的发生，分离出运动目标。运动目标检测根据目标与摄 像机的关系可分为静态背景下运动目标检测和动态背景下运动目标检测。静态背景下 运动目标检测是指摄像机在整个监控过程中不发生移动，只有被监控目标在摄像机的 视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动目标检测就是 摄像机在整个监控过程中发生了移动( 如平动、旋转或多自由度运动) ，被监控目标 在摄像机的视场内也发生了运动，这个过程则产生了目标与摄像机之间复杂的相对运 动。 运动目标检测的目的是从序列图像中的背景图像中提取出变化区域。运动区域的 存效分割对于目标跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅 仅考虑图像中对应于运动区域的像素。运动目标的检测与分割一直以来都是计算机视 觉领域的一个难题，其主要的困难在于： ( 1 ) 容易受到局部光照条件变化和噪声的影响； ( 2 ) 运动目标在背景上产生的阴影往往被检测为前景目标； ( 3 ) 前景目标在与背景相似的情况下，容易被检测为背景。 目前，传统的静态背景下运动目标检测算法有以下几类：光流法、帧间差分法( 又 称相邻帧差法) 和背景差分法。基于光流方法的运动目标检测采用了运动目标随时间 变化的光流特性，可以在单帧图像中实现运动的检测与分割，并能得到丰富的运动向 量信息，该方法的优点是摄像机运动存在的前提下也能检测出独立的运动目标，但是 光流计算方法相当复杂，计算量大，且抗噪性能差，如果没有特别的硬件装置则不能 被应用于全帧视频流的实时处理，不适用于有较高实时性要求的应用。所以光流法一 般用于图像分析、基于视频文件的数字水印等领域；帧间差分法是最早被提出，也是 最简单的运动检测方法，它是在连续的图像序列中两个或三个相邻帧间采用基于像素 的时间差分并且阈值化来提取出图像中的运动区域，找出目标信息，帧间差分运动目 标检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特 征像素点，得出的目标信息完整性较差，在运动实体内部容易产生空洞现象；背景差 分法是目前运动目标检测中最常用的一种方法，它是利用当前图像与背景图像的差分 3 西北大学硕士学位论文 来检测出运动区域的一种技术。背景差分法采用背景图像帧与包含目标信息的帧进行 差分处理，从中得到有用的目标信息，它一般能够提供最完全的特征数据，实现简单、 计算量小、对噪声敏感度低，很容易从视频图像序列中分割出运动的目标，所以背景 差分法得到了广泛的使用。但是，对于动态场景的变化，如光照和外来无关事件的干 扰等特别敏感，往往在运动物体较小和背景中存在运动比较剧烈的物体( 如：树枝的 摇摆，水面的波动等1 时，检测的结果会不够准确。 帧间差分法和背景差分法在对运动目标进行检测的过程中都会出现这样或那样 的不足，归结起来主要是因为帧间差分法只考虑到视频图像序列时间上的相关性，没 有能利用视频图像序列空间上的相关信息，造成检测的结果完整性差且容易受噪声的 干扰；而背景差分法虽然较好地利用了视频图像序列空间上的相关信息，但是没有能 考虑到视频图像序列时间上的相关性，往往使得检测结果中融入太多的背景冗余信 息，影响了检测结果的准确性。因此，要想提高运动检测结果的准确性并保证检测结 果的完整性，就必须充分考虑到视频图像序列时间上和空间上的相关性，即是要充分 利用视频图像序列的时空信息。 近年来，人们对运动目标检测做了大量的研究工作，基于上述传统方法，提出了 许多新的方法。文献f 2 】【3 】提出了一种将背景差分法和连续帧间差分法相结合的方法。 文献【4 】利用连续3 帧，进行帧间差分，对得到的图像进行相与处理后利用n a t s t 二 值化算法得到运动目标信息。文献【5 】【6 】利用背景差分法，为了增加它的鲁棒性，降 低环境变化造成的影响，使用i i r 对背景图像进行滤波，即完成对背景的更新，为了 更好的得到背景，文献 5 1 1 6 1 和【7 】分别提出了单高斯和多高斯背景模型来获取更精确 的背景估计用以运动目标的检测。文献【8 1 中提出一种将基于像素和基于块方法结合起 来建立有效的分级的背景图像的方法，该方法首先利用分级的思想将非固定背景确定 出来，并且粗略地检测出前景目标，然后在此基础上更进一步的利用基于像素的方法 有效地提取出前景目标。侯志强，韩崇昭等【9 1 提出了一种基于像素灰度归类的背景重 构算 法( p i x e li n t e n s i t yc l a s s i f i c a t i o na l g o r i t h m ，简称p i c a ) 。该算法连续求解相邻两帧 图像对应像素点的灰度差，利用该灰度差对该像素点灰度进行归类，最后选择频率最 高的灰度值作为该点背景像素的灰度值。文献 1 0 】在混合高斯模型进行建模方法的基 础上，为了使运动目标检测算法能够适应场景复杂的情况，提出了一种新的快速检测 算法。该算法基于像素时域和空域相关性，利用这一性质可以减少高斯混合模型的个 4 西北大学硕士学位论文 数，从而提高算法运行速度，与此同时算法的精确度并没有大的降低。文献 1 2 1 通过 计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目 标。 动态背景下运动检测由于存在着目标与摄像机之间复杂的相对运动，所以算法也 要比静态背景下运动目标检测算法复杂的多，目前已经提出了许多专门针对动态背景 视频监控的算法，常用的动态背景下运动检测算法是匹配块法、光流估计法、图像匹 配法以及全局运动估计法等方法，但是这些方法往往存在着计算量较大的问题，因为 视频监控的场景图像序列有着其自身的许多特点，所以如何很好地利用这些特点的算 法是值得研究的。 本文重点研究静态背景下运动目标的检测。 1 3 本文的主要研究内容 如前所述，运动目标检测是计算机视觉、智能安全监控等视频分析和处理的关键 技术。基于视频信息处理的基础理论研究的必要性，本文主要研究在摄像机固定的情 况下如何从视频监控图像中提取出运动目标，并对其进行相应的分析和处理的技术。 主要研究内容总结如下： ( 1 ) 通过对视频图像运动目标运动的分析，建立了视频运动目标检测系统的理论 模型；通过对视频图像构成模型的研究，给出了运动目标检测与分割的总体流程； ( 2 ) 研究了视频监控系统中运动目标检测的三种传统方法：光流法、帧间差分法、 背景差分法。在总结常用的基于差分图像的运动目标检测方法的基础上，仔细分析了 由背景差分法和连续帧间差分法组合而来的检测算法，并通过实验验证了各种算法的 优缺点； ( 3 ) 在复杂背景下，本文研究了一种自适应背景模型估计的运动目标提取算法。 该类算法的主要特点是利用统计方法对图像的像素值，建立能描述像素值变化的模 型，通过判断新到的像素值是否符合这个模型来实现对目标像素的检测。本文首先提 出单模型进行目标检测的算法，随后介绍了多模型集合实现背景像素的判断方法，最 后提出融入帧间差分的背景模型估计算法，并给出了实验结果。 5 西北大学硕士学位论文 1 4 论文的结构安排 本文共分为六章，其安排如下： 第一章：绪论。这一章主要阐述了论文选题的背景及研究意义，简单地介绍和分 析了当前国内外关于视频监控系统中运动目标检测的研究现状，并介绍了论文主要的 研究内容。 第二章：视频图像基础与分析。这一章从视频图像序列入手，构造了视频图像序 列的数学模型方程式，并分析了运动对象在视频图像序列中的运动形式，图像帧间的 数学模型，为视频图像运动目标检测提供了理论基础。 第三章：目标检测基本任务与图像分割。这一章简要介绍了视频运动目标检测的 基本原理，任务以及流程，运动目标分割过程中涉及到的图像分割技术，如空间域分 割技术和时间域分割技术等，并详细介绍了阈值法、聚类法和分水岭法等空间分割技 术，还有变化检测、光流场等时间域分割技术，分析了这些分割技术的优点和不足。 第四章：常用运动目标检测方法及实现。这一章主要研究和实现了传统的运动目 标检测的三种方法：光流法、连续帧间差分法、背景差分法，提出了由背景差分法和 连续帧间差分法组合而来的检测算法，并给出了实验结果与分析。 第五章：基于背景模型估计的运动目标检测方法。这一章介绍了自适应背景模型 估计方法，对单高斯分布背景模型和多高斯背景模型分别进行了说明和讨论并加以实 现，最后对实验结果进行了分析。 第六章：总结与展望。 6 西北大学硕士学位论文 第二章视频图像基础与分析 基于视频序列的运动目标检测涉及到很多研究领域，如数字图像处理、计算机视 觉、信息融合、模式识别与人工智能等。为了后续各章内容的展开，本章对视频图像、 视频图像获取方法和数字化过程以及视频图像的特点简单地进行了介绍，并系统地介 绍了视频图像目标运动的基础知识。 2 1 概述 早期由于计算机软硬件条件以及图像处理技术应用范围的有限，数字图像处理主 要针对的是静态图像，现在随着动态的视频图像的日益丰富，能处理动态视频的数字 图像技术成为了一种迫切的需求。因此，运动图像分析成为数字图像处理中的一个新 的领域，也是一个复杂的领域。它是图像处理和计算机视觉中的一个活跃的分支，在 这个领域中任何技术的进步，对提高视频运动目标检测与跟踪系统的性能以及计算机 视觉技术的应用范围等都有极为重要的促进作用。近年来计算机硬件设备以及技术的 迅猛发展也为运动图像的分析处理提供了有力的支持。 从视频图像序列中提取目标信息是近年来广受关注的研究课题。在低信噪比情况 下，视频图像为视频图像运动目标检测提供了比静态图像更多的有用信息，因此我们 可以利用图像序列来检测出在单帧图像中很难检测出的目标。根据摄像机和场景是否 运动可以将目标的运动划分为以下四种模式： ( 1 ) 摄像机静止一目标静止，这种模式实际上属于简单的静态场景分析，对其进 行处理的方法就是静态图像中的处理方法； ( 2 ) 摄像机静止一目标运动，这是一类非常重要的动态场景分析，包括运动目标 检测、目标运动特性估计等，主要用于预警、监控和目标跟踪等场合； ( 3 ) 摄像机运动一目标静止，主要用于移动机器人视觉导航、电子地图的自动生 成以及三维场景理解等，是另一类非常重要的动态场景分析； ( 摄像机运动一目标运动，这是一类运动目标检测和跟踪最为复杂的动态场景， 在动态场景分析中，这种模式是最为普遍的情况，但是目前关于这方面的研究还很少， 理论还尚未成熟。 7 西北大学硕士学位论文 当前研究的重点是( 2 ) 、( 3 ) 类。对于这两类，从检测处理的方法上看，一般是采 用突出目标或消除背景的思想。对于摄像机相对静止的情况，可采用帧问差分法或背 景差分法。而对于摄像机相对运动的情况，处理就相对较为复杂，一般情况下，需要 首先进行背景运动补偿处理，然后再采用帧问差分法或背景差分法。如果采用突出目 标的方法，还需要在经过背景运动补偿后进行多帧能量积累和噪声抑制。此外还有基 于光流场、全局模型和局部特征相结合等检测方法。 本章主要介绍视频图像序列与目标运动的基础知识。 2 2 视频图像 2 2 1 视频图像的含义 视频即动态图像或序列图像，具体来说，在对某一景物拍摄到的图像序列中，相 邻两帧图像间应该至少有一部分像素的灰度发生了变化，这个图像序列就称为视频图 像序列，它可以认为是随时间变化的静态图像序列。在静态图像中，信息密度随空间 分布，且相对于时间为常量，但是视频图像的空间信息密度特征会随着时间而发生变 化。与静态图像相比，视频图像序列为我们提供了更丰富的信息，通过对多帧图像的 分析，可以获得从单幅图像中不可能得到的信息。它是通过摄像机系统采集三维场景 并且由投影在二维图像平面上的光信号形成的，但是在图像的捕获和成像过程中，不 可避免的会受到一些噪声的影响，如电子噪声、光噪声、光电转换器件热噪声以及量 化噪声等。因此，在理想情况下，视频图像可以简单地表示为视频图像信号与噪声之 和，其方程式为： z o ，y ) = s o ，y ) + f o ，y )( 2 1 ) 其中： 正g ，y ) 和s 0 ，y ) 分别表示在t 时刻观察的视频图像和理想的无噪声视频 图像，f ，y ) 表示t 时刻成像过程中的噪声： 相对于静态图像，视频图像的基本特征就是灰度的变化。造成图像灰度发生变化 的原因是多种多样的，主要有以下几类【1 1 j ： ( 1 ) 景物本身发生了变化：物体发生了变形( 扩大或缩小) 或运动( 旋转、平移) ； 8 西北大学硕士学位论文 ( 2 ) 摄像机与景物发生了相对运动：摄像机的平移、旋转使得图像的内容发生了 改变； ( 3 ) 照度变化：照射景物的光源发生变化导致物体亮度改变； ( 4 ) 以上几种情况的组合， 尽管视频图像灰度变化的原因很多，但由于本课题研究的设备以及时间上的限 制，不可能对上述每一种情况都给予考虑，因此本课题主要研究在静态背景下对场景 内的运动目标进行检测。 2 2 2 视频图像的获取方法和数字化过程 了解视频的获取方法和数字化过程，对于视频图像处理具有重要的指导意义。 ( 1 ) 视频图像主要通过各种摄像机来获取，通常情况下，摄像机为真空光导 c c d c m o s 摄像头，其工作原理是将外界光信号转换成电信号。模拟视频信号是涉 及一维时间变量的电信号，它是通过对s o ，y ) 在时间坐标t 和垂直分量y 上采样得到 的。 ( 2 ) 图像转换卡，它可插在计算机的标准扩展槽中，专门负责对视频图像进行采 集，是支持视频信号输入输出计算机的设备。由摄像机的工作原理我们知道，模拟视 频由于它自身的特性，只能提供有限的交互能力，甚至有些问题无法处理。所以我们 需要将模拟视频数字化，将其转换为数字视频，那么就需要通过图像转换卡来获取数 字视频信号，其主要功能是：逐帧捕捉图像，并将其数字化，传输到计算机予以保存。 ( 3 ) 数码相机，也称数字相机，是一种能够将所拍摄到的景物直接转变为图像格 式文件传输给计算机的新型设备。它集光、机、电于一体，主要由c c d c m o s 、成 像镜头和存储设备三大部分组成。随着电子技术的发展，数字视频图像的获取更为方 便，p c c a m 是一种数码相机和数字摄像机的混合物，它通过u s b 接口就可以与计 算机连接，既可以采集单帧图像，又可以输出数字视频。 2 2 3 视频图像的特点 ( 1 ) 实时性。与静态图像相比，视频图像的信息是以时间为基线，它不仅包含二 维空间信息，而且记录了事件的全过程，因此视频图像的时间顺序是不能混淆的，帧 9 西北大学硕士学位论文 率参数也直接反映时间变化过程的信息。 ( 2 ) 相关性。由于视频图像以较短的时间间隔记录空间的二维图像信息，因此相 邻帧图像相似程度很大，甚至相同，即相邻帧图像的相关系数很大。 ( 3 ) 数据量大。图像的数据量本来就很大，而视频图像的数据量则更大，这一直 是视频图像处理和应用的主要问题之一。 ( 4 ) 多参数转换性。视频是以视觉效果为主要用途的，因此对许多参数并不都同 时要求高指标，往往是对某个方面的指标要求高时，其他的指标就不做很高的要求。 2 3 视频图像序列分析 运动目标检测的对象通常是视频图像序列，即用一个传感器( 如摄像机) 采集的 一组随时间变化的图像【1 2 j 。我们所研究的视频图像序列是由摄像机对三维空间中的场 景经过采样、映射等过程形成的。视频图像分析就是通过对基于摄像机采集系统捕获 的三维空间场景在二维投影平面上形成的图像序列进行分析和处理，获得三维空间场 景中视频对象的时域、空域特征的技术。由于视频图像反映的是随时间变化的三维空 间域场景向二维图像平面的时间投影，因此有必要研究时变的三维空域场景与二维图 像平面上形成的视频图像之间的映射关系。对图像序列信号来讲，最有用的信息就是 帧间图像信号的变化信息。不同时刻采集的两帧或几帧图像中包含了存在于摄像机与 景物之间的相对运动信息，这些信息表现为图像帧之间的灰度变化或诸如点、线段、 区域等记号的位置和运动方向、速度等属性的变化。如果相邻图像帧间没有发生任何 变化，那么说明视频图像序列的信息量比较低。而帧间图像信号的变化信息往往又包 含了丰富的目标运动信息，这正是我们利用运动信息对图像进行分析的基础。 利用运动信息对图像进行分析，就要对目标运动在图像序列变化中的反映进行仔 细分析。实际上，在没有考虑成像场景环境的变化，如光照的突然变化等情况下，目 标的运动在二维平面图像中表现为比例、平移、旋转、错切变化等运动形式中的一种 或几种形式的组合。 ( 1 ) 目标比例变化：比例变化将改变目标的形状或面积。 1 0 西北人学硕士学位论文 图2 1 目标比例变化示意图 由图2 1 可以看出，对于目标形状比例的变化，在图像序列变化中的主要表现是 背景新显露部分( 比例缩小) 或新被遮挡部分( 比例放大) 。 将不改变目标的形状和面积。 图2 2 目标平移变化示意图 由图2 2 可以看出，对图像序列变化的检测实际上是三部分变化区域：背景新显 露部分、目标区域变化部分和背景被遮挡部分。 ( 3 ) 目标旋转变化：旋转变化将不改变目标的形状和面积。 图2 3 显示了在一般情况下，目标旋转在图像序列中同样表现为背景新显露部分、 目标区域变化部分和背景被遮挡部分。但是有一类特殊情况需要注意，在图像序列中 就不能观察到这类运动，即目标区域灰度均匀且形状对称，并且围绕成像轴旋转。 图2 3 目标旋转变化示意图 ( 4 ) 目标错切变化：错切变化将改变目标的形状和面积。 西北大学硕士学位论文 图2 4 目标错切变化示意图 由图2 4 可以看出，目标错切变化不仅使目标的形状发生改变，在图像序列中同 样表现为背景新显露部分、目标区域变化部分和背景被遮挡部分这三部分。 2 4 图像帧问运动模型 考虑到相邻图像之间的运动，我们以摄像机的当前位置为参照，建立如图2 5 所 示的运动坐标系【1 1 】。 v u 图2 5 运动坐标系 其中o 是摄像机的光心位置坐标，0 x y z 是摄像机坐标系，z 轴与摄像机光轴 重合，x 轴和y 轴分别平行于图像平面的水平和垂直方向；w 是图像中心，即光轴 和图像平面的交点，w 二u v 是图像坐标系。图中所示图像平面实际上是真实图像平面 的镜像。 摄像机在空间的运动共有6 个自由度，分别为3 个平移量佤，l ，互) r 和3 个绕轴 的旋转量 ，y ) r 。设景物中的一点在运动前的摄像机坐标系中的坐标为( x ，y ，z ) r ， 对应的图像坐标为 ，l ，) r ；则运动后的坐标为( x ，y7 ，z ) r ，图像坐标为 ，1 ，) r 。 1 2 西北大学硕士学位论文 佤，弓，互) r 和似，卢，) ，) r 是旧摄像机坐标系0 x y z 到新摄像机坐标系0 - x y z 的运动 尺= r 口r r y 2 毫差芝 q 2 ， 和 t 巧 z h 姐引 其中，矩阵r 的各分量如下： o = c o s 口c o s y + s i n a s i n f l s i n ) ， 勺一s i n c t c o s 卢 r = - c o s a s i n y + s i n a s i n f l c o s y k = 一s i n a c o s y + c o s a s i n f l s i n ) ， 勺；c o s a c o s z k = s i n a s i n y + c o s a s i n l 3 c o s r 乞一c o s f l s i n y 勺一一s i n f l 乞= c o s 卢c o s ) ， 由此坐标系0 x y z 到o 一x y z 的变换可以表示为： 茎； = r 茎 一尺 茎 或 由针孔摄像机成像公式： | ； = 州 1 3 k l 瑚 lt 7 ( 2 3 ) 。( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 西北大学硕士学位论文 素。 ， f ，x u2 】_ z ，f ，y y2 ，1 z 可以得到两帧图像之间的关系： 比，。厂，垒竺2 1 垒! 二堡：三 1 r + r + r 。f 一缸：| z v ，：厂，垒竺幺：垒! 二：型三 ? t 七r + t 。| 一曩：| z ( 2 1 4 ) ( 2 1 5 ) 其中，k ，勺，乞，k ，k ，乞，勺，乞分别为3 x 3 矩阵r 中的各项元 2 5 本章小结 本章从视频图像信号入手，构造了视频图像序列的数学模型方程式，并分析了运 动对象在视频图像序列中的运动形式，图像帧问的数学模型为视频图像运动目标检测 与提取提供了理论基础。 1 4 和 x z y z ， ， = = “ v 西北大学硕士学位论文 第三章目标检测基本任务与图像分割 3 1 引言 视频图像中运动目标检测是指从视频流中实时地发现并提取目标，一般是确定目 标所在区域等，为下一步目标识别、运动分析等算法提供数据。它处于整个视频监控 系统的最底层，是各种后续高级应用如目标跟踪、目标分类、目标行为理解等的基础。 因此运动目标检测是视频序列图像处理的关键环节，其目的就是通过对图像传感器 ( 如摄像机) 拍摄到的图像序列进行分析，检测出运动目标并判断出目标的性质，并估 计出目标在每帧图像上的位置。 视频监控技术的主要内容之一就是监控特定场景中是否有新目标出现【1 3 1 【2 0 】。该 任务一般可分为两步完成：( 1 ) 目标检测，( 2 ) 目标提取。所谓目标检测，就是检测视 频图像序列中被监控的场景图像是否有变化，在静态图像中，哪个目标是运动的，或 者说哪部分图像是目标，并不容易确定，但是，在视频图像中，却可以通过分析前后 帧图像的变化来确定运动部分的图像或者目标。如果图像有变化，则说明有运动目标， 反之则认为没有运动目标。而目标提取，就是当目标检测算法检测到有目标出现时， 把这个目标从视频序列图像中分割提取出来，为下一步目标跟踪和识别提供数据。而 要提取出运动目标，就需要对视频图像进行分割，因此图像分割质量的好坏，对于目 标提取至关重要。 一个视频监视系统工作的好与坏，目标检测和提取算法是非常关键的。好的视频 目标检测和提取算法，应该能适用于监控各种环境。通常一个好的视频目标检测和提 取算法应具有以下的特征【2 1 】： ( 1 ) 不依赖于摄像头的安装位置； ( 2 ) 对环境的缓慢变化( 如光照变化等) 不敏感； ( 3 ) 在各种天气条件下应是鲁棒的； ( 4 ) 应能够处理背景、摄像机和前景之间存在复杂相对运动的情况； ( 5 ) 能适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动等。 但是在实际的应用当中，由于各种外界条件的干扰，使得运动目标的检测变得比 较复杂。其复杂性表现在以下几个方面【7 】【2 2 】： 1 5 西北大学硕士学位论文 ( 1 ) 目标的运动。在一个背景中移动的目标，当其移动后，移开的地方可能为前 景目标的一部分； ( 2 ) 光线的变化。a ) 由于时间的变化引起光线的变化，比如，一天的上午和下 午，日光的照射强度和角度都会发生改变而引起光线变化；b ) 由于天气原 因，比如，晴天、阴天、雨天、雾天及风沙天气等，同样会导致照射光线的 变化。由于上述原因产生光线的变化，使得仅采用一种检测算法来适应各种 光照情况是比较困难的。此外，光线的突然变化，也会使目标检测增加难度； ( 3 ) 场景中运动目标的干扰。比如，大面积区域中各种目标的运动，场景中某些 目标的频繁变动，如摇摆的树枝和树叶，水面的波动等。这些都会对目标的 准确检测造成影响； ( 4 ) 遮挡问题。要检测的运动目标，在被背景中的目标遮挡的情况下，怎样判断 遮挡； ( 5 ) 前景孔洞问题。当一个颜色均匀的目标运动时，有可能检测不到其内部的像 素； ( 6 ) 初始化问题。在一些监控的场景中，要得到无噪声干扰的背景图像是很困难 的，这里无噪声干扰的背景图像指不含检测目标和运动背景目标的图像； ( 7 ) 目标丢失问题。一个运动目标长期停留在场景中，有可能变成背景目标； ( 8 ) 阴影问题。在目标检测当中，如何将被检测目标与其产生的阴影区分开来， 从而仅检测目标部分。 由于上述目标检测的复杂性，想要建立一个能适用于监控各种环境的通用的算法 是不可能的，实际应用中要解决这个问题是十分困难的，因为实际应用中不但要考虑 到算法要尽量适应于多种环境，而且除非有专门的硬件支持，否则研究者不得不在算 法的复杂度、可靠性，以及实时性等方面折衷考虑。因此，根据具体情况，建立符合 实际条件的运动目标检测算法是运动目标检测方法的研究方向。 3 2 视频图像运动目标检测任务以及流程 视频图像运动目标检测的基本任务【2 3 】是在给定的二维连续图像序列中发现目标 并从视频场景中分割出运动目标，同时给出目标的特征信息。根据第二章( 2 1 ) 式，视 1 6 茜北大学硕士学位论文 频图像序列中的第k 帧图像可以表示为： 无o ，y ) = m 。 ，y ) + 反 ，y ) + ，y ) ( 3 1 ) 其中：m 。 ，y ) 为运动目标，玩o ，y ) 为背景部分，n k ( x ，y ) 为噪声部分。视频图 像目标检测的目的就是要抑制噪声，从背景中检测出目标成分，并提取出目标的特征， 为后续任务提供所需要的数据。 运动目标检测与提取是指检测并提取视频图像序列中与背景存在相对运动的前 景目标，并根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立 目标。运动目标检测主要是基于运动的时间域分析，而分割则是在检测结果基础上对 其进行的空间域分析。从分割的角度来看，运动目标检测与提取被认为是视频对象的 空间域分割，具体说来是指把视频序列中独立运动的区域逐帧检测分离出来【2 1 】。图 3 1 给出了运动目标检测与分割的总体流程图。 3 3 图像分割技术 图3 1 运动目标检测与分割的总体流程 图像分割( i m a g es e g m e n t a t i o n ) 是将图像划分为若干有意义的互不相交的小区域 1 7 西北大学硕士学位论文 的过程。这里所谓的“有意义”是指所分割的图像区域与场景的各个目标及背景的像 相一致。但从实际上讲，所谓“有意义”是指所进行的图像分割便于后续的工作实现 既定的目标和任纠2 4 1 。它可以是智能交通场景中的运动车辆、医学图像中的某个器官， 或者遥感遥测图像中的某个目标。连通的概念是指