（计算机应用技术专业论文）基于最少帧差法图像识别的智能监控系统的研究.pdf

摘要 摘要 近几年来，随着多媒体技术的迅速发展与计算机性能的不断提高， 动态图像分析处理技术目益受到人们的青睐，并且取得了丰硕的成果。 广泛应用于交通管理、军事目标跟踪、生物医学等领域。运动目标检测 与智能跟踪系统，可以用计算机代替值班人员在仓库、变电站、银行等 重要地方进行监控。由于静态图像处理技术有一定的局限性，而动态图 像比静态图像包含更多的信息，因此，引入运动检测与智能跟踪是很有 必要的。本文结合广东工业大学立项的横向项目“摄像头对动态目标的 智能跟踪系统”的设计与实现，对数字图像处理技术以及视频监控技术 的研究方法与研究现状进行了讨论；并且分析了结合二者的优点和优势 进行应用开发的方法；以及基于图像分析的视频监控系统的一般设计思 想及其组成。 文章首先详细地介绍了智能监控系统在国内外发展现状、智能自动 监控系统的构成及工作原理以及视频智能跟踪监控系统总体设计方案的 提出。整个智能跟踪系统涉及的知识面、课题点较多，所以论文重点在 于实时图像的运动目标检测算法研究及动态目标智能跟踪模块的实现。 在目标检测模块，对传统的算法进行了性能评价，指出了各种传统 算法的优缺点。针对军用仓库监控系统的特点，重点提出了动态背景减 除改进算法，将时域差分法和动态背景法的优点综合起来，构造了一种 基于最少帧差法图像识别方法( 结合虚拟框) 以提取检测目标，达到较 好效果。 目标跟踪模块是智能化监控系统的重要环节。本文首先详细的分析 了固定背景下的传统匹配跟踪算法。然后提出了一种对运动目标进行跟 踪的计算简单的算法。该算法可用于对动态运动目标的跟踪，具有较强 的鲁棒性。最后简要的分析了在复杂的背景和多个运动目标的情况下目 标跟踪的问题的解决方案。 在论文的最后给出实验的部分演示并加以说明，对整个论文的工作 做了总结并对所存在的若干问题进行了讨论。 变三些奎兰三兰塑圭兰堡兰三 关键字：动态图像分析；运动目标检测；最少视频帧差：虚拟框： a b s t r a c t i nr e c e n t y e a r s ， w i t ht h er a p i d l y d e v e l o p m e n to f t h em u l t i m e d i a t e c h n i q u e s a n dt h e g r a d u a l l y t e c h n i c a l i m p r o v e m e n t o f c o m p u t e r p e r f o r m a n c e ，d y n a m i ci m a g em a n i p u l a t i o nt e c h n i q u e si n c r e a s i n g l y a r e t h o u g h tm u c hb yt h ep e o p l e a n di t h a r v e s t st h ep l e n t i f u la n ds u b s t a n t i a l f r u i t si nt h ee n d i tc a nb ea p p l yt ot h ef i e l d ss u c ha st r a f f i cm a n a g e m e n t ， m i l i t a r ya f f a i r sg o a lt r a c k i n ga n db i o l o g i cm e d i c i n ea n ds oo n t h es y s t e m o fd e t e c t i n ga n di n t e l l i g e n tt r a c k i n gt ot h ed y n a m i cg o a ic a nm a k eu s eo f c o m p u t e r t or e p l a c et h ej o bw h i c hw o r k e rd oi nt h ef i e l ds u c ha sw a r e h o u s e ， t r a n s f o r m e rs u b s t a t i o na n d b a n k 0 w i n g t ot h et e c h n i q u eo fs t a t i ci m a g eh a s al i m i tt ou s e ，d y n a m i ci m a g ec o n t a i nm o r ei n f o r m a t i o nt ot h es t a t i ci m a g e a c c o r d i n 9 1 y ，t h e r e f o r ei ti s e c e s s a r yi n t r o d u c et h es y s t e mo fd e t e c t i n ga n d i n t e l l i g e n tt r a c k i n g t ot h e d y n a m i cg o a l -c o m b i i n g w i t ht h ei t e mo f g u a n g d o n gu n i v e r s i t yo f 1 1 e c h n o l o g y - “t h es y s t e mo fi n t e l l i g e n tt r a c k i n gt o t h ed y n a m i cg o a lb yt h ec a m e r a ”，t h i st e x td i s c u s s e st h er e s e a r c hm e t h o d a n dr e s e a r c hs t a t eo f d i g i ti m a g e a n dv i d e o f r e q u e n c ys u r v e i l l a n tt e c h n i q u e ； a n a l y z e st h em e r i tt o t h i sm e t h o d ；g i v e sat o t a lt h o u g h to fd e v e l o p m e n t a l m e t h o da n dc o n t e x t u r eo fv i d e of r e q u e n c ys u r v e i l l a n ts y s t e mw h i c hb a s eo n i m a g ea n a l y s i s f i r s t l y t h i s p a p e ri n t r o d u c e s t h er e s e a r c hs t a t u sa d t e n d e n c y o f i n t e l l i g e n t v i d e o f t e q h e n c y s u r v e i l l a n t s y s t e m i nt h ew o r l di n d e t a i l s e c o n d l yi t d i s c u s s e st h et h e o r yt ot h i ss y s t e m i nt h ee n db r i n gf b r w a r d b l u ep r i n t w h o l es y s t e mi n v o l v e di naw i d er a n g eo fk n o w l e d g e ，t h e r e f o r e t h i s p a p e r f o c u s e so nan e wm e t h o do fr e a lt i m ei m a g ed e t e c t i n ga n d i n t e l l i g e n tt r a c k i n gt od y a m i cg o a l i nt h em o t i o nd e t e c t i o m o d u l e ，t h ea r t i c l ef i r s ta n a l y z e sp e r f o r m a n c e o ft r a d i t i o n a l a l g o r i t h m a n d p o i n t s o u ts o m ed i s a d v a n t a g e s a i ma tt h e c h a r a c t e r i s t i co fm i l i t a r yw a r e h o u s em o n i t o r i n gp o i n t s0 u to n ei m p r o v e d a l g o r i t h m s n a m e l y c o m b i n e b a c k g r o u n d s u b t r a c t i o nw i t h t e m p o r a i m 广东工业大学工学硕士学位论文 d i f f c r e n c i n g ，a n dp r o p o s ea “d o ft h el e a s tf r a m en u m b e r sm e t h o do f i m a g e d e t e c t i o n ( s u p p o s i t i o n a lf r a m e w o r k ) a n d w eh a v ev e r i f i e di t s v a l i d i t yt h r o u g ht h ee x p e r i m e n t o b j e c tt r a c k i n gm o d u l ei s a l s oa ni m p o r t a n tp a r ti nt h ei n t e l l i g e n t s y s t e m i nt h eo b j e c tt r a c k i n gm o d u l e ，t h ea r t i c l e f i r s ta n a l y z e st r a d i t i o n a l m a t c h i n gt r a c k i n ga l g o r i t h md e t a i l e d l yi nt h ef i x e db a c k g r o u n d s e c o n d l y p o i n t so u to n ei m p r o v e ds i m p l ea l g o r i t h m st ot r a c kt h ed y n a m i cg o a l t h i s a l g o r i t h m c a nb eu s ei n t r a c k i n g o ft h e d y n a m i cg o a l a n di t sr o b u s t p e r f o r m a c ei s a l s os t r o n g f i n a l l y ，t h ep a p e ra n a l y z e st h eo b j e c tt r a c k i n g u n d e rt h ec i r c u m s t a n c eo fc o m p l e xb a c k g r o u n da n dm u l t i o b j e c t a tt h ee n dt h i sp a p e r ，s o m ed e m os e q u e n c e so fe x p e r i m e n ta r eg i v e n a n de l a b o r a t e d f i n a l l y ， t h e p a p e r d r a w sac o n c l u s i o t ot h i st e x ta d i n t r o d u c e ss h o r t c o m i n g k e yw o r d s ：d y n a m i ci m a g ea n a l y z i n g ；d y n a m i cg o a ld e t e c t i o n ；t h e 1 e a s t v i d e of r a m e ； s u p p o s i t i o n a lf r a m e w o r k ； 第一章绪论 1 1 课题来源 第一章绪论 智能监控系统的需求主要来自于那些对安全要求敏感的场合，如军队、银 行、商店、停车场等。当盗窃发生或发现异常时，系统能够向保卫人员准确及 时地发出警报，从而避免犯罪的发生，同时也减少了雇佣大批监视人员所需要 的人力、物力和财力的投入。智能监控技术包括了运动目标的检测、跟踪、目 标分类和行为理解等方面，涉及到计算机视觉、模式识别和人工智能领域的许 多核心课题，是一个具有挑战性的困难问题。近年来随着集成电路和计算机技 术的迅猛发展，它获得了日益广泛的研究与应用m 。 传统的监控系统主要是通过一些传感器如温度传感器、压力传感器和红外 线传感器等来实现，近年来，已经逐渐出现了可视化监控系统。它通常是由连 接一套电视监视器上的一个或多个摄像机组成。一些重要的场所如银行、证券 交易所、超市以及大型仓库等的保安设施中都常常装有这些可视化监控设备。 但是这些监控系统的功能大多仅仅是停留在监控人员对视频信号的人工监视和 事后对录像的分析上，并没有充分利用目前计算机技术高速发展所提供的巨大 计算和分析能力上。并且，在一些监控点较多的情况下，监控人员很难做到全 面的以及全天候的监控。因此，对于监控系统的智能化的需求就越来越迫切了 m 。具有智能化的监控系统研究的核心问题是要对进入监控领域的运动目标进行 实时的检测、智能跟踪并且根据具体情况作出判断以及处理( 如自动报警，保 存视频数据等) 。 本课题是基于广东工业大学计算机软件研究所与广东华贸科技有限公司研 发的“摄像头对动态目标的智能跟踪系统”项目。该项目建设的总目标是：在 现有的摄像头对静态目标的跟踪的基础上，主要研究一种动态目标的智能跟踪 系统，硬件系统包括带有镜头的摄像机及其装载驱动器的云台、控制台、自动 跟踪伺服系统及联路；软件系统以p c 机作为伺服计算机，利用图像识别、模糊 控制等技术和通讯控制协议，通过设计模式识别和控制规则推理算法，从而进 行闭环的动态目标的实时跟踪控制，把智能监控提高到一个新的水平。本课题 紧跟整个项目的每一个环节，参与并负责了其中大量实际工作，尤其是运动目 广东工业大学工学硕士学位论文 标检测算法的实现。首先进行了项目的需求分析部分，从华贸科技有限公司那 里了解了工作流程以及需要处理的事务，再进行系统设计和硬件线路的连接， 最后编码实现。研究的目标是一种具有智能化监视功能的监控系统方案，主要 是应用于军用仓库系统中。它能对军用仓库系统进行实时全天候的监控，能自 动检测出进入仓库的运动目标并对此运动目标进行实时跟踪和发出报警信号。 从而利用改系统代替监控人员完成全部或者部分的监控任务。整个系统进行实 验的硬件设备主要有计算机，云台，摄像机以及解码器组成。如图1 1 所示： 图1 1 智能化监控系统硬件结构图 f i g 1 1s m l c t u r eo fs m a n s u a ls u r v e i a i l c e 这种系统设计的目的是要解决目前人工监控系统中所存在的问题，能胜任 无人值守下军用仓库系统的监视工作，也是当前智能化监控系统发展的趋势。 整个智能跟踪系统涉及的知识面、课题点较多，所以论文重点在于实时图像的 运动目标检测算法研究及动态目标智能跟踪模块的实现，这两方面是整个项目 的亮点和技术难点。因此如何有效的解决运动目标图像信息的问题也就变成了 整个项目的关键。问题主要集中在两个方面：一方面是如何实现运动目标检测； 另一方面则是动态目标智能跟踪。课题紧密结合该项目的实际运行情况，结合 时域差分法和动态背景法的优点，提出了一种基于最少帧差法图像识别方法的 解决方案。 1 2 智能监控系统在国内外发展现状 在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控 两类产品。前者技术发展已经非常成熟、性能稳定。并在实际工程应用中得到 广泛应用，特别是在大、中型视频监控工程中的应用尤为广泛；后者是新近崛 起的以计算机技术及图像视频压缩为核心的新型视频监控系统，该系统解决了 第一章鳍论 模拟系统部分弊端而迅速崛起，但仍需进一步完善和发展。目前，视频监控系 统正处在数控模拟系统与数字系统混合应用并将逐渐向数字系统过渡的阶段嘲。 1 2 1 数字信号控制的模拟视频监控系统 数字信号控制的模拟视频监控系统分为基于微处理器的视频切换控制加 p c 机的多媒体管理和基于p c 机实现对矩阵主机的切换控制及对系统的多媒体 管理两种类型。 1 、基于微处理器的视频切换控制加p c 机的多媒体管理类型 8 0 年代是微处理器的年代，视频监控系统利用微处理器固件发展的矩阵切 换器，将原来分散的全硬件视频监控系统微型集中化，如将视频切换、对前端 的控制等功能集合一起，一机处理，是技术上的一个突破。 自备微处理器的矩阵主机可通过p c 机的图形管理软件实现以下功能： 对单一工作站之中的视频监控、出入口控制、内部通讯、报警等进行综合 全面控制( 注：只能提供一个简单的、可增强系统控制功能的用户界面，但不 能代替矩阵主机的安防配置和编程能力) ； 任意一台工作站可通过网络，控制其它工作站所连接的矩阵主机、报警设 备，完成视频切换、云台、镜头控制及报警联动等； 可通过软件实现对众多矩阵主机和报警接口软件模块的控制。 2 、基于p c 机实现对矩阵主机的切换、控制和对系统的多媒体管理 基于p c 机的视频监控系统采用软件设计，实现摄像机到监视器的视频矩阵 切换，云台和镜头的控制，通过串口连接报警设备的报警信息，并通过程序编 程自动完成视频切换、云台控制、报警联动、报警录像等各项控制功能。 系统能充分利用p c 机的资源，使视频监控系统随电脑技术的发展而不断进步， 同时其开放性的结构特性更可使之与其它多种系统如与消防报警系统、出入口 管理系统、楼宇自控系统等实现互动集成。 3 、数控模拟视频监控系统的优缺点 随着微处理器、微机的功能、性能的增强和提高，多媒体技术的应用，系 统在功能、性能、可靠性、结构方式等方面都发生了很大的变化，视频监控系 统的构成更加方便灵活、与其它技术系统的接口趋予援范，人机交互界面更为 广东工业大学工学硕士学位论文 友好。但由于视频监控系统中信息流的形态没有变，仍为模拟的视频信号，系 统的网络结构主要是一种单功能、单向、集总方式的信息采集网络，介质专用 的特点，因此系统尽管已发展到很高的水平，已无太多潜力可挖，其局限性依 然存在，要满足更高的要求，数字化是必由之路m 。 模拟监控系统的主要缺点有： 通常只适合于小范围的区域监控模拟视频信号的传输工具主要是同 轴电缆，而同轴电缆传输模拟视频信号的距离不大于1 i ( i n ，双绞线的距离更短， 这就决定了模拟监控只适合于单个大楼、小的居民区以及其它小范围的场所； 系统的扩展能力差对于已经建好的系统，如要增加新的监控点，往往 是牵一发而动全身，新的设备也很难添加到原有的系统之中； 无法形成有效的报警联动在模拟监控系统中，由于各部分独立运作， 相互之间的控制协议很难互通，联动只能在有限的范围内进行。 1 2 2 数字视频监控系统 9 0 年代末，随着多媒体技术、视频压缩编码技术、网络通讯技术的发展、 数字视频监控系统迅速崛起，现今市场上有两种数字视频监控系统类型，一种 是以数字录像设备为核心的视频监控系统，另一种是以嵌入式视频w e b 服务器 为核心的视频监控系统m 。 1 、数字监控录像系统 数字监控录像系统通常分为两类：一类是基于p c 机组合的计算机多媒体工 作方式；另一类是嵌入式数字监控录像系统。 计算机多媒体方式的数字监控录像系统 数字视频压缩编码技术日益成熟。计算机的普及化，为基于p c 机的多媒体 监控创造了条件。这种新型视频监控系统的迅速崛起，部分地取代了以视频矩 阵图像分割器、录像机为核心，辅以其它传送器的模拟视频监控模式，其优越 性主要表现在： a 、p c 机的多媒体监控主机综合了视频矩阵、图像分割器、录像机等的众 多功能，使系统结构大为简化。 b 、由于采用计算机网络技术，数字多媒体远程网络监控不受距离限制： 第一章绪论 c 、由于采用大容量磁盘阵列存盘器或光盘存储器，可以节省大景的磁带介 质，同时有利于系统实现多媒体信息查询。 但随着基于p c 机的视频监控录像系统的发展，在实际工程使用过程中，也 暴露出一些不足，主要是系统工作的不稳定性。 2 、嵌入方式的视频监控系统 嵌入式系统是以应用为中心，软硬件可裁减的，适应应用系统对功能、可 靠性、成本、体积等综合性严格要求的专用计算机系统，亦即为监控系统量体 裁衣的专用计算机系统。 嵌入式系统主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用 软件系统等组成，它是集软硬件于一体的可独立工作的”器件”。 嵌入式操作系统是一种实时的，支持嵌入式系统应用的操作系统软件，它 是嵌入式系统极为重要的组成部分，通常包括与硬件相关的底层驱动软件、系 统内核、设备驱动接口、通信协议、图形界面、标准化浏览器等，嵌入式操作 系统在系统实时高效性、硬件的相关依靠性、软件固态化及应用的专用性等方 面具有较为突出的特点。 嵌入式系统的优缺点 a 、系统为专用系统，所以系统小，指令精简，处理速度快； b 、系统数据置于r o m f l a s hm e m o r y ，调用速度快，不会被改变，稳定性 好： c 、系统处理实时性好，性能稳定； d 、文件管理系统更适合于大量的视频数据； e 、该类系统目前四路以上机型还较为少见； f 、在网络功能、音视频同步等方面也难令人满意。 许多关于智能监控的大规模研究项目已经在美国、欧洲和日本展开，同时 它也成为许多国际学术会议关注的重要课题。已有多篇论著详细介绍了针对不 同应用条件的智能监控系统。w r e n 等的p f i n d e r 是一个利用颜色和形状特征对 大视角范围内的人进行跟踪的实时系统。h a r i t a 0 9 1 u 等的旷是一个可以在室外 对人进行实时检测和跟踪的智能监控系统。c o l l i n s 等介绍了由c m u 和s a r n o f f 公司合作研究的一种智能监视系统，能使用多个相互协作的摄像机在复杂环境 里对人和车进行连续的跟踪m 。在国内，清华大学的张辉等提出了一种运动目标 广东工业大学工学硕士学位论文 的快速检测、跟踪和判别系统，是采用p c 机作为伺服系统，进行目标跟踪的 但是该系统还处于实验阶段。 1 3 智能自动监控系统的构成及工作原理 本课题是基于最少帧差法图像识别及摄像头对动态目标的智能跟踪系统研 究。目前，检测运动目标的方法主要有光流法和帧间差阈值法。由于噪声、多 光源、阴影、透明性和遮挡性的原因，使得计算出的光流场分布不是十分可靠 和精确。帧差阈值法速度快，易于硬件实现。不足之处在运动物体在成像平面 有重迭时帧差法不适用。军用仓库是一个特殊的安全监视领域。目前军用仓库 的监视系统仍处于人工的监视水平，系统仍未达到智能化程度，针对军用仓库 背景和监视目标( 人) 的特殊性，本文提出了一种基于最少帧差法的全数字化 监控和智能跟踪系统的设计与实现。在现有的摄像头对目标的跟踪的基础上， 本论文从算法的角度研究一种动态目标的智能跟踪系统，硬件系统包括带有镜 头的摄像机及其装载驱动器的云台、控制台、自动跟踪伺服系统及联路；软件 系统以p c 机作为伺服计算机，利用运动检测、目标跟踪和模糊控制等技术和通 讯控制协议，设计目标检测和控制规则推理算法，从而进行闭环的动态目标的 实时跟踪控制。与传统的帧差法相比，最少帧差法实时性较好。并具有全数字 化、智能化、并能实现对运动目标进行实时、可靠智能跟踪的特点。采用数字 图像处理技术，可以实现无人值守的全自动监控系统，大大提高工作效率及信 息自动化水平”，。 1 4 本文研究的主要内容 本文研究了动态目标的检测算法和动态目标智能跟踪算法，并在算法实用 化方面做了大量工作，仿真实现了一个仓库的智能监控系统的原型。该系统可 以接收静态视频图像，我们在实验中采用一般的摄像头做为视频图像输入。系 统实现了对周定场景的实时监控与对动态运动目标的智能检测和跟踪，并自动 发出报警信号，自动化程度较高，不需要监控人员全天候监控，可实现无人值 守闷。一个智能监控系统主要包括计算机数字视频监控系统中的视频处理技术、 计算机数字视频云台控制技术以及视频压缩编码技术。本论文的主要任务是针 笫一章绪论 对以上关键技术进行分析和研究，开发一个基于最少帧差法图像识别及摄像头 对动态目标的智能跟踪系统。余下的章节是这样安排的，主要内容包括： 1 、第二章是视频智能跟踪监控系统总体设计方案的提出。提出基于最少 帧差法图像识别及摄像头对动态目标的智能跟踪系统的总体设计思 想，给出系统硬件和软件的设计框图。 2 、第三章目标检测算法研究。首先对传统的算法进行了性能评价，指出 了各种传统算法的优缺点。针对军用仓库监控系统的特点，重点提出 了动态背景减除改进算法，将时域差分法和动态背景法的优点综合起 来，构造了一种基于最少帧差法图像识别结合虚拟框以提取检测目标， 达到较好效果。 3 、第四章目标跟踪功能模块的研究。目标跟踪模块是智能化监控系统的 重要环节。本文首先详细的分析了固定背景下的传统匹配跟踪算法并 采用区域跟踪算法实现对动态耳标的智能跟踪及目标的运动矢量的估 计。提出了一种对运动目标进行跟踪的计算简单的算法。该算法可用 于对动态运动目标的跟踪，具有较强的鲁棒性。最后简要的分析了在 复杂的背景和多个运动目标的情况下目标跟踪的问题的解决方案。 4 、第五章是仿真试验及结果分析。 1 5 论文的创新 1 ) 本文结合国内外目前的研究现状及数字视频监控系统的发展趋势，重点提 出了动态背景减除改进算法，将时域差分法和动态背景法的优点综合起来， 构造了种基于最少帧差法图像识别方法( 结合虚拟框) 以提取检测目标， 达到较好效果。 2 ) 运用数字图像处理技术、视频监控技术，实现对监视区域中动态运动目标 捕捉，可满足需要对固定场景实行监控的部门的要求。 1 6 本章小结 本章介绍了智能监控系统的发展历程和国内外的研究状况、阐述了智能监控 系统的构成及工作原理。最后提出了本课题的研究的主要内容、目的和创新点。 广东工业大学工学硕士学位论文 第二章视频智能跟踪监控系统总体方案设计 2 1 系统概述 随着计算机处理能力的提高，利用计算机来分析、模拟物体运动受到越来 越多的关注，而进行物体运动分析首要的问题就是运动检测。目前，基于视频 或者图像的运动目标的检测或识别，已经在多种场合得到应用，例如，对监控 系统中对某个运动目标进行检测，进而分析运动目标的一些特征等。对目标的 自动跟踪将会节省大量的人力物力。更为重要的是，有些场合由于客观原因， 人类不方便或不可能亲自到现场查看，这时，只有通过其它方式，如用计算机 进行实时监视来完成工作。在视频图像处理中，运动的检测和估计主要有两种 方法：一种是直接的帧间变化检测，另一种是基于块匹配或光流方法的运动矢 量场估计算法门】。动态目标的智能跟踪系统主要研究一种在现有的静态目标跟踪 系统的基础上，实现对不同形状、不同颜色、不同背景的动态目标进行智能识 别的技术。 视频智能跟踪监控系统总的思想是将视频摄像头安装在军用仓库中，并对 仓库中的情况进行监控，捕获的视频信息经预处理后由现场计算机进行处理， 实现对动态目标的检测和智能跟踪再以集总形式保存在计算机硬盘中。系统框 图如图2 1 所示。 图2 1 系统框图 f i g 2 1s y s t c m f r a m e w o r k 整个处理过程分为如下几个阶段： ( 1 ) 初始化( 视频采集) 第二章视频智能跟踪监控系统总体方案设计 由摄像头采集的数字视频信号通过窜口接口输入现场计算机，然后由现场 计算机提供相应的函数接口来进行实时处理。初始化是对摄像头采集到的视频 数据进行一些预处理，如图像的平滑及增强、颜色调整、图像显示区域的大小 调整等。图像平滑的目的是为了减少图像的噪声，其技术通常有两类，空间域 法和频率域法。由于本系统是一实时处理系统，而频率域法的算法比较复杂， 运算量大，处理速度慢，所以采用空间域法。 ( 2 ) 背景恢复 在一个时间段( 现设定为o 4 秒钟里) 我们将等间段的捕捉2 帧图像，并 利用此2 帧图像进行背景的恢复。在这里提出了最少帧差法的思想及实现。 ( 3 ) 运动目标检测 为了获取我们感兴趣的动态目标图像，在上述的背景恢复的基础上把运动 目标从复杂的背景中分离出来，即用背景去除方法来提取运动目标。这样做的 目的是使后续的工作只对动态目标操作。 ( 4 ) 运动目标的重( 质) 心的判别 对已经提取出的运动目标进行检测，确定其运动矢量，并计算出动态目标 在图像中的重( 质) 心。 ( 5 ) 图像区域中动态目标的确定及跟踪 经过运动目标的重( 质) 心的判别与坐标系的转换我们就进入目标跟踪阶 段。在目标跟踪阶段，系统在检测出运动目标后能实现可靠跟踪，并控制摄像 头锁定该目标。 2 2 系统要求和实验条件 一个理想的基于视频的军用仓库监控系统的目标是，通过现场采集，能实 时地检测到： ( 1 ) 利用基于帧差法的图像识别技术可靠的检测出运动目标并提取其运动 速度。 ( 2 ) 在第一个目标的基础上，结合对云台和摄像头的模糊控制实现对运动 目标的跟踪。 ( 3 ) 在计算机硬盘上保存一段时阅内的监控状况。 广东工业大学工学硕士学位论文 ( 4 ) 磁盘数据的图像分辨率为4 0 0 。3 0 0 ，每帧的主运动估计耗时5 0 至6 0 m s ， 运动检测要1 0 0 m s ，跟踪需4 0 0 m s ，运动系统可进行调整、扩充以满足不同领 域、不同要求、不同跟踪对象的跟踪控制。 由于军用仓库现场情况随意性很大，如光照及出现在场景的运动目标有多 个等，都会给系统的分析带来误差及困难。所以一个成功的、具有广泛应该的 实时智能监控系统应满足如下的要求： ( 1 )易于安装和校准 ( 2 )环境适应能力强 ( 3 )系统能在各种光照条件下工作 ( 4 )能准确的计算动态目标的运动参数并进行自动跟踪 ( 5 )能实时的进行处理 ( 6 )整个系统有低廉的成本 实验条件如下： ( 1 ) 主频为2 4 g h z 奔腾p c 机，内存为2 5 6 m 。 ( 2 ) 分辨率为( 1 2 0 x2 4 0 ) ( 6 4 0 x3 2 0 ) 的真彩色摄像头，视频采集 率为1 3 0 晰秒。 ( 3 ) 云台及v 1 2 0 0 解码器。 2 3 图像及视频采集 2 3 1 图像格式分析 在w i n d o w s 中有两种类型的位图：d d b 位图( 设备相关位图，也有 书上称为g d i 位图) 和d m 位图( 设备无关位图) 。d d b 位图对象是由m f c 库6 o 版本c b i n n a p 类定义的。d d b 位图对象有一个与之关联的w 抽d o w s 数据结构，它在w i n d o w sg d i 模块内进行维护。程序可以获得位图数据的 副本，但是其中位的排列则取决于显示硬件。在同一台机器中，g d i 位图可 以在各个程序之间任意进行传输。但是，由于它们是设备无关的，所以，通 过磁盘或网络来传输位图，其意义就不很明显m 。 d i b 则在程序设计方面提供了许多超越g d i 位图的优势。d b i 本身自带 第二章视频智能跟踪监控系统总体方案设计 有自己的颜色信息，使颜色调配管理变得更加简单。d m 位图可以在不同的 机器或系统中显示位图所固有的图像。与d d b 相比而言，d i b 是一种外部 的位图格式，经常存储为以b m p 为后缀的位图文件中。d i b 位图还支持图 像数据的压缩。从中可以明显的看出，相对设备独立的d i b 较之g d i 位图 有着明显的优势，因此本系统中涉及的图像文件处理的部分都以d i b 作为处 理对象。 位图文件( b i t 尬p f i l e ，b m p ) 格式是w i n d o w s 采用的图像文件存储格式， 在w i n d o w s 环境下运行的所有图像处理软件都支持这种格式。w i n d o w s3 o 以前的b 肝位图文件格式与显示设备有关，因此把它称为设备相关位图 ( d e v i c e d e p e n d e n tb i t m a p ，d d b ) 文件格式。w i n d o w s3 o 以后的b 船位图 文件格式与显示设备无关，因此把这种b m p 位图文件格式称为设备无关位图 ( d e v i c e i n d e p e n d e n tb i t m a p ，d i b ) 格式，目的是为了让w i n d o w s 能够在任 何类型的显示设备上显示b m p 位图文件。b 肝位图文件默认的文件扩展名是 b m p 或者b m p 。 位图文件可看成由4 个部分组成：位图文件头( b i t m a p f i l eh e a d e r ) 、 位图信息头( b i t m a p i n f o r m a t i o nh e a d e r ) 、彩色表( c 0 1 0 rt a b l e ) 和定义位 图的字节阵列，它们的名称和符号如表2 1 所示“1 。 表2 1b h i p 图像文件组成部分的名称和符号 t a b l e2 11 1 1 en a 地锄ds i g i lo f b m p f i l e i位图文件的组成结构名称符号 位图文件头( b i t m a p f i l eh e a d e r )b i t m a p f i l e h e a d e rb m f h 位图信息头( b i t m a p i n f o 珊a t i o n b i t m a p i n f o h e a d e rb i h h e a d e r ) 彩色表( c 0 1 0 rt a b l e )l r g b q u a da c 0 1 0 r s l 图像数据阵列字节 8 b y t el a b i t m 即b i t s 口l 第一部分为位图文件头结构b i t m a p f i l e h e a d e r ，其结构为 至三些奎兰三耋堡圭耋堡堡圣 t y p e d e fs t r u c tt a g b i t m a p f i l e h e a d e r 丰b m f h 半 u i n tb f t y p e ； d w o r db f s i z e ： u i n tb f r e s e r v e d l u i n tb f r e s e r v e d 2 ： d w o r db f o f f b i t s ： b i t m a p f i l e h e a d e r 这个结构的长度是固定的，为1 4 个字节( w 0 r d 为无符号1 6 位整数，d w o r d 为无符号3 2 位整数) ，各个域说明如下： 其中 b f t y p e b f s i z e b f r e s e r v e d l b f r e s e r v e d 2 b f o f f b i t s 说明文件的类型 说明文件的大小，用字节为单位 保留，设置为o 保留，设置为0 说明从b i t m a p f i l e h e a d e r 结构开始到实际的图像数 据之间的字节偏移量 第二部分为位图信息头b i t m a p i n f o h e a d e r ，也是一个结构，其定义如下： t y p e d e fs t r u c tt a g b 工t m a p i n f o h e a d e r 术b i h 木 d w o r db i s i z e l o n gb i w i d t h 1 2 耋三兰鎏鎏兰鐾坚璧兰塞至釜璺苎耋耋兰茎 l o n gb i h e i g h t w o r db i p l a n e s w 0 r db i b i t c o u n t d w o r db i c o m p r e s s i o n d w o r db i s i z e i m a g e l o n gb i x p e l s p e r m e t e r l o n gb i y p e l s p e r m e t e r d w o r db i c l r u s e d d w o r db i c l r i m p o r t a n t lb i t m a p i n f o h e a d e r 其中： b i s i z e 说明b i t m a p i n f o 眦a d e r 结构所需要的字节数 b i w i d t h 说明图像的宽度，以像素为单位 b i h e i 曲t说明图像的高度，以像素为单位 b i p l a n e s 为目标设备说明位面数，其值设置为1 b i b i t c o u n t 说明位数像素，其值为1 、2 、4 或者2 4 b i c 叩p r e s s i o n 说明图像数据压缩的类型。其值可以是下述值之 一： b i r g b ：没有压缩： b i - r l e 8 ：每个像素8 位的r l e 压缩编码，压缩 格式由2 字节组成( 重复像素计数和颜色索引) ； b ir l e 4 ：每个像素4 位的r l e 压缩编码，压缩 1 3 广东工业大学工学硕士学位论文 格式由2 字节组成 b i s i z e i m a g e说明图像的大小，以字节为单位。当用b i r g b 格式时， 可设置为o b i x p e l s p e r m e t e r 说明水平分辨率，用像素米表示 b i y p e l s p e r m e t e r 说明垂直分辨率，用像素米表示 b i c l r u s e d说明位图实际使用的彩色表中的颜色索引数 b i c l r i m p o r t a n t说明对图像显示有重要影响的颜色索引的数目， 如果是o ，表示都重要。 第三部分为彩色表r g b q u a d ，彩色表包含的元素与位图所具有的颜色数相 同，像素的颜色用r g b q u a d 结构来定义。对于2 4 一位真彩色图像就不使用彩色 表，因为位图中的r g b 值就代表了每个像素的颜色。彩色表中的颜色按颜色的 重要性排序，这可以辅助显示驱动程序为不能显示足够多颜色数的显示设备显 示彩色图像。r g b q u a d 结构描述由r 、g 、b 相对强度组成的颜色。 第四部分为图像数据阵列字节。紧跟在彩色表之后的是图像数据字节阵列。 图像的每一扫描行由表示图像像素的连续的字节组成，每一行的字节数取决于 图像的颜色数目和用像素表示的图像宽度。扫描行是由底向上存储的，这就是 说，阵列中的第一个字节表示位图左下角的像素，而最后一个字节表示位图右 上角的像素t ”。 2 3 2 视频采集卡及视频采集的实现 要将模拟信号变成能为计算机所处理的数字信号，就要使用视频采集卡。 视频采集卡就是将模拟视频信号转换成数字视频信号的专用设备。 电脑上通过视频采集卡可以接收来自视频输入端的模拟视频信号，对该信 号进行采集、量化成数字信号，然后压缩编码成数字视频。大多数视频卡都具 备硬件压缩的功能，在采集视频信号时首先在卡上对视频信号进行压缩，然后 再通过p c i 接口把压缩的视频数据传送到主机上。一般的p c 视频采集卡采用帧 第二章视频智能跟踪监控系统总体方案设计 内压缩的算法把数字化的视频存储成a v i 文件，高档一些的视频采集卡还能直 接把采集到的数字视频数据实时压缩成肝e g 一1 格式的文件m 。 由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视 频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入p c 系统。因此， 实现实时采集的关键是每一帧所需的处理时间。如果每帧视频图像的处理时间 超过相邻两帧之间的相隔时间，则要出现数据的丢失，也即丢帧现象。采集卡 都是把获取的视频序列先进行压缩处理，然后再存入硬盘，也就是说视频序列 的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便。不同档次的 采集卡具有不同质量的采集压缩性能。在本系统中，由于只使用了一个摄像头， 所以选用了路的视频采集卡，型号为w i n n o vv i d e u mf o rw i n d o w s2 0 0 0 n t ， 采集卡的驱动程序由该视频采集卡的生产厂家提供。 视频数据采集软件实现：采用面向对象的方法，在工程中新建一个对视频 数据处理的基类c c d e a l w i t h d a t a ，对由摄像头采集到的现场数据处理全部控制 进行封装。其中除了对镜头进彳亍调节操作的虚拟成员函数外，还要加入w n v v i d x 0 c x 控件并创建控件。对于每种视频采集卡，根据该视频采集卡的控制协议从 该类中派生具体的各路视频采集类，对于不同的视频采集卡应封装成不同的类。 比如，对于w i n n o v 视频采集卡，根据其控制协议派生具体的c w n v v i d e o 类如下： c l a s sc w n v v i d e o ：p u b l i cc w n d 。p u b l i c ： 1 0 n gs t a r t u p ( ) ： 1 0 n gs h u t d o w n ( ) ： 1 0 n gs t a r t c o n t i n u o u s c a p t u r e ( ) ： 1 0 n gs t a r t c o n t i n u o u s c a p t u r e n o f i l e ( ) ： 1