（信号与信息处理专业论文）智能视觉监控系统中运动目标检测算法研究.pdf

山东大学硕士学位论文 摘要 从监控技术的发展来看，监控技术大致可分为三个阶段：人力现场监控、人 力视频监控和智能视觉监控。目前，世界各国政府和学者都在密切关注着新一代 的监控技术智能视觉监控技术。智能视觉监控技术涉及图像处理、图像分析、 机器视觉、模式识别、人工智能等众多研究领域，是一个跨学科的综合问题，也 是一个极具挑战性的前沿课题，具有广泛的应用领域和巨大的潜在市场价值、社 会效益。视觉监控系统的智能化分析过程由运动目标检测、分类、跟踪和视频分 析等几个基本环节组成，其中运动目标检测是基础。由于背景图像的动态变化， 如天气、光照、阴影以及背景干扰的影响，使得运动目标检测成为一项相当困难 的工作。因此，对智能视觉监控系统中运动目标检测算法的研究具有非常重要的 意义。 本课题来源于山东省科技攻关项目“智能视觉监控系统，研究和设计实 现了智能视觉监控系统。项目在基于海康d s 4 0 0 4 h 板卡的基础上，利用v i s u a l c + + 、海康s d k 、s q l s e r v e r2 0 0 0 等编写了视觉监控系统软件，系统包括六个独 立部分：中心数据库、本地数据库、数据管理中心、视频服务器、监控中心和流 媒体客户端。系统借鉴多媒体监控系统的方法，在视频服务器端采用传感器与摄 像头相配合，实现了简单的多媒体入侵检测。 本文介绍了运动目标检测的一些基本方法：光流法、时间差分法、背景差法， 并对各种方法进行分析和比较，指出其优缺点和应用范围。本文将运动目标检测 的改进方式分为三类。针对固定摄像机情况下的视觉监控系统，提出了一种改进 的快速混合高斯模型算法。通过分析方差和均值在混合高斯模型中的作用，同时 考虑方差学习率的复杂性，省略了方差更新；对不同方差进行实验比较，确定了 方差的合适取值，且均值学习率采用定值。实验结果表明，改进算法比传统检测 方法有更好的实时性与可靠性。如果仅仅应用于智能视觉监控系统入侵检测( 当前 景占场景的比例大于一个常数时即认为发生入侵) 时，由于本文算法受噪声和光照 缓变等影响较小，所以不需进行形态滤波，从而可进一步减小计算量。 检测出运动目标的二值前景图像后，需要确定每个目标的范围、大小、位置 山东大学硕士学位论文 等信息，从而为跟踪、识别等后续处理做准备。由于二值前景图像中往往含有噪 声，存在一些孔洞或孤立点等，因此采用形态学滤波( 此处为开操作) 对二值化 后的前景图像进行处理，然后使用o p e n c v的c v f i n d c o n t o u r s 和c v d r a w c o n t o u r s 检测和填充轮廓，从而检测出目标区域，并对目标区域进行画框处理，具有较好 的实验效果。 关键词：智能视觉监控系统；运动目标检测：混合高斯模型；方差 2 山东大学硕士学位论文 a b s t r a c t a c c o r d i n gt ot h ed e v e l o p m e n to fs u r v e i l l a n c et e c h n o l o g y , s u r v e i l l a n c et e c h n o l o g y c a nb ea p p r o x i m a t e l yd i v i d e di n t ot h r e es t a g e s ：h u m a ns i t es u r v e i l l a n c e ，h u m a nv i d e o s u r v e i l l a n c ea n di n t e l l i g e n tv i s u a ls u r v e i l l a n c e c u r r e n t l y , g o v e r n m e n t sa n ds c h o l a r s a r o u n dt h ew o r l da r ep a y i n gt h e i rc l o s ea t t e n t i o nt oan e wg e n e r a t i o no fs u r v e i l l a n c e t e c h n o l o g y - 一i n t e l l i g e n tv i s u a ls u r v e i l l a n c et e c h n o l o g y i n t e l l i g e n tv i s u a ls u r v e i l l a n c e t e c h n o l o g yi sam u l t i d i s c i p l i n a r yc o m p o s i t i v ei s s u e ，a n di sa l s oac h a l l e n g i n gf r o n t i e r t o p i c ，w h i c hi si n v o l v e di ni m a g ep r o c e s s i n g ，i m a g ea n a l y s i s ，m a c h i n ev i s i o n ，p a t t e r n r e c o g n i t i o n , a r t i f i c i a li n t e l l i g e n c ea n dm a n yo t h e rr e s e a r c hf i e l d s i ti sw i d e l yu s e di n v a r i o u sa p p l i c a t i o nf i e l d sa n dh a sg r e a tp o t e n t i a li nm a r k e tv a l u ea n ds o c i a lb e n e f i t t h e p r o c e s so fi n t e l l i g e n ta n a l y s i so fv i s u a ls u r v e i l l a n c ec o n s i s t so ff o u rb a s i cs t e p s ： m o v i n go b j e c td e t e c t i o n ，c l a s s i f i c a t i o n ，t r a c k i n ga n dv i d e oa n a l y s i s ，w h e r em o v i n g o b j e c td e t e c t i o ni st h ef o u n d a t i o n d u et od y n a m i cc h a n g e so ft h eb a c k g r o u n di m a g e ， s u c ha sw e a t h e r , l i g h t ，s h a d o wa n db a c k g r o u n di n t e r f e r e n c e ，m o v i n go b j e c td e t e c t i o n b e c o m e saq u i t ed i f f i c u l tt a s k t h e r e f o r e ，m o v i n go b je c td e t e c t i o ni ni n t e l l i g e n tv i s u a l s u r v e i l l a n c es y s t e mi so fg r e a ts i g n i f i c a n c e t h i s t o p i cc o m e s f r o ms c i e n c ea n dt e c h n o l o g yk e yp r o j e c to fs h a n d o n g p r o v i n c e 一“i n t e l l i g e n tv i s u a ls u r v e i l l a n c es y s t e m ”，r e s e a r c h e s ，d e s i g n sa n dd e v e l o p s a ni n t e l l i g e n tv i s u a ls u r v e i l l a n c es y s t e m w ep r o g r a mt h ei n t e l l i g e n tv i s u a ls u r v e i l l a n c e s y s t e mb yu s i n gv i s u a lc + + ，h a i k a n gs d k , s q l s e r v e r2 0 0 0e t cb a s e do nh a i k a n g d s 一4 0 0 4 hb o a r d t h es y s t e mi sc o m p o s e do fs i xi n d i v i d u a lp a r t s ：c e n t r a ld a t a b a s e ， l o c a ld a t a b a s e ，d a t am a n a g e m e n tc e n t e r , v i d e oc e n t e r , s u r v e i l l a n c ec e n t e ra n d s t r e a m i n g m e d i ac l i e n t i ta c h i e v e sas i m p l em u l t i m e d i ai n t r u s i o nd e t e c t i o n i n c o r p o r a t i n gs e n s o ra n dc a m e r ai nv i d e os e r v e rb yu s i n gm u l t i - m e d i as u r v e i l l a n c e s y s t e mf o rr e f e r e n c e t h i sp a p e ri n t r o d u c e ss o m eb a s i cm e t h o d so fm o v i n go b j e c td e t e c t i o n ：o p t i c a l f l o wm e t h o d ，t e m p o r a ld i f f e r e n c em e t h o da n db a c k g r o u n ds u b t r a c t i o nm e t h o d ， 3 山东大学硕士学位论文 a n a l y s e sa n dc o m p a r e se a c hm e t h o d ，a n di n d i c a t e st h e i ra d v a n t a g e s ，d i s a d v a n t a g e sa n d a p p l i c a t i o nr a n g e s i m p r o v e dm e t h o d so fm o v i n go b j e c td e t e c t i o na r ec l a s s i f i e d i n t o t h r e ec a t e g o r i e s af a s ti m p r o v e da l g o r i t h mo fg a u s s i a nm i x t u r em o d e li sp r e s e n t e df o r a p p l i c a t i o no fv i s u a l s u r v e i l l a n c ew i t has t a t i cc a m e r a b yf u n c t i o na n a l y s i so f g a u s s i a nv a r i a n c ea n dm e a nv a l u e ，a n dc o n s i d e r i n gt h ec o m p l e x i t yo ft h el e a r n i n gr a t e o fm e a nv a l u e ，t h eu p d a t i n ge q u a t i o no fv a r i a n c ei so m i t t e d v i ae x p e r i m e n t su n d e r d i f f e r e n tv a r i a n c e s ，w ec o n f i r mt h ea p p r o p r i a t ev a l u eo fv a r i a n c e ，a n daf i x e dl e a r n i n g r a t eo fm e a nv a l u e e x p e r i m e n t ss h o wt h a to u ri m p r o v e da l g o r i t h mo u t p e r f o r m so t h e r t r a d i t i o n a lm e t h o d si nr e a l - t i m ep e r f o r m a n c ea n ds t a b i l i t y i fi m p r o v e dm e t h o di so n l y u s e di ni n t e l l i g e n tv i s u a ls u r v e i l l a n c es y s t e mf o ri n t r u s i o nd e t e c t i o n ( i n t r u s i o nm e a n s t h a tt h ep r o p o r t i o no ff o r e g r o u n do ft h es c e n ei sa b o v eac o n s t a n t ) ，t h em o r p h o l o g y f i l t e r i n gp r o c e d u r ec a nb ei g n o r e db e c a u s eo fl e s s e f f e c t so fn o i s ea n ds l o w i l l u m i n a t i o nc h a n g e ，a n dt h e r e f o r et h ec o m p u t a t i o n a lc o m p l e x i t yc a nb ef u r t h e r r e d u c e d a f t e rd e t e c t i n gb i n a r yf o r e g r o u n do fm o v i n go b j e c t s ，w en e e dd e t e r m i n es c o p e ， s i z e ，l o c a t i o na n do t h e ri n f o r m a t i o no fe a c ho b j e c t b e c a u s et h e r ea r en o i s e si nb i n a r y f o r e g r o u n di m a g e ，s u c ha sh o l e sa n di s o l a t e dp o i n t se t c ，w ep r o c e s sb i n a r yf o r e g r o u n d b yu s i n gm o r p h o l o g yf i l t e r i n gm e t h o d ( o p e n i n go p e r a t i o ni sa d o p t e di nt h i sc a s e ) ，a n d t h e nd e t e c ta n df i no b j e c tc o n t o u r st od e t e c to b j e c tr e g i o n sb yu s i n gc v f i n d c o n t o u r s a n dc v d r a w c o n t o u r sf u n c t i o n so fo p e n c v f i n a l l y ，w ed r a wf r a m e sf o ro b j e c tr e g i o n s b e t t e re x p e r i m e n tr e s u l t sc a nb ea c h i e v e d k e yw o r d s ：i n t e l l i g e n tv i s u a ls u r v e i l l a n c es y s t e m ；m o v i n go b j e c td e t e c t i o n ；g a u s s i a n m i x t u r em o d d ；v a r i a n c e 4 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：型 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者虢堕聊躲阻垂日期：嗥堕哆 山东大学硕士学位论文 1 1 课题研究的背景及意义 第一章绪论 随着社会的发展、财富的积累，金融证券部门、企事业单位和家庭住宅等涉 及钱、财、物场所的财产安全变得越来越重要。进入信息化时代的今天，各种各 样保卫公共财富和家庭安全的设备不断推陈出新，呈现出快速发展的势头，所以 配合安防系统的视频监控系统也就出现了。 从监控技术的发展来看，监控技术大致可分为三个阶段：人力现场监控、人 力视频监控和智能视觉监控【l 。3 1 ，如图1 1 所示。所谓人力现场监控，即安排专人 在现场对场景监控，人力现场监控的应用可以追溯到原始社会，一直延续至今。 所谓人力视频监控，即用摄像机对场景拍摄，视频信号被采集到中央控制部门并 被显示到监视器上，由人对视频图像进行分析，得出恰当的判断。视频监控又分 为两种，一种是早期采用的模拟视频监控，即以模拟设备为主的闭路电视( c c t v ) 监控系统，一种是现在广泛采用的数字视频监控，这种监控技术引入了大量的计 算机技术来协助人采集和管理所有视频信息，监控系统的性能得到了有效的提高。 目前，市场上已经有比较成熟的数字视频监控系统出现。 厂 厂 厂 1 人力现场监控h 人力视频监控h 智能视觉监控i i一【。一i一 图1 1 监控技术发展阶段 目前，世界各国政府和学者都在密切关注着新一代的监控技术智能视觉 监控技术。它和以往的监控技术有本质的区别，其主要特征是采用计算机视觉的 方法，在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列进行自动 分析来对动态场景中的目标进行定位、识别和跟踪，并在此基础上分析和判断目 标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。 更形象地说，智能视觉监控系统能够看，看被监控场景中目标物体的行为；能够 想，想目标物体的行为意味着什么；能够说，把想的结果用自然语言的形式表达 出来。因此智能视觉监控系统取代了监控任务中人的大部分工作，是新一代的具 5 山东大学硕士学位论文 有高度智能的监控技术。智能视觉监控技术具有广泛的应用领域：( 1 ) 交通，如 铁路和高速公路t 4 , 5 i 拘交通监控：( 2 ) 公共场所，如银行、超市、百货公司 6 1 和停 车场【7 ，明的监控；( 3 ) 人体行为远程监控，如足球比赛9 1 中球员的监控；( 4 ) 用于 工业生产质量控制的监控和战场远程监控等。美国9 1 1 事件以后，各国都高度重 视这样一个问题，即如何对国家重要安全部门和敏感的公共场合进行全天候、自 动的、实时的监控，而智能视觉系统就是解决这一问题的有效手段之一。 智能视觉监控技术涉及图像处理、图像分析、机器视觉、模式识别、人工智 能等众多研究领域，是一个跨学科的综合问题，也是一个极具挑战性的前沿课题。 视觉监控系统的智能化分析过程由运动目标检测、分类、跟踪和视频分析等几个 基本环节组成，如图1 2 所示，其中运动目标检测是基础，运动目标检测的目的 是从视频序列图像中将变化区域从背景图像中提取出来，运动区域的有效分割对 于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅 仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、 光照、阴影以及背景干扰的影响，使得运动目标检测成为一项相当困难的工作。 因此，对智能视觉监控系统以及其中运动目标检测算法的研究具有非常重要的意 义。 广 厂 厂 厂 i 兰竺! 堡竺竺卜一! 堡竺型卜叫竺竺卜叫竺塑竺竺l 图1 2 视觉监控系统智能化分析过程 1 2 国内外研究及应用现状 1 2 1 智能视觉监控系统 智能视觉监控不仅具有很高的科学研究价值，而且具有巨大的经济价值，特 别是其中的运动目标检测与跟踪1 1 1 应用于智能监控、感知接口、运动分析和虚 拟现实等，具有广泛的应用前景。国际上一些权威期刊如i j c v ( i n t e r n a t i o n a l j o u r n e yo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、 p a m i ( i e e et r a n s a c t i o n so np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g e 6 山东大学硕士学位论文 a n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o n a n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等发表了大量的有关智能视 觉监控领域的论文，其中i j c v 和p a m i 在2 0 0 0 年出版了关于视觉监控的专刊。 近年来，随着传感器、计算机软件与硬件、信号处理和通信等视觉监控所需 的技术和设备的发展，使得视觉监控的广泛应用和迅猛发展有了坚实的物质基础。 美国和欧洲等国家或地区已经展开了大量相关项目研究，主要包括：美国国防高 级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立的以卡内基梅隆 大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t s i n s t i t u t eo f t e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n d m o n i t o r i n g ) 1 2 1 ，主要研究用于战场和民用场景中监控的自动视频理解技术；美 国国际商用机器公司( i b m ) 与美国马里兰大学( u n i v e r s i t yo f m a r y l a n d ) 联合开 发的实时视觉监控系统w 4 ( w h a t ? w h e r e ? w h e n ? w h o ? ) 1 3 1 不仅能够定位人和分 割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是 否携带物体等简单行为。m i t 媒体实验室的p f i n d e r ( p e r s o nf i n d e r ) 系统 1 4 1 运行 于标准的s g i 工作站上，是一个评价很好的系统，被应用到许多应用程序中，其 所用的方法具有相当的代表性。英国的雷丁大学( r e a d i n go f u n i v e r s i t y ) 计算机 系的v i e w s 项目组【”】已开展了对车辆和行人的跟踪及其交互作用的研究。 为了促进我国视觉监控的研究和发展，中国科学院自动化研究所举办了两届 全国智能视觉监控学术会议。清华大学、上海交通大学等许多大学和科研机构也 都竞相展开视觉监控的研究。许多公司，例如杭州海康威视数字技术股份有限公 司、深圳市图敏实业有限公司、北京捷诺视讯数码科技有限公司、北京九为安泰 科技有限公司等也致力于视觉监控系统的研发与应用。平安城市等工程的开展， 也促进了监控系统的发展。 目前，监控系统已经出现了一些新的研究领域：如分布式视频监控系统、多 模视频监控系统、多媒体监控系统【1 6 】等，其中多媒体监控系统综合了视频处理技 术与传感器网络，利用各种媒体流( 音频、视频、图像、文本数据、传感器信号) 7 山东大学硕士学位论文 同时自动对监控场景分析和解释，是对智能视觉监控系统的补充和扩展。 1 2 2 运动目标检测与跟踪 运动目标检测是指从视频图像序列中判断是否有前景目标的运动，如果有则 对目标进行初始定位的检测过程。由于大多数图像处理过程中考虑的是对应运动 区域的像素，所以运动区域的提取对于目标分类、目标跟踪以及行为理解等工作 具有相当重要的意义。然而，由于背景图像的动态变化，如天气、光照、阴影及 混乱干扰等的影响，使得运动检测成为一项相当困难的工作。运动目标检测算法 可以分为静态背景下运动目标检测和动态背景下运动目标检测。静态背景下运动 目标检测是指摄像机在整个监视过程是静止的；动态背景下运动目标检测是指在 监视过程中摄像机发生了移动，如平动、旋转或多自由度运动。 目前常用的运动目标检测方法有：光流法【1 7 。1 9 1 、时间差分法 2 0 , 2 1 】、背景差法 1 3 , 2 2 - 3 2 1 等。光流法在摄像机运动的情况下也能检测出运动目标，但计算方法复杂、 抗噪性能差，没有特定的硬件支持一般很难满足实时处理的要求；时间差分法将 连续视频帧中对应位置像素的亮度相减，得到一个差值，如果差值大于一定的阈 值，则认为对应位置存在运动目标，对于动态环境具有较好的适应性，但一般不 能完全提取出所有相关的前景像素点，在运动目标的内部容易产生孔洞；背景差 法目前最常用，是利用当前图像与背景图像的差分来检测出运动区域的一种技术， 一般能够提供最完全的特征数据，综合性能较好，但对于动态场景的变化，如光 照和外来无关事件的干扰等特别敏感。背景差分法的有效性取决于背景模型能否 有效地表示背景的变化，为了减少动态场景变化对于运动分割的影响，很多研究 人员目前都致力于不同背景模型的开发。参考图像的最简单形式是背景图像的时 间初始平均，这种方法存在许多问题，并且在初始训练的这段时间内不能存在前 景运动目标。p f i n d e r 1 4 】为每个像素建立单高斯模型，s t a u f f e r 等人提出的混合高斯 模型【2 3 之5 】是背景模型中最常用的一种方法，文献 2 6 3 1 】等对混合高斯模型做出了 改进。另外，非参数统计模型【3 2 】的检测效果良好，但是增加了计算复杂度。运动 目标检测用于视觉监控时，希望算法能快速精确地检测出运动目标，防止误报和 漏报。大量视觉监控相关的项目v s a m 12 1 、w 4 1 3 】等为了达到实时性，采用的算 8 山东大学硕士学位论文 法也相对简单。国内监控市场主流产品大多采用时间差分法，不能准确的检测出 运动目标，且不能适应光照缓变，迫切需要一种快速鲁棒算法。 运动目标检测后要对目标进行跟踪，跟踪等价于在连续的图像帧间创建基于 位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，文献 1 1 ，3 3 1 中，将 跟踪方法分为四类：( 1 ) 基于区域的跟踪【3 4 】，其思想是首先得到包含目标的模板， 然后在序列图像中运用相关算法跟踪目标；( 2 ) 基于特征的跟踪【3 5 】，一般也采用 相关算法，与基于区域的跟踪方法不同之处在于，其使用目标的某个或局部特征 作为相关的对象；( 3 ) 基于模型的跟踪【3 6 1 ，通常有三种形式的模型，即线图模型、 2 d 模型和3 d 模型，实际中更多采用的是3 d 模型，其思想是首先根据先验知识 获得目标的三维模型和运动模型，然后根据实际的图像序列确定目标的三维模型 参数；( 4 ) 基于活动轮廓的跟踪【了7 1 ，为目标手画一条封闭曲线，通过变形逐渐与 图像中的真实目标相适应，从而检测或跟踪运动目标。 1 3 课题来源和主要工作 本文的研究内容是山东省科技攻关项目“智能视觉监控系统”的一部分。 本文阐述了课题的研究背景、意义以及该领域的发展状况，介绍了智能视觉监控 系统的基本知识以及运动目标检测的基本方法。本文主要研究和设计了智能视觉 监控系统，并在基于海康d s 4 0 0 4 h 板卡的基础上，利用v i s u a lc + + 、海康s d k 、 s q l s e r v e r2 0 0 0 等编写了视觉监控系统软件。本文对混合高斯模型的参数进行了 分析，认为采用高斯模型来描述背景主要在于其均值的定位特性，同时考虑方差 对于前景检测的影响，去掉了方差更新方程，对于每个高斯模型均采用固定方差。 实验结果表明，本方法在保留混合高斯模型鲁棒性的基础上，减少了参数的内存 占用，同时由于运算简单，可以更快速地进行运动目标检测。 整篇文章的具体结构安排如下： 第一章阐述了课题的研究背景、意义以及该领域的发展状况。 第二章研究并设计实现了智能视觉监控系统，主要介绍了监控系统构成，包 括硬件部分和软件部分，软件部分包括数据管理中心、视频服务器、监控中心和 流媒体客户端，并借鉴多媒体系统的概念，实现了摄像头与传感器相配合的简单 9 山东大学硕士学位论文 的多媒体监控。 第三章介绍了运动目标检测的相关内容，回顾了现有的几种运动目标检测算 法，分析各自的优劣，并综合考虑实时性和鲁棒性，提出了一种适用于视觉监控 的快速运动目标检测方法。 第四章介绍了运动目标检测的后处理，利用形态学滤波去除存在的小噪声块， 接着应用o p e n c v 实现目标分割。 第五章对本文研究课题进行总结，并提出了今后的研究重点。 1 0 山东大学硕士学位论文 第二章智能视觉监控系统 智能视觉监控系统通常包括两部分：硬件平台和监控软件。设计智能视觉监 控系统的第一步是搭建硬件平台，第二步是编写监控软件，实现一般视频监控系 统的基本功能，如监视、录像、存储、回放、查询、用户权限管理等，然后实现 视觉监控系统的运动目标检测、跟踪等关键技术。 2 1 智能视觉监控系统硬件平台 智能视觉监控系统硬件平台由摄像部分( 摄像机、镜头、云台等) 、图像传输 部分( 一般采用电缆、光缆、射频等) 、系统控制部分( 操作键盘、视频矩阵切换 器、云台控制解码器等) 和显示记录部分四大部分组成。 ( 1 ) 摄像部分 摄像部分是监控系统的前沿部分，是整个系统的“眼睛，包括摄像机、镜头、 云台、云台防护罩、视频采集卡等设备。视频采集设备的主要功能是完成目标景 物到视频信息的转换，其物理变化是一个光电转换过程，在这个转换过程中摄像 器件承担了主要任务，而云台、镜头和其他辅助设备则完成目标景物的取景、照 明和聚焦等功能。此部分还要完成模拟视频的数字化，目前大部分的数字视频监 控系统还是通过视频采集卡将模拟摄像机传输过来的模拟视频图像信号转换为数 字视频图像信号，因此视频采集卡是基于p c 机的数字视频监控系统的关键设备， 一块视频采集卡通常支持一路、四路或八路视频采集压缩，此处采用海康 d s 4 0 0 4 h 视频采集卡。视频采集卡的质量好坏决定系统性能的稳定性。从整个 系统看，视频采集部分是原始信号源，因此视频采集设备的好坏将直接影响图像 信号质量和整个系统的质量。如果有采集声音的需要，则需要安装话筒。 ( 2 ) 图像传输部分 图像传输部分是指监控系统的图像信号通路。在图像传输之前，一定要对摄 像部分获得的数字图像进行压缩。一般来说，传输部分主要是单向或双向传输图 像信号，与此同时控制中心要对摄像机、镜头、云台、防护罩等进行反向控制， 因此还应包括控制信号的传输。图像传输部分的功能就是把各个图像采集装置产 山东大学硕士学位论文 生的电信号形式的图像信息及时准确地传送到图像显示和记录设备，实现景物再 现。 对于图像信号的传输，主要要求在图像信号经过传输系统后，不产生明显的 噪声和失真，保证原始图像信号的清晰度和灰度等级没有明显下降等。在传输方 式上，近距离或特殊环境多采用同轴电缆基带传输；光纤传输技术也在视频传输 中得以应用。采用光纤传送视频信号，使无中继传输距离从同轴电缆的几百米增 加到几十公里，并能得到很高的图像质量，多路传输和双向传输也很容易实现。 较远距离多采用光纤传输。 ( 3 ) 系统控制部分 系统控制部分是实现整个系统功能的指挥中心，通常以视频矩阵切换为中心 设备，加上操作键盘、视频分配器、云台控制解码器等。 系统控制部分的主要功能有视频信号分配、图像信号校正与补偿、视频矩阵 切换、摄像机及镜头、云台，防护罩的控制( 遥控) 等。对于图像质量影响最大 的是放大与分配，经过校正和补偿的图像信号，再经分配( 或放大) ，进入视频切 换部分，然后送到监视器上显示。微处理器性能的提高，各种专用集成电路的出 现，使得系统控制设备在功能、性能、可靠性和结构等方面都发生了很大的变化， 系统的构成更加方便、灵活，与报警和出入口控制系统的接口趋于规范。对摄像 机、镜头、云台、防护罩的遥控，可以实现对被监视的场所全面的跟踪监视。 ( 4 ) 显示记录部分 图像显示部分一般由一台或多台监视器组成，是图像监控系统面向用户的终 端设备，主要完成图像信息的电光转换，在屏幕上再现目标景物的图像。在由多 路视频组成的视频监控系统中，可以是一台监视器对应一路视频进行显示，在摄 像机多的时候将显示器组成电视墙；也可以是多台摄像机的图像信号用一台监视 器轮流切换显示，由于画面分割器的应用，用画面分割器把多台摄像机送来的图 像信号同时显示在一台监视器上，把屏幕分成多个面积相等的小画面，每个画面 显示一个摄像机送来的图像。 硬件平台的核心部分是视频采集卡，考虑时间及成本问题，此处采用海康 d s 4 0 0 4 h 视频采集卡，其自带的s d k 便于整个监控系统软件的编写实现。 1 2 山东大学硕士学位论文 2 2 智能视觉监控系统软件 确定采用海康d s 4 0 0 4 h 视频采集卡后，项目在基于海康s d k 的基础上，利 用v i s u a lc + + 、s q ls e r v e r2 0 0 0 1 3 8 , 3 9 等在w i n d o w s2 0 0 0s e r v e r 下编写了监控系统 软件，软件采用基于对话框的v i s u a lc + + 工程。 智能视觉监控系统的软件设计分为六个独立部分：中心数据库、本地数据库、 数据管理中心、视频服务器、监控中心和流媒体客户端，如图2 1 所示。 i 数据管理巾心j 更新通知1 一 更新通知 流 数据流r 、l 数据同步l 一i 鼙据同垄l 、一i 数据流 本地 数据库 中心 数据库 羹 本地 数据库 图2 1 智能视觉监控系统软件框图 数据库是智能视觉监控系统的中心，记录整个系统启动的初始化参数、计划 任务和运行日志。其中，中心数据库包含整个监控系统的参数信息，本地数据库 则仅包含对应视频服务器或监控中心的参数信息。 数据管理中心用于管理数据库，设置系统参数和计划任务、检索日志、定期 备份和清理数据库、显示系统运行的实时信息。 视频服务器是智能视觉监控系统的前端，一般位于监控现场，主要功能包括 视频预览、计划任务执行( 计划录像、动态侦测录像、报警录像) 、参数配置与修 改、全景图拼接、向监控中心传输视频数据和向流媒体客户端传输视频流。 监控中心是智能视觉监控系统的后端，主要功能包括接收来自视频服务器的 视频数据、视频预览、录像计划、图像处理、全景图拼接、参数配置和修改。 流媒体客户端也是智能视觉监控系统的后端，主要功能是接收并播放流媒体 服务器发送来的实时或非实时视频流。 1 3 山东大学硕士学位论文 2 21 数据管理中心 数据库管理中心是智能视觉监控系统的叶 心，主要包括 i l i 个部分：s q ls e r v e r 数据库和数据管理中心软件，上要功d 是配置和管理整个分布式智能视觉监控系 统的参数。系统采用c s ( c l i e n t s e r v e r ) 体系结构c l i e n t ( 客户机) 负责提供 表达逻辑、显示用户界面信息、访问数据库服务器；s e r v e r ( 服务器) 则用于提 供数据服务。其主界面如图2 2 所示。 图2 2 数据管理中心主界面 数据库管理中心的功能主要有：添加和删除节点( 监控区域、视频服务器和 监控中心) 、设置节点的各项参数、检索视频服务器或监控中心的日志与视频文件、 显示整个监控系统的实时操作信息、同步数据库、备份和清理过期信息。 视频服务器系统设置包括系统配置、通道参数、录像计划、报警计划、用户 管理五个方面。 ( 1 ) 系统配置 系统配置项主要设置与系统自动控制有关的项g l ：视频服务器名称、i p 、轮 山东大学硕士学位论文 巡时问间隔( 单位为秒) 、录像文件大小( 录像文件打包时问，单位为分钟) 、定 时自动退出、退出时关机、流媒体传输设置、录像存盘设置。系统配置界面如图 2 3 所示。 圉2 3 视频服务器系统配置界面 ( 2 ) 通道参数 通道参数项主要设置与摄像头相关的视频参数：通道选择( 一个通道对应一 个摄像头) 、通道名、预览时显示通道名( 在预览时，直接将设置的通道名称叠加 在录像视频流中，且设置为透明状悉，不会遮挡通道名称后的图像。在文件回放 时仍然存在，便于用户检索文件) 、本通道保密( 该通道只有具有浏览保密通道权 限的用户登陆后此通道才能显示图像) 、录像帧数( 默认2 5 帧，秒) 、录像方式( 视 频、视音频、音频三种) 、录像质量( 分为瑶好、较好、普通、较差，不同的录像 质量对应不同的视频码流) 、云台解码设置( 设置控制该云台摄像机的云台解码器 的类型和地址) 、画面遮挡区域、画面遮挡设置( 可将通道图像的某一矩形部分做 不透明处理，预览和回放时该部分均被遮挡，不可见) 、动态侦测设置( 动态侦测 设置分为动态侦测区域设置和动态侦测灵敏度设置。动态侦测灵敏度过高，可能 会产生很多误报，灵敏度过低，可能侦测不到移动物体。注：此设置只能在视频 山束大学硕士学位论文 服务器端进行。) 界面如图2 4 所示。 图2 4 视频服务器通道参数界面 ( 3 ) 录像计划 系统提供两种计划录像方式：计划录像和移动侦测录像。在没有录像计划的 时间内或在移动侦测录像计划内但并未触发移动侦测时，当用户发现紧急情况， 可做紧急的手动录像。 根据需要设置录像计划安排。录像计划有不录像、计划录像和移动侦测录像 三种状态录像计划表为一个8 x 2 4 的表格，可按每周七天，每天二十四小时制 定计划，另设一列节日计划，保证节日期间与工作同不同的录像计划设置，可将 每一小时细分为4 个时间段。可对当前通道计划进行复制、删除和撤销修改操作。 录像计划界面如图2 5 所示。 山东大学硕士学位论文 ( 4 ) 报警设置 创2 5 视频服务器录像计划界面 图2 6 视频服务器报警设置界面 山东大学硕士学位论文 系统提供8 路报警输入、8 路报警输出报警控制器。报警设置主要设置与报 警输入、输出相关的参数：c o m 选择( 选择报警器对应的c o m 口。注：此设置 只能在视频服务器端执行) 、报警器协泌、报警器通道( 选择该通道撤防怖防状 态) 、关联视频通道( 选择报警通道是否与视频通道相关联) 。界面如图2 6 所示。 ( 5 ) 用户管理 用户管理主要功能为增加用户、修改用户、删除用户、设置用户权限。界面 如图27 所示。 27 视频服务器用户智理界面 监控中心系统设置包括系统配置、通道参数、录像计划、用户管理四个方面， 除通道参数外，其他参数设置与视频服务器系统设置功能、界面相同。 通道参数界面如图2 8 所示，左侧采集端信息为已有服务器及与服务器相连 的通道，如果想要预览某一通道，只需选中左侧该通道点击“添加通道”按钮或 双击即可将