（电路与系统专业论文）基于目标检测的视频智能监控系统设计与实现.pdf

摘要 随着各行各业信息化进程的不断加速，视频监控应用已经逐渐从银行、公安、 工业生产控制等特定市场走向大众市场，如智能楼宇、社区监控、信息家电等等。 技术的发展、成本的降低、与日俱增的市场需求以及对系统性能的更高要求，促 进了视频监控行业的蓬勃发展。基于目标检测的视频监控系统以智能化视频分析 和高性能的视频编解码算法为核心，以标准的i n t e m e t 网络为传输媒介，是嵌入 式技术、网络传输技术、图像处理技术和具体应用相结合的产物，体现了目前视 频监控行业高清化、网络化、智能化的发展趋势。 本文对视频智能监控系统的关键技术进行深入研究，针对自动检测警戒区域 的入侵提出了基于目标检测的视频智能监控系统的设计方案，可远程访问和实时 监控，根据对被监控场景的视频分析达到自动控制录像、拍照及报警的目的。检 测的对象是被监控范围内所有运动人体及人脸。整个系统分为嵌入式服务器端和 远程客户端，嵌入式服务器端硬件方案选用d m 3 5 5 + d m 6 4 3 7 双处理器，利用 d m 3 5 5 集成的音视频编解码协处理器和d m 6 4 3 7 强大的数据处理能力实现其软 件系统；客户端通过基于a c t i v e x 控件的人机界面进行远程实时监控。 在设计方案的基础上，设计和实现了服务器端与客户端软件系统的各个模 块，提出服务器端a r m 子系统应用程序和与d s p 处理器串口通信以及客户端人 机界面的实现方法。利用课题组其他成员的发明专利基于高斯模型的最小均方 差快速人脸检测方法，实现高效率的目标检测算法；基于嵌入式系统实现高性能 的m e p g - 4 和j e p g 编码算法；采用先进的r t p r t c p 协议实现视频流的实时传 输；利用m f c 编程实现客户端的人机界面。最后通过对视频监控和目标检测进 行测试分析，证明其性能达到实时监测和自动检测的效果。 今后下一步计划对利用广域网实时传输监控视频进行研究，以及结合红外线 硬件检测，实现双重保险，预防视频设备被破坏情况下的漏检。 关键词：目标检测d m 3 5 5m e d i a s t r e a m e r 软件框架 a b s t r a c t w i t ht h ea c c e l e r a t e di n f o r m a t i o n b a s e dp r o c e s so fa l lt r a d e s ，t h ea p p l i c a t i o no f v i d e os u r v e i l l a n c eh a sg r a d u a l l yb e e ne x t e n d e df r o mt h eb a n k ，p u b l i cs e c u r i t y , i n d u s t r i a lc o n t r o la n do t h e rs p e c i f i cm a r k e mt ot h em a s sm a r k e t s ，s u c ha si n t e l l i g e n t b u i l d i n g , c o m m u n i t ys u r v e i l l a n c e ，t h ei n f o r m a t i o na p p l i a n c e sa n ds oo n t e c h n o l o g y d e v e l o p m e n t ，c o s tr e d u c t i o n ，i n c r e a s i n gm a r k e td e m a n da n dh i g h e rr e q u i r e m e n t sf o r t h es y s t e mp e r f o r m a n c ep r o m o t et h ev i d e os u r v e i l l a n c ei n d u s t r yt of l o u r i s h v i d e o s u r v e i l l a n c e s y s t e mb a s e d o nt a r g e td e t e c t i o nu s i n gi n t e l l i g e n tv i d e oa n a l y s i s t e c h n o l o g ya n d e f f i c i e n tv i d e oc o d e ca l g o r i t h ma st h ec o r e ，u s i n gas t a n d a r di n t e r n e t n e t w o r ka st r a n s m i s s i o nm e d i u m ，i st h ec o m b i n a t i o no fe m b e d d e dt e c h n o l o g y , n e t w o r kt r a n s m i s s i o nt e c h n o l o g y , i m a g ep r o c e s s i n ga n ds p e c i f i ca p p l i c a t i o n i t r e f l e c t st h ec u r r e n tt r e n d so fv i d e os u r v e i l l a n c ei n d u s t r y ：h i g h d e f i n i t i o n ，n e t w o r k ， i n t e l l i g e n c e t h r o u g ht h ei n - d e p t hs t u d yo fk e yt e c h n o l o g i e sf o rv i d e oi n t e l l i g e n ts u r v e i l l a n c e ， t h es o l u t i o no fv i d e oi n t e l l i g e n ts u r v e i l l a n c es y s t e mb a s e do nt a r g e td e t e c t i o ni s p r o p o s e df o ra u t o m a t i cd e t e c t i o no fi n v a d i n gs p e c i f i cr e g i o n t h es y s t e m c a l lr e a l i z e t h ef u n c t i o n so fr e m o t ea n dr e a l - t i m em o n i t o r i n g , a u t o m a t i c a l l yr e c o r d i n gv i d e o so r p i c t u r e sa n da u t o m a t i ca l a r mb a s e do na n a l y z i n gt h ev i d e oi n f o r m a t i o no fm o n i t o r e d s c e n e t h ed e t e c t e do b j e c t sa r ea nt h em o v i n gb o d i e sa n df a c e sw i t h i nt h es c o p eo f m o n i t o r i n g t h ew h o l es y s t e mi sd i v i d e di n t oe m b e d d e d s e r v e ra n dr e m o t ec l i e n t t h e e m b e d d e ds e r v e rh a r d w a r es o l u t i o ns e l e c t sd m 3 5 5 + d m 6 4 3 7d u a l - p r o c e s s o r , u s i n g d m 3 5 5i n t e g r a t e da u d i o v i d e oe n c o d i n ga n dd e c o d i n gc o p r o c e s s o ra n dt h ep o w e r f u l d a t ap r o c e s s i n ga b i l i t yo fd m 6 4 3 7t oa c h i e v ei t ss o f t w a r es y s t e m c l i e n t 。s i d eu s e s h u m a n m a c h i n ei n t e r f a c eb a s e do na c t i v e xc o n t r o lf o rr e m o t ea n dr e a l - t i m e m o n i t o r i n g b a s e do fs o l u t i o n ，e a c hm o d u l eo fs e r v e r - s i d ea n dc l i e n t s i d es o f t w a r es y s t e mi s d e s i g n e da n di m p l e m e n t e d ，a n dt h em e t h o d sf o ri m p l e m e n t i n ga r ms u b s y s t e m s o f t w a r eo fs e r v e r - s i d e ，c o m m u n i c a t i o nb e t w e e na r ma n dd s ps u b s y s t e ma n d m a n - m a c h i n eo fc l i e n t - s i d ea r ep r o p o s e d t h es y s t e mu s e st h ep a t e n to fo t h e r m e m b e r st h a ti sf a s tf a c ed e t e c t i o no fm i n i m u mv a r i a n c eb a s e do i lg a u s s i a nm o d e lt o a c h i e v ee f f i c i e n tt a r g e td e t e c t i o na l g o r i t h m ，e m b e d d e ds y s t e mt oa c h i e v eg r e a t p e r f o r m a n c eo fm p e g - 4 j p e gc o d i n ga l g o r i t h m ，a d v a n c e dr t p r t c pp r o t o c o l t o n a c h i e v er e a l - t i m et r a n s m i s s i o no fv i d e os t r e a m ，a n dm f cp r o g r a m m i n gt oa c h i e v e m a l l m a c h i n eo fc l i e n t f i n a l l y , t h er e s u l t st e s ta n da n a l y s i so fv i d e os u r v e i l l a n c ea n d t a r g e td e t e c t i o np r o v e st h a tt h ep e r f o r m a n c eo fs y s t e mm e e t st h ee f f e c to fr e a l t i m e m o n i t o r i n ga n da u t o m a t i cd e t e c t i o n t h en e x tp l a ni st or e s e a r c ht h er e a l - t i m et r a n s m i s s i o no fv i d e os t r e a mb yu s eo f w a n ( w i d ea r e an e t w o r k ) ，a n dt oa d di n f r a r e dh a r d w a r ed e t e c t i o nw h i c hc a np r e v e n t u n d e t e c t e di nc a s et h a tv i d e oe q u i p m e n t sh a v ed e s t r u c t e dt oa c h i e v ed u a l i n s u r a n c e k e yw o r d s ：t a r g e td e t e c t i o n ；d m 3 5 5 ；m e d i a s t r e a m e rs o f t w a r ef r a m e w o r k m 第一章绪论 1 1 论文的研究背景 第一章绪论 1 1 1 视频监控系统的现状及发展 视频监控就是通过获取、处理被监控目标的视频图像信息，实现对目标图像 的监控、存储、回放，并根据得到的视频图像信息人工或自动地作出相应的动作， 以达到对被监控目标的监看、控制、安全防范、智能管理等功斛。视频监控技 术处于不断发展中，主要经历了以下四个阶段： 1 模拟视频监控系统 早期的视频监控系统是由摄像头、监视器( 电视机) 组成的纯模拟系统，也 就是闭路电视监控系统。特点是一个摄像头对应一台监视器，只能监视到范围很 小的区域。后来出现了视频切换设备，改变了摄像头和监视器一对一的方式。并 且随着单片机技术的出现和不断发展，闭路电视监控系统加入了摄像头云台控制 和联动报警等数字控制的功能，实现了数字控制的模拟视频监控系统。 2 数字视频监控系统 到2 0 世纪9 0 年代中期，随着视频处理技术的发展和计算机处理能力的提高、， 利用计算机高速的数据处理能力进行视频数据的采集和处理，从而大大的增强了 视频图像质量和视频监控的功能。因为核心设备是数字设备，这种基于多媒体计 算机的系统可以称为第二代数字视频监控系统，特点是模拟输入与数字压缩编 码、显示和控制系统。以p c 插卡式数字硬盘录像机和嵌入式数字硬盘录像机 ( d v r ) 为代表。 3 网络视频监控系统 随着网络宽带、传输技术、计算机处理能力和存储容量的迅速提高，和各种 实用视频压缩编码技术的出现和发展，视频监控进入了全数字的网络时代，称为 第三代视频监控系统，即网络数字视频监控系统。 4 视频智能监控系统 视频智能监控系统以网络为基础，以数字视频的编码、传输、播放、存储为 核心，以智能的视频分析技术为特色，引发了视频监控领域的技术革命。 第一章绪论 早期的视频监控设备主要应用于银行、公安、工业生产控制这些专业性较强 的行业领域，但是随着各行各业信息化进程的不断加速，视频监控的应用已经逐 渐从特定市场走向大众市场，如智能楼宇、社区监控、信息家电等等。而且近年 来，电力、银行、安检、交通等领域对安全防范和现场记录报警系统的需求与日 俱增，要求越来越高，传统的本地视频监控方式已经不能满足要求，视频监控在 各方面的应用得到迅速的发展。视频监控行业同时还与其他研究热点密切相关， 如物联网建设、3 g 手机视频监控等，其未来可拓展的空间极其广阔，基于视频 智能运算的视频智能监控将成为物联网建设启动的序幕【2 】。 随着以1 f 1 公司的t m s 3 2 0 c 6 0 0 0 系列、e q u a t o r 公司的b s p - 1 5 、p h i l i p s 公司 的t r i m e d i a 等为代表的高性能d s p 的出现，嵌入式处理器实时完成高速、大数 据量的视频音频编解码处理或视频分析算法成为可能，使得集可编程图像声音 编解码、分析运算、自动化控制、本地存储和网络传输技术为一体的嵌入式数字 视频监控系统应运而生。以d s p 为核心的嵌入式数字视频监控系统，配合嵌入 式实时操作系统，以应用为中心，根据应用对功能、可靠性、稳定性、成本、体 积、功耗等综合要求，对软硬件进行裁剪，以满足视频监控发展的三大需要：数 字化、网络化和智能化【l j 。 1 1 2 基于目标检测的视频监控系统研究意义 视频监控系统一直是社会安防必不可少的关键部分及研究重点，已被广泛应 用于军事、机场、铁路、港口、海关、林业、堤坝、消防、公安、银行、城市交 通等众多公众场合。随着技术的发展及成本的降低，以视频监控为主导的安全防 范技术将获得更好的发展机遇，并逐渐普及到家庭安防和娱乐应用上。 本文主要是针对自动检测警戒区域的非法入侵，设计一个可远程访问和实时 监控系统，根据对被监控场景的视频分析，达到自动控制录像、拍照及报警，检 测的目标是被监控范围内的所有运动人体及人脸。该系统能将集中的监控中心的 监控信息发向监控网络的各个监控终端，被监控的音视频、控制信号和现场告警 可传至网络所达的每个结点，人们可以利用计算机网络在不同地点同时监控远程 场所及获得各种报警信号，以进行远程控制。与传统视频监控系统相比，具备许 多无可比拟的优势： 第一，提高了视频图像的质量。系统采用了视频数据的数字化处理和高性能 第一章绪论 编解码器，大大压缩了视频数据量，提高了网络传输的可靠性。并借助显示器的 高分辨率，可以观看到清晰的高质量的图像。 第二，高效监控，减轻工作人员负担。传统的视频监控只起到了录制视频图 像、事后取证的作用，实时监控及报警的任务仍需靠人工监测。而长时间关注于 相对静止的视频画面很容易忽略真正异常情况，既耗费人力，又达不到有效监测 报警的效果。智能化视频分析的出现很好地解决了人机脱离的状态，能够自动对 画而场景中的人或车辆行为进行检测、判断，并在特定的条件下产生报警提醒用 户，大大提高了监控的可靠性和响应的速度。 第三，节省存储空间，便于查看。传统的视频监控系统一般只是简单记录所 有的视频，需要较大的硬盘空间。而智能监控可以根据视频分析的结果自动记录 异常情况时的视频、拍摄照片等，以较小的空间存储有效的信息。 第四，适合远距离监控。数字信息抗干扰能力强，不容易受传输线路信号衰 减的影响，而且能够加密数据并通过i p 网络传输，使得各个联网的主机可以实 时监控现场，达到亲临现场的效梨引。 1 1 3 基于目标检测的视频监控系统关键技术 基于目标检测的视频智能监控系统以高效率的视频编解码算法及视频分析 算法为核心，以标准的i n t e m e t 网络为传输媒介，是嵌入式技术、计算机技术、 网络传输技术、图像处理技术和具体应用相结合的产物，体现了目前视频监控行 业高清化、网络化、集成化、智能化的发展趋势。其关键技术主要包括嵌入式技 术，多媒体技术，网络传输技术和视频智能技术。 1 1 3 1 嵌入式技术 嵌入式系统( e m b e d d e ds y s t e m ) 在于结合微控制器或微处理器的系统电路 与其特定的应用软件，以达到系统运行性能与成本的最高比【4 1 。本身具有高度“量 身定做”的特点，即在不同应用场合需要不同的设计，因此在不同的应用领域会 有截然不同的面貌。 基于嵌入式系统的视频监控设备具有功耗低、体积小、成本低和容易进行安 装的优点，使得其得到非常广泛的应用。随着嵌入式技术和处理器硬件的不断发 展，以及视频监控市场的巨大需求，各大芯片厂商纷纷研发各种嵌入式处理芯片 和推出相应的解决方案，进一步促进了视频监控的发展。目前嵌入式系统大多孤 3 第一章绪论 立于i n t e r a c t 网络，随着网络应用的不断深入，随着信息家电的不断发展，嵌入 式系统的应用逐渐地与i n t e m e t 有机结合在一起，成为嵌入式系统发展的未来【5 j 。 系统一般采用嵌入式系统作为监控服务器，联网的p c 主机作为客户端，监控系 统服务器的布控范围可遍布全世界，远程用户通过p c 机即可访问和实时监控服 务器端。嵌入式视频监控设备具备视频编码、视频分析、网络通信、系统控制和 设备管理等功能，视频编码算法、视频智能分析算法、用户界面等都可由用户定 制，具有良好的稳定性和可扩展性。 1 1 3 2 多媒体技术 消除冗余是压缩图像数据的出发点，视频压缩的目的就是要在保证一定视频 图像质量的前提下，尽可能地消除冗余信息，以降低表示传输和存储图像所需要 的数据量【6 】。随着用户对媒体质量的要求越来越高，数字化的视频数据量越发庞 大，不仅需要大容量的存储设备，而且占用很多网络带宽。视频智能监控系统以 i p 网络为传输媒介，以数字图像处理技术为核心，因此对编码性能提出了极高 的要求。目前，国际上制定视频图像编码标准的国际组织主要有国际电信联盟 i t u 以及国际标准化组织i s o 和国际电工委员会i e c 联合形成的运动图像专家 组m p e g 。到目前为止以及制定的与图像及视频相关的国际标准如图1 1 。 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 图1 1 视频图像编码国际标准 1 静态图像编码标准f f p e g 国际标准化组织i s o 下属的联合图像专家组( j o i n tp h o t o g r a p h i ce x p e r t g r o u p ) 制定了静态连续色调图像的压缩编码标准i s 0 1 0 9 1 8 1 ， j p e g 是它的俗 称，既适用于灰度图像，又适用于彩色图像。其核心内容是基于离散余弦变换 ( d c t ) 的编码方法1 7 1 ，并针对不同的应用定义了四种工作模式：顺序方式、渐 4 第一章绪论 进方式、无损方式和分层方式。j p e g 算法由于复杂度低，压缩性能较好，在日 常生活中得到广泛的应用f 3 1 2 m p e g 系列视频标准 m p e g 系列视频编码标准主要包括了m p e g 1 、m p e g 2 、m p e g - 4 和 m p e g - 4a v c 标准网。m p e g - 4 视频算法的核心是基于内容( c o n t e n t b a s e d ) 的编 码和解码功能，也就是对场景中使用分割算法抽取的单独的视听对象进行编码和 解码，同时还提供管理这些视频内容的最基本方法。因采用了新一代视频编码技 术，在视频编码发展史上第一次把编码对象从图像帧扩展到具有实际意义的任意 形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码 方式的转变，引领着新一代智能图像编码的发展潮流【i o j 。 m p e g - 4 最大的特点是基于对象的编码方式，与其他编码标准相比，具有如 下独特的优点f l l 】： ( 1 ) 高效率的压缩性能 m p e g - 4 算法可以针对不同的物件特性采取不同的压缩编码技巧，以得到最 好的压缩效果，压缩比指标远远高于其他m p e g 标准。与其它标准相比，在相 同的比特率下，它具有更高的听觉视觉质量，这就使得在低带宽的信道上传送音 频、视频成为可能。m p e g - 4 还能对同时发生的数据流进行编码，可以将一个场 景的多声道或多视角数据流高效、同步地合成为最终数据流。 ( 2 ) 基于内容的交互性 m p e g - 4 提供了基于内容的多媒体数据访问工具，如超级链接、索引、上下 载、删除等。利用这些工具，用户可以很方便地从多媒体数据库中有选择地获取 自己所需的内容，并提供了内容的相关操作和位流编辑功能，实现交互式家庭购 物，淡入淡出的数字化效果等。 ( 3 ) 访问的通用性 m p e g - 4 支持基于内容的可分级性，即把质量、内容、复杂性分成许多等级 来满足不同用户的不同需求，支持具有不同存储容量、不同带宽的传输信道和接 收端。其还保证了易出错环境的健壮性，有助于低比特率视频信号在高误码环境 下的传输和存储。 3 h 2 6 x 系列标准 h 2 6 x 系列视频编码标准主要包括了h 2 6 1 、h 2 6 3 、h 2 6 3 + 以及h 2 6 4 标准。 5 第一章绪论 h 2 6 1 标准是针对窄带综合业务数字网i s d n 的视频通信而制定的国际标准，可 开展速率为6 4 pk b i t s 的双向声像业务( 如视频会议、可视电话) 。h 2 6 3 标准主 要用于满足低速率接入的应用环境。h 2 6 4 标准是联合视频小组( j o i n tv i d e o t e a m ，j 、，r ) 共同开发的新一代数字音视频编码标准，其设计方案采用了回归基 本的简洁思想，不用繁琐的选项，获得比h 2 6 3 更高的压缩性能；采用“网络友 好”的结构和语法，有利于对丢包和误码的处理，加强了对各种信道的适应能力； 应用目标范围较宽，以满足不同解析度、不同速率以及不同传输存储场合的需求 u 2 1 。h 2 6 4 作为比m p e g - 4 与h 2 6 3 更高压缩比的新一代音视频编码标准，已经 受到业内的广泛关注，但其性能的改进是以增加复杂性为代价的【1 3 】。 1 1 3 3 网络传输技术 多媒体通信具有需要压缩数据量大的连续媒体信息、实时传输连续媒体信息 和面向分布式等独特的特征，因此如何利用网络资源实现视频信息的高效实时传 输成为视频监控系统中的研究重点，使其面临着传输策略、网络传输及控制协议 等多方面的技术挑战。 在视频监控中需要视频能够不问断的在网络一l - 播放，使得各个监控终端都能 够实时地观测到被监控场景的信息，对实时性要求甚高。流式传输可以实现把声 音、动画和影像等时基媒体由音视频服务器向用户计算机连续、实时地发送，避 免了用户必须等待整个文件从i n t e r n c t 上全部下载才能观看的非实时性缺点【6 】。 与传统的文件方式需要大容量的存储空间相比，流式不仅使启动延时缩短十倍、 百倍，而且不需要太多的缓存容量，更为实时、快捷、方便【1 4 1 。 流式传输的实现需要合适的网络传输协议。由于传统的t c p i p 协议，一方 面忙则等待、速率突发机制已经无法满足实时性要求高的流媒体传输；另一方面 严格的数据重传、差错机制对于有一定容错能力的流媒体系统来说增加了网络的 开销，因此不太适合实时流媒体数据的传输【1 5 】。而实时传输协议r t p r t c p 是一 种用于i n t e r a c t 上针对多媒体数据流的传输协议，被定义为在一对一或一对多的 传输情况下工作，其目的是提供时间信息和实现流同步。r t p 协议一般并不作为 一个独立的网络层，而只是作为应用程序代码的一部分来实现，可被看作是应用 程序中的一种算法。它本身并不能提供可靠的传送协议，也不提供拥塞控制或流 量控制，而是依靠r t c p 来提供这些服务，r t p 和r t c p 配合使用，就能以有效 6 第一章绪论 的反馈控制和最小的网络开销使传输效率最佳化，因此特别适合网络实时数据的 传输f 1 6 1 。 在流式传输的实现方案中，一般采用h t r p t c p 来发送信令控制信息，而采 用r t p u d p 来传输实时媒体流数据。 r t p 数据包由r 1 1 p 头和不定长的p a y l o a d 载荷数据组成，其中前1 2 字节为 固定的r 1 1 p 头，载荷数据可以为编码数据。l m 数据包格式1 7 l 如图1 2 所示， 其中仅仅在被混合器插入时，才有c s r c 识别符列表。 ol2347891 51 63 l vpxc cm p a y l o a dt y p es e q u e n c en u m b e r t i m e s t a m p s s r c c s r c h e n d e re x t e n s i o n r t pp a y l o a d 图1 2r t p 数据包格式 主要域的意义说明如下： 版本( ：2 比特此域定义了r t p 的版本。此协议定义的版本是2 。 扩展( x ) ：l 比特若设置扩展比特，固定头( 仅) 后面跟随一个头扩展。 标志( m ) ：1 比特标志的解释由具体协议规定。它用来允许在比特流中标记 重要的事件，如帧边界。 负载类型( 啊：7 比特此域定义了负载的格式，由具体应用决定其解释。 序列号( s e q u e n c en u m b e r ) ：1 6 比特每发送一个i m 数据包，序列号加l ， 接收端可以据此检测丢包和重建包序列。序列号的初始值是随机的( 不可预测) 。 时间戳( t i m e s t a m p ) 3 2 比特时间戳反映了r t p 数据包中第一个字节的采 样时间。时钟频率依赖于负载数据格式，并在描述文件( p r o f i l e ) 中进行描述。 也可以通过r t p 方法对负载格式动态描述。 如果r t p 包是周期性产生的，那么将使用由采样时钟决定的名义上的采样 时刻，而不是读取系统时问。时间戳的初始值应当是随机的，就像序号一样。几 个连续的r t p 包如果是同时产生的，将有相同的序列号。如：属于同一个视频 帧的r t p 包。 s s r c ：3 2 比特用以识别同步源。标识符被随机生成，以使在同一个r t p 会话期中没有任何两个同步源有相同的s s r c 识别符。尽管多个源选择同一个 7 第一章绪论 s s r c 识别符的概率很低，所有r t p 实现工具都必须准备检测和解决冲突。若一 个源改变本身的源传输地址，必须选择新的s s r c 识别符，以避免被当作一个环 路源。 负载( p a y l o a d ) ：编码后的码流数据，对于不同的编码标准有不同的格式。 1 1 3 4 视频智能技术 随着智能化在数字安全防范领域的应用越来越广，在某些监控场所对安全性 要求较高，要求对运动的物体进行及时检测和跟踪，因此需要一些精确的图像检 测技术来进行目标检测和提供自动报警。视频智能监控系统就是在原有的网络视 频监控的基础上结合智能化视频技术而建立起来的一种实时、高效、准确、全方 位、先进的系统。从技术方面而言，视频智能监控系统包括四种视觉分析技术： 目标检测、目标跟踪、目标分类、行为理解。其中，目标检测、目标跟踪属于视 觉处理的低级部分，而目标分类、行为理解则属于中级和高级处理【1 8 】。 常用的视频智能监控系统一般采用运动检测、人脸检测及跟踪控制的视觉处 理简单算法。其工作原理是：摄像头采集视频后，首先利用目标检测技术检测并 提取出运动目标，然后利用事件识别技术将检测、提取的目标信息特征与用户设 定的事件识别规则进行比较，判断是否有目标触发了预设定的事件识别规则。如 果没有，再返回继续进行目标检测；如符合了预设定的规则，立即做出预报警 响应，并记录异常，必要时还需对识别出的事件目标进行跟踪，直到问题解决为 止【1 9 】。 通过智能化的视频分析技术能够及时、自动地从海量的原始视频数据中提取 出有用的信息，并作出相应的动作，或者发展更多应用。如提取的有用信息作为 控制信号触发其他行为，实现目标跟踪、识别和告警等功能。 1 2 课题来源 本课题来源于厦门市立林科技有限公司和厦门大学信息科学与技术学院的 研发中心的合作项目，目标在于设计和实现一个用于自动检测警戒区域的入侵并 标记和记录人脸的视频智能监控系统。该项目主要技术指标是：支持j p e g 、 m p e g 4 等视频编解码；支持c i f 【3 5 2 x 2 8 8 ) 和4 c i f ( 7 0 4 x 5 7 6 ) 格式等图像大小：提 供视频实时网络传输和在线监控等功能。本系统采用低成本的硬件平台、高效的 第一章绪论 目标检测算法、高性能的编解码算法、先进的实时网络传输协议，和开源的软件 资源自主研发。厦门立林科技有限公司的产品市场主要集中在楼宇对讲和家居安 防领域，该系统的设计方案及主要技术也可应用于其智能家居安防产品中。 1 3 论文的研究内容及结构安排 本文通过对视频智能监控的发展和应用进行充分调研，提出基于目标检测的 视频智能监控系统的软硬件设计方案，设计和实现了服务器端与客户端软件系统 的各个功能模块，并对系统结果进行测试和分析。 第一章，绪论部分主要对论文选题进行了充分的调研，包括视频监控系统的 现状与发展，基于目标检测的视频智能监控系统的应用和研究意义，以及对其相 关技术的分析。 第二章，基于目标检测的视频监控系统方案设计。根据系统的原理和功能需 求主要说明系统的总体方案设计，结构框图及功能模块，嵌入式服务器端的软硬 件系统方案设计和客户端软件系统方案的设计。 第三章，首先介绍服务器端软件系统的基本原理、开发环境以及操作系统内 核的建立，然后在系统设计方案的基础上详细设计了服务器端软件系统，和阐述 每个模块的实现过程。重点完成a r m 子系统应用程序以及与d s p 处理器串口通 信模块等各项系统功能的实现。 第四章，阐述了客户端软件系统的模块设计，以及各个模块的实现过程。 第五章，对系统的结果进行测试和分析，分别对视频监控和目标检测进行测 试及结果分析。 在论文的最后，回顾和总结了全文的工作，并且展望了未来的研究方向和后 续的工作重点。 9 第二章基于目标检测的视频智能监控系统方案设计 第二章基于目标检测的视频监控系统方案设计 2 1 基于目标检测的视频监控系统的总体方案设计 2 1 1 系统的基本原理 基于目标检测的视频监控系统主要是针对于自动检测警戒区域的非法入侵 而设计的，可应用于联网的无人值守基站的视频监控及自动报警。系统分为嵌入 式视频监控器和远程客户端，在机房的里面及外面的屋檐下都可以安置视频监控 设备，远程工作人员通过网络在p c 机上就可以实时监测机房里及其周边情况。 当有人靠近时，不仅本地发出警报震慑入侵者，同时提醒客户端，并自动检测、 记录入侵者的视频图像。 图2 1 无人值守基站的视频监控系统 2 1 2 系统的结构框图及功能模块 整个系统采用服务器客户端的体系结构，客户端可以是局域网上的任意p c 主机，通过标准的网络接口来访问服务器。服务器端为嵌入式视频服务器，利用 a r m + d s p 两种处理器丰仃结合共同工作的硬件方案，在嵌入式操作系统l i n u x 基 础上实现视频智能监控的功能。d s p 处理器用来实现运动检测、人脸检测的智能 分析算法，a r m 处理器则根据检测的结果进行系统总体控制，如与客户端交互、 实时采集压缩上传视频流、开启照明灯、本地喇叭警告等。由于无人基站可不要 l o 第二章基于目标检测的视频智能监控系统方案设计 求本地存储，采用网络视频服务器直接将图像信号、报警信号转化为数字信号进 行网络上传，汇总到监控中心后进行集中监视和报警联动录像拍照。其软硬件采 用模块化嵌入式系统设计，使系统容易扩展，丰富了视频智能监控系统的功能。 图2 2 为系统的结构框图。 服务器客户端 图2 2 视频智能监控系统的结构框图 该系统主要分为四个功能模块：嵌入式视频服务器、目标检测、网络传输链 路、远程监控中心。 嵌入式视频服务器功能：可设置l p 地址，通常情况下本地服务器只是实时 监测是否有运动的人体入侵，通过c c d 摄像头采集视频信号，并进行预处理及 m p e g 4 压缩，然后将压缩后的数据通过网络传输。同时，接收用户发送的命令， 解析并且执行。当检测到有非法入侵时通过网络发送报警信号，通知监控中心开 始录制视频，并且启动语音告警和闪光灯，对非法入侵者起到威慑作用；同时自 动检测、定位和标记人脸，并抓拍图片传给监控中心。 目标检测功能：检测摄像头范围内是否有运动的人体，自动检测和定位人脸， 第二章基于目标检测的视频智能监控系统方案设计 并将检测结果及人脸位置的坐标通过u a r t 接口发送给a r m 控制端。 网络传输链路：网络传输链路负责多媒体数据的传输。此处，可以根据实际 需求，进行网络传输链路的选择。局域网( l 蝌) 、无线局域网( w l a n ) 、i n t e m e t 、 c d m a 、3 g 等都是可供选择的传输链路。其中，局域网( l a n ) 和无线局域网 ( w l a n ) 带宽充足、稳定，并且设备简单，易于实现，但会受到距离的限制。 i n t c r n c t 和c d m a 网络可以使监控距离得到扩展，但是其带宽受限，图像质量会 受到影响。本系统选用局域网，其网络传输性能好，联网简单。 远程监控中心功能：用户使用浏览器或客户端软件，通过i p 网络可以在 线监视服务器端的周边情况，对其报警信号实时监测和准确接收；向服务器发送 各种控制命令，与服务器交互；自动记录有人入侵的视频及照片，将报警图片叠 加在相应的视频上面，便于对比查看。 2 2 基于目标检测的视频监控系统硬件方案设计 2 2 1 硬件系统的结构 为了降低系统成本，节省开发时间，本系统选用d m 6 4 3 7 _ 3 5 5 二合一双处理 器开发板。该开发板包括a r m 部分( c p u 为1 1 的d a v i n c i 系列之 t m s 3 2 0 d m 3 5 5 ) 和d s p 部分( c p u 为t i 的t m s 3 2 0 d m 6 4 3 7 ) 。这两部分可通 过u a r t 接口或标准网口通信，保留了彼此所有的功能，综合了两个产品的大 部分功能【2 0 1 。 t e c h v d m 3 5 5 采用大小板分离的结构，和e l 都是高度集成，低成_dm6437 本的高性能视频信号处理开发平台。该开发板可以用来开发仿真达芬奇系列 a r m 应用程序及d s p 应用程序，也可以将该产品集成到用户的具体应用系统中， 灵活方便的接口为用户提供良好的开发平台。二合一板综合两个处理器于一体， 利用d m 6 4 3 7 强大的数据处理能力，配合d m 3 5 5 视频存储，达到了一个完美的 结合，为用户提供了良好的开发平台，采用该系列板卡进行产品开发或系统集成 可以大大减少用户的产品开发时间i 刎。 1 2 第二章基于目标检测的视频智能监控系统方案设计 图2 3 硬件系统的结构框图 由于d m 3 5 5 集成了m p e g j p e g 编解码协处理器，因此成本高的d s p 处理器则可 以专门用来运行更为复杂的视频智能分析算法。在本设计中，板卡d m 3 5 5 作为主 控制器，控制视频音频网络等大部分功能模块，d m 6 4 3 7 为协处理器，对视频数 据进行分析运算，并与d m 3 5 5 进行必要的通信，以期达到用户所提出的要求。 两个处理器除了内部已经相连的u a r t 夕b ，还分别有专门的u a r t 接口以作其他通信 用途，以及单独的e t h e r n e t 网络接口。不仅可以通过内部的u a r t 接口通信，也可 以通过标准网络接口通信。其硬件资源包括【2 0 1 ： t m s 3 2 0 d m 6 4 3 7d s p ，可工作在4 0 0 6 0 0 m h z d m 6 4 3 7 包括6 4 m b y t e 的d d r 2s d r a m 存储器，2 5 6 m b i t 的n o rf l a s h 存储器和 用户可选的n a n df l a s h 接口 t m s 3 2 0 d m 3 5 5d a v i n c i t m 处理器，可工作在2 1 6 2 7 0m h z 1 3 第二章基于目标检测的视频智能监控系统方案设计 d m 3 5 5 内存1 2 8 m b y t ed d r 2 5 3 3 删z d m 3 5 5 存储器5 1 2 m b y t e 的n a n df l a s h 1 路立体声音频输入、l 路麦克风输入，1 路立体声音频输出( d m 3 5 5 独有) u s b 2 o 高速接口，方便与p c 连接( d m 3 5 5 独有) d m 3 5 5 预留用户编程g p i o n 2 路视频输入，包括一个复合视频输入及一个s 端子视频输入( d m 3 5 5 控制) d m 6 4 3 7 提供3 路视频输出，包括2 路复合视频，一路s 端子输出；d m 3 5 5 提供 一路复合视频输出 可配置b o o t 模式，d m 6 4 3 7 通过拨码实现，d m 3 5 5 通过配置电阻实现 2 d l o m l o o m b p s 自适应以太网接口( d m 3 5 5 和d m 6 4 3 7 分别拥有一个) 2 个j t a g 仿真器接口( d m 3 5 5 和d m 6 4 3 7 各一个) 1 个c a n 总线( d m 6 4 3 7 独有) 、3 个u a r t 接口( 其中d m 6 4 3 7 - - 个，d m 3 5 5 拥有 两个，一个作为串口终端，一个留给用户) 、实时时钟( 带电池保持r a m ，d m 3 5 5 拥有) 保留了数字视频输入接口，可以方便与c m o s 影像传感器连接，支持 y u v 4 ：2 ：2 、b t 6 ：5 ：6 等格式 2 个拨码开关，4 个用户输入按键 1 个与i o d 复用的状态指示l e d 1 0 层板制作工艺，稳定可靠 单电源+ 5 v 供电 2 2 2 硬件系统的主要模块 从图2 3 可以看出，硬件系统大致分为视频输入、d m 3 5 5 处理模块、d m 6 4 3 7 处理模块以及存储管理、u a r t 、e t h e r n e t 等外部设备。 1 视频输入模块 d m 3 5 5 和d m 6 4 3 7 的视频输入数据来自于同一视频源，视频接口选择开关可设 置其输入方式，既支持数字的c m o s 图像传感器输入，也支持模拟的c c d 传感器并 通过t v p 5 1 4 6 视频解码器转化为数字信号。t v p 5 1 4 6 是1 r i 一款单片、高质量的视 频解码器，能数字化解码所有主流的基带模拟视频格式。 在本系统中视频采集模块主要