（通信与信息系统专业论文）基于dm642的多传感器智能视频监控系统.pdf

摘要 摘要 随着经济的发展和社会的进步，人们的物质生活水平得到了广泛的提高，同 时，人们的安全防范意识也在不断提高。同时，随着电子技术、计算机技术和信 号处理技术等科学技术的深入研究和发展，使得安防的科学化、信息化、智能化 成为了可能。其中，由于视频监控可以提供直观可靠的监控信息，因此被广泛使 用。目前，视频监控系统已经发展到了第四代，此类系统可以提供数字化、网络 化和智能化的监控服务。 本论文设计和开发了一个扩展性较强的数字视频监控系统。该系统由传感器， 服务器主机，网络摄像机模块和客户端模块组成。其中，传感器是以d s p ( d i g i t a l s i g n a lp r o c e s s o r ，数字信号处理器) 为核心处理器的数字视频处理板卡。传感器对 监控场景进行智能分析，将分析结果通过p c i 总线传输到服务器主机端。服务器 主机端则使用微软n e t 的r e m o t i n g 技术与网络摄像机模块和客户端进行交互，从 而可以向局域网范围内的用户提供视频监控服务。该系统既可以使用普通模拟摄 像头作为视频源进行本地实时智能监控，也可以使用网络摄像机( i pc a m e r a ) 作为 视频源进行远程实时智能监控。 本论文涉及到整个系统的硬件，软件和算法三个方面。其中，软件设计是重 点。因此在简要介绍鄂传感器的硬件模块后，详细介绍了系统的软件设计，这包 括：1 d s p 端的应用程序的设计和开发，包括底层驱动程序，框架程序和算法实现； 2 p c i 总线简介以及传感器p c i 驱动程序的编写；3 m i c r o s o f t 的n e t 平台和 r e m o t i n g 分布式对象技术，并在该平台上实现了一个分布式的p c 端软件系统。最 后，简要介绍了一种智能分析算法，对该算法进行了m a t l a b 仿真并在传感器平台 上进行了实现。 关键词：智能视频监控系统，d m 6 4 2 ，p c i ，n e t ，智能分析算法 a b s t r a c t t h ed e v e l o p m e n to fe c o n o m ya n ds o c i e t yi m p r o v e st h el i v i n gs i t u a t i o n so fp e o p l e a tt l l es a m et i m e p e o p l ep a ym o r ea t t e n t i o n st ot h es o c i e t ys e c u r i t y a n dw i t ht h e d e v e l o p m e n to f e l e c t r i c a lt e c h n i q u e s ，c o m p u t e rt e c h n i q u e sa n ds i g n a lp r o c e s s i n g t e c h n i q u e s ，i t sp o s s i b l e t o a p p l yh i g h - t e c h ，i n f o r m a t i o n - b a s e d a n d i n t e l l i g e n t t e c h n i q u e st ot h es o c i e t ys e c u r i t y a m o n go t h e rt h i n g s ，v i d e os u r v e i l l a n c es y s t e m s a r e u s e dw i d e l yb e c a u s ei tc a l lp r o v i d ei n t u i t i v ea n dr e l i a b l ei n f o r m a t i o n a tp r e s e n t ，v i d e o s u r v e i l l a n c es y s t e m sh a v eb e e nd e v e l o p e dt oi t s4 t hg e n e r a t i o nw h i c hc a l lp r o v i d e d i g i t a l ，n e t w o r k 。b a s e da n di n t e l l i g e n tv i d e os u r v e i l l a n c es e r v i c e t h i sp a p e ri n t r o d u c e sad i g i t a ls u r v e i l l a n c es y s t e mw i t hn o v e ls t r u c t u r ea n dg o o d e x p a n s i b i l i t y t h i ss y s t e mc o n s i s t so fm u l t i s e n s o r s ( v i d e op r o c e s s i n gb o a r d ) w h i c h c a n r u nm u l t i c h a n n e l si n t e l l i g e n ts u r v e i l l a n c ea l g o r i t h ma n di n t e r a c tw i t hh o s tv i ap c i b u s i nt h eh o s ts i d e ，s e n s o r sa r em a n a g e du s i n g n e tr e m o f i n ga n dc o m m u n i c a t e w i t h o t h e rp cs o f t w a r em o d u l e s ，a n dt h ew h o l es y s t e mc a l lp r o v i d ev i d e os u r v e i l l a n c e s e i 啊c et oc u s t o m e r si nt h el o c a ln e t w o r k t h i ss y s t e ma l s os u p p o r t sb o t hl o c a la n a l o g i m a g ea n dr e m o t ei pc a m e r ai m a g ea sv i d e oi n p u t t h i sp a p e ri n v o l v e st h et h r e ea s p e c t so ft h es y s t e mw h i c hi n c l u d eh a r d w a r e ， s o f t w a r ea n da l g o r i t h m s a n dt h i sp a p e rw i l lp a ym o r ea t t e n t i o n st ot h es o f t w a r ep a r t t h u s ，a f t e rf i r s t l y i n t r o d u c e st h eh a r d w a r ed e s i g no fs e n s o r , s o f t w a r ed e s i g n 1 s i n 昀d u c e dd “l e d ：1 t h ed e s i g na n dd e v e l o p m e n to ft h ed s p - s i d ep r o g r a mw h i c h i n c l u d e st h eu n d e r p l a y e dd r i v e r ，f r a m e w o r kp r o g r a ma n dt h ei m p l e m e n t a t i o no ft h e a l g o r i t h m s ；2 p c ib u sa n dt h ed e v e l o p m e n t o ft h ep c id r i v e ro fs e n s o r ；3 m e m i c r o s o f t n e tp l a t f o r ma n dr e m o t i n g ( ad i s t r i b u t e do b j e c tt e c h n i q u eo f n e t ) ，a n da p c s i d es o f t w a r es y s t e mb a s e dt h e m f i n a l l y , t h i sp a p e ri n t r o d u c e sa ni n t e l l i g e n t a n a l y s i sa l g o r i t h m ，s h o w st h em a t l a bs i m u l a t i o nr e s u l t so f t h i sa l g o r i t h ma n ds h o wh o w t h i sa l g o r i t h mi si m p l e m e n t e do nt h es e n s o rp l a t f o r m k e y w o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ，d m 6 4 2 ，p c ib u s ，m s n e t ， i n t e l l i g e n ta n a l y s i sa l g o r i t h m s i i 图目录 图目录 图1 - 1 第一代模拟视频监控系统结构图2 图1 2 第二代准数字视频监控系统结构图3 图1 3 第三代网络数字视频监控系统结构图- 4 图1 4 第四代网络数字视频监控系统结构图6 图2 1o b j e e t v i d e o 公司v e w 产品的系统结构框图9 图2 2o b j e c t v i d e o 公司o n b o a r d 产品的系统结构框图1 0 图2 3 汉王科技公司的整体解决方案1 1 图2 4 本论文设计的智能视频监控系统结构框图1 6 图2 5 传感器硬件结构框图1 7 图2 6d m 6 4 2 的内部结构图1 9 图3 1 框架程序和算法库的关系图2 3 图3 2 在c c s 程序生成和调试环境中的d s p b i o s 组件2 5 图3 3d s p _ ，b i o s 工程文件结构图2 7 图3 - 4d s p 软件流程图3 0 图3 5i o m 驱动模型示意图3 2 图3 - 6 视频驱动器的类驱动( c l a s sd r i v e ) 3 4 图3 7g i o 类驱动与底层i o m 微驱动的衔接示意图3 6 图3 8 视频驱动器的微驱动( m i n i d r i v e ) 3 7 图3 - 9v c a pa l l o c 0 函数4 0 图3 1 0v c a pf r e e ( ) 函数4 l 图3 1 1 视频模块驱动程序的调用流程图4 l 图3 1 2s e m 线程同步机制4 3 图3 1 3q u e 线程通信机制4 3 图3 1 4s c o m 线程同步和通信机制4 4 图3 - 1 5p c i 硬件中断子程序与三个p c i 通信线程之间的同步关系4 5 图3 1 6p r o c e s s t s k 与3 个p c i 通信线程之间的通信示意图4 6 图4 1 经典的p c i 总线系统结构4 9 图4 2 本地空间与p c i 总线空间的映射关系5 2 图4 3d m 6 4 2 片内p c i 接口模块结构图5 5 图4 4d m 6 4 2 的p c i 配置空间r e g i s t e r s 5 6 图4 5p c i 设备互连示意图5 7 图4 6p c i 设备到h o s t 的空间映射关系5 9 图4 7d m 6 4 2 的映射空间1 6 0 图4 8d m 6 4 2 的映射空间2 6 1 图4 9w i n d r i v e r 的体系结构6 3 图4 1 0w i n d r i v e r s e l e c ty o u rd e v i c e 界面6 4 v i 图目录 图4 。l ld m 6 4 2 的p c ii o 空间6 5 图4 1 2d m 6 4 2 的p c i 存储器空间6 5 图5 1n e t 平台结构示意图6 8 图5 2 托管代码与非托管代码的关系6 8 图5 3m e t a d a t a 与m s i l 代码被封装在同一个托管模块中6 9 图5 - 4j i t 编译过程1 7 0 图5 5j i t 编译过程2 7 0 图5 - 6 通道在网络协议层中的位置7 3 图5 7r e m o t i n g 的互连示意图7 3 图5 8p c d s p 通信流程7 8 图5 - 9d s p p c 通信流程7 9 图5 1 0a x i s 网络摄像机视频8 0 图5 。1 1 网络摄像机模块的设计框图8 l 图5 1 2 客户端的设计框图8 2 图6 1 简单智能算法m a t l a b 仿真结果8 5 图6 2c a c h e 操作示意图8 7 图6 3 算法d s p 实现效果8 8 图6 4 传感器实物演示8 9 图6 5 客户端直通图像界面8 9 图6 6 客户端规则设置界面9 0 图6 7 客户端报警界面9 0 v 表目录 表目录 表2 1 智能视频监控系统的关键技术1 3 表2 2e m i f 扩展空间使用情况2 0 表3 1d s p 程序中用到的d s p b i o s 模块及其说明2 9 表3 2m d c o n t r o l c h a n 0 函数的e m d 参数定义3 9 表4 1p c i 配置空间“标头区 寄存器组织方式5 3 表4 2p c i 接口模块中各个子模块的描述5 4 表4 3d m 6 4 2 的p c i1 0 空间寄存器5 6 表4 4d m 6 4 2 的p c i 内存映射寄存器5 6 表4 5 重要的p c i 驱动程序a p i 6 6 表5 1p c i m a n a g e r 类成员列表7 5 表5 2c h a n n e l m a n a g e r 类的成员列表7 6 表5 3a x i ss d k 类成员8 1 表6 1 使用到的i m g l i b 库函数8 6 表6 2 系统指标8 8 v i i i 缩略词表 英文缩写 d s p 1 1 0 巧 p c i v c r d v r c c n v r m p e g 】p e g c v a i o e m e d m a e m a c e m i f g p l 0 h w i i o m r f 5 s c o m s d r a m s e m c p l d u a r t 】t a g 缩略词表 英文全称 d i g i t a ls i g n a lp r o c e s s i n g p r o c e s s o r t e x a si n s t r u m e n t s c o d ec o m p o s es t u d i o p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t v i d e oc a s s e t t er e c o r d e r d i g i t a lv i d e or e c o r d e r c l o s e dc i r c u i tt e l e v i s i o n n e t w o r kv i d e or e c o r d e r m o v i n gp i c t u r ee x p e r t sg r o u p j o i n tp h o t o g r a p h i ce x p e r t sg r o u p c o m p u t e rv i s i o n a r t i f i c i a li n t e l l i g e n t o r i g i n a le q u i p m e n tm a n u f a c t u r e r e n h a n c e dd i r e c tm e m o r ya c c e s s e n h a n c e dm e d i aa c c e s sc o n t r o i e x t e r n a lm e m o r yi n t e r f a c e g e n e r a lp u r p o s ei n p u t o u t p u t h a r d w a r ei n t e r r u p t i n p u t o u t p u tm o d e l r e f e r e n c ef r a m e w o r k5 s y n c h r o n i z e dc o m m u n i c a t i o n s y n c h r o n o u sd y n a m i cr a n d o ma c c e s sm e m o r y s e m a p h o r e c o m p l e xp r o g r a m m a b l el o g i cd e v i c e u n i v e r s a la s y n c h r o n o u sr e c e i v e r t r a n s m i t t e r j o i n tt e s ta c t i o ng r o u p i x 中文全称 数字信号处理器 德州仪器 代码创作室 外设组件互连标准 卡带式影像录放机 数字视频录像机 闭路电视 网络视频录像机 动态图像专家组 联合图像专家组 计算机视觉 人工智能 原始设备制造商 增强型直接存储器访问 增强型介质访问控制 外部存储器接口 通用输入输出接口 硬件中断 输入输出模型 参考框架5 同步通信模块 同步动态随机访问存储器 信号量 复杂可编程逻辑器件 通用异步接收发送器 联合测试行为组织 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 日期：j 2 础年岁月27 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 籀孽 导师签名： 日期： b 第一章绪论 第一章绪论 本章阐述了论文选题( 智能视频监控系统) 的背景和意义；叙述了视频监控 领域的相关概念、发展历史以及国内外研究现状；最后介绍了所做工作以及论文 的结构安排。 1 1 研究背景及意义 随着经济的发展和社会的进步，人们的物质生活水平得到了广泛的提高，同 时，人们的安全防范意识也在不断提高。在国防军事方面，随着恐怖组织、国家 分裂势力和各种国家周边安全的威胁，中国在大力发展经济的同时，也加大了国 防军事和安全防御方面的投入；在交通运输方面，城市交通、基础设施不断进步， 交通工具急剧增加，交通运输压力增大，交通事故频发，如何加强交通运输管理、 降低交通事故率成为了群众和相关部门关注的焦点；在公共安全方面，偷盗抢劫 等社会现象也没有得到更好的控制，以至于人们的生命财产安全得不到足够的保 障。对于上述各个方面，除了加大人力物力的投入外，还需要采用高科技的方式 和技术手段，加大安全防范力度和效率。随着电子技术、计算机技术和信号处理 技术等科学技术的深入研究和发展，使得安防的科学化、信息化、智能化成为了 可能。在政府的引导下、企业的投入下，大量基于信息技术的安防产品被研发和 投放到市场，包括以下种类：视频监控，防盗报警，智能交通，门禁对讲，智能 楼宇，消防安全，生物识别，作业防护等。 其中，以视频监控技术发展最快、应用最广。视频监控利用摄像设备采集视 频图像，为监控者提供实时、准确、直观的监控信息。目前，视频监控系统已经 广泛应用于小区域安全监控，火警监控，和流量控制以及军事，银行，商场，机 场，地铁等公共场所的安全防范。视频监控系统经历了第一代模拟视频监控系统， 第二代的准数字视频监控系统，第三代的网络数字视频监控系统和第四代的智能 化的数字视频监控系引1 】【2 】。可以看出，数字视频监控正在以其无可比拟的优势逐 渐取代模拟视频监控，为用户提供更安全、更智能化的视频监控服务。视频监控 向数字化，网络化，智能化的方向发展【3 】。 从以上背景可见，全程数字化、网络化的视频监控系统趋势越发明显，其高 电子科技大学磺学位论文 度的开放性、集成性和灵活性，为整个安防产业的发展提供了更加广阔的发展空 间。而其中，智能视频监控则是网络化视频监控领域最前沿的应用模式之- - “。 在这样的背景下，本论文设计和开发了一个扩展性较强的数字视频监控系统。 该系统由传感器，服务器主机，网络摄像机模块和客户端模块组成。其中，传感 器是以d s p ( d i g i t a ls i 鲈缸p r o c e s s o r ，数字信号处理器) 为核心处理器的数字视频处 理板卡。传感器对监控场景进行智能分析，将分析结果通过p c i 总线传输到服务 器主机端。服务器主机端则使用微软n e t 的r e m o t i n g 技术与网络摄像机模块和客 户端进行交互，从而可以向局域网范周内的用户提供视频监控服务。该系统既可 以使用普通模拟摄像头作为视频源进行本地实时智能监控，也可以使用网络摄像 机汩c a m e r a ) 作为视频源进行远程实时智能监控。 12 视频监控的相关概念和发展历史 视频监控是电子技术、计算机技术和信号处理技术发展的产物。其特点是利 用摄像设备采集视频图像，为监控者提供实时、准确，直观的监控信息。随着电 子技术、计算机技术和信号处理技术等技术的发展，视频监控也随之经历了以下 四个不同的阶段： 1 21 第一代模拟视频监控系统 第一代视频监控系统指的是以v c r ( v i d e oc a s s e t t er e c o r d e r ) 为代表的传统 c c t v ( c l o s e d c i r c u i t t e l e v i s i o n ) 监控系统，系统主要由模拟摄像机、模拟同轴电 缆、视频切换设备、模拟监视器、模拟记录设备和盒式录像带等构成，系统结构 如图卜i 所示【4 】： 囤i - i 第一代模拟视频监控系统结构图 在这种系统中，位于前端的模拟摄像机采集视频信息，通过同轴电缆输出模 第一章绪论 拟视频信号：后端的v c r 负责将这些模拟视频记录下来，而模拟监视器则用于观 察这些视频图像。该系统的特点是：视频信号以模拟方式传输，一般传输距离不 能太远，主要应用于小范围内的监控。在比较大型的系统中，多路复用器也常会 被安装在摄像机与v c r 之间。多路复用器使v c r 同时录制多路摄像机画面成为 可能，但这样会降低帧率。 122 第二代准数字视频监控系统 2 0 世纪9 0 年代中期，出现了以d v r ( d i g i t a l d e or e c o r d e r ) 为代表的第二 代视频监控系统。d v r 是一套进行图像存储处理的计算机系统，具有对图谢语音 进行长时问录像、录音、远程监视和控制的功能。d v r 集合了录像机、画面分割 器、云台镜头控制、报警控制、网络传输等五种功能于一身，用一台设各就能取 代模拟监控系统一大堆设备的功能，而且在价格上也逐渐占有优势。其主要原理 是：将模拟视频信号转化为数字信号，并存储在计算机硬盘而不是盒式录像带上。 系统结构如图1 - 2 所示h ： 图1 - 2 第二代准数字视频监控系统结构圈 在早期，这种系统只是简单的改变了视频信号存储方式：将原先用于模拟视 频记录的录像带替换成了硬盘。这就需要模拟视频信号转换为数字信号并被压缩， 这样便可以在硬盘上更长时间的保存视频资料。由于这种系统只是在后端采用数 字技术来记录视频信息，因此被称为准数字视频监控系统。这种系统发展到后期， 随着网络技术的发展，d v r 系统进一步发展成为具有网络功能的n v r ( n e t w o r k v i d e or e c o r d e r ) 系统。相比于d v r ，n v r 不但实现了视频信息的数字化存储， 还实现了视频档案的数字化传播，即n v r 可以直接按入到m 网络中，从而使储 存下来的视频信息可以通过网络方便的进行共享。第一和第二代视频监控系统都 是以视频信息的存储、回放来实现监控的，只是它们的视频存储方式不同，园此 最大的缺点就是不能进行有效的实时监控。另外这种系统往往需要远端的电脑安 电子科技大学碰学位论文 裟特定的客户端软件才能监控视频，对于大规模监控部署和系统升级来说有一定 困难。 123 第三代网络数字视频监控系统 第三代系统指的是2 0 0 0 年左右蓬勃发展起来的网络化视频监视系统，又称为 i p 监视系统。网络化视频监视系统从一开始就是针对在网络环境f 使用而设计的， 用户可以通过网络中的任何一台计算机来观看、录制和管理实时的视频信息。另 外，第三代视频监控系统是完全数字化的，它基于标准的t c p i p 协议，能够通过 局域网和互联网传播，布控区域大大超过了前两代系统；它采用开放式架构，可 与门禁、报警等系统无缝集成；它基于嵌入式技术，大大提高了灵活性。图i - 3 给出了基于嵌入式技术的网络数字监控系统结构图 4 】： 图1 - 3 第三代网络数字视频监控系统结构图 基于嵌入式的网络视频技术具有诸多优势，其原理如下：视频服务器内置一 个嵌入式w e b 服务器，采用嵌入式实时多任务操作系统。摄像机等传感器传送来 的视频图像信息通过嵌入式视频编码器直接转换成数字信号，并通过内部总线传 送到内置的w e b 服务器。其中的数字视频信号采用各种视频或者图像压缩算法进 行压缩如：h 2 6 4 ，h 2 6 3 ，m p e g 系列或者m o t i o nj p e g ，以便于进行网络传输。 网络上用户可以直接用浏览器观看w e b 服务器上的视频图像，授权用户还可以控 制传感器的图像获取方式。甚至有些摄像机自身就具各了网络模块，直接将摄像 机采集的信号转化为数字视频信号后，通过网络模块发送给远程的客户端，俗称 网络摄像机( i p 摄像机) 。这类系统可以直接连入以太网，省掉了各种复杂的电 缆，具有方便灵活、即插即看等特点，与此同时，用户也无需使用专用软件，仅 用浏览器即可。 第一章绪论 1 2 4 第四代智能数字视频监控系统 无论是传统的第一代模拟视频监控系统，还是二、三代经过部分或完全数字 化之后的视频监控系统，都具有一些固有的局限性。由于视频监控者生理上的限 制，要达到7 * 2 4 小时全天候可靠监控很困难，一个小小的疏忽就会导致安全隐患 不能被及时发现，以至于造成人民的生命和财产损失。另外，对安全威胁的响应 速度也达不到要求，一般的监控都是在事故发生后通过查看录像的方式来查找事 故发生原因，安全威胁的发现和制止往往滞后于事故的发生。随着计算机科学、 机器视觉、图像处理、模式识别、人工智能等多学科的发展，智能的数字监控系 统应运而生【1 1 。 智能视频源于计算机视觉( c v ，c o m p u t e rv i s i o n ) 学科，而计算机视觉又是 人工智能( a i ，a r t i f i c i a li n t e l l i g e n t ) 学科的一个分支。智能视频监控是计算机视 觉领域一个新兴的应用方向和备受关注的前沿课题，结合了计算机科学、机器视 觉、图像处理、模式识别、人工智能等多学科。这些学科所涉及的内容包括：自 动的分析和收取视频源中的关键信息，在不需要人为干预情况下，利用计算机视 觉和视频分析的方法对摄像机拍录的图像序列进行自动分析，包括运动目标检测、 运动目标识别、运动目标跟踪以及对监视场景中目标行为的理解与描述，得出对 图像内容含义的理解以及对客观场景的解释，从而指导和规划行动。其中，运动 检测、目标分类、目标跟踪属于计算机视觉中的低级和中级处理部分，而行为理 解和描述则属于高级处理。运动目标检测、识别与跟踪是视频监控中研究较多的 三个问题；而行为理解与描述则是近年来被广泛关注的研究热点。 智能视频监控系统基于各种智能视频监控算法，自动识别不同的物体，发现 监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息， 从而能够有效地协助监控人员处理安全隐患，并最大限度地降低误报和漏报现象。 如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑。智能 视频技术借助于计算机强大的信息处理能力，对视频画面中的海量数据进行高速 分析，过滤掉用户不关心的信息，仅仅为监控者提供关键信息。因此，智能视频 监控系统彻底改变了以往完全由工作人员对监控画面进行监视和分析的模式，通 过智能视频模块对所监视的画面进行分析，并采用智能算法与用户定义的安全规 则进行比较，一旦发现安全威胁就立刻向监控中心报警，从而将替代或部分替代 人类监控者，实现7 * 2 4 全天候可靠的视频监控。另外，智能视频监控系统也以数 字化、网络化视频监控为基础的，其系统结构图如图1 4 所示【4 】： 电子科挂大学硕学位论文 图1 4 第四代阿络数字视频监控系统结构图 从上罔可以看出，智能视频监控系统可以采用多种系统组织形式。 第一种形式，前端采用模拟摄像头和嵌入式视频服务器采集数字视频图像， 通过压缩算法将数字图像进行处理，然后将视频流通过网络传输到具有智能视频 分析模块的服务器端进行智能算法分析，智能视频分析模块对异常或者安全隐患 事件进行监控并报警，并及时通知局域网中的客户。同时，该服务器也可咀配备 数据库将警报存起来，| 三i 便后续分折。 第二种形式，前端直接采用口摄像机进行数字视频图像的采集和压缩，后端 的结构与第一种形式一样。 第三种形式，将智能视频分析模块嵌入到前端嵌入式设备中，对模拟摄像机 采集的图像直接进行数字化和智能算法分析，并将实时图像和警报通过网络传输 到一个普通服务器上，该服务器可以配置数据库来记录警报，并及时通知局域网 中的客户。在第三种智能视频监控系统的组织形式中，我们称具有智能视频分析 模块的嵌入式设备为“传感器”。 1 3 智能视频监控系统国内外研究现状 目前，国内外对智能视频监控的研究与应用非常广泛。i e e e 协会从1 9 9 8 年起 资助了国际视觉监控系列会议，至今己经分别在印度、美国、爱尔兰等国家召开 第一章绪论 多届会议。另外，国际权威学术期刊i n t e r n a t i o n a lj o u r n a lo f c o m p u t e r v i s i o n 和 i e e et r a n s o np a t t e n na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 都出版了有关视频监控的 专题。国内也于2 0 0 2 年以后，分别召开了第一届和第二届全国智能视觉监控学术 会议，对图像序列分析、目标定位、识别和跟踪、高层语义理解、系统构建与集 成、网络环境下的视频监控等内容进行了多方面探讨。 国外的研究主要有：在美国国防高级研究计划局( d a r p a ) 资助下，卡内基梅隆 大学、戴维s a r n o f f 研究中心等几家著名研究机构合作，研制了视频监视与监 控系统v s a m 5 1 。m a r y l a n d 大学的实时视觉监控系统w 4 6 】不仅能够定位人和分割 出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室 外环境中的人并对他们之间简单的交互进行监控。以色列的i o i m a g e 和美国的 o b j e c t v i d e o 7 】【8 】是智能视频领域很有代表性的两个公司，他们开发的产品，都能在 一定规则设置下自动进行事件探测、目标跟踪和异常提醒。 国内的研究机构主要有：中科院北京自动化研究所下属的模式识别国家重点实 验室，他们对交通场景的视觉监控、人的运动视觉监控和行为模式识别进行了深 入研究，取得了一定的成果。汉王科技也推出了汉王智能行为识别系列产品： t r i g g e r - 4 ( 嵌入式视频分析模块) ，b w 2 0 0 x 视频分析软件，c o d e x 视频分析管理 系统等产品。此外，国内还有一些高校也进行了这方面的研究，如上海交通大学、 北京航空航天大学、北京理工大学等。 1 4 论文主要工作及结构安排 本论文涉及到整个系统的硬件，软件和算法三个方面。其中，软件设计是重 点。具体工作包括： 1 参与传感器的硬件的设计和实现。 2 独立完成传感器的d s p 软件设计和实现。 3 独立完成传感器的p c i 驱动程序设计和实现。 4 独立完成p c 端分布式软件框架的设计和实现。 5 参与智能视频分析算法的实现和优化。 因此，本论文共分为七章，并将着重介绍软件模块的设计和实现： 1 第一章：绪论。本章阐述了论文选题( 智能视频监控系统) 的背景和意义； 叙述了视频监控领域的相关概念、发展历史以及国内外研究现状；最后介 绍了所做工作以及论文的结构安排。 7 电子科技大学硕士学位论文 2 第二章：系统结构及传感器硬件模块。本章首先对现有的智能视频监控系 统进行了分析，归纳总结了智能视频监控系统的关键技术。在此基础上， 本论文提出了一个结构新颖、扩展性良好的智能视频监控系统，介绍了其 系统框架图。最后简要地传感器的硬件模块。 3 第三章：d s p 软件框架设计与实现。本章详细叙述了d s p 端软件是如何 开发的，涉及内容包括：d s p b i o s ，r f 5 参考框架，i o m 驱动模型，c s l 等技术。其中大量篇幅会用来详细介绍d s p 程序中的三大模块：视频捕 获模块、线程同步和通信模块的开发。 4 第四章：传感器p c i 驱动程序开发。本章详细介绍了与p c i 总线有关的一 些知识。在此基础上，介绍了如何使用w i n d r i v e r 来开发传感器的p c i 驱 动程序。 5 第五章：p c 端分布式软件系统设计与实现。本章介绍了p c 端采用的软 件技术：微软n e t 平台，c 撑编程语言和r e m o t i n g 分布式程序框架等内容； 介绍了p c 端软件系统的三大模块：p c i 后台服务模块，网络摄像机模块 和客户端。另外，传感器与主机的p c i 交互流程也在本章中进行说明。 6 第六章：智能算法简介与系统演示。本章首先介绍了一种简单的智能视频 分析算法，然后给出了其m a t l a b 仿真结果与d s p 实现结果。最后给出了 系统指标和各种演示结果。 7 第七章：总结。本章对论文所设计的工作给出了总结和展望。 第二章系统结构a 传感器硬件模蛲 第二章系统结构及传感器硬件模块 本章首先对现有的智能视频监控系统进行了分析，归纳总结了智能视频监控 系统的关键技术。在此基础上，本论文提出了一个结构新颖，扩展性良好的智能 视频监控系统，介绍了其系统框架图。最后简要地传惑器的硬件模块。 21 现有的智能视频监控系统 下面的两个小节将分别对国内外的两个具有代表性的产品进行剖析，归纳总 结出智能视频监控系统的关键属性。 211 0 b j e c t v i d e o 公司的相关产品 美国o b j e c t v i d e o 公司是世界智能视频行业的领先企业，其智能视频监控算法 具有非常强大的功能。图2 1 给出了该公司的v e w 产品的系统结构框图： 弩一 n 慨 一、 ”篆 ， l 、， f 翻i 鞫臼：b 晌 图2 1o b j e c t v i d e o 公司v e w 产品的系统结构框图 由图2 1 可以看到，该产品主要有以下部分组成：摄像机模块、o vs e r v e r ( 服 务器模块) 、o v l s e ( 智能分析模块) 、o v c l i e n t ( 客户端模块) 。其工作机制如下： 前端摄像机采集视频信息，通过多路复用或者交换器将视频信息传递到o vi s e 模 块进行智能分析，一旦有异常事件产生，将警报传递到o vs e r v e r 模块。o vs e r v e r 节窑 电子科技大学硕士学位论文 是整个系统的中枢，负责路由系统中各个模块之间的信息传递；不仅如此，o v s e r v e r 内含一个数据库，记录系统状态等信息，另外由o v i s e 模块产生的警报也 存放在该数据库中，以便监控者查询。o vc l i e n t 是客户端模块，用户可以通过一 系列的客户端软件来设置报警规则、查看系统信息和违规事件的报警信息。 可以看到，在w 产品中，o vi s e 这台计算机负责对图像进行智能分析， 也就是说，智能分析算法是在p c 平台e 实现的。而o b j e e t v i d e o 的另一款产品 o n b o a r d 则有所不同其采用了基于t i ( t e x a si n s t r u m e n t s ，德州仪器) d s p 平台 的智能分析技术，即在d s p 上实现智能视频监控算法。图2 - 2 给出了o n b o a r d 产 品的系统结构框图： 慨 图2 _ 2o b j e e t v i d e o 公司o l l b o a r d 产品的系统结构框图 由图2 - 2 可以看到，o n b o a r d 产品通过使用视频分析设备( v i d e oa n a l y s i s d e v i c e s ) 来实现智能视频监控算法。o v i s e 模块只是起到桥梁的作用，将数据在 嵌八式设备与o v s e r v e r 之间进行传递，从而保持了结构的一致性。o n b o a r d 的特 殊之处在于：摄像机直接与视频分析设备相连，在视频分析设备上进行模拟视频 信号的数字化、智能分析和警报的产生。因此智能分析模块与o v i s e 之间的连接 方式从p c 的内部总线转换成了t c p i p 网络。这就要求在对各类数据进行压缩， 特别是违规警报和直通视频图像，都采用了j p e g 的压缩编码方式。 黧 s 点一 第二章系统结构及传感器碗件模块 21 2 汉王科