（信息与通信工程专业论文）基于dm642的视频监控系统软件平台及运动目标检测算法研究.pdf

摘要 摘要 随着经济的发展和社会的进步，信号处理技术，电子技术和计算机技术等科 学技术的深入研究和发展，使得安防的科学化、信息化、智能化成为了可能。其 中，视频监控可以提供直观可靠的监控信息，所以被广泛使用。具有视频分析功 能的监控系统逐渐成为发展的主流。目前，国内外已经有很多智能视频监控系统 的研究，包括平台以及算法。这一领域正在迅速发展。 本论文设计了基于多媒体处理器d m 6 4 2 的视频智能监控平台，包括d s p 端 和p c 端的软件构架。d s p 端基于r f 5 构架，负责视频监控算法的实现；p c 端 用n e t 构建，提供了人机交互界面。它们之间通过p c i 链路通信，构成了一个完 善的平台，为视频智能监控算法的d s p 实现与优化提供了条件。本平台至少可以 支持五张d m 6 4 2 p c i 板卡，而一张d m 6 4 2 p c i 板卡可以支持四路视频流的监控， 包括两路本地模拟摄像机的视频流，以及两路远程摄像机的网络视频流。 本论文的另一工作就是对视频监控算法的关键技术之一，运动目标检测，做 了相关研究。详述了三种算法：基于动态阈值的背景差分算法；基于梯度滤波的 帧间差分算法；基于高斯模型的算法。讲述了其原理以及实现步骤，提出了一定 的创新，通过仿真对三种算法做了评估。并在设计的平台上实现了基于动态阈值 的背景差分算法，较好的实现了d s p 优化。d s p 优化包括了物理级别的优化，代 码级别的优化以及算法级别的优化。优化后基本达到工程要求，适用于民用视频 智能监控系统。 所以，本论文将涉及到整个系统的硬件、软件和算法三个方面。其中，系统 平台的软件构架以及运动目标检测算法的研究是重点，算法的d s p 实现与优化也 是很重要的一方面。因此本论文在介绍了视频监控系统平台及算法的发展及研究 现状之后，简要介绍了系统的硬件模块。然后开始详细介绍系统的软件设计，这 包括：1 系统平台的整体设计；2 d s p 端、p c 端软件构架。接着对三种改进的运 动目标检测的算法进行了研究，给出了仿真对比，分析各种算法的优劣，站在视 频监控系统的立场提出了算法分析结果。最后，在自己开发的平台上实现了基于 动态阈值的背景差分算法并进行d s p 优化，给出了优化效果。 关键词：智能视频监控系统，d m 6 4 2 ，软件平台，运动目标检测算法，d s p 优化 a b s t r a c t a b s t r a c t t h ed e v e l o p m e n to fe c o n o m ya n ds o c i e t yi m p r o v e st h el i v i n gs i t u a t i o n so fp e o p l e a n dw i t ht h ed e v e l o p m e n to fe l e c t r i c a lt e c h n i q u e s ，c o m p u t e rt e c h n i q u e sa n ds i g n a l p r o c e s s i n gt e c h n i q u e s ，i t sp o s s i b l e t o a p p l yh i g h - t e e h , i n f o r m a t i o n - b a s e da n d i n t e l l i g e n tt e c h n i q u e st ot h es o c i e t ys e c u r i t y a m o n go t h e rt h i n g s ，v i d e os u r v e i l l a n c e s y s t e m sa r eu s e dw i d d yb e c a u s ei tc a np r o v i d ei n t u i t i v ea n dr e l i a b l ei n f o r m a t i o n a t p r e s e n t , v i d e os u r v e i l l a n c es y s t e m sw h i c hc a np r o v i d ed i g i t a l ，n e t w o r k - b a s e da n d i n t e l l i g e n tv i d e os u r v e i l l a n c es e r v i c ea r ev e r yp o p u l a r t h e r ea r em a n yr e s e a r c h e sa b o u t t h es y s t e mt o o ，i n c l u d i n gp l a t f o r ma n da l g o r i t h m s t h i sp a p e ri n t r o d u c e sad i g i t a ls u r v e i l l a n c es y s t e mi n c l u d i n gs o f t w a r eo fd s pa n d p cp l a t f o r m b a s eo nr f 5f r a m e w o r k ，t h ep a p e rd e s i g nt h ed s ps o f t w a r ep l a t f o r ma n d u s i n g n e tt od e s i g np cs o f t w a r ep l a t f o r m t h e ye o m m u c i n a t i o nv i ap c i t h ew h o l e s y s t e r nc a l lp r o v i d ev i d e os u r v e i l l a n c es e r v i c et o a tl e a s tf i v ec a r d s e a c hc a r dc a n s u r v e i l l a n c et w ol o c a lv i d e oi n p u tc h a n n e la n dt w on e ti pc a m e r a v i d e oi n p u t t h eo t h e rt a s ko ft h ep a p e ri st h er e s e a r c ha b o u tm o v i n gt a r g e td e c e c ta l g o r i t h m t h e r ea r et h r e ea l g o r i t h m sw eh a v er e s e a r c h e d ：d y n a m i ct h r e s h o l d - d i f f e r e n c ea l g o r i t h m b a s e do nt h eb a c k g r o u n d ；i n t e r - f r a m ed i f f e r e n c ef i l t e r i n ga l g o r i t h mb a s e do nt h e g r a d i e n t ；b a s e do nt h eg a u s s i a nm o d e l w ed e s c r i b et h e s ea l g o r i t h m si nd e t a i l a tl a s t d s p o p t i m i z a t i o ni sp r e s e n t e d t h i sp a p e ri n v o l v e st h et h r e ea s p e c t so ft h e s y s t e mw h i c hi n c l u d eh a r d w a r e ， s o f t w a r ea n da l g o r i t h m s a n dt h i sp a p e rw i l lp a ym o r ea t t e n t i o n st ot h es o f t w a r ep a r t a n da l g o r i t h m s t h u s ，a f t e rf i r s t l yi n t r o d u c e st h eh a r d w a r ed e s i g no fd m 6 4 2c a r d ， s o f t w a r ed e s i g ni si n t r o d u c e dd e t m l e d ：1 t h ed e s i g nt h ed s ps o f t w a r ep l a t f o r ma n dt h e p cs o f t w a r ep l a t f o r m 2 r e s e a r c ha b o u tm o v i n gt a r g e td e c e c ta l g o r i t h m s i n c l u d i n g m a t l a bs i m u l a t i o n f i n a l l y , t h i sp a p e rg i v e sam o v i n gt a r g e td e c e c ta l g o r i t h m s r e l i z a t i o n ，d oal o to ft h i n g st od s po p t i m i z a t i o n k e y w o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ，d m 6 4 2 ，s o f t w a r ef l a m e w o r k ， m o t i o nd e t e c ta l g o r i t h m s ，d s po p t i m i z a t i o n i i 图目录 图目录 图1 - 1o b j e c t v i d e o 公司v e w 产品的系统结构框图3 图1 - 2o b j e c t v i d e o 公司o n b o a r d 产品的系统结构框图。4 图2 1 系统硬件原理图1 0 图2 2 智能视频监控系统结构框图一1 3 图2 3d s p 程序流程1 4 图2 4 线程通信框图15 图3 1d s p b i o s 操作系统19 图3 2t s k r e c e i v e 伪代码框图2 5 图3 3t s k v i d e o p r o c e s s 伪代码框图2 7 图3 _ 4t h r p c i s e n d 伪代码框图2 8 图3 5p c 端的解决方案2 9 图3 - 6 客户端视频直通界面3 2 图3 7 客户端智能监控界面3 2 图3 8 客户端规则设置界面3 3 图3 - 9f o r m ll o a d 流程图3 4 图3 1 0v i d e o p r o c e s s 0 流程框图3 6 图3 - 1ls e n d l m a g e t o d s p 伪代码框图3 8 图3 1 2i m a g e s h o w 流程框图3 9 图4 _ 1 算法流程图。4 1 图4 - 2 实时视频帧4 2 图4 - 3 背景模型4 2 图4 4 算法运行效果4 5 图4 _ 5 梯度滤波效果4 6 图4 6 差值运算取值分布图4 8 图4 7k 为2 时检测效果4 9 图4 8k 为4 时检测效果4 9 图4 - 9k 为6 时检测效果5 0 图4 1 0c r ( x ，y ) 处理前检测效果5 l 图4 1 1 盯( 石，y ) 处理后检测效果5 l 图4 - 1 2 交通系统算法一检测效果5 3 图4 1 3 交通系统算法二检测效果5 3 图4 - 1 4 交通系统算法三检测效果5 3 图4 一1 5 室内场景算法一检测效果5 4 图4 1 6 室内场景算法二检测效果5 4 图4 1 7 室内场景算法三检测效果5 5 图4 1 8 小区场景算法一检测效果5 6 v i 图目录 图4 - 1 9 小区场景算法二检测效果5 6 图4 - 2 0 小区场景算法三检测效果5 6 图5 1 算法程序流程图5 9 图5 2 监控系统的c c s 运行图6 0 图5 3 监控系统的p c 端运行图6 0 图5 1 4c a c h e 机制6 2 图5 5c a c h e 操作示意图6 2 l 羽5 - 6p i n g p o n g b u f 机制6 3 图5 7 网络通道的b u f 池6 4 图5 8 代码级别的优化6 5 图5 - 9 0 0 优化。6 6 图5 1 0 优化前后c p u 使用率对比7 0 v i i 表目录 表2 1e m l f 扩展空间使用情况1 2 表3 1 内存设计划分表2 0 表3 - 2 关键通信的s c o m 、s e m 、标志位2 4 表3 3 函数名及功能描述3 0 表3 4 函数名及功能描述续3 l 表5 1c s l 库函数以及其功能的描述6 7 v i i i 缩略词表 英文缩写 d s p 1 1 c c s p c i v c r d v r n v r m p e g 】p e g c v a i e d m a q d m a e m i f g p i o h w i i o 卜1 r f 5 s c o m s d r a m s e m c p l d u a f 盯。 j 1 - a g a p i b 1 0 s 缩略词表 英文全称 d i g i t a ls i g n a lp r o c e s s i n g p r o c e s s o r t e x a si n s t r u m e n t s c o d ec o m p o s es t u d i o p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t v i d e oc a s s e t t er e c o r d e r d i g i t a lv i d e or e c o r d e r n e t w o r kv i d e or e c o r d e r m o v i n gp i c t u r ee x p e r t sg r o u p j o i n tp h o t o g r a p h i ce x p e r t sg r o u p c o m p u t e rv i s i o n a r t i f i d a li n t e l l i g e n t e n h a n c e dd i r e c tm e m o r ya c c e s s q u i c kd i r e c tm e m o r ya c c e s s e x t e r n a lm e m o r yi n t e r f a c e g e n e r a lp u r p o s ei n p u t o u t p u t h a r d w a r ei n t e r r u p t i n p u t o u t p u tm o d e l r e f e r e n c ef r a m e w o r k5 s y n c h r o n i z e dc o m m u n i c a t i o n s y n c h r o n o u sd y n a m i cr a n d o ma c c e s sm e m o r y s e m a p h o r e c o m p l e xp r o g r a m m a b l el o g i cd e v i c e u n i v e r s a la s y n c h r o n o u sr e c e i v e r t r a n s m i t t e r j o i n tt e s ta c t i o ng r o u p a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e b a s i ci n p u to u t p u t s y s t e m i x 中文全称 数字信号处理器 德州仪器 代码创作室 外设组件互连标准 卡带式影像录放机 数字视频录像机 网络视频录像机 动态图像专家组 联合图像专家组 计算机视觉 人工智能 增强型直接存储器访问 快速直接存储器访问 外部存储器接口 通用输入输出接口 硬件中断 输入输出模型 参考框架5 同步通信模块 同步动态随机访问存储器 信号量 复杂可编程逻辑器件 通用异步接收发送器 联合测试行为组织 程序应用开发包 基本输入输山系统 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：鍪鲤塑日期：z - ，口7 年哕月岁fe l 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 繇墨鲎丝 - , - - 9 ，f f i - 名：扯 醐- 7 和川户 第一章绪论 第一章绪论 本章阐述了智能视频监控系统的背景和意义；叙述了视频监控领域的相关概 念、发展历史以及国内外研究现状；然后叙述了运动目标检测算法的研究现状； 最后介绍了所做工作以及论文的结构安排。 1 1 研究背景及意义 随着社会的进步和经济的发展，人们的物质生活水平获得了很大的提高，同 时，人们的安全防范意识也上到了新的层面。在国防军事方面，随着国家分裂势 力、恐怖组织以及各种国家周边安全的威胁，中国不仅经济大力发展，而且也加 大了安全防御和国防军事方面的投入；在公共安全方面，偷盗抢劫等社会现象也 没有得到更好的控制，以至于人们的生命财产安全得不到足够的保障；在交通运 输方面，城市交通、基础设施不断进步，交通工具急剧增加，交通运输压力增大， 交通事故频发，如何加强交通运输管理、降低交通事故率成为了群众和相关部门 关注的焦点。对于上述各个方面的问题，除了加大人力物力的投入外，还需要采 用高科技的方式和技术手段，加大安全防范力度和效率。随着信号处理技术、电 子技术、计算机技术等科学技术的深入研究和发展，使得安防的科学化、信息化、 智能化成为了可能。在政府的引导下、企业的投入下，大量基于信息技术的安防 产品被研发和投放到市场，包括以下种类：视频监控，智能交通，防盗报警，门 禁对讲，智能楼宇，消防安全，作业防护，生物识别等等【l 】。 其中，以视频监控技术发展最快、应用最广。视频监控利用摄像设备采集视 频图像，为监控者提供实时、准确、直观的监控信息。目前，视频监控系统已经 广泛应用于军事，机场，银行，商场，地铁等公共场所的安全防范以及小区域安 全监控，火警监控，和流量控制。视频监控系统总共经历了四代：第一代模拟视 频监控系统，第二代的准数字视频监控系统，第三代的网络数字视频监控系统和 第四代的智能化的数字视频监控系统【2 】【3 】。显然，数字视频监控正在以其无可比拟 的优势逐渐取代模拟视频监控，为用户提供更安全、更智能化的视频监控服务。 视频监控系统向着数字化，网络化，智能化的方向发展【4 1 。 自此可见，数字化、网络化的视频监控系统趋势成为主流，其具有高度的丌 电子科技大学硕士学位论文 放性、灵活性和集成性，为安防产业的发展提供了广阔的发展空间。本论文研究 的智能视频监控则是网络化视频监控领域最前沿的应用模式之一【5 1 。 1 2 视频监控的相关概念以及研究现状 视频监控是信号处理技术、电子技术以及计算机技术发展的产物。其特点是 利用摄像设备采集视频图像，为监控者提供实时、准确、直观的监控信息。随着 信号处理技术、电子技术以及计算机技术等技术的发展，视频监控在系统构架上 以及算法研究上都有着飞速的发展。 1 2 1 视频监控系统的发展及研究现状 视频监控系统发展到现在主要经历了四个阶段： 第一代视频监控系统：以v c r ( v i d e oc a s s e t t er e c o r d e r ) 为代表的传统c c t ( c l o s e dc i r c u i tt e l e v i s i o n ) 监控系统，系统主要由模拟摄像机、模拟同轴电缆、 视频切换设备、模拟监视器、模拟记录设备和盒式录像带等构成【5 1 。该系统的特点 是：视频信号以模拟方式传输，一般传输距离不能太远，所以主要应用于小范围 的监控。 第二代准数字视频监控系统：在2 0 世纪9 0 年代中期，出现了以d v r ( d i g i t a l v i d e or e c o r d e r ) 为代表的第二代视频监控系统。d v r 具有对图像语音进行长时 间录像、录音、远程监视和控制的功能，是一套进行图像存储处理的计算机系统。 d v r 用一台设备就能取代模拟监控系统一大堆设备的功能，集合了录像机、画面 分割器、云台镜头控制、报警控制、网络传输等五种功能于一身，而且在价格上 也逐渐占有优势。其主要原理是：将模拟视频信号转化为数字信号，并存储在计 算机硬盘而不是盒式录像带上【5 l 。 第三代网络数字视频监控系统：第三代系统指的是2 1 世纪蓬勃发展起来的网 络化视频监视系统，又称为i p 监视系纠5 1 。其原理如下：采用嵌入式实时多任务 操作系统，视频服务器内置一个嵌入式w e b 服务器。摄像机、网络传送来的视频 图像信息通过嵌入式视频编码器直接转换成数字信号，并通过内部总线传送到内 置的w e b 服务器。其中的数字视频信号采用各种视频或者图像压缩算法进行压缩， 如： m p e g 系列，h 2 6 3 ，h 2 6 4 或者m o t i o nj p e g ，以便于进行网络传输。网络 上用户可以直接用浏览器观看w e b 服务器上的视频图像，授权用户还可以控制传 感器的图像获取方式。 2 * t 绪论 第叫代智能数字视频监榨系统：随着目像处理、模式u 别、l 臂机科学、机 器砚觉、人i 智能等多学科的发胜，智能的数字监控系统应运而7 e _ l i 。它甚于并种 背能视频监控算法，能识3 j j d ；同的物体，发现监控丽j 面中的异常情况以及日标物， 并能够以最陕和最伟的万式发出警报、提供信息，从而能够有效地协助监控人员 处理安全隐患，最大限度地降低误报和漏报现象。就好像把摄像机看作人的眼睛， 那么智能视频系统或设备| ! i | u 以看作人的人脑。智能视频技术借助于计算机强大 的信息处理能力，对视频嘶而中的海量数据进行高速分析，过滤用广不关心的信 息，l n j 仪仪提供几 ，t 关心的关键信息。因此，智能视频监控系统彻底改变了以往 完争山二= 作人员对监棒【! ! | 血进行雌视和分析的模式，通过钾能税频模块的智能算 法对所监视的画面进行分析，并与用户定义的安全规则进行比较，旦发现安争 威胁就立刻向监控巾心手 i 警，从l 叮将替代或部分替代人类监控者，实现全天候可 靠的视频蝻拧把视频峪挖带到了一个新时代。 ，曛“1 囊 i j 。、 、j 一嚼_ ! l i 口酊幽内外对智能视频监控的研究与应用非常广泛。i e e e _ 办会从1 9 9 8 年起 资助了固际视觉监控系列会议，至今己经分别在爱尔兰、印度、美凼等【崮家召开 多届会泌。国内也 。2 0 0 2 年以后，分别召开了第一届和第一届全田智能视觉监控 学术会议，列日标定位、识别和跟踪、图像序列分析、高层语义理解、系统构建 与集成、网络环境下的视频监控等内容进行了多方面探讨。，另外，在# 术t 也响 一系列的定破，崮际权成学术 l f i 刊i n t e r n a t i o n a lj o u r n a lo f c o m p u t e r v i s i o n 和 i e e e t r a n so np a t t e r n a n a l y s i sa n d m a c h i n e i n t e l l i g e n c e 都版了有关税频监榨的 专题、论文。i ，耍研究成果有： 内基梅隆大学、戴维s a r n o f f 研究中心等几 家著名研究机构合作，研制的视频监视与雌控系统v s a m “。m a r y l a n d 大学的实 时视觉监控系统w 4 f 1 不仅能够定位人椰分割出人的身体部分，而且通过建立外观 模型来实现多人的心踪，可以检测和跟踪室外环境中的人并列他们之u 】简单的交 兄进 亍监控。而以色列的i o i m a g c 和美目的o b j e c t v i d e o 【7 1 足智能视频领域很有代表 陡的婀个公司，他们开发的产品，都能在一定觑则设置f 自动进行事件探测、目 标跟踪和异常提醒。 我们着重介绍n i k 界领先的o b j e c t v i d e o 公司的相关产品i ”。 美国0 b l e c t v i d c o 公司是世界智能视频行业的领先企业，其智能视频监控尊法 恩有i f g 强大的功能。图1 1 给m 了该公- 的v e w 产品的系统结构框图。 l 扣舟1 1 可以看到，该产品t 要有以下部分组成：摄像机模块、服务器模块( 0 4 s e r v e r ) 、智能分析模块( o v i s e ) 、客户端模块( o v c l i e n t ) 。其i 一作机制如r ： 前端摄像机采集视频信息，通过多路复用或者交换器将视频信息传递到智能分析 模块模块进行智能分析，一口有异常事什产生，将警报传递到服务器模块模块。 服务器模块是整个系统的中枢，负责路由系统中各个模块之问的信息传递；小仪 如此，服务器摸蜓内岔个数据库，记录系统状态等信息，儿外由智能分析模块 模块产牛的警报也存放在该数据库中，以便监控者查询。客户端模块足客户端模 块，用户c 4 以通过一系列的客j 1 端软件来设置报警规则、查霸系统信息和违j = 9 l 事 件的搬管信息。 可以看到，在v e w 产品中，智能分折模块这台计芥机负责对削像进行智能分 析，电就是说，智能分析算法是在p c 甲台r 实现的。而o b j e c t v i d e o 的另款产 品o n b o a r d _ ! | j 有所不同，其采用了基于t i ( t e x a s i n s t r u m e n t s ，德l 仪器) d s p 平 台的智能分析技术，即在d s p 卜实现智能桃频监 亭算法。图12 为系统结构框图： 卿 “吵一 第一章绪论 由图1 2 可以看到，o n b o a r d 产品通过使用视频分析设备( v i d e oa n a l y s i s d e v i c e s ) 来实现智能视频监控算法。智能分析模块模块只是起到桥梁的作用，将 数据在嵌入式设备与服务器模块之间进行传递，从而保持了结构的一致性。 o n b o a r d 的特殊之处在于：摄像机直接与视频分析设备相连，在视频分析设备上进 行模拟视频信号的数字化、智能分析和警报的产生。因此智能分析模块与智能分 析模块之间的连接方式从p c 的内部总线转换成了t c p i p 网络。这就要求在对各 类数据进行压缩，特别是违规警报和直通视频图像，都采用了j p e g 的压缩编码方 式。 1 2 2 运动目标检测算法的研究现状 智能数字视频监控系统的核心是视频监控算法。其可以分为如下关键技术：运 动目标的检测、运动目标的特征提取、运动目标的识别、运动目标的跟踪、运动 目标行为分析。本论文只涉及关键技术之一，运动目标的检测。 目前运动目标检测的算法很多，有很多相关的论文。目前，大多数的运动目标 检测的方法要么是基于图像序列中时间信息的，要么是基于图像序列中空间信息 的。总得来说，可以归纳为如下3 种： ( 1 ) 背景差分法【9 】 将实时视频流中的图像像素点的灰度值与事先训练好的背景模型中的相应点 的灰度值比较，按一定算法来判断像素点是前景点还是背景点。所谓前景点，就 是场景中运动目标的像素点；背景点就是场景中静止的、固有的画面的像素点； 而噪声点就是不属于前景点或者背景点，但是受各因素影响可能会被误判为的其 中之一的像素点。 此算法的关键是背景模型的建立。其算法优点在于能比较好的提取运动目标， 但对光照和长时间内环境的变化过于敏感，尤其是环境剧烈变化的时候，检测效 果很不理想。由于时间流逝，实际场景等多种因素都会发生变化，比如停留物的 出现、光线的变化、运动目标对背景的遮挡等等，迫使背景需要实时地更新，这 增加了计算的复杂度。但是不可否认，在背景模型按合适算法更新的情况下，这 是一种比较适用与视频监控系统的运动目标检测算法。 ( 2 ) 帧间差分法【1 0 】 5 电子科技大学硕士学位论文 在输入的视频流中，不断的对相邻的几帧图像进行差分( 通常为2 帧或3 帧) ， 若某一像素点的灰度值的变化超过了某一阈值，就认为此点是前景点，否则是背 景点。 这种算法的关键在于阈值的选取。它的优点在于对场景中的光线渐变不敏感， 适于动态变化的环境，且运算量相对较小。但缺点同样很多：1 ) 不能完整的提取 运动目标，2 ) 对于突然停在场景中的物体会“失明 ，这点对于滞留物体的判断很 不利。3 ) 在运动目标内易产生空洞现象，不利于下一步的分析和处理。 ( 2 _ ) 光流法【1 1 】【1 2 】 这种算法首先在视频流中构建一个光流场。根据光流场计算出像素点运动的大 小和方向，从而转化为运动场来区分背景和运动目标。 其主要优点在于不需预知场景的任何信息就能检测出独立的运动目标，对变化 的复杂背景情况有较好的适应。但其有一个致命的缺点，由于要依赖光流估计的 准确程度，大多数计算方法相当复杂并且计算量特别大，所以除非有特殊的硬件 支持，否则很难实现实时检测。不太适合于民用视频监控系统。 1 3 论文主要工作及结构安排 在这样的背景下，本论文设计和开发了数字视频监控系统的软件平台并对视 频监控系统的关键技术之一，运动目标检测，做了深入研究。该软件平台基于 d m 6 4 2 的系统硬件构架，由d s p 端的d m 6 4 2 p c i 板卡以及p c 端服务器主机组成。 其中，d m 6 4 2 p c i 板卡是以d s p ( d i g i t a ls i g n a lp r o c e s s o r ，数字信号处理器) 为核心 处理器的数字视频处理板卡。d m 6 4 2 p c i 板卡对监控场景进行智能分析，将分析结 果通过p c i 总线传输到服务器主机端；服务器主机端则基于微软n e t 平台用 v c + + n e t 构建，该系统平台可以支持5 张板卡的视频监控服务，而每张板卡又 可以支持4 路的视频流，其中包括两路的模拟摄像机的视频流和两路网络摄像机 的网络视频流。该系统既可以使用普通模拟摄像机作为视频源进行本地实时智能 监控，也可以使用网络摄像机( i p c a m e r a ) 作为视频源进行远程实时智能监控。 运动目标检测算法的深入研究上主要在背景差分和帧间差分上。详细的说， 研究了三种算法：一，基于动态阈值的背景差分算法；二，为基于梯度滤波的帧 间差分算法；三，基于高斯模型的算法。 因此本论文涉及到整个系统的硬件，软件和算法三个方面。其中，软件设计 和算法研究是重点。具体工作包括： 6 第一章绪论 1 参与d m 6 4 2 p c i 板卡的硬件的设计和实现。 2 独立完成基于d m 6 4 2 p c i 板卡的d s p 、p c 软件构架的设计。 3 独立完成运动目标检测技术的算法的m a t l a b 仿真。并比较了不同种运 动目标检测技术的算法，指出优势、劣势。 4 独立完成运动目标检测算法的d s p 实现和优化。 因此，本论文共分为六章，并将着重介绍软件平台的设计和运动目标检测算 法的研究与实现： 1 第一章：绪论。本章阐述了论文选题( 智能视频监控系统) 的背景和意义； 叙述了视频监控领域的相关概念、发展历史以及国内外研究现状；最后介 绍了所做工作以及论文的结构安排。 2 第二章：系统的总体设计。本章首先归纳总结了智能视频监控系统的关键 技术。在此基础上，本论文提出了一个结构新颖、扩展性良好的智能视频 监控系统，简要地介绍系统硬件之后，介绍了其系统框架图。 3 第三章：d s p 端和p c 端框架设计。本章分四小节，第一小节大概的介绍 了d s p 程序开发、n e t 语言开发的相关知识，涉及内容包括：d s p b i o s ， r f 5 参考框架，线程，c s l ，v c 抖n e t 等技术。然后用大量篇幅来介 绍本系统的d s p 程序设计，包括三大模块：视频捕获模块、线程同步和 通信模块的设计。最后，详细介绍了p c 端的设计，包括客户端模块、网 络模块、后端服务模块。 4 第四章：运动目标检测算法。本章详述了本论文所研究过的几种算法：1 ) 基于动态阈值的背景差分算法；2 ) 为基于梯度滤波的帧间差分算法；3 ) 基于高斯模型的算法。对于各个算法都介绍了原理和步骤。结合m a t l a b 仿真结果比较了各种算法的优劣。并选取了基于动态阈值的背景差分算法 来进行d s p 实现。 5 第五章：算法的d s p 实现与优化。本章分两大部分：运动目标算法的d s p 实现，以及在前面设计的软件构架上的d s p 优化。在论述了优化的必要 性后，介绍了d s p 实现，详述了算法如何融入系统并给出了运行结果。 最后讲述了d s p 优化，包括三个方面：物理级别的优化、代码层级别的 优化、算法级别的优化。 6 第六章：总结。本章对论文所设计的工作给出了总结和展望。 7 电子科技大学硕士学位论文 第二章系统总体设计 本章首先，归纳总结了智能视频监控系统的关键技术。在此基础上，本论文 提出了自己设计的智能视频监控系统的软件平台，介绍了其系统的总体设计，包 括系统硬件和软件设计。 2 1 基于视频监控系统关键技术的设计 2 1 1 视频监控系统关键技术 虽然市面上的智能视频监控系统很多，但是都包含了一些关键技术，所谓关 键技术就是指设计视频监控系统所必须考虑的技术。总结如下： 1 视频监控系统的平台：任何算法要真正应用到实际，需要使用具体的软硬 件技术来实现。而软硬件技术又需要软件平台来体现，另一方面，由于智 能分析算法比较复杂、计算量大，能否达到算法的实时实现是一个难点， 因此需要一个好的平台构架。 2 系统构成：一般由三大模块组成，智能分析模块、主机服务器和客户端。 智能分析模块负责算法的实现，一般采用嵌入式设备；主机服务器负责统 一管理各个智能分析模块，路由和存储系统中的各类信息；客户端负责接 收实时的视频图像和报警信息。 3 智能视频监控算法：是整个产品的核心，是实现智能监控的关键。智能视 频监控算法对输入的视频流进行处理，分析图像中的物体行为，对违规事 件进行报警，从而达到智能监控的目的。智能视频监控算法可以细化为五 大关键技术：目标检测、目标特征提取、目标的识别、目标跟踪、目标行 为分析。 4 视频源类型：可以分为两种，模拟摄像机和网络摄像机( i pc a l n c r a ) 。模 拟摄像机需要在前端的嵌入式设备上进行数字化，由于模拟同轴电缆的传 输限制，这就使得模拟摄像机与对其进行数字化的设备之间不能太远。而 网络摄像机内部直接将模拟视频信息转换成数字图像，然后通过网络传输 到智能分析模块进行分析，从而可以大大增加监视范围。只要网络的传输 第二章系统总体设计 速率能够得到保证，智能视频监控系统可以对网络中的任何地点进行监视。 5 传输方式：视频监控向网络化发展，那么使用什么方式来实现最快、最准 确的传输就成为了关键技术之一。目前的智能视频监控系统都使用了网络 作为各个模块间的信息传递通道。 2 1 2 本论文基于关键技术的设计 在系统监控平台以及系统构成上，采用的是d s p 的嵌入式系统。以 t m s 3 2 0 d m 6 4 2 多媒体数字信号处理器为核心的嵌入式板卡，通过p c i 1 4 】总线与 p c 端通信。鉴于d s p 处理器具有强大的实时计算能力，特别是适合完成图像处理 运算。因此本设计将采用嵌入式的d s p 平台来实现算法。剩余的辅助工作将由p c 负责完成。 本论文的算法致力于运动目标的检测，详细研究了三种运动目标检测的算法。 后续的目标识别、跟踪和行为理解等算法的研究，将作为本论文的后续工作。 在现有大多数产品中，视频源要么是模拟摄像机要么是网络摄像机( i p c a m e r a ) ，两者没有共存在一个产品中。基于上述原因，我们提出将模拟摄像机和 网络摄像机都作为系统的视频源，同时对本地的模拟摄像机和远端的网络摄像机 所拍摄的场景都进行智能监控。因此传输方式由单一的网络传输方式转变成了网 络和p c i 总线的方式。 2 2 系统简介 2 2 1 系统硬件 本系统的硬件，由多块d m 6 4 2 p c i 板卡组成。主要提供对本地和远程视频监 控的硬件支持。每块d m 6 4 2 p c i 板卡由以下模块组成：d m 6 4 2 核心处理模块、外 设存储器模块、视频输入模块、总线控制模块、p c i 模块。 本地的模拟视频首先通过视频输入模块进行a d 转换，d m 6 4 2 核心处理模块 接收模拟视频输入模块输出的数字图像信号，并存储在外设存储器模块 ( s d r a m ) ，同时d m 6 4 2 核心处理模块实时的对存储在外设存储器模块 ( s d ra m ) 中的数字图像信号进行运算。当产生报警信号，d m 6 4 2 核心处理模块 便通过p c i 模块把报警信息以及违规场景传送给主机服务器。远程的网络视频数 据，首先由服务器主机通过p c i 模块传送到外设存储器模块，其它步骤与处理模 9 电子科技大学硕士学位论文 拟视频流一样。整个系统的数据，地址，控制总线将由总线控制模块控制。系统 硬件原理图如图2 1 。 2 2 1 1 d m 6 4 2 核心处理模块 图2 1 系统硬件原理图 t m s 3 2 0 d m 6 4 2 ( 简称d m 6 4 2 ) 是t i 公司推出的一款高性能的定点多媒体数 字信号处理裂1 3 】【1 4 1 。c 6 4d s p 内核采用流水线结构，执行指令的功能单元在编译 时便可分配好，程序运行时通过专门的指令分配模块，可以将每个2 5 6 位的指令 包同时放到8 个并行单元中进行处理。同时，其内部的c 6 4d s p 内核采用了先进 的v e l o c i t i 增强型超长指令字( a d v a n c e dv e r y l o n g - i n s t r u c t i o n - w o r d ) 结构