（计算机科学与技术专业论文）固定场景下的智能视频监控系统研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 随着视频监控系统的广泛应用，传统视频监控系统的缺陷逐渐显现，视频监 控系统的智能化成为必然的发展趋势。针对传统视频监控系统的一些缺陷，结合 摄像头固定的低运动场景的应用环境，本文提出了一套固定场景下的智能视频监 控系统解决方案，对关键技术作了深入的研究，并实现了原型系统。 运动检测是视频监控系统智能化的基础，本文在深入分析和研究多种运动检 测算法的基础上，选取帧间差分法作为本系统的运动检测方法。针对原有的基于 单个像素的帧间差分法计算量大，提取运动目标不完整的缺点，提出了一种基于 1 6 x 1 6 像素块的帧间差分法；该方法不仅减小了计算量，保证了运动检测实时性， 而且可以更完整的提取运动目标。 本文在实现帧间运动检测的基础上，针对m j p e g 视频压缩算法没有去除帧间 冗余信息，视频压缩比低的缺点做了改进。改进后的压缩算法根据运动检测算法 提取出的运动目标区域，只对这些运动区域作压缩，忽略没有变化的背景区域。 这使得在保证视频质量的同时，视频压缩比有了很大的提高，极大地减轻了视频 数据网络传输与存储的压力。 为了确保系统的实时性，本文还在视频采集模块设计和视频压缩算法实现等 方面作了很多优化。视频采集模块采用乒乓缓存结构，实现了视频采集与处理的 并行；还对j v 视频数据进行了子采样和分离存储，提高了视频压缩比，方便了 后续的视频处理。针对d s p 体系结构特点，完成了视频压缩算法在d s p 上的优化 实现，视频压缩速度有了很大的提高。 主题词：视频采集，运动检测，视频压缩，d s p 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t p a c t w i t ht h ev i d e os u r v e i l l a n c es y s t e mw i d e l yu s e d ，d e f i c i e n c i e so ft r a d i t i o n a lv i d e o s u r v e i l l a n c es y s t e ma p p e a rg r a d u a l l y ，a n di n t e l l i g e n c eo fv i d e os u r v e i l l a n c es y s t e mh a s b e e na ni n e v i t a b l ed e v e l o p m e n tt r e n d a i m i n ga tt h es h o r t c o m i n go ft r a d i t i o n a lv i d e o s u r v e i l l a n c es y s t e m s ，o r i e n t e dt oa p p l i c a t i o ne n v i r o n m e n to ft h ef i x e dc a m e r aa n d l o w m o t i o ns c e n e ，t h i sp a p e rp r e s e n t sa ni n t e g r a t e dd e s i g na n ds o l u t i o no fi n t e l l i g e n t v i d e os u r v e i l l a n c es y s t e ms u i t a b l ef o rf i x e db a c k g r o u n d ，s t u d i e sd e e p l ys o m ek e y t e c h n o l o g i e so fi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ，a n di m p l e m e n t st h ea r c h e t y p a l s y s t e m m o t i o nd e t e c t i o ni st h eb a s i so fi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m w i t ht h e i n d e p t ha n a l y s i sa n dr e s e a r c ho fal o to fm o t i o nd e t e c t i o na l g o r i t h m s ，t h i st h e s i s c h o o s e sf r a m e d i f f e r e n c em e t h o da st h es y s t e m sm o t i o nd e t e c t i o nm e t h o d i nv i e wo f t h ed i s a d v a n t a g e so fl a r g ea m o u n to fc a l c u l a t i o na n di n c o m p l e t ee x t r a c t i o no fm o v i n g o b j e c to ff r a m e - d i f f e r e n c em e t h o db a s e do np i x e l ，t h i sp a p e rb r i n g sf o r w a r da nn e w f r a m e d i f f e r e n c em e t h o db a s e do na16 + 1 6 - p i x e lb l o c k t h em e t h o dn o to n l yr e d u c e s t h ec a l c u l a t i n ga m o u n t ，t h u se n s u r et h er e a l - t i m eo fm o t i o nd e t e c t i o n ，b u ta l s oa c h i e v e s t h ec o m p l e t ee x t r a c t i o no fm o v i n go b j e c t s o nt h eb a s i so fi n t e r f r a m em o t i o nd e t e c t i o n ，t h i sp a p e ri m p r o v e st h ei m p e r f e c t i o n o fn o tr e m o v i n gr e d u n d a n ti n f o r m a t i o nb e t w e e nf r a m e sa n dl o wv i d e oc o m p r e s s i o n r a t i oo fm j p e gv i d e oc o m p r e s s i o na l g o r i t h m t h ei m p r o v e dc o m p r e s s i o na l g o r i t h m o n l yd e a l sw i t hm o v i n go b j e c t sa r e aw h i c h i se x t r a c t e db ym o t i o nd e t e c t i o n ，a n di g n o r e s u n c h a n g e db a c k g r o u n d ，s ov i d e oc o m p r e s s i o nr a t i oi si m p r o v e dg r e a t l yw h i l ee n s u r i n g t h eq u a l i t yo fv i d e o t h ep r e s s u r eo fs t o r a g ea n dn e t w o r kt r a n s m i s s i o no fv i d e od a t ai s d e c r e a s e d ho r d e rt oe n s u r er e a l t i m eo fs y s t e m s ，t h i sa r t i c l ea l s oo p t i m i z e sd e s i g no fv i d e o c a p t u r em o d u l ea n dr e a l i z a t i o no fv i d e oc o m p r e s s i o na l g o r i t h m v i d e oc a p t u r em o d u l e u s e sp i n g - p o n gb u f f e rs t r u c t u r ew h i c ha l l o w st h ev i d e oc a p t u r ea n dp r o c e s s i n gt o p e r f o r ms i m u l t a n e o u s l y a l s or e a l i z e st h es u b s a m p l i n ga n ds e p a r a t es t o r a g eo fy u v v i d e od a t aw h i c hi m p r o v e sv i d e oc o m p r e s s i o nr a t i oa n dp r o v i d e sc o n v e n i e n c ef o r f o l l o w i n gv i d e op r o c e s s i n g a c c o r d i n gt o d s pa r c h i t e c t u r ef e a t u r e s ，t h i sp a p e r i m p l e m e n t st h eo p t i m i z a t i o no fv i d e oc o m p r e s sa l g o r i t h mo nd s p ，w h i c hm a k e st h e s p e e do f v i d e oc o m p r e s s i o ni m p r o v e dg r e a t l y k e yw o r d s ：v i d e oc a p t u r e ，m o t i o nd e t e c t ，v i d e oc o m p r e s s i o n ，d s p 第i i 页 国防科学技术大学研究生院硕十学位论文 表目录 表5 1j p e g 算法的各个步骤及对应的实现函数4 3 表5 2r e f o r m a t 函数优化前与优化后的执行时间对比4 5 表5 3 各种一维8 点f d c t 快速算法及计算量4 6 表5 4 亮度信号( y ) 的量化表4 7 表5 5 色差信号( u v ) 的量化表4 7 表5 6 转换后的亮度信号( 的量化表4 8 表5 7 转换后的色差信号( u v ) 的量化表4 8 表5 8 量化函数不同实现的执行时间对比5 0 表5 9 一个量化后的8 x 8 数据块5l 表5 1 0 修改后的z 型排序表5 2 表5 1 1z l r ea c 函数优化前与优化后的执行时间对比5 3 表5 1 2 变长码码长( v l c ) 对照表5 4 表5 1 3 亮度信号( 的交流系数哈夫曼表。5 5 表5 1 4h u f f m aa c 函数优化前与优化后的执行时间对比5 8 表5 1 5 改进前后的m j p e g 算法生成的视频文件数据量对比6 1 表5 1 6 压缩一帧3 2 0 * 2 4 0 图像时j p e g 各个模块执行时间- 6 2 表5 1 7 压缩一帧3 2 0 * 2 4 0 图像的附加时间开销j 6 2 表5 1 8 处理一帧3 2 0 * 2 4 0 图像的总时间6 2 第1 i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图2 1 嵌入式网络视频监控系统结构图5 图2 2 监控系统硬件总体设计框图7 图2 3 视频监控系统前端硬件详细结构图8 图2 4d s p 程序总体流程图9 图3 1 四种j v 子采样格式。1 1 图3 2o v 7 6 4 0 功能结构图1 2 图3 3 乒乓缓存切换示意图1 3 图3 4 采集模块的硬件框图1 4 图3 5 二线制s c c b 总线硬件结构图1 4 图3 6 二线制s c c b 的启动、停止和位传输时序图1 5 图3 7 二线制s c c b 一次完整数据传输的三种时序图1 6 图3 8s c c b 三相写操作程序流程。1 7 图3 9s c c b 三相写操作与1 2 c 单字节写操作时序对比。1 8 图3 1 0o v 7 6 4 0 的3 2 0 x 2 4 0 的y u v 4 ：2 ：2 格式的图像数据输出时序1 9 图3 1 1y u v 4 ：2 ：2 到y u v 4 ：2 ：0 子采样示意图2 0 图3 1 23 2 0 x 2 4 0 的y u v 4 ：2 ：0 图像分成1 5 x 2 0 个块2 1 图3 13b l o c k ( 0 ，0 ) 转换为m c u ( 0 ，0 ) 。21 图3 1 43 2 0 x 2 4 0 的y u v 4 ：2 ：0 图像数据在视频缓存中的存储顺序2 2 图3 1 5 采集控制逻辑总体结构图2 2 图3 16v i d e oc o n t r o lm o u d l e 逻辑结构图2 3 图3 1 7v cw e 时序图。2 4 图4 1 运动物体速度慢时帧间差分法检测到的运动目标区域2 6 图4 2 运动物体速度快时帧间差分法检测到的运动目标区域2 6 图4 3 一圆形物体的图像和它的直方图2 8 图4 4 一幅指纹图像和它的直方图2 8 图4 5 帧间差分法的运动检测结果2 9 图4 6 分成1 5 x 2 0 个块的相邻两帧图像3 2 图4 7 数组m a d 1 5 1 1 2 0 l 各个元素的值3 3 图4 8 直方图数组h 2 5 5 各个元素的值3 3 图4 9 直方图数组h 2 5 5 所对应的直方图3 4 图4 1 0 第k 帧图像的运动目标区域提取3 6 图5 1t m s 3 2 0 c 6 7 x x 结构框图3 9 第1 v 页 国防科学技术大学研究生院硕士学位论文 图5 2m j p e g 算法工作原理4 2 图5 3j p e g 算法工作原理4 3 图5 4f d c t 变换实例。4 6 图5 5z 字型排序示意图及排序后数据的序号5 0 图5 6x v l c 的结构5 4 图5 7 哈夫曼编码实例5 5 图5 8 字内的字节顺序对比5 8 图5 9 帧间运动检测的运动目标区域提取示意图5 9 图5 1 0 改进后与改进前每帧图像压缩后的数据格式对比：6 0 图5 1 1 改进后的m j p e g 算法中的关键帧6 0 图5 1 2 改进后的m j p e g 压缩算法的工作流程6 1 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：塑量塑曼玉鱼整丝主垦邀垒丝鱼逸塑坚刍筮塾 学位论文作者签名：盘垩 日期：2 0 d 窖年f 月1 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：国垫堡显王鱼叠鱼鳖趣篁盘堕圭壑盘坌丝量玺墨墨垫 学位论文作者签名：盘垩 日期：2 口o j ；年肛月7 日 作者指导教师签名：耋宝! 鱼 日期：纫，移年f 二月r 7 日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 课题的背景及意义 近年来，随着网络技术、视频编解码技术、存储技术的发展，视频监控系统 的应用前景已经越来越广阔，成为企业、幼儿园、交通、保安、金融、公安等各 行各业广泛应用的监督手段。随着构建和谐社会、建设平安城市的需要，市场对 视频监控系统的需求也将越来越旺盛。视频监控从产生到现在有将近3 0 年的时间， 它的发展大致经历了以下三个阶段【1 】： 1 本地模拟视频监控系统 在九十年代初以前，主要是以模拟设备为主的闭路电视监控系统，传输的视 频信号为模拟信号，传输介质为视频电缆。因为传输过程中信号有一定的衰减， 且模拟信号易受干扰又无法联网，所以传输距离不能太远，监控范围小，只能用 在一栋大楼或者一个工厂等小范围的场所。该系统操作复杂，必须有专门人员管 理，维护，且不易扩展。 2 基于p c 的视频监控系统 九十年代中期，随着计算机处理能力的提高和视频技术的发展，人们利用计 算机的高速数据处理能力进行视频的采集和处理，基于p c 机插卡式的视频监控系 统开始兴起。基于p c 的视频监控系统是先将摄像头采集的模拟视频信号转化为数 字信号，利用专用压缩卡对数字信号进行压缩处理后，通过网络传输给作为监控 终端的p c 机，监控终端p c 机利用专用解压卡对数据进行解压后，就能够重现远 端的图像。数字信号的传输可靠性较高，且数字化的视频流数据可以通过各种方 式被连接在网络上的计算机共享。这种监控系统一般都有良好的w i n d o w s 操作界 面，易于使用和维护。但是该系统也存在体积大，功耗高，长时间工作不是特别 稳定等缺陷。 3 嵌入式网络视频监控系统 九十年代末至今，随着近年来嵌入式微处理器性能的迅速提高以及嵌入式操 作系统的发展，以嵌入式技术为依托，以网络、通信、音视频编码技术为基础的 嵌入式网络视频监控系统成为视频监控系统的主流，视频监控系统也进入了i p 化 时代。这种视频监控系统体积小，功耗低，性能稳定。有以下三个显著特点： ( 1 ) 布控区域广阔 嵌入式网络视频监控系统可直接连入网络，没有线缆长度和信号衰减的限制， 同时网络是没有距离概念的，彻底抛弃了地域的概念，极大的扩展了布控区域。 ( 2 ) 系统具有无缝扩展能力 第1 页 国防科学技术大学研究生院硕士学位论文 所有设备都以i p 地址进行标识，增加设备只是意味着i p 地址的扩充。 ( 3 ) 可组成非常复杂的监控网络 采用基于嵌入式视频服务系统的监控系统，在组网方式上与传统的模拟监控 和基于p c 平台的监控方式有极大的不同，由于嵌入式w e b 服务器输出的视频流 数据已完成模拟到数字的转换并压缩，采用统一的协议在网络上传输，支持跨网 关、跨路由器的远程视频传输。以上的这些优势使得嵌入式网络视频监控的应用 不再局限于安全防护，逐渐也被用于智能交通、远程办公、远程医疗、远程教学 等领域。 随着嵌入式视频监控系统广泛应用和数量急剧增多，使以前不太被关注的一 些问题凸显出来： 1 管理人员无法长时间集中精力应对越来越多的视频监视画面，增加了对一 些意外情况漏报警的可能性。 2 视频数据越来越多，管理人员对感兴趣的关键事件点附近的视频查找比较 费时间。 3 视频数据中有很多冗余的背景信息，造成视频数据量非常庞大，给视频数 据的存储和网络传输带来了很大的压力。 1 2 国内外研究现状 视频监控系统在国外起步早，发展快，很多发达国家早在上世纪9 0 年代中 后期便开始了智能视频监控系统的研究。例如，早在1 9 9 7 年，美国国防高级研究 项目署( d a r p a ) 就设立了重大视频监控项目v s a m 引，以卡内基梅隆大学为首， 麻省理工学院等高校参与，主要研究战场和普通民用场景监控的自动视频理解技 术；欧盟赞助研究的p r i s m a t i c a 系统【3 】：该系统融合了多种智能检测设备( 智 能摄像头、非接触智能卡、无线视频传输等) ，用于地铁站的安全监控；国外一 些公司近年来相继推出了具备一定智能功能的视频监控系统，如挪威的d e t e c a c 公司提供的d e t e c 系统；美国o b j e c tv i d e o 公司提供的o b j e c tv i d e ov e w 、o b j e c t v i d e of o r e n s i c s 。他们实现了在用户定义规则下对监控场景进行监测、跟踪、分类、 统计的软件系统，可在有人闯入、盗窃、提包遗失或者未经许可在限制区域闲逛 等情况下报警。国内也已有一些具备智能功能的视频监控产品上市，如：北京黄 金眼科技的黄金眼，北京行者科技的行者猫王等产品。 目前国内使用的视频监控系统大部分均侧重于视频数据压缩，传输和存储； 其报警功能大都利用红外，烟雾等外接传感器；视频数据到达终端后还是需要人 来实时观测分析，或者是存储起来以备事后查阅；这些会造成系统出现误报警， 仍需耗费大量的人力物力，却只能实现部分的预期功能，远远无法满足日益增长 第2 页 国防科学技术大学研究生院硕士学位论文 的对监控系统智能化的要求【4 】o 1 3 课题的主要工作 视频监控系统中的很大一部分是工作在摄像头固定和光照变化缓慢的状态 下，例如家庭安防、住宅小区和博物馆等的视频监控系统。针对1 1 节中提出的目 前视频监控系统存在的三个问题，结合摄像头固定的、低运动场景的应用，在深 入研究运动检测和视频压缩算方法的基础上，设计并实现了一个固定场景下的智 能视频监控系统。该监控系统具有以下特点： 1 具有实时可靠的的运动目标检测功能，能够及时准确的发现监控场景中的 运动目标并报警，极大的减轻了管理人员的负担和消除了漏报警的可能性。 2 自动存储有运动时刻的图片，打上时间标记，作为视频标签存储起来，为 以后管理员查找该时间点附近的视频提供索引功能，提高查找效率。 3 只对有运动目标的区域进行视频压缩和传输，忽略冗余的背景信息，在保 证视频质量的同时，极大的提高了视频压缩比，减轻了视频存储和网络传输的压 力。 为了确保监控系统各项功能的实时性，准确性，在视频采集，运动检测和运 动目标区域提取，视频压缩等各个环节都进行了深入的研究和精细的设计，主要 工作如下： 1 视频采集采用乒乓缓存结构，使视频采集和后续的视频处理可以并行，视 频采集控制逻辑实现了u v 的子采样和y u v 的分离和按块顺序存储，不仅提高了 视频压缩比，还消除了后续运动检测和视频压缩对y u v 数据重排序的工作，极大 的提高了系统的性能。 2 对多种运动检测算法进行了深入分析和研究，针对基于像素的帧间差分运 动检测算法计算量大，提取运动目标不完整的缺点，提出了一种基于1 6x1 6 像素 块的帧间差分运动检测方法，该方法不仅计算量小，保证了运动检测的实时性， 而且可以更完整的提取运动目标区域。 3 对m j p e g 算法进行了深入的研究，基于d s p 的体系结构，完成了m j p e g 算法在d s p 上的优化实现，提高了视频压缩速度；并在运动检测的基础上，对 m j p e g 算法作了改进，使其避免了很多冗余背景信息的压缩，从而在保证视频质 量的同时，极大的提高了视频压缩比，减轻了视频存储和网络传输的压力。 全文共分6 章： 1 4 章节安排 第3 页 国防科学技术大学研究生院硕士学位论文 第一章，绪论，介绍了课题的背景和意义，分析了国内外的研究现状，结合 目前视频监控系统存在的问题，介绍了课题的主要工作。 第二章，视频监控系统总体设计，介绍了系统的总体硬件设计方案、工作流 程以及d s p 上的软件设计方案。 第三章，视频采集模块的设计与实现，对采集模块的硬件设计，s c c b 协议的 实现，采集控制逻辑的设计与实现进行了详细的介绍。 第四章，运动检测的研究与实现，介绍了运动检测的常用方法，分析比较了 各种方法的优缺点，在此基础上，选择帧间差分法作为系统的运动检测方法，并 针对基于像素的帧间差分法计算量大，提取运动目标不完整的缺点，提出了一种 基于1 6 1 6 像素块的帧间差分法，不仅减小了计算量，而且可以更完整的提取运 动目标。 第五章，视频压缩的实现与优化，深入分析了m j p e g 压缩算法的工作原理， 并针对d s p 体系结构的特点，进行了优化实现；在运动检测的基础上，针对m j p e g 算法没有去除帧间冗余信息，视频压缩比低的缺点作了改进，改进后的压缩算法 只压缩运动目标区域，忽略静止的背景，在保证视频质量的前提下，大大提高了 视频压缩比。 第六章，总结与展望，总结了课题的主要工作和取得的成果，并对课题的进 一步完善提出了新的思路。 第4 页 国防科学技术大学研究生院硕士学位论文 第二章视频监控系统总体设计 视频监控系统已经进入了嵌入式网络视频监控时代，而且随着近年来半导体 工艺的不断提高和嵌入式处理器的飞速发展，视频监控系统前端的视频采集、处 理、存储、网络传输一体化已基本实现，目前大多数嵌入式网络视频监控系统的 框架结构如图2 1 所示。 图2 1 嵌入式网络视频监控系统结构图 由上图可见，现在的嵌入式网络视频监控系统前端按功能大致可以划分为两 个部分，一个是负责读取摄像头数据并处理和压缩的视频采集处理子系统，一个 是负责压缩后的视频数据存储、网络传输及和用户交互的视频服务子系统，相当 于一个简单的嵌入式视频服务器。 2 1 视频监控系统前端的方案选型 目前比较常用的视频监控系统前端的解决方案主要有以下几种： 1 a r m 加专用视频压缩芯片方案【5 j 该方案是目前国内大多数视频监控系统中所采用的方案，主要由视频压缩芯 片完成视频压缩编码，由a r m 来实现的视频服务系统。因为a r m 有完善的网 络和存储接口和功能强大的嵌入式l i n u x 操作系统的支持，所以可以实现一个简单 的嵌入式视频服务器，用户能够通过网络登陆嵌入式视频服务器，从而实现对视 频监控前端的各种操作。该方案的缺点是视频压缩采用专用芯片，视频压缩算法 已经固定，不能够进行算法的更新，不方便加入运动检测等一些智能化的功能。 2 d s p 加网络芯片方案1 6 j 该方案由d s p 完成视频压缩编码和运动检测等一些智能化的功能，然后d s p 将压缩的视频数据传给网络芯片，网络芯片内实现了硬件的t c p i p 协议栈，可以 将数据打包后通过网络传输出去，该方案的优点是前端的视频压缩算法用软件实 现，可以在不改变系统硬件的情况下，进行压缩算法的升级换代，同时可以很方 便的加入运动检测等一些智能化的功能。该系统的缺点是视频服务子系统过于简 单，缺乏良好的网络交互功能。 第5 页 国防科学技术大学研究生院硕士学位论文 3 d s p 加a r m 方案7 】 这种方案可以规避前两种方案的缺点，结合它们的优点，充分发挥了d s p 强 大的数据处理能力和a r m 丰富的存储和网络等外设接口的优势，为实现实时的视 频采集、压缩、传输和运动检测等智能化功能以及良好的用户接口打下了很好的 硬件基础，同时也加强了系统灵活性，拥有较强的网络交互功能和存储功能。该 方案的缺点是d s p 和a r m 都需各自独立的外部存储芯片，因而系统的成本会比 前两种方案高一些。 4 t i 达芬奇芯片方案 t i 达芬奇芯片中的t m s 3 2 0 d m 6 4 4 x 系列芯片是t i 专为网络视频监控系统开 发的一种芯片，它把d s p 核、a r m 核、以及相应的外部设备集成到一个芯片中， 它具备第三种方案的优势，但是它只需要一套外部程序和数据存储器，节省了系 统成本。使用该芯片进行视频监控系统的开发，需要对d s p 和a r m 软硬件都要 非常熟悉，对丌发人员的要求较高，而且相应开发环境和代码编程都比较复杂。 综合分析比较上述4 种方案，方案4 在系统灵活性，低成本等方面都占据优 势，但是这种方案对丌发者的要求比较高，结合我们自身的情况，最终采用方案3 作为实现方案，并由我和另外一名同学共同完成该系统的研究与开发，我主要负 责d s p 的部分，主要工作有视频采集，运功检测和视频压缩以及p c 端的视频解 码模块，另外一名同学负责a r m 部分和p c 机上的客户端软件开发。 2 2 硬件总体设计及系统工作流程 根据2 1 节中所选定的方案，本文设计的视频监控系统框图如图2 2 所示， 为了与图2 1 对应，图中用虚线框出了区域和区域，它们分别是视频采集、处 理子系统与嵌入式视频服务子系统，c p l d 2 和f i f o 用于完成了这两个子系统的 衔接。 下面结合图2 2 来简要说明系统的总体工作流程：首先a r m 响应p c 端通过 网络发来的请求，启动d s p 进行视频采集压缩，采集命令通过c p d l 2 传给d s p ， d s p 收到a r m 的启动视频采集压缩命令后，启动c p l d l 进行视频采集。从图2 2 可以看出本系统的视频采集模块采用的是乒乓缓存结构，c p l d i 将c m o s 图像传 感器输出的视频数据写入s r a m l ，一帧视频采集完毕后，切换一次乒乓缓存， c p l d l 开始对s r a m 2 写入下一帧视频数据，与此同时，d s p 收到一帧视频采集 完毕的中断，开始对s r a m l 中的一帧视频数据进行运动检测和压缩；上述整个过 程不断的循环往复，这样就通过乒乓缓存结构实现了视频采集与处理的并行，提 高了系统的实时性。d s p 将压缩后的视频数据写入f i f o ，写满f i f o 时， f i f of u l l 引脚由高变低，它会触发a r me i n t 8 中断，通知a r m 读取数据， 第6 页 固防科学技术大学研究生院硕十学位论文 的播放软件实时观看龄控视频。 幽2 2 监控系统佃什总体设计框幽 2 3 d s p 与a r m 接口硬件设计 在采用d s p + a r m 结构的视频监控系统中，一个非常关键的问题就足d s p 与 a r m 的接口设计，为了更清楚的说明本监控系统中的d s p 与a r m 接口设计的思 路，给出了监控系统前端的详细结构图如图23 所不。图2 3 中的各个模块在图 22 中都有对应的部分，只是在图22 中把f i f o 简化为一个，但这种简化是等效的， 相当丁把两个并联的8 位宽兀f o 等同于一个1 6 位宽的f i f o 。图23 中虚线所框 的部分就是本系统中d s p 和a r m 的接n 部分。 一种常用而且高效的d s p 与a r m 接几的设计方案是将d s p 的h p i 接口和 a r m 系统总线进行连接l7 1 。这种设计使a r m 町以直接访问d s p 的内存空间，即 可以在d s p 进行视频数据压缩的同时，直接读取已经雎缩好的视频数据。但是对 于t m s 3 2 0 c 6 x 1 x 口】系列的d s p 来说h p i 接口的些引脚是跟d s p 的启动过程 密切相关的，它给这种设计方法增加了一定的难度，所咀本系统采用了两片深度 为2 k ，宽度为8 位的f i f o ( i d t 7 2 v 0 3 ) 和一c p l d 来实现d s p 的e m i f 接口 和a r m 系统总线的连接。其中f i f o 作为“缔后的视频数据的缓存，c p l d 2 完成 d s p 对f i f o 的写译码控制逻辑和a r m 对f i f o 的读译码控制逻辑，同时在c p l d 2 内建寄存器，完成a r m 对d s p 的一些简单控制。c p l d 2 内部建立一个a r m 只 能写的1 6 位寄存器，这个寄存器的第0 位的输出端连接到d s p 的m c b s p 0 的d r 引脚，媛引脚被配置为i o 引脚输入模式，从而a r m 通过写c p l d 2 中的寄存器 就可以控制d r 引脚电平的高低，d s p 通过查询改引脚的高低来判断是甭房动视 第7 页 隰暴 露 r 一 国防科学技术大学研究生院硕士学位论文 频采集和雎缩，d s p 会在每一帧图像处理完毕后，查询d r 脚，若d r = l ，则继续 进行视频采集和压缩，d r = 0 ，则停止，这样就实现了a r m 控制视频采集和压缩 的启动与停止。 图2 3 视频监控系统前端硬件详细结构图 d s p 将压缩后的视频数据写入f i f o ，写满f i f o 后，f i f of u l l 引脚由高变 低，它会触发a r me i n t 8 中断，通知a r m 读取数据，a r m 通过系统总线从f i f o 中读取压缩后的视频数据。这种方法和与采用h p i 接口的方法比起来，增加了d s p 的e m i f 接口的数据传输压力，使用了较多的器件，增加了系统的成本，但是出于 设计难度的考虑，还是选择了这种方法，这也是以后系统需要改进的地方。 2 4d s p 程序总体设计 d s p 程序的总体流程图如图2 4 所示，根据功能主要划分为三个模块： 第8 页 国防科学技术大学研究生院硕士学位论文 图2 4d s p 程序总体流程图 ( 1 ) s c c b 总线协议实现模块，实现s c c b 总线协议，完成对c m o s 图像传感 器的配置。 ( 2 ) 运动检测模块，帧间运动检测，提取运动目标。 ( 3 ) 视频压缩模块，完成一帧图像中运动目标区域的视频压缩。 第9 页 国防科学技术大学研究生院硕士学位论文 第三章视频采集模块的设计与实现 3 1 视频采集相关知识 3 1 1 颜色空间及相互转换 颜色空间是表示颜色的一种数学方法，用它来指定和产生颜色，使颜色形象 化。颜色空间中的颜色通常使用代表三个参数的三维坐标来指定，这些参数描述 的是颜色在颜色空间中的位置，其颜色取决于我们使用的坐标。电视机或者显示 器是通过把r g b 三元色以不同的比例组合来形成彩色图像的，r g b 三元色就构 成了一个颜色空间。在计算机和一些图形图像设备中，除了用r g b 三元色来表示 颜色外，还有其他的颜色表示方法，例如打印机中通常用c m y k 作为基色来生成 其他颜色，c m y k 即构成了一个颜色空间。另外还有一种非常重要颜色空间就是 y u v ，无论是以前的模拟视频信号，还是现在的数字视频数据，都一直存在。 在以前的模拟视频时代，采用r g b 三元色表示的图像信息先转换成j v 格式， 然后才进行调制和传输；这样作是为了彩色电视机与黑白电视机的兼容，因为黑 白电视机只需要y ( 亮度) 信息。另外一个目的是，人眼对亮度信息y 敏感，对 色度信息u 和v 不是很敏感，所以适当降低u 、v 的精度和采样率，对图像质量 没有大的影响，这一点对于是视频压缩是非常重要的。现在己进入数字视频时代， 在大多数的数字视频压缩编码标准中，也是先把r g b 三元色表示的图像先转换成 y u v 格式，进行子采样( 即降低u v 的采样率) ，然后才进行压缩编码。还有其 他一些不常见的颜色空间，如h s v 、h l s 等。y u v 的另外一个名称是y c r c b ， 在本文中把这两种名称等同，不作区分。 不同的颜色空间可以通过数学公式互相转换，本视频监控系统的开发中只涉 及到和r g b 这两种颜色表示方法，因而只给出这两种颜色空间的转换 公式【9 】： 噎 0 5 8 70 1 1 4 - 0 3 3 1o 5 - 0 4 1 9o 0 8 1 = 1 巍毋 尺 g b 】， u y 10 i + l1 2 8 i1 2 8 o 1 2 8 1 2 8 ( 3 1 ) ( 3 2 ) 第l o 页 抛坳瞄 们n o ，l = 、_、 y u y 国防科学技术大学研究生院硕士学位论文 3 1 2 视频图像子采样格式 人类的眼睛对图像中的低频信息比高频信息敏感，对亮度信号y 比对色差信 号u v 敏感，适当降低u 、v 的精度和采样率，对图像质量没有太大的影响。目前 大多数图像和视频压缩标准中在把r g b 三元色表示的图像转换成y u v 格式后， 都要进行u v 的子采样，然后才进行后续的压缩编码；这样做的目的是在不太影 响图像质量的前提下，进一步提高压缩比。视频图像的y u v 子采样的格式主要有 四种，如图3 1 所示一j ： 4 ：4 ：4 oq oo oo oo 4 ：1 ：1 o y 分量 o o o o oo o _ 、o oo o 4 ：2 ：2 oo o oooo oo o oooo 4 ：2 ：0 u s ) - io v 分量 图3 1 四种y u v 子采样格式 3 2 视频采集模块硬件设计 3 2 1 图像传感器选型 目前图像获取方式主要通过两种图像传感器，一种是c c d ( 电荷耦合器件) 图 像传感器，另外一种是c m o s 图像传感器，两种传感器的基本工作原理是相同的， 都是用对光线敏感的半导体材料来实现光电转换，只是感光半导体的材料不同。 c m o s 图像传感器所采用的感光半导体材料和目前的大规模集成电路所采用的半 导体材料是相同的，因此很容易把光电转换，模数转换还有其他一些控制电路集 第1 1 页 o o o o 国防科学技术大学研究生院硕士学位论文 成在一个：签片上来现，也就形成了数字图像传感芯片，可以直接输出y u v 或r g b 等数字视频数据，而且功耗比c c d 低得多。c c d 图像传感器没有上述优点，它输 出的是模拟视频信号，需要外接专用的视频模数转换器件( 如s a a 7 11 3 ) 来将模拟视 频信号转换为或r g b 等数字视频数据，而且它的功耗也较大。c c d 的优点 是图像噪声小，成像质量要比c m o s 图像传感器好。但是对于普通的应用，c m o s 传感器完全可以胜任，而且省去了视频模数转换芯片，成本大大降低。 本系统中采用的c m o s 图像传感器是o v 公司的o v 7 6 4 0 1 0 j ，图3 2 是它的功 能结构图，它内部包括了图像感应阵列、时钟发生器、模拟处理单元、a d 转换 器、输出格式化单元、数字视频接口、串行控制总线接口，是一个十分完整的数 字图像获取系统。 图3 2o v 7 6 4 0 功能结构图 图像感应阵列有6 4 0 4 8 0 个感应单元，实际上有6 5 2 列4 8 8 行、其中包括了 6 行用来黑级校准以及颜色插值信息。 时钟发生器包括了如下功能：阵列控制与帧产生，内部时钟信号产生与分配， 帧率调速，自动曝光控制，外部时钟信号输出( v s y n c 、h r e f 、p c l k ) 。 模拟处理单元实现了如下功能：自动增益控制( a g c ) ，自动白平衡控制 ( a w b ) ，图像质量控制，颜色饱和度、色调、灰度、锐度、亮度调整，高光溢 出保护、零托尾效应。 通过模拟处理，颜色通道的数据信号通过两个多路选择器到达a d 转换器， 其中y g 占用一个多路选择器，c b c r r b 共享第二个。a d 转换器除了a d 转换 第1 2 页 国防科学技术大学研究生院硕士学位论文 外还可以实现黑级校准、选择性u 通道延迟、a d 范围控制。通过调制a d 范 围、我们可以调节最后图像输出的亮度。 输出格式化单元在图像数据输出前对数据进行格式化并控制图像的输出。 串行总线连接到所有的控制寄存器，通过设置控制寄存器的值可