（信息与通信工程专业论文）基于dm642的智能视频监控系统及重叠目标检测算法研究.pdf

摘要 摘要 随着经济的发展和社会的进步，人们的物质生活水平得到了广泛的提高，同 时，人们的安全防范意识也在不断提高。而随着电子技术、计算机技术和信号处 理技术等科学技术的深入研究和发展，使得安防的科学化、信息化、智能化成为 了可能。其中，由于视频监控可以提供直观可靠的监控信息，因此被广泛使用。 目前，视频监控系统已经发展到了第四代，此类系统可以提供数字化、网络化和 智能化的监控服务。 本论文的主要目的是开发和设计一个基于t m s 3 2 0 d m 6 4 2 的智能视频监控平 台，这主要包括软硬件平台的设计和实现，并以此平台为基础对车辆跟踪中的重 叠目标检测算法做初步的研究。由此可见，本论文的研究涉及到了整个系统的硬 件，软件和算法三个方面工作。其中，由于软件设计是重点，因此本文在简要介 绍了系统的总体设计和硬件结构以后，详细介绍了d s p 系统的软件设计，论文最 后对重叠目标检测算法进行了讨论和分析。 本系统的软件平台设计包括三个方面任务：d s p 系统软件框架在嵌入式操作 系统d s p b i o s 上的设计，各个底层软件模块的实现，以及基于t ii o m 模型的视 频驱动程序的编写。算法研究的任务包括：对国内外重叠目标检测算法的总结， 以及对基于矩形模型的重叠目标检测算法的研究及对此算法做出的改进，即提出 一种基于凸包模型的重叠目标检测算法，最后对两种算法的优缺点作了分析和对 比。 关键词：智能视频监控系统，d m 6 4 2 ，重叠目标检测算法 a b s t r a c t a b s t r a c t t h ed e v e l o p m e n to fe c o n o m ya n ds o c i e t yi m p r o v e st h el i v i n gs i t u a t i o n so f p e o p l e a tt h es a m et i m e ，p e o p l ep a ym o r ea t t e n t i o n st ot h es o c i e t ys e c u r i t y a n dw i t ht h e d e v e l o p m e n to fe l e c t r i c a lt e c h n i q u e s ，c o m p u t e rt e c h n i q u e sa n ds i g n a lp r o c e s s i n g t e c h n i q u e s ，i t sp o s s i b l e t o a p p l yh i g h - t e c h , i n f o r m a t i o n - b a s e da n di n t e l l i g e n t t e c h n i q u e st ot h es o d e t ys e c u r i t y a m o n go t h e rt h i n g s ，v i d e os u r v e i l l a n c es y s t e m sa le u s e dw i d e l yb e c a u s ei tc a np r o v i d ei n t u i t i v ea n dr e l i a b l ei n f o r m a t i o n a tp r e s e n t ，v i d e o s u r v e i l l a n c es y s t e m sh a v eb e e nd e v e l o p e dt oi t s4 t hg e n e r a t i o nw h i c hc a np r o v i d e d i g i t a l ，n e t w o r k - b a s e da n di n t e l l i g e n tv i d e os u r v e i l l a n c es e r v i c e t h et a s ko ft h i sp a p e ri st od e v e l o pa n dd e s i g na ni n t e l l i g e n tv i d e os u r v e i l l a n c e p l a t f o r mb a s e do nd m 6 4 2 ，i n c l u d i n gh a r d w a r ea n ds o f t w a r ee n v i r o n m e n t , a n dr e s e a r c h t h eo v e r l a p p e do b j e c t sd e t e c t i n ga l g o r i t h mi nt h et r a c k i n go fv e h i c l e sb a s e do nt h i s p l a t f o r m t h i sp a p e ri n v o l v e st h r e ea s p e c t so ft h es y s t e mw h i c hi sh a r d w a r e , s o f t w a r e a n da l g o r i t h m s a n dt h i sp a p e rw i l lp a ym o r ea t t e n t i o n st ot h es o f t 、) v a r ep a r t t h u s ，a f t e r f i r s t l yi n t r o d u c e sg e n e r a ld e s i g na n dt h eh a r d w a r es t r u c t u r eo ft h es y s t e m , t h e nt h e s o f t w a r ed e s i g nw i l lb ei n t r o d u c e d f i n a l l y , t h i sp a p e rw i l ld i s c u s st h eo v e r l a p p e d o b j e c t sd e t e c t i n ga l g o r i t h m t h et a s ko fs o f t w a r ed e v d o p m e n t ，i n c l u d et h es y s t e ms o l , r a r ef r a m e w o r kd e s i g n b a s e do nt h ed s p b i o s ，t h ed e v e l o p m e n to ft h es o f t w a r em o d u l e s ，a n dt h ev i d e od r i v e r d e s i g nb a s e do nt h et ii o mm o d e l f o rt h et a s ko fa l g o r i t h mr e s e a r c h ，i n c l u d et h e s u m m a r i z i n go ft h eo v e r l a p p e do b j e c t sd e t e c t i n ga l g o r i t h ma th o m ea n da b r o a d ，t h e r e s e a r c ha n di m p r o v e m e n to ft h eo v e r l a p p e do b j e c t sd e t e c t i n ga l g o r i t h mb a s e do n r e c t a n 酉em o d e ld e t e c t i o n ，t h e np r o p o s ea no v e r l a p p e do b j e c t sd e t e c t i n ga l g o r i t h m b a s e do nc o n v e xh u l l a tl a s t , c o m p a r et w oo ft h ea l g o r i t h m s k e y w o r d s ：i n t e l l i g e n t v i d e os u r v e i l l a n c e s y s t e m ，d m 6 4 2 ，o v e r l a p p e do b j e c t s d e t e c t i n ga l g o r i t h m 图目录 图目录 图2 1d s p 端软件组成6 图2 - 2 系统结构7 图2 3 系统硬件结构8 图2 _ 4d m 6 4 2 的e m i f 接口1 1 图3 1d s p 软件框架和视频驱动及算法库关系图1 4 图3 2d s p 软件框架1 6 图3 3d s p 系统工作流程1 8 图3 _ 4d s p 应用程序工作流程2 0 图3 5 视频配置的过程2 0 图3 - 6 图像处理函数内部流程图2 3 图3 7 图像处理线程内部流程2 4 图3 8f v i d 驱动中两个函数的调用及传参情况2 6 图3 - 9 图像更新函数内部数据流程2 7 图3 1 0d m 6 4 2 的v p 接口内部结构3 0 图3 1 1c l a s s m i n i d r i v e rm o d e l 31 图3 1 2 类驱动与微驱动3 2 图3 1 3 类驱动的选择3 2 图3 1 4 微驱动的分层3 3 图3 1 5g i o 类驱动的再封装3 3 图3 1 6 设备驱动的最终架构3 4 图3 1 7 微驱动的两层结构3 6 图3 1 8 类驱动和微驱动中的标准函数3 7 图3 1 9d s p b i o s 中配置i o m 驱动3 8 图3 2 0f v i d 驱动与i o m 驱动及上层a p p 的关系4 2 图3 2 1f v i d 驱动的调用及数据交换一4 4 图3 2 2f v i d 驱动的调用流程4 4 图4 - l 智能视频监控算法流程4 6 图4 2 智能视频监控算法在交通领域的应用4 8 图4 3 车辆重叠的例子5 0 图4 4 利用特征点对重叠车辆跟踪5 1 图4 5 利用三维模型对重叠车辆进行检测5 2 图4 6 利用运动场的统计模型对重叠车辆进行检测5 2 图4 _ 7 矩形估计的流程5 3 图4 _ 8 下边界估计5 4 图4 _ 9 下边界的区域划分5 5 图4 - 1 0 高度数据与坐标数据5 5 v 图目录 图4 1 l 平均坐标数据5 5 图4 - 1 2 补偿后的高度数据5 6 图4 1 3 下划线数据5 6 图4 - 1 4 所有下划线数据5 6 图4 - 1 5 根据阈值划分下划线5 7 图4 1 6 矩形数据的生成5 7 图4 1 7 重叠目标检测全过程仿真结果5 8 图4 1 8 平面点集的凸包6 0 图4 - 1 9 重叠车辆与非重叠车辆的凸包6 1 图4 - 2 0 重叠车辆凸包运算6 2 v i 表目录 表目录 表2 1e m i f 扩展空间使用情况1 1 表3 1d s p 程序中用到的d s p b i o s 模块及其说明一1 7 表3 2 系统的物理内存空间1 7 表3 3d m 6 4 2 的三种自启动模式18 表3 _ 4m d c o n t r o l c h a n ( ) 函数内部s w i t c h 语句对应的函数及功能4 0 表3 5e d cf x n s 中三个指针对应的函数及功能4 2 v i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：变整 日期：1 年多月刁日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：监导师签名：纨 j 嗍：岬日 第一章绪论 1 1 研究背景及意义 第一章绪论 视频图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式， 是人类最重要的信息载体。特别是在今天的信息社会，随着网络、通信和微电子 技术的快速发展和人民物质生活水平的提高，视频监控以其直观、方便和内容丰 富等特点，日益受到人们的青睐。 视频监控产品现在正经历着从模拟化向数字化、网络化的革命，并在科学研 究、工农业生产、交通运输、资源的遥感探测、医疗卫生、空间探测、航天探测 等各个领域内应用越来越广泛。 视频监控作为电子技术、计算机技术和信号处理技术发展的产物。其特点是 利用摄像设备采集视频图像，为监控者提供实时、准确、直观的监控信息。随着 电子技术、计算机技术和信号处理技术等技术的发展，视频监控也随之经历了以 下四个不同的阶段。 模拟视频监控系统的出现 九十年代初以前，主要是以模拟设备为主的闭路电视监控系统，称为第一代 模拟监控系统。第一代视频监控系统是以v c r ( v i d e oc a s s e t t er e c o r d e r ) 为代表 的传统c c t v ( c l o s e dc i r c u i tt e l e v i s i o n ) 监控系统，系统主要由模拟摄像机、模 拟同轴电缆、视频切换设备、模拟监视器、模拟记录设备和盒式录像带等构成。 数字监控取代模拟监控 2 0 世纪9 0 年代中期，随着计算机处理能力的提高和视频技术的发展，人们利 用计算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实 现图像的多画面显示，从而大大提高了图像质量，这种基于p c 机的多媒体主控台 系统称为第二代数字化本地视频监控系统。 第二代视频监控系统以d v r ( d i g i t a lv i d e or e c o r d e r ) 为代表。d v r 是一套 进行图像存储处理的计算机系统，具有对图像语音进行长时间录像、录音、远程 监视和控制的功能。d v r 集合了录像机、画面分割器、云台镜头控制、报警控制、 网络传输等五种功能于一身，用一台设备就能取代模拟监控系统一大堆设备的功 能，而且在价格上也逐渐占有优势。其主要原理是：将模拟视频信号转化为数字 电子科技大学硕士学位论文 信号，并存储在计算机硬盘而不是盒式录像带上。 网络远程监控取代本地监控 2 0 0 0 年左右蓬勃发展起来的第三代网络化视频监视系统，又称为i p 监视系统。 网络化视频监视系统从一开始就是针对在网络环境下使用而设计的，用户可以通 过网络中的任何一台计算机来观看、录制和管理实时的视频信息。另外，第三代 视频监控系统是完全数字化的，它基于标准的t c p i p 协议，能够通过局域网和互 联网传播，布控区域大大超过了前两代系统；它采用开放式架构，可与门禁、报 警等系统无缝集成；它基于嵌入式技术，大大提高了灵活性。 智能数字视频监控系统的出现 无论是传统的第一代模拟视频监控系统，还是二、三代经过部分或完全数字 化之后的视频监控系统，都具有一些固有的局限性。由于视频监控者生理上的限 制，要达到7 * 2 4 小时全天候可靠监控很困难，一个小小的疏忽就会导致安全隐患 不能被及时发现，以至于造成人民的生命和财产损失。另外，对安全威胁的响应 速度也达不到要求，一般的监控都是在事故发生后通过查看录像的方式来查找事 故发生原因，安全威胁的发现和制止往往滞后于事故的发生。随着计算机科学、 机器视觉、图像处理、模式识别、人工智能等多学科的发展，智能的数字监控系 统应运而生。 在这样的背景下，本论文设计和开发了一个扩展性较强的数字视频监控系统。 该系统是一套以d s p ( d i g i t ms i g n a lp r o c e s s o r ，数字信号处理器) 为核心处理器的数 字视频处理板卡。配合第三方公司开发的智能视频监控算法，对监控场景进行智 能分析，将分析结果通过t c p i p 网络送到p c 主机端。p c 主机端则使用与算法库 配套的客户端软件向用户提供及时的视频监控服务。 1 2 研究动机及优点 本论文利用德州仪器( t i ) 公司的多媒体d s p 处理芯片t m s 3 2 0 d m 6 4 2 ， 设计出一套智能视频监控系统，对硬件设计技术有了简单的了解，对软件编程方 法进行了深入研究，并对智能视频监控算法中的重叠目标检测算法进行了初步的 研究，为后续交通监控领域中的车辆跟踪算法研究奠定一些基础。 基于t id m 6 4 2 的智能视频监控系统设计方案主要有两大优点。 系统只需一颗单一的d m 6 4 2 芯片，加上简单的外围电路，即可完成图像数据 采集、编码处理、网络传输等功能。 2 第一章绪论 d m 6 4 2 具备强大的运算处理能力，运算速度为4 8 0 0 m i p s ，能够完成几乎所有 的图像编码处理，包括j p e g 、m p e g z 、m p e g 4 、h 2 6 3 、h 2 6 4 等，这就避 免了升级时对硬件电路的更改，而只需升级相应软件模块即可。 1 3 论文主要工作及结构安排 本论文涉及到整个系统的硬件，软件和算法三个方面。其中，软件设计是重 点。具体工作包括： ( 1 ) 系统的d s p 软件设计和实现 主要完成了基于d m 6 4 2 的智能视频监控系统的d s p 端软件实现，包括系统 的d s p 软件框架程序的设计和实现，以及在此框架基础上的各个软件模块的设计 与实现。 ( 2 ) 视频驱动程序设计和实现 本系统在t i 公司给出的i o m 驱动模型的基础上，完成了基于视频解码器 t v p 5 1 5 0 的视频驱动程序的设计和实现。对i o m 驱动模型中的类驱动( c l a s s d r i v e r ) 和微驱动( m i n id r i v e r ) 的设计实现做了深入的讨论，并对f v i d ( f r a m e v i d e od r i v e r ) 驱动的原理与调用方法做了详细的介绍。 ( 3 ) 重叠目标检测算法研究 本文针对车辆跟踪中的重叠目标检测算法进行了学习研究。在总结国内外常 见的算法基础上，利用m a t l a b 工具对基于矩形模型的重叠目标检测算法进行仿 真研究，对其优缺点进行了分析讨论。并在此基础上，对本算法进行了简单地改 进，提出一种基于凸包模型的重叠目标检测算法，并且通过仿真和实验对本算法 的检测效果进行了验证。 因此，本论文共分为五章，并将着重介绍d s p 软件框架的设计和实现： ( 1 ) 第一章：绪论。本章阐述了论文选题( 智能视频监控系统) 的背景和意义； 叙述了视频监控领域的相关概念、发展历史以及国内外研究现状：最后介绍了所 做工作以及论文的结构安排。 ( 2 ) 第二章：d s p 系统总体设计及硬件结构。本章首先对系统的硬件平台的选择， 软件平台的构成做了初步介绍，并提出了系统的总体结构。接下来简要地介绍了 系统的硬件结构。 ( 3 ) 第三章：d s p 系统软件设计与实现。本章详细叙述了d s p 端软件是如何开发 的，涉及内容包括：d s p b i o s ，i o m 驱动等技术。其中大量篇幅会用来详细介绍 3 电子科技大学硕士学位论文 d s p 程序的工作流程，各个模块的详细设计以及视频驱动的开发。 ( 4 ) 第四章：重叠目标检测算法研究。本章首先对智能视频监控算法做了简单的 介绍，着重描述了智能视频监控算法在交通领域的应用。接下来对基于矩形模型 的重叠目标检测算法做了初步的研究并做出了简单的改进，提出了基于凸包模型 的重叠目标检测算法，并对其进行了仿真和分析。 ( 5 ) 第五章：总结。本章对论文所设计的工作给出了总结和展望。 4 第二章d s p 系统总体设计及硬件结构 第二章d s p 系统总体设计及硬件结构 2 1 系统硬件平台 随着处理器的的迅速发展，通用处理芯片和专用处理芯片的分工越来越明确。 目前广泛应用于传统p c 平台上的通用处理芯片虽然在主频和多核技术上占有优 势，但归根结底其应用层面还是偏向于事务处理，此类通用c p u 并没有面向特殊 应用场合而专门定制的内部结构。然而，近年来各类面向特殊应用场合的专用嵌 入式微处理器不但拥有其量身定做的指令集，并且在主频和并行性等指标上逐渐 追赶上一些通用的处理芯片。这样，就为大量算法提供了在嵌入式平台上实现的 可能，正是基于这样的原因才使得许多致力于智能视频监控系统研法的公司将传 统的p c 平台迅速向嵌入式平台移植。作为专用的数字信号处理芯片- d s p ，鉴 于其强大的实时数字运算能力和快捷有效的开发环境，使得本论文选择嵌入式 d s p 平台作为智能视频监控系统的实现平台。 本系统选择了德州仪器公司( t e x a si n s t r u m e n t s ) 的多媒体数字信号处理器一 t m s 3 2 0 d m 6 4 2 作为核心处理单元。该数字信号处理器具有7 2 0 m h z 的主频， 并且采用了先进的v e l o c i t i 体系结构，芯片内部包含了8 个并行的功能单元以同 步完成各种复杂的计算，理论上最高可以达到5 7 6 0 m i p s 的数字运算能力，对类似 图像处理等多通道的并行运算具有强大的处理能力【2 】【3 1 。另外，t m s 3 2 0 d m 6 4 2 拥 有丰富的外设，片上包含了三个可配置的v i d e op o r t 视频接口用于图像的输入输 出，简化了模拟前端接入硬件电路设计；另外片上还集成了一个6 4 位宽的外部存 储器接口( e m i f ) 用于扩展片外的存储资源：同时，d m 6 4 2 提供了增强型的d m a 使得无d s p 内核干预下的大量数据搬移得以实现。 2 2 系统软件平台 ( 1 ) d s p 端软件 d s p 端软件包括框架程序、驱动和算法三部分，如图2 1 所示。框架程序负责 调用算法获得核心处理结果，并且调用驱动和硬件交互。总而言之，框架程序管 理着系统中的所有软硬件模块，使它们能协调、有序地工作。 5 电子科技大学硕士学位论文 图2 1d s p 端软件组成 框架程序 从功能上来说，d s p 端框架程序的工作包括：初始化各个软硬件模块；管理 内存资源；处理中断；创建和调度各个线程；调用各种独立于d s p 框架程序以外 的库函数( 如算法库和驱动程序) 。 从模块化角度来说，d s p 端框架程序包含初始化模块，视频输入模块，存储 模块和接口模块。初始化模块完成系统软硬件初始化；视频输入模块调用视频驱 动程序与硬件a d 交互获取实时图像；存储模块操作外部存储器f l a s h ；接口模 块通过t c p i p 网络与p c 主机交互，获取p c 端的控制命令，同时也将算法分析 结果送到p c 端显示。 驱动程序 所谓驱动，都是指直接操作硬件的一组函数。作为一套视频监控系统，最重 要的外设莫过于视频解码器，因此，需要开发一套视频驱动以直接管理视频解码 器，控制它的所有寄存器。所有涉及到底层硬件操作的软件开发都有相当的难度， 而且需要耗费相当长的开发周期，对任何开发者来说都是一项艰巨的工程。所以， 供应商t i 公司为了简化开发，普及其d s p 芯片，提供了一套在d s p 框架下开发 外设驱动程序的标准模型：i o m 驱动程序模型【4 】。 基于i o m 模型开发出来的驱动被分为了两层，一层用于通用v o 输入输出， 另一层用于控制硬件设备。这样的软件模式，使得开发人员的工作将被集中到如 何操作硬件上，而屏蔽掉了大量与实时操作系统d s p b i o s t 5 】的交互工作，因此可 以说是大大减少了开发者的工作量。另一方面，这样的软件分层模式也更加便于 系统的移植，硬件上的改动带来的只会是底层代码的修改，上层代码的变化将是 十分微小的。 ( 2 ) 算法库及p c 端软件 算法库选择了由第三方公司开发的成熟可靠的智能视频监控算法，并配套提 供p c 端软件。该公司是t i 公司的第三方合作伙伴，该公司成功地将其视频预警 6 第一章d s p 系统总体设计硬件结构 ( v e w ) 技术移植到d s p 嵌入式平台中，开发出了基于d s p 的智能监控算法库。 该算法在p c 端可以通过客户端软件智能的选择被监控目标，然后通过设置一 定的规则，实时的分析被监控目标是否违背了用户事先设定的规则。如果违反了 规则，则会产生报警，并且将违反规则的目标以及违反规则的时间捕获，存储在 用户事先指定的存储器中。被监控的目标可以是人、汽车，及其他物体，而规则 的设定则可以是穿过视频绊线、进入特定的区域或者出现在特定的被监视现场。 而在d s p 端，该算法以静态链接库的形式打包提供，并附带大量头文件供开 发者阅读。对于d s p 框架程序来说，该算法库只是一系列a p i ，操作该算法库只 需要调用这些a p i ，这样的开发不仅简便，而且也大大提高了系统的灵活性。 2 3 d s p 系统结构 基于d m 6 4 2 的智能视频监控系统是一块基于1 1 公司t m s 3 2 0 d m 6 4 2 芯片的 智能视频分析设备，运行由第三方公司提供的多通道智能视频监控算法，并配合 p c 主机上的客户端软件实现用户管理和报警输出，系统整体结构如图2 - 2 所示。 模扭撮博_ 嘞 ，上 a 赢了+ v p 0 _ _ 初始化模坎 ， m c u _1 2 c 秕额输入模块- 罐法埠+ 1 a d 巴卡v q - - j存储挂块一 l r 。i _ _ i 上一 。墨! 堡 自一_ _ _ 二= 二= = 当= k m i 一一生二二二王 二_ r t cs f f a x mjf l a s h r s 4 8 5 1 2 3 2 # *硬件 削22 系统结构 硬件平台以d s p 芯片d m 6 4 2 为数据处理核心，通过片上的两个v i d e op o r t 接口获取来自外设视频解码器t v p s l 5 0 a n 拘实时图像并保存在片外s d r a m 中。 d m 6 4 2 内核中运行多通道的智能监控算法，对每一帧图像进行智能分析，结果通 过系统网络接口e m a c 送到用户主机。 d s p 端软件平台包含初始化模块，视频输入模块，存储模块，接口模块和算 一少 一善 ，剥 电子科技大学硕士学位论文 法库模块。初始化模块完成系统软硬件初始化；视频输入模块调用视频驱动程序 与硬件a d 交互获取实时图像；算法库模块运行智能监控算法处理视频图像，并 将重要信息通过存储模块保存到外部存储器f l a s h 中；接口模块通过t c p i p 网 络与p c 端交互，获取p c 端的控制命令，同时也将算法分析结果送到p c 端显示。 算法库和p c 端软件平台是由第三方公司配套提供。算法库提供完整的智能视 频分析功能，并打包成一个静态链接库供d s p 端软件调用：p c 主机上的客户端软 件与算法库配套使用，供用户实现算法库的管理配置，并为用户提供实时的算法 分析结果。 2 4d s p 系统硬件结构 2 4 1 概述 本系统围绕德州仪器( t i ) 公司的多媒体d s p 处理芯片删s 3 2 0 d m 6 4 2 ( d m 6 4 2 ) ，配以视频解码器、e t h e m e t 接口等多种外设，开发出一款稳定的智能 型视频监控平台。整体的硬件结构框图如图2 3 所示，硬件结构可以分成五个部分： d s p 模块、e m i f 总线【7 1 模块、视频输入模块、e m a c 模块和其他模块。后续的小 节将分别对各个模块的详细设计加以阐述。 图2 3 系统硬件结构 9 删 第二章d s p 系统总体设计及硬件结构 2 4 2d s p 模块 d s p 模块作为系统核心主要完成两个功能，一方面是在t l 公司提供的嵌入式 操作系统d s p b i o s 的基础上完成视频输入，视频输出以及视频图像的处理三个线 程之间的调度，同时协调各线程之间数据通信与传输；另一方面，实时运行智能 视频监控算法库以及t c p i p 协议栈，对输入的视频图像进行实时地分析、处理， 最后将处理结果打包，生成对应的数据包通过网络发送到远程的用户主机接收。 本系统的核心处理单元d s p 模块，选用了德州仪器公司在2 0 0 2 年发布的 多媒体处理芯片t m s 3 2 0 d m 6 4 2 以满足多通道并行图像处理的要求。该芯片是t i c 6 0 0 0 系列产品中的一款高性能定点d s p 芯片，它具有7 2 0 m h z 的主频，理论上 最高可以达到5 7 6 0 m i p s 的数字运算能力。d m 6 4 2 在结构上延续了c 6 4 x 的内核， 采用了增强型超长指令字结构，芯片内部集成了8 个独立的功能单元( 6 个3 2 位 的算术逻辑单元和2 个3 2 位的乘法单元) 和6 4 个3 2 位的通用寄存器，在一个周 期内可以完成4 个1 6 位的乘累加运算或者8 个8 位的乘累加运算，非常适合数字 图像和视频处理。 d m 6 4 2 可通过配置两个视频接口来从前端视频解码器输入视频图像，并存储 在通过e m i f 总线扩展出来的片外s d 洲中。d m 6 4 2 内核通过e d m a 搬移将片 外s d r a m 中图像送到片内的r a m 中，使用8 个独立的并行单元对数字图像进行 算法分析和处理，最后，将算法处理的结果通过d m 6 4 2 片上一个以太网接口送入 客户端主机进行显示。 d m 6 4 2 芯片的片上外设和接口也是相当的丰富，包括： 一个6 4 位的外部存储器接口( e m i f ) 支持与各种外部器件的无缝链接，比如 异步存储器( s r a ma n de p r o m ) 和同步存储器( s d r a m ) 。 一个1 0 1 0 0 m b s 的以太网媒体接入口( e m a c m d i o ) 。 三个v i d e op o r t 视频端口，可用作视频输入端口、视频显示端口或传输流接口 ( t s i ) 捕捉端口。支持多种视频标准，比如b t 6 5 6 和s m p t e 2 9 6 。 一个1 2 c 接口，可以使主机很方便的与外设通信，符合飞利浦半导体公司的1 2 c v 2 1 总线协议。 除此之外，d m 6 4 2 还有一些其他片上外设，比如说计时器( t i m e r ) ，锁相 环( p l l ) 等。 总之，d m 6 4 2 是一款性能非常高的多媒体处理芯片，可以广泛应用于网络视 频、数字机顶盒及数字多媒体等领域。因此，采用d m 6 4 2 来完成此次智能视频监 9 电子科技大学硕士学位论文 控系统的设计。 2 4 3 视频输入模块 视频输入模块由模拟摄像头和视频解码器( a d ) 组成，模拟摄像头完成模拟 视频图像的输入；视频解码器完成模拟信号到数字信号的转换，得到的最终图像 将送入d s p 的视频接口。模拟摄像头作为视频监控现场的最前端设备，获取的图 像格式包括了p a l 和n t s c 两种制式。视频解码器再负责将模拟摄像头接收到的 模拟图像信号a d 转换为数字图像信号，为d m 6 4 2 提供实时的图像源。 本系统支持两个通道的模拟视频输入，每个通道模拟输入又划分为两路视频 信号。一路视频信号经视频解码芯片转化生成数字视频信号后，送入d m 6 4 2 的 v i d e op o r t 接口，然后存储在扩展外部存储器s d r a m 中；另一路视频信号通过一 级视频放大器后送入到模拟输出终端，用以观察原始的模拟视频输入信号，确定 被监视现场的实时图像是否已由模拟摄像头送入。 本系统使用t i 公司提供的t v p 5 1 5 0 a 视频解码芯片，作为一款超低功耗的视 频解码芯片，t v p 5 1 5 0 支持常见的n t s c 、p a l 和s e c a m 三种制式。另外，该 芯片具有9 位高速的a d c ，支持两路混合视频信号或者一路s v i d e o 视频信号， 它可以将n t s c p a u s e c a m 制式的视频信号转换成8 b i t s 的i t u r 6 5 6 格式，可 以按照y c b c r 格式以4 ：2 ：2 的比例转化成数字信号。 t v p 5 1 5 0 a 与d m 6 4 2 的v i d e op o r t 接口以及1 2 c 总线【8 】控制器相连。v i d e op o r t 接口接收来自t v p 5 1 5 0 a 的数字信号，而d m 6 4 2 通过1 2 c 总线来配置t v p 5 1 5 0 a 的寄存器。 2 4 4e mif 模块 本系统是一个图像处理的应用，它的特点在于需要处理的数据都是的实时图 像，因此数据需要较大的存储空间。而d m 6 4 2 片内l 2c a c h e 容量为2 5 6 k ，可用 于配置为内部存储器s r a m 的最大容量就只有2 5 6 k ，所以不能满足图像数据的大 量存储，因此需要扩展出片外的s d r a m 用于存储视频图像数据以及额外代码。 在d m 6 4 2 的e m i f 接口功能强大，e m i f 总线上，扩展出s d r a m 、f l a s h 、 r s 2 3 2 r s 4 8 5 、r t c 等模块。f l a s h 模块主要用于存放整个系统的程序代码和图 像处理过程中的重要数据，f l a s h 在d s p 上电后将代码搬移到d s p 中运行，完 成系统的自启动，并在图像处理中通过存储模块方便读写；r s 4 8 5 2 3 2 模块用于扩 1 0 第二章d s p 系统总体设计及硬件结构 展系统的其他功能；r t c 模块用于提供稳定的时钟和日期等信息，以便准确记录 下被监控现场异常情况所发生的时间。 e m i f 模块作为一个6 4 位外部存储器接口，通过四根使能引脚c e 0 3 扩展了 四个外部访问空间，每个空间的寻址范围达2 5 6 m 。如图2 4 所示。 图2 - 4d m 6 4 2 的e m i f 接口 通过e m i f 模块，以及一块c p l d ，本系统将s d r a m 、f l a s h 、r s 2 3 2 4 8 5 、 r t c 和四个状态灯l e d s 分别译码在c e o 、c e l 和c e 2 空间。具体的使用情况见 表2 1 。 表2 1e m i f 扩展空间使用情况 c e 空间硬件地址范围外部设备 c e o 8 0 0 00 0 0 0 8 3 f ff f f f 6 4 m b y t e ss d r a m c e l9 0 0 00 0 0 0 9 0 7 ff f f f 8 m b y t e sf l a s h a 0 0 80 0 0 0l e d s a 0 0 83 0 0 0 a 0 0 83 0 0 fr t c c e 2 a 0 0 84 0 0 0 a 0 0 84 0 0 7 u a r t a ( r s 2 3 2 ) a 0 0 86 0 0 0 a 0 0 86 0 0 7 u a r t b ( r s 4 8 5 ) c e 3b 0 0 00 0 0 0 b f f ff f f fr e s e r v e d 2 4 5e m a c 模块 e m a c 模块作为连接d s p 与远端用户主机的桥梁，通过i n t c r n c t 实现了网络 互联。d s p 通过该模块将处理完成的图像信号和各种相关信息发送给远端客户主 机；而处于远端的用户也可以将控制命令和各种请求发送到系统的d s p 端。 d m 6 4 2 强大的片上的e m a c 接口包含了以下三个部分： e m a c 模块 电子科技大学硕士学位论文 e m a c 模块内提供了标准的媒体独立接口( m i i ) ，并支持两种传输模式，即 1 0 m b s 和1 0 0 m b s ，两种模式均可支持半双工传输或全双工传输。为了保证数据 传输的质量，该模块还支持八个发送通道，这些通道具有循环或者固定优先级。 另外，e m a c 模块还支持一个接收通道并且提供了硬件流量控制机制。 m d i o 模块 在m d i o 模块与物理接口收发器之间包含了1 条时间总线和1 条数据总线， d m 6 4 2 使用m d i o 模块实现对物理接口收发器状态的查询和控制。 e m a c 控制模块 e m a c 控制模块实际是连接d m 6 4 2 与上述两模块的桥梁，e m a c 模块和 m d i o 模块的寄存器映射到d m 6 4 2 片内的配置空间。 2 4 6 其它模块 ( 1 ) g p i o 模块 d m 6 4 2 片上包含了1 6 个g p i o 端口，使用这些通用的输入输出端口可以很好 地扩展d s p 的控制功能，方便实现与d s p 片外设备的交互。由于本系统中f l a s h 包含了8 m 空间，所以需要扩展出三个g p i o 口来完成对f l a s h 空间的完全寻址， 实现f l a s h 的页选控制。 ( 2 ) p l l 模块 本系统中d m 6 4 2 可以通过强大的e m i f 总线实现对外部存储器s d r a m 的寻 址，一般来说e m i f 总线的时钟控制方式有两种：由d m 6 4 2 自动控制或者由外部 的p l l 模块来控制。而本系统选择了由外部p l l 模块为s d r a m 提供稳定的工作 时钟。 ( 3 ) j t a g 模块 d m 6 4 2 上集成了一个基于i e e ei1 4 9 1 标准的j t a g 控制端口，利用这个端 口结合外部仿真器，便可以在t i 的d s p 开发环境c c s 中非常方便地开发、编写 和调试系统程序了。 ( 4 ) i 也s e t 模块 本系统中各种片外设备众多，上电后，各芯片一旦出现某些无法预料的随机 状态就可能导致整个系统不能正常工作，所以系统中需要有专门的r e s e t 模块来 完成复位的工作。上电后无法正常工作的系统需要通过r e s e t 模块的一个复位脉 冲来进行一次硬件复位，使系统中各设备重新进入默认状态。 1 2 第二章d s p 系统总体设计及硬件结构 ( 5 ) p o w e r 模块 由于本系统中的外设众多，而各个芯片需要不同的的工作电压和工作电流以 保证其正常运行，所以，为了保证系统内各个硬件模块拥有准确且稳定的电源供 应，系统的p o w e r 模块设计将满足不同的外设对不同电压、电流的不同需求。 电子科技大学硕士学位论文 第三章d s p 系统软件设计与实现 3 1d s p 系统软件概述 本系统选用t i 公司提供的c c s 集成开发环境d s p b i o s 内核来完成d s p 软 软件开发的任务。 c c s 是一套完整的d s p 集成开发环境，它为d s p 开发者提供了一个可视化的 代码编辑界面，可直接编写c ，汇编，h 文件等。另外还提供了集成代码生成工