（系统工程专业论文）嵌入式网络视频监控系统监控端软件设计与实现.pdf

西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 引言 在社会信息化日益发展的今天，计算机技术、网络技术、通信技术以及 多媒体技术已经渗透到人类生存、活动的各个领域中。 视频监控系统是一门集计算机技术、通信技术和数字视频技术于一体的 综合系统。它以其直观、方便、信息内容丰富等特性而被广泛应用于工业生 产、交通、电力、银行、智能办公大楼等场所。它正从传统的安防监控向管 理、生产监控发展，并逐步与管理信息系统相结合，达到资源共享，为管理 者提供更直观、更有效的决策信息，网络视频监控不仅符合社会信息化的发 展趋势，而且代表了监控行业的发展方向 1 】。 网络视频监控系统的一般过程是：在一些重要的场所安放一个或若干个 摄像机，摄像机采集监控现场视频数据，并经过压缩编码处理后，通过一定 的传输网络( 线缆、无线、光纤或以太网) ，传到指定的监控中心。监控中心 可以远程监控现场图像，并可通过存储介质保存现场视频数据供日后查询取 证。同时，还可以根据不同需要在监控现场安装其它的探测装置作为监控系 统的辅助设备。 1 2 视频监控系统的发展和现状 1 2 1 视频监控系统的发展历程 视频监控系统的发展大致经历了三个发展阶段： 在2 0 世纪9 0 年代初及其以前，主要是以模拟设备为主的闭路系统，称 为第一代视频监控系统，即模拟视频监控系统。最简单的监控系统是由一架 摄像机和一台监视器组成，中间用传输线连接，不需要特殊处理，仅适用于 近距离单点监控，应用受到很大限制。 2 0 世纪9 0 年代中期，随着计算机处理能力的提高和视频技术的发展， 人们利用计算机的高速数据处理能力进行视频的采集和处理，利用显示器的 高分辨率实现图像的多画面显示，从而大大提高了图像质量，增强了视频监 控的功能。这种基于多媒体计算机的系统称为第二代数字化本地视频监控系 统，即模拟输入与数字压缩、显示和控制系统。因为核心设备是数字设备， 因此可以称为数字视频监控系统【2 】。 西南交通大学硕士研究生学位论文第2 页 到了2 0 世纪9 0 年代末特别是近两三年，随着网络带宽增加、计算机处 理能力的迅速提高和存储容量的增大，以及各种实用视频信息处理技术的出 现，视频监控进入了全数字化的网络时代，称为第三代远程视频监控系统， 即全数字视频监控系统或网络数字视频监控系统。 视频监控系统的第二阶段和第三阶段可以统称为数字视频监控系统，在 本文用数字视频监控系统的第一种方式和第二种方式来区分。实际是除了摄 像机有模拟和数字输出之不同外，系统的功能并没有本质的区别【3 】。下面是 两种方式的系统组成示意图。 ；蒜一种方式 一 l 匝岈驴 一一计葬机k 型二工二 i 存特设备( 袋l ； i 兜_ 耋刻豪帆) i l 鑫 l 图l l 数字视频监控系统组成示意图 数字视频监控系统组成示意图如图1 1 所示。下面分别对两种方式进彳亍 说明。 第一种方式：目前大部分的数字视频监控系现地足遇赳视频米榘卞将模 拟摄像机传输过来的模拟视频图像转换为数字视频图像信号，因此视频采集 卡是基于p c 机的数字视频监控系统中的关键设备，一块造价比较高的卡支 持一路到n 路的视频采集压缩，一台计算机可以插上一定数量的视频采集卡， 从而支持更多路数的视频采集。采集卡的质量和性能的好坏直接影响整个系 统的可靠性和稳定性。基于p c 机的数字视频监控系统采用软件来设计实现 摄像机到监视器的视频矩阵切换、录像、云台和镜头的控制、通过串口接收 报警设备的报警信息。计算机是数字视频监控系统的核心，配有大屏幕显示 器、大容量硬盘，也可以再配上光盘刻录机。数字视频监控系统能充分利用 计算机的资源，使视频监控系统随着计算机技术的发展而不断进步，同时其 西南交通大学硕士研究生学位论文第3 页 开放性的结构特性更可使之与其他多种系统如与消防报警系统、出入门管理 系统、楼字自控系统等实现互动集成。 第二种方式：数字输出摄像机的出现产生了真正的全数字视频监控系统 【4 】。数字摄像机直接传输数字化后并经过压缩编码的数字视频图像流，通过 网络将视频流传输到计算机中。这种数字摄像机还可以输出控制信号控制云 台解码器。就技术角度而言，数字视频监控系统的第二种方式是未来数字视 频监控系统的发展方向，具有很高的先进性，但由于目前与之配套的技术设 备还没有建立起来，并且对网络的要求比较高，还不能得到广泛的应用【5 j 。 目前，数字视频监控系统的主流还属于第一种方式。 本设计开发属于上述的第二种方式，使用美国、v i s 公司的g 0 7 0 0 7 s b 芯 片作为嵌入式监控系统的d s p 来完成前端视频采集和压缩的功能，后端通过 软件设计来实现监控系统功能。 1 2 2 数字化视频监控产品现状 在国内外市场上，主要推出的是数字控铂h u 偎似伽到皿任删裂于优烈皿 控两类产品。前者技术发展已经非常成熟、性能稳定，并在实际工程应用中 得到广泛应用，特别是在大、中型视频监控工程中的应用尤为广泛；后者是 新近崛起的以计算机技术及图像视频压缩为核心的新型视频监控系统，该系 统解决了模拟系统部分弊端而迅速崛起，但仍需进一步完善和发展。从目前 来看，视频监控产品的主要差异在于视频数据压缩编码技术、操作系统和系 统硬件体系结构方面。 从视频压缩编码技术上看，主要分为m 一船g ，m p e g 1 ，m p e g 4 。 m j p e g 技术主要被韩国，台湾产品所采用，m p e g - 1 技术主要被国内厂家 所采用，而m p e g 4 技术目前真正做到的还没有凡家。m p e g 1 与m j p e g 压缩技术由于技术成熟，可供d v r 开发厂商的压缩板卡相对比较多，是目 前d v r 市场的主流技术。由于m p e g 一1 数据流量适中( 4 0 0 k b p 乎一1 5 m b p s ) ， 核心硬件压缩芯片在市场上容易得到，软件开发技术也相对成熟简单，因此 大多厂商都推出相应的产品。目前市场上8 0 以上的产品都采用m p e o l 的 压缩技术，但由于m p e g - l 标准的缺陷和m p e g 4 标准的逐渐成熟，市场上 也出现了m p e g 4 专用硬件压缩芯片，如本系统中用到的g 0 7 0 0 7 s b 就是一 款这样的芯片。这都为m p e g - 4 成为数字视频监控应用开发中压缩标准主流 提供了良好的条件。 从操作系统和硬件体系来看，主要分为工控w 抽d o w s 式和嵌入式两类产 西南交通大学硕士研究生学位论文第4 页 品。工控w i n d o w s 产品采用工控p c 架构，运行w i n d o w s 操作系统平台，目前 以该类新产品为市场主流。嵌入式系统往往采用专用硬件系统，运行微内核 实时多任务操作系统，并将操作系统和应用程序固化在f l a s h 芯片上，该 产品发展较好，有取代工控产品之势。 工控、i n d o w s 产品的广泛使用，一方面由于该产品技术含量低，产品技 术成熟，在数字监控发展的初期被广泛使用；另一方面是其利用现有的操作 系统可进行多种功能的开发，可满足用户多元化的需求。但工控产品因其操 作系统内部执行的限制，造成产品运行不稳定，容易发生死机现象，不适用 于较高要求的某些安防领域的使用。 嵌入式产品有分为p c 嵌入式和非p c 嵌入式两种方式。p c 嵌入式采用 工控p c 的硬件架构，运行嵌入式操作系统( 如嵌入式l i n u x ) ，操作系统和应 用程序固化在f l a s h 电子盘上，以保证操作系统和应用程序的运行稳定性。 非p c 的嵌入式产品采用专用的硬件架构，其成本较低，嵌入式操作系统也 是固化在f l a s h 芯片上。从特征来看，两者都是将操作系统和应用程序固 化在f l a s h 芯片上，避免硬盘存储的不可靠性同时，采用嵌入式操作系统具 有效率高，资源占用少，系统稳定可靠的特点。早期的非p c 嵌入式的产品采用 的处理器较弱，导致系统的性能较低，扩充能力和对网络的支持能力也较差，在 一定程度上限制了该产品的应用。但随着高性能嵌入式微处理器以及专用的 视频图像处理芯片的相继问世，这些问题已经得到了很大程度上的解决，使 得非p c 嵌入式产品称为发展的主流。基于以上分析可以看出，嵌入式的产 品具有较好的发展趋势和应用前景 1 3 课题背景和论文主要工作 1 3 1 课题背景 本论文的相关课题是与某研究所合作项目嵌入式网络视频监控系统开 发。系统主要由两部分组成：前端网络摄像机和远程客户端，网络摄像机基 于嵌入式技术开发，软件平台为u c l i n i l 】【，客户端工作在w i n d o w s 环境下， 视频采用m p e g - 4 标准编码压缩，并且引入采用a d p c m 编码压缩的音频。 音视频数据的网络传输遵循t c p i p 协议和r 1 限( r e a lh mp r o t o c 0 1 ) 协议，音 视频码流可根据网络带宽状况自适应调整。 1 3 2 论文主要工作及内容安排 西南交通大学硕士研究生学位论文第5 页 论文主要工作：对嵌入式视频监控系统后端服务器和客户端部分的软件 设计与实现，包括音、视频解码播放，音、视频保存，音、视频回放以及和 前端软件的配合通信等模块。在这些模块设计的基础上，重点研究了： ( 1 ) 基于b s ds o c k e t 和晰n s o c k 的t c m p 网络套接字编程技术，并利用 u d p 协议实现了实时r n p e 9 4 视频流的网络传输；利用t c p 协议实现了控制 命令的传输。 ( 2 ) 对m p e g 一4 视频压缩编解码技术有定的研究，在监控客户端用纯软 件方式实现m p e g 4 视频码流解码。 ( 3 ) 对嵌入式技术进行了相关的研究。对嵌入式平台的选择，嵌入式系统 的工作原理和实现技术有了较深的理解。 ( 4 ) 对软件开发方法和开发流摆有一定的研究。对需求分析，概要设计， 详细设计，编码，调试这一系列过程有了一个感性的认识。 论文主要内容安排： 第一章绪论。介绍了视频监控系统的发展过程及趋势。 第二章嵌入式网络视频监控系统中的主要技术。介绍了系统中常用的主 要技术，如嵌入式系统技术、视频压缩编码技术、视频网络传输技术、t c m p 套接字编程、d i r e c t s h o w 技术以及多线程技术。 第三章嵌入式网络视频监控系统的总体方案设计。介绍了本系统的总体 结构，并详细介绍了系统的硬件结构和软件结构。 第四章嵌入式网络视频监控系统的软件实现。包括音、视频解码播放， 音、视频保存，音、视频回放以及和前端软件的配合通信等模块设计思路与 具体实现细节。 第五章系统总体测试。介绍了该系统的测试环境和测试结果。 论文的最后对该项目进行总结，并做了展望。 西南交通大学硕士研究生学位论文第6 页 第2 章嵌入式视频监控系统所用到的主要技术 2 1 嵌入式系统概述 嵌入式系统是随着计算机技术、微处理器技术、电子技术、通信技术、 集成电路技术的发展而发展起来的。嵌入式系统己成为计算机技术和计算机 应用领域的一个重要组成部分。嵌入式系统的一个通用定义是：以应用为中 心、以计算机技术为基础，软、硬件可裁剪，适应应用系统对功能、可靠性、 成本、体积、功耗严格要求的专用计算机系统。图2 1 是一个嵌入式系统的 具体结构框图。 图2 - l 嵌入式系统结构框图 一个嵌入式系统是一个硬件和软件的集合体，它包括硬件和软件两大部 分。硬件包括嵌入式处理器控制器，数字信号处理器等，存储器及外设器件、 输入输出( i ，o ) 接口，图形控制器等。软件部分包括凑啊作系统软件( 嵌入 式操作系统) 和应用程序( 应用软件) ，应用领域不同，应用软件干差万别”l 。 宿主机一目标机【 i o s t - 脚t ) 模式口3 ( 见图2 之) 是嵌入式系统常用的开发 模式，其中宿主机是指完成操作系统的裁剪和应用软件的开发的计算机( 包括 台式机和工作站) ，目标机通常是指待开发去实现对被控对象智能化控制的硬 件平台。 网2 _ 2 嵌入式系统的开发模式 图2 _ 2 嵌入式系统的开发模式 西南交通大学硕士研究生学位论文第7 页 其实现原理：在宿主机上完成软件功能，然后通过串、臼或网口将交叉编 译生成的目标代码传输并下载到目标机上，并在监控程序或者操作系统的支 持下利用交叉调试器进行分析和调试，最后目标机在特定环境下脱离宿主机 单独运行。 采用宿主机一目标机开发模式进行嵌入式系统开发，具有整体思路清晰， 便于系统分工，容易同步开发的特点。在宿主机一目标机开发模式中，交叉 编译和远程调试是系统开发的重要特征【8 】。 ( 1 ) 交叉编译。宿主机上的c p u 结构体系和目标机上的c p u 结构体系是 不同的。为了实现裁剪后的嵌入式操作系统和应用软件能在目标机上正常运 行起来，这就需要在移植它们之前，在宿主机上建立新的编译环境，进行和 目标机c p u 相匹配的编译，这种编译方式称为交叉编译。新建立的编译环境 称之为交叉编译环境。交叉编译环境下的编译工具在宿主机上配置编译实现， 必须是针对目标机c p u 体系的编译工具。只有这样，才对源代码编译生成的 可执行跌像，才会被目标机的c p u 识别。 ( 2 ) 远程调试。远程调试是一种允许调试器以某种方式控制目标机上被 调试进程的运行方式，并具有查看和修改目标机上内存单元、寄存器以及被 调试进程中变量值等各种调试功能的调试方式。调试器是一个单独运行的进 程。在嵌入式系统中，调试器运行在宿主机的通用操作系统之上，被调试的 进程运行在目标机的嵌入式操作系统中，调试器和被调试进程通过串口或者 网口进行通信，调试器可以控制、访问被调试进程，读取被调试进程的当前 状态，并能够改变被调试进程的运行状态【9 】。 嵌入式系统是一个复杂而专用的系统，在进行系统开发之前，必须根据 系统的需求明确定义系统的外部功能和内部软硬件结构，然后进行系统总体 结构的设计和系统各模块的分割，分别实现硬件的规划与设计，应用软件的 规划与设计以及操作系统的裁剪。在完成操作系统的裁剪和应用软件的开发 后，通常还需将它们移植到同系统结构的硬件平台上进行系统调试、功能模 拟，明确系统调试无误后，才将操作系统及相关应用软件移植到自己开发的 专用硬件平台上，完成系统的集成，其开发流程如图2 3 所示【埘。 由此可见，一个嵌入式系统的设计开发应该以用户需求为中心，在相应 的约束条件下进行该系统的各种软、硬件开发，而系统的测试则是确保整个 系统能够满足需求的关键所在。 西南交通大学硕士研究生学位论文第8 页 图2 3 嵌入式系统开发流程图 2 2 微软d ir e c t s h o w 技术 d i r e c t s h o w 是微软公司根据对来自许多不同的媒体资源的视频和音频， 提供的一套在w m d o w s 平台上处理各种格式的媒体文件的回放、音视频采集 等高性能要求的多媒体应用的解决方案。 d i r e c t s h o w 能提供播放本地或来自h l t e m e t 服务器上的多媒体数据，。以 及从视音频采集卡等硬件设备中捕获多媒体流的功能。它能够播放多种压缩 格式的视音频文件( 或流) ，包括m p e gq 试c k 仇n e ，a v i ，m w 以及基于v f w ( v j d e of o rw i n d o w s ) 和w d m ( w m d o w sd r i v e rm o d c l ) 的视音频捕获流【1 0 】 d i r c c t s h o w 运用了c o m 技术，在软件结构上更易于理解，在使用上更 加简单，简化了w n d o w s 平台下多媒体程序的开发，避免了数据传输、硬件 差_ j j 寸和网步播放的复杂1 1 1j 。 2 2 1d ir e c t s h o w 的总体框架 图2 4 所示是d i r e c t s h o w 的总体框架。中间横线以下的是胁g o 特权级 别的硬件设备，虚线以上是磁n 酮特权级别韵应用层。d n c t s h o w 系统位于 西南交通大学硕士研究生学位论文第9 页 应用层中。为了实现对多种对象( 不同流格式和不同的终端设备) 的处 理，d i r e c t s h o w 使用了组件( c o d 封装的实现方法【1 3 】。d i r e c t s h o w 系统中的 基本概念有： 1 过滤器( f i | t e r ) 过滤器( f i l t c r ) 是d i r e c t s h o w 系统最基本概念，每个f i l t e r 得到输入 数据，处理后输出，对媒体流实现其特定的功能。在应用程序里面多个f i l t e r 连接在一起协同工作，完成整个媒体流的获取、变换和提交的功能。 圈 旬夸lt 班引 图2 4d j r e c t s h o w 的总体框架 2 过滤器图( f 1 t e rg r a p h ) 和过滤器图管理器( f 1 t e rg r a p h _ a n a g e r ) 为完成一定任务而连接在一起的几个f i l t e r 就形成了过滤器图伍i i t e r g r a p 峋ad i r e c t s h o w 系统使用f i l e rg r a p h 的模型来管理整个数据流的处理 过程，管理者就叫做过滤器图管理器n 酣舍r a p hm 锄a g e r ) 。 3 接口( p j n ) 每个f i l t e r 都包含一个或多个口( p i n ) ，f i l t e r 之间通过p i i l 相互连接， p i n 可以分为两类：输入口( i i l p u tp i n ) 和输出口( o 咖u tp i l l ) 。两个相连的p i n 必须是不同种类的，就是说输入p i f l 只能同输出p i n 相连。数据就从相连的 p i n 中流动，从上一级滤波器到下一级滤波器。以上几个概念互相联系，就形 西南交通大学硕士研究生学位论文第1 0 页 成了d i r c c t s h o w 系统的框架。f i l t e r 按功能的不同可以大致分为3 类：源 过滤器( s o u r c ef i l t e r ) 、交换滤波器( t r a i l s f o mf i l t e r ) 和提交滤波器( r e n d e r f i l t e n 【1 4 】。如图2 5 所示。 r 雠篱r _ 絮豁广 l p m科n p 哺p 晒l ls m - - m 阳p呵l ：嚣pqv 蜘- h r 心r l 9 0 u 代尹h 抽rr 伯n f o r mf 珊r t 嘲一n f 糖 图2 5 三种f i l t e r s o u r c ef i l t e r 只有输出p i i l ，没有输入p i n 。主要负责获取数据。它从外 部设备获取原始数据并作简单处理，再将数据往下一级滤波器送。数据源可以 是文件、i n t e m e t 数据流、视频采集卡等。 t r a n s f o n nf i l t e r 是既有输入p i n 又有输出p 诚它从上一级滤波器获取 数据并对它进行处理：把原始数据流转换成其它形式的多媒体数据流：压缩编 码或解码；把一个数据流分解成多个数据流，如把一个音频视频混合流分解成 单独的音频流和单独的视频流；把多个数据流组合成一个数据流等。 r e n d e rf i l t e r 在滤波器图里处于最后一级，只有输入p i n 。它的作用就是 把经过处理的数据流提交给外部设备。这里说的外部设备包括文件系统、显 示卡、声卡、网卡等。 f i l t c rg r 印hm 趾a g e r 负责应用程序与f i l t e r 之间的通信与交互。所有的 f i l t e rg f a j p hm a n a g c r 都提供了一组c o m 接口用来和应用程序以及f i l t e r 沟 通。一个应用程序可以直接访问f i n e rg r a p hm a i l a g e r 的所有接口方法以控制 媒体数据流，以及返回一些在过滤图中的事件。 2 2 2djr o c t s h o w 技术开发应用程序的一般过程 在d i r e c t s h o w 系统之上，应用程序要按照一定的意图建立起相应的f i l t e r g m p h ，然后通过f i l 衙g 砷hm a n a g e r 来控制整个的数据处理过程。 d i d c c t s h o w 能在f i l t e rg r a p h 运行的时候接收到各种事件，并通过消息的方 式发送到我们的应用程序。这样，就实现了应用程序与d i 瞎c t s h o w 系统之 间的交互。个典型的d i r e c t s h o w 应用程序有三个阶段，如图2 6 所示： 西南交通大学硕士研究生学位论文第”页 第l 阶段 铺2 舔羧1 稚3 辩段 i f随粥襁降 l f i l t i ”。p b “g 。7 践 菩姓穿 i f 1 1 “d m j m 瓣 n a g l i艘捌携 i i ih h 、1 m 酒钕n 带 创建矗n e r构造龇e l i l 路 调用接口方法 图2 6d i r e c t s h o w 开发应用程序的一般过程 第1 阶段，使用a p l 函数c o c r e a t e i n s t a n c e 函数来创建一个f i l t e r g r a p h m a i l a g e r 的组件实例。 第2 阶段，根据实际应用创建完整的f i l t e r 链路，完成f i l t c rg 豫p h 的构 造。 第3 阶段，调用f i l t e rg m p hm a i l a g e r 上各个接口方法进行控制并完成 f i i t e rg r a p hm a n a g e r 与应用程序的事件交互。 f i l t e rg r a p hm a i l a g e r 上实现了很多接口方法。如媒体控制接口： i m e d i a c o n t r o l ，它允许一个应用来执行流控制命令，如r u n ，s t o p 、p a u s e ； 视频窗口接口：i d e o w i n d o w ，实现视频窗口播放位置、画面大小等的控制 等。 d i r e c t s h o w 系统提供了大量的f i l t e r 用以支持最基本的应用。但如果现有 的f i l t e r 不能满足应用程序功能的需要，就要定制自己f i i t e r a 对于f i i t e r 开 发人员来说，需要对f i l t e r 原理进行更深入的了解。 2 3 视频压缩编码技术 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要 地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒 体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视 频编码的研究已成为信息技术领域的热门话题。 2 3 1 视频编码研究与m p e g 标准演进 视频编码的研究课题主要有数据压缩比、压缩解压速度及快速实现算法 西南交通大学硕士研究生学位论文第1 2 页 三方面内容。以压缩解压后数据与压缩前原始数据是否完全一致作为衡量标 准，可将数据压缩划分为无失真压缩( 即可逆压缩) 和有失真压缩( 即不可 逆压缩) 两类。 传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用 概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗 余，属于低层压缩编码的范畴。伴随着视频编码相关学科及新兴学科的迅速 发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和 像素块转变为基于内容( c o n t e n t b a s e d ) 。它突破了仙农信息论框架的束缚， 充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩， 可分为基于对象( o b i e c t - b a s e d ) 和基于语义( s e m a n t i c s b a s e d ) 两种，前者 属于中层压缩编码，后者属于高层压缩编码。 与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由 i t u t 和i s o i e c 开发。l t u t 发布的视频标准有h 2 6 l 、 h 2 6 2 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 h ，i s o i e c 公布的m p e g 系列标准有m p e g - l 、m p e g - 2 、 m p e g o 和m p e g 7 ，并且计划公布m p e g 一2 1 【1 5 】。 2 3 2m p e g 一4 技术 m p e g 是运动图像专家组的简称，全称是i s o l ，i e cj t l s c 2 9 ，w g l l ，负 责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准 的制定工作，制定的标准推动了v c d ，d v d 、数字电视、高清晰度数字电视 等产品的发展。j p e g 是联合图像专家组的简称，全称是i s o 工e c j t c l ，s c 2 9 ，w g i ，即国际标准化组织和国际电工委员会第一联合技术组第2 9 分委会第l 工作组，负责静止图像编码国际标准的制定，所制定的j p e gj b 斑 j p e g 2 0 0 0 等标准在传真机、数字相机等产品中得到了广泛应用 1 6 】。 m p e g 专家组继成功定义m p e g1 和m p e g 2 之后，于1 9 9 4 年开始制 定全新的m p e c h 标准。m p e g 4 标准将众多的多媒体应用集成于一个完整的 框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，用于实现音 视频( a u d i o v i s u a l ) 数据的有效编码及更为灵活的存取。用m p e g 4 压缩的影像 画面质量近似于d v d 的画面质量。适用于数码监控，配上高清晰度的摄影 头，可以令捕捉的影像画面质量达到十分清晰的效果。 m p e g 4 的三大优点：一、m p e g 4 的压缩比高，使低码率的视频传输成为 可能在公用电话线上可以连续传输视频，并能保证图像质量，这是其它技术 做不到的；二、节省存储空间。同等条件如场景、图像格式和压缩分辨率条件 西南交通大学硕士研究生学位论文第13 页 下，经过编码处理的图像文件越小，所占用的存储空间越小。由于m p e g 4 算法较m p e g l ，m p e g 2 更为优化，因而在压缩效率上更高；三、图像质量 好：m p e g 4 的最高图像清晰度为7 0 4 x 5 7 6 ，可以达到接近d v d 的酒面效果。 这使得它的图像高清晰度非常好礓。 m p e g 4 标准的编码是基于对象的，这样就便于操作和控制对象，而以 前传统的图像压缩技术是基于帧的。在传输带宽有限制的情况下，传统图像 压缩技术的图像质量是帧平均的，而m p e g 4 标准可以对用户感兴趣的对象 分配较大的带宽，而对用户不感兴趣的对象分配较小的带宽，从而大幅度地 提高了在同等带宽下图像的主观质量。 2 4t c p lp 协议族和套接宇( s o c k e t s ) 编程 2 4 1t c p i p 协议族 t c m p ( 传输控制协议网问协议) 是一种网络通信协议，它规范了网络上 的所有通信设备，尤其是一个主机与另一个主机之间的数据往来格式以及传 送方式。t c m p 是i n t e r n e t 的基础协议，也是一种电脑数据打包和寻址 的标准方法。在数据传送中，可以形象地理解为有两个信封，t c p 和i p 就像 是信封，要传递的信息被划分成若干段，每一段塞入一个t c p 信封，并在该 信封面上记录有分段号的信息，再将t c p 信封塞入i p 大信封，发送上网。 在接受端，一个t c p 软件包收集信封，抽出数据，按发送前的顺序还原，并 加以校验，若发现差错，t c p 将会要求重发。因此，t c p i p 在i n t e r n e t 中几乎可以无差错地传送数据。 t c p 是一个更高层次的，它允许运行在不同主机上的应用程序相互交换 数据流。t c p 将数据流分成小段叫做t c p 数据段( t c ps e g m e n t s ) ，并利用i p 协议进行传输。在大多数情况下，每个t c p 数据段装在一个珏，数据报中进 行发送。但如需要的话，t c p 将把数据段分成多个数据报，而i p 数据报则 与同一网络不同主机间传输位流和字节流的物理数据帧相容。由于i p 并不能 保证接收的数据报的顺序相一致，t c p 会在收信端装配t c p 数据段并形成一 个不间断的数据流。 另一个重要的t c p i p 协议集的成员是用户数据报协议( u d p ) ，它同t c p 相似但比t c p 原始许多。t c p 是一个可靠的协议，因为它有错误检查和握手 确认来保证数据完整的到达目的地。u d p 是一个“不可靠”的协议，因为它不 能保证数据报的接收顺序同发送顺序相同，甚至不能保证它们是否全部到达。 西南交通大学硕士研究生学位论文第15 页 图2 7 和图2 8 分别给出了使用t c p 套接字和u d p 套接字进行网络编程 的流程。 图2 7 使用t c p 套接字编程流程 西南交通大学硕士研究生学位论文第16 页 图2 8 使用u d p 套接字编程流程 2 5 多线程技术 由于视频流在网络中传输时有着较大的数据吞吐量，因此接收时常常会 出现阻塞现象。为了在实际的视频传输应用中避藏墨磊鬻姐墼羹；季碧到爆 迂监；豫圜型萋噬谫滑峥蔺j 漆濒濡浮绣两瑚暇凄蹬墨臻迎蛹遁塑嚣。 露壳越系统初期垡士篓烈褒凿烈矧掣掣毡麓燮蠢，鹭面翁篓雾咎氍警 宵臻 拷贝到s d r a m 中，再从s d r a m 中执行u c l i n u x 内核自带的引导程 序来加载u c l i n l | ) ( 内核。u c l i n u x 已经提供了串口和网络控制器驱动， 0 0 7 0 0 7 s b 芯片的驱动程序包含在美国w i s 公司提供的g 0 7 0 0 7 s bi p c 舢订 sd k1 2 软件开发包中m j 。 我们选择的嵌入式操作系统软件是u c l i n u x 。l i n l l ) 【是一种很受欢迎的操 作系统，它与u n 系统兼容，开放源代码。它原本被设计为桌面系统，现 在广泛应用于服务器领域。而更大的影响在于它正逐渐的应用于嵌入式设备。 u c l i n 强正是在这种氛围下产生的。在u c l i n l l ) 【这个英文单词中u 表示m i c r o ， 小的意思，c 表示c o n 的l ，控制的意思，所以u c l i n u x 就是 mi c f o c o n 舡d l - l h m x ，字面上的理解就是”针对微控制领域而设计的l i n u x 系 纠2 6 1 。u c l i m 和普通的l i l i u x 操作系统在应用程序开发方面有很大的相似之 处，所以在l i l l u x 系统下能够运行的代码几乎可以不做任何改动移植到 uc l i l l u x 系统，这为应用程序开发人员节约了非常宝贵的时间。 但是，u c l i n u x 和l i n u ) 【也是有区别的，最大的区别体现在他们之间的不 同的内存管理方式上，同时也由于u c l i n u x 的内存管理引发了一些标准l i h u x 西南交通大学硕士研究生学位论文第17 页 改全局数据结构。与其它三种同步对象相比，临界区为互斥同步提供更快， 更有效的机制，其实现代码非常简单。 使用临界区时，首先在进程创建一个c r j t i c a ls e c l r i o n 类型的结构 变量，它必须是全局的，以便不同的线程能够访问到它。般情况下，临界 区代码所访问的共享数据只不过是一些全局变量，这些全局变量不能同时被 多个线程并行访问。 2 互斥量 互斥量允许在任意时刻有且仅有一个线程或进程访问某资源。互斥量必 x 西南交通大学硕士研究生学位论文第18 页 信号量的句柄；当要释放信号量的时候，调用r e l e a s e s e m a p h o r e 0 函数。 4 事件 事件同步对象与前面的互斥量有很大的不同。互斥量和信号量通常用来 控制对数据或资源的访问，而事件是用来发信号以通知其他线程某一操作已 经开始或完成。 使用事件同步对象时，首先用c r e a l e e v e n t 0 函数创建事件，等待事件的 线程可以调用w 甜t f o r s i n g l e o b j e c e t ( h a n d l e1 1 0 b j e c t ，d w o i d h 饿m e o l l t ) 函数并传以事件对象的句柄( 或调用w 姗o r m u l t i p l e o b i e c e t ( ) 函数以等待多个 事件) 来等待该事件的发生。当人工重置事件处理事件时，还必须调用 s e t e v e n h a n d l el l e v e n t ) 函数把1 1 e v e n t 变成有信号状态：调用 r e s e 母v e n t ( i a n d l eh e v e n t ) 函数把址 v e n t 变成无信号状态。而自动重置事 件是当等待函数由于其参数中的事件对象有信号而返回后，它的状态将自动 转变为无信号状态。所以，与人工重置事件相比，自动重置事件的行为更象 是互斥量和信号量。 西南交通大学硕士研究生学位论文第19 页 第3 章嵌入式视频监控系统总体分析与设计 3 。1 嵌入式视频监控系统总体结构 整个系统分为前端网络摄像机和后端服务器( 客户端) 两个部分。 前端网络摄像机由c c d 摄像头( 可选c m o s 摄像头) ，a i t m 9 ( 三星 s 3 c 2 5 1 0 a ) ，d s p 芯片( 、v i s 公司g 0 7 0 0 7 s b ) ，云台以及其他辅助芯片和外 围电路组成。后端服务器( 客户端) 则是运行在p c 机上的谢n d o w s 操作系 统下的监控软件。 前端网络摄像机的功能主要是通过摄像头和麦克风采集现场图像和声音 得到模拟音视频信号并采样转化为数字信号，然后通过专用音视频压缩芯片 压缩编码，得到便于在网络上传输的压缩视频流，再通过h l t e m e t 或局域网 传送到本地或远程监控客户端( 后端) 。后端本地或远程监控客户端软件接收 多路网络摄像机传输来的压缩视频数据流，进行实时解码显示和存储回放， 并可对网络摄像桃进行远程配爱和控制。系统总体结构图如图3 1 所示： 图3 - l 系统总体结构图 3 2 前端网络摄像机的的硬件结构 图3 2 是前端嵌入式网络摄像机的硬件结构图。从图中可以看出，前端 的嵌入式网络摄像机主要由c p u 模块，音视频采集模块，音视频压缩模块， 云台控制模块和网络发送模块以及外围芯片和外围电路组成。下面我们分别 介绍各个模块的组成和功能。 西南交通大学硕士研究生学位论文第加页 3 2 1c p u 模块 c p u 模块是整个系统的控制管理核心，主要功能是实现整个系统的控制 和调度管理。我们选用的主控制芯片为s 3 c 2 5 1 0 a ，它是s a m s u n g 公司生 产的基于以太网应用系统的高性价比1 6 3 2 位i u s c 微控制器【2 3 】。 1 0 1 0 0 e 吐m m e t e x t p o w e r 1 图3 - 2 嵌入式网络摄像机的硬件结构 s 3 c 2 5 1 0 技术参数 s 3 c 2 5 1 0 ：1 6 3 2 b i t a 蹦9 4 0 t 内核。最高频率支持1 6 6 m h z ； 4 k b 的指令缓存和1 k b 的数据缓存； 系统时钟：运行在内部1 6 6 m h z 和外部总线1 3 3 m h z 频率，四种系统时 钟：系统时钟( 1 3 3 m 弛) ，p c i & p c 卡控制器时钟( 3 3 6 6 m h z ) ， u s b h o s t d e v i c e 时钟( 4 8 m h z ) 和e t l l e m e tp h y ( 2 0 2 5 m h z ) ； d e s ，3 d e s 加密硬件加速模块； s d r a m ：1 6 m b y 忙( 4 m 3 2 ) i 2 个高速u a r t ； 1 个1 2 m b p s 的u s bs l a v e 接口，2 个1 2 m b p s 的u s bh 0 s t 接口； 6 通道d m a ； 6 个3 2 位定时器； 6 4 个可编程的i ，o 口； 1 2 c 总线接口； e m b c d d e d - i c e 调试接口： 西南交通大学硕士研究生学位论文第2 2 页 率下以完整的d 1 分辨率( n t s c 为7 2 0 4 8 0 ，p a l 为7 2 0 ，5 7 6 ) 输出视频流。现 将g 0 7 0 0 7 s b 特性和参数说明如下。 1 输出格式 支持m p e ( ma d v a n c e ds i n l p l ep r o f i l e l 3 ( 支持b 帧) ，兼容m i c m s o n 与s i g m a d e s i 印； g 0 7 0 0 7 还支持m p e g 2m p m l 、m p e g - l 、h 2 6 3 、m j p e g 甚至用户 定义格式； g o p 结构可编程为i 、i p 、m p 或i b b p ； 7 0 0 7 能够输出高质量的微软视频格式： 2 视频输入 c c m 一6 0 l 和c c i r _ 6 5 6 y u v ( 8 位) 4 ：2 ：2 逐行或隔行扫描；r g b 四 种类型； 最大输入规格：7 2 0 x 4 8 0 3 0 审s 或7 2 0 x 2 4 0 6 0 审s ( n t s ci n t e r l a c e d ) ， 7 2 0 x 5 7 6 2 5 卸s 或7 2 0 x 2 8 8 5 0 印s ( p a l ) ； 从6 4 x 6 4 到7 2 0 x 5 7 6 解析度( 以1 6 像素为增量) ； 帧率达3 0 审s ( f i l l l - d 1 ) 或1 2 0 币s ( c i f ) ； r g b b a y e r 到y u v 转化( 高质量) ； 可选择l ：2 水平、垂直或双向扫描； 可编程调整的、低通和轮廓增强过滤器( 有l o 个以上的实时可调参数) 。 3 音频输入输出 支持1 2 s 音频输入接口； 高级a c 9 7 从接口，支持可变采样率； p c m 音频数据流输出； 视频流中内嵌音频数据指纹，可实现极佳的s ，w 同步功能。 4 视频压缩 运动预测算法( 检索范围水平方向是+ 1 2 7 弹性极限，垂直方向是+ 一6 3 的弹性极限) ； 高精确度d c 聃d c t 和量化反量化方案； 高品质画面转换探测器和帧组校准； 4 8 m i l z 到9 6 m l l z ( 取决于解决方案1 ； 可调节的i 、i p 、i b p 、i b b p 帧组结构体系： 高性能m p e g 一4 码率控制器，可控范围为l k 4 0 m b d s 。 5 视频品质 西南交通大学硕士研究生学位论文第2 3 页 2 m b 泌带宽可达f u l l d l 的d v d 品质； 低带宽通信：4 0 k b p s 带宽可获得高质量的q c 腰视频： 两小时6 4 0 3 5 2 象素的电影( 平均信噪比为4 0 d b ) 仅需6 5 0 m 的存储空 间； 动态调整的码率和帧频适合各种不同的带宽( 适合互联网应用) ； m p e g 一4f g s 容许码率的调节和自适应： 提供驱动、s d k 、其他相关软件( 例如：解码译码、视频后处理等) 和 示范应用软件 多数功能及参数可在主机端配置： 通用的场景转换和码率控制算法可被升级； 6 技术参数 1 9 6 引脚b ( 遗封装； 2 0 8 弓l 脚p o f p 封装； 3 3 v ， o 1 8 m 技术， 5 层金属， 单聚乙烯： 4 m b 或8 m b3 2 位p c l 0 0 总线外部s d r a m ： u s b l 1 、串口和1 6 位h p i 并口： 熊耗：3 5 0 m w 0 0 7 0 0 7 s b 和c p u 模块之间是以h p i 总线迸行通信的。c p u 在系统上 电时通过h p i 总线对g 0 7 0 0 7 s b 进行配置。 控制g 0 7 0 0 7 s b 时，用 口i 实现a r m 。g 0 7 0 0 7 s b 通讯协议。h p i 接口 有两种模式：1 6 位模式和8 位模式。8 位模式时。a r m 不能直接访问 g 0 7 0 0 7 s b 内部的d 娥m ，而必须通过g 0 7 0 0 7 s b 的三个特殊寄存器实现 传输和接收，即h p i a ( 地址) ，h p i d ( 数据) ，h p i c ( 控制) 。1 6 位模式时，删 可直接访问g 0 7 0 0 7 s b 的d a r a m ，这时可以不需要8 位模式下的握手，因 而传输速率更快。在0 0 7 0 0 7 s b 引导阶段采用1 6 位模式，a r m 向g 0 7 0 0 7 s b 加载代码或重新如载程序。在控制g 0 7 0 0 7 s b 时，采用8 位模式。 音视频压缩模块除了g 0 7 0 0 7 s b 芯片外，还有一些辅助芯片。如作为音 视频数据存储用的8 m bd r a m 芯片和用于产生地址的p l d 芯片等。 3 2 4 云台控制模块 该模块的设计是便于扩大网终摄像机的监视