（模式识别与智能系统专业论文）嵌入式视频监控系统研究与客户端播放器开发.pdf

四川大学硕_ ：学位论文 嵌入式视频监控系统研究与客户端播放器开发 模式识别与智能系统专业 研究生费克玲指导教师古钟璧 随着计算机网络和多媒体技术的迅速发展，融合计算机、网络、多媒体技 术为一体的视频监控技术也有了长足的进步。近年来，数字视频监控系统在安 防系统中得到了广泛的应用，与第一代的模拟视频监控系统相比，数字化的视 频传输与存储，使数字视频监控系统功能更为强大，同时具有便于传输、系统 扩展能力强的特点。目前市场上有两种类型的数字视频监控系统，一种是以基 于p c 平台的视频服务器为核心的监控系统，另一种是以嵌入式视频服务器为 核心的监控系统。与前者相比，后者具有性能稳定可靠、实时性好、抗病毒能 力强等特点，不仅具有较高的实际应用价值，还有广阔的发展前景，因此近年 来成为业界的研究热点。 根据这种应用需求，设计了一个采用高性能嵌入式处理器芯片i b m p o w e r p c 4 0 5 和m p e g - 4 视频编解码芯片v w e b 2 0 1 0 作为服务器硬件平台，以 v x w o r k s 嵌入式操作系统作为服务器软件平台的嵌入式网络视频监控系统，它 采用了先进的m p e g 4 视频压缩标准，可以在低码流下获得高质量豹图像，完 成实时视频采集与编码，因而实现了一种性能良好、使用方便、性价比较高的 设计方案。 在此方案基础上，论文首先对本嵌入式网络视频监控系统的总体进行了设 计，进而阐述了系统的软硬件体系结构，并对系统硬件平台核心芯片的选择进 行了分析。在对嵌入式v x w o r k s 操作系统的软件架构和开发环境作了大致介绍 后，论文给出了v x w o r k s 操作系统板级支持包的开发方法。并在阐述系统应用 软件的各功能模块的基础上，对系统的数据特点进行了分析，进而讨论了系统 四川大学硕士学位论文 通信方案的设计要点和选择的视频传输方式。 其次，m p e g 的软解压是本系统的一个重点，特别是在客户端播放器的开 发中。本论文对系统使用的m p e g 的相关各层进行了深入细致的分析，从而为 系统流解码器、音频和视频流解码器的实现奠定了基础。 在视频监控系统中，客户端播放器对于实时监控和视频回放都很关键。根 据分析，本系统有两种可选的播放方案，一种是利用基于d i r e c t s h o w 技术的 f i l t e rg r a p h 实现播放的方案，另一种则是自己开发播放器的方案，鉴于系统的 实际需求，进行了播放器的开发。论文阐述了播放器的设计思想，并对播放器 开发中核心模块的实现作了介绍，此外，还对解码过程中解决的关键问题进行 了阐述。 最后，给出了系统测试的结果，证明本系统的设计方案是可行的，能够完 成监控系统的应用需求。 关键词：嵌入式系统视频监控播放器m p e g i i 堕! ! 查堂竺：! 兰竺丝苎 r e s e a r c ho fe m b e d d e dv i d e o m o n i t o r i n gs y s t e m a n dc l i e n td e v e l o p m e n t p l a y e r p a n c mr e c o g n i t i o na n di n t e l l i g e n ts y s t e m g r a d u a t ef e ik e l i n g a d v i s o rg uz h o n g b i w i t ht h er a p i dp r o g r e s so fc o m p u t e rn e t w o r k sa n dm u l t i m e d i at e c h n o l o g y , t h e t e c h n o l o g yo fv i d e om o n i t o r i n g , w h i c hi n t e g r a t e sc o m p u t e rt e c h n o l o g y ，n e t w o r k t e c h n o l o g ya n dm u l t i m e d i at e c h n o l o g y ，h a sa c h i e v e dg r e a td e v e l o p m e n t i nr e c e n t y e a r s d i g i t a lv i d e om o n i t o r i n gs y s t e m sg e tm o r ea n dm o t w i d ea p p l i c a t i o ni n s e c u r i t ya r e a s ，c o m p a r e dw i t ha n a l o gv i d e om o n i t o r i n gs y s t e m s ，t h e yh a v et h e a d v a n t a g e so fe a s yt ot r a n s m i ta n de x t e n da n dw i t hm o r ep o w e r f u lf u n c t i o n t h e r e e x i s tt w ok i n d so fd i g i t a lv i d e om o n i t o r i n gs y s t e m sn o w a d a y s ，o n ei sb a s e do nt h e p c - b a s e dd v t h eo t h e ri sb a s e do nt h ee m b e d d e dv i d e os e r v e r t h ee m b e d d e d v i d e om o n i t o r i n gs y s t e mh a st h ed i s t i n g u i s h i n gf e a t u r e so fl o wc o s ta n dh i g l l r e l i a b i l i t y , a sw e l la sq u i t eg o o dr e a l - t i m ef e a t u r e ，w i t hi t sr e m a r k a b l ep r a c t i c a l n t i l i t ya n dp r o s p e c t ，i th a sb e c o m eo n eo f t h es t u d yh o ti nr e l e v a n ta r e a s u p o nt h i sk i n d o fp r a c t i c a lr e q u i r e m e n t t h et h e s i sd e v i s e da i le m b e d d e d n e t w o r kv i d e o - m o n i t o r i n gs y s t e m , w h i c hi sb a s e do n 距e m b e d d e dh a r d w a r e p l a t f o r mo ft h ec h i p so fi b mp o w e r p c 4 0 5a n dv w e b 2 0 1 0 ，a n db a s e do na n e m b e d d e ds o r w a r ep l a t f o r mo fv x w o r k so p e r a t i n gs y s t e m n 圮a d v a n c e dm p e g - 4 s t a n d a r di sa d o p t e di nt h i ss y s t e mt or e a l i z er e a l t i m ev i d e oc a p t u r i n ga n de n c o d i n g ， t h u sh i g h - q u a l i t yi m a g e sc o u l db eg o t t e na tl o wb i t - r a t e ，t h e r e f o r e ，i ti m p l e m e n t sa s c h e m ew i t hg o o df e a t u r ea n dh i g l lc o s tp e r f o r m a n c e b a s e do nt h es c h e m e ，t h i st h e s i sd e s i g n e dt h eg e n e r a la r c h i t e c t u r eo ft h e i m b e d d e dv i d e om o n i t o r i n gs y s t e m ，a n dg a v et h es h e m eo ft h eh a r d w a r ea n d s o f t w a r e ，i na d d i t i o n ，i tg a v et h ed e v e l o p m e n tm e t h o do f t h eb s ea f t e ra n a l y z i n gt h e l l i 叫川大学硕士学位论文 d a t af e a t u r e so ft h ee m b e d d e dv i d e om o n i t o r i n gs y s t e m ，t h et h e s i s p r e s e n t st h e s c h e m eo f d a t ac o m m u n i c a t i o na n dt h es e l e c t e dm o d eo f v i d e ot r a n s m i s s i o n s o f t w a r e d e c o d i n go ft h eb i t s t r e a mc o n f o n n e dw i t i lm p e gs t a n d a r di so n eo f t h ek e yp o i m sf o rt h es y s t e m ，s ot h er e s e a r c ho i lt h em p e gs t a n d a r di sa ni m p o r t a n t p a r t , e s p e c i a l l yf o rt h ep l a y e r t h et h e s i sp u r s u e df u r t h e ra n a l y s i so nt h er e l e v a n t p a r t s o ft h em p e gs t a n d a r d , a n ds op r o v i d e df o u n d a t i o nf o rt h es o f t w a r e d e v e l o p m e n to f p sd e c o d e r , a u d i od e c o d e ra n dv i d e od e c o d e r t h ep l a y e ro ft h ec l i e n ti si m p o r t a n tf o rt h es e r v i c eo fr e a l t i m em o n i t o r i n ga n c v i d e op l a y b a c k t h r o u g ha n a l y s i s ，t h e r ee x i s t st w ok i n d so fm e t h o d st oi m p l e m e n t t h ep l s y i n gs c h e m e ，o n em e t h o du s e sf i l t e rg r a p hw h i c hi sb e a s e do nt h et e c h n i q u e o fd i r e c t s h o w , w h i l et h eo t h e ri st od e v e l o pap l a y e ro fi t so w n c o n s i d e r i n gt h e p r a c t i c a lr e q u i r e m e n to f o u rs y s t e m , t h ep l a y e rw a sd e v e l o p e d t h et h e s i sd i s c u s s e d t h ed e s i g ni d e a so ft h ep l a y e r , a n di n t r o d u c e dt h eg o r em o d u l e so ft h ep l a y e r , i n a d d i t i o n ，o n eo ft h ek e yp r o b l e m - s o l v i n ge n c o u n t e r e di nt h ep r o c e s s so fd e c o d i n g w a sd e s c r y i b c di nt h et h e w st o o f i n a l l y , t h et h e s i sg a v et h et e s t i n gr e s u l t so ft h es y s t e m ，w h i c hp r o v e dt h a tt h e p r o p o s e ds c h e m eo ft h ee m b e d d e dv i d e om o n i t o r i n gs y s t e mi sr e l i a b l ea n dc o u l d m e e tt h ep r a c t i c e a lr e q m r c m e m k e yw o r d s ：e m b e d d e ds y s t e m ；v i d e om o r t i t o t i n g ；p i a y e r ：m p e g 硼川大学硕i 学位论文 1 绪论 1 1 论文选题的背景与意义 视频监控作为安防系统的重要组成部分，在安全、交通、军事、银行、建 筑等领域发挥着举足轻重的作用。视频监控以其直观性、实时性、信息内容丰 富、便于管理等特点，日益受到各个相关行业的重视，再加之近年来，随着计 算机及外围设备性能趋高化而价格趋低化，视频监控系统逐渐从安防部门走向 厂矿、企业乃至家庭。同时，互联网和宽带网络技术的日益发展，为视频监控 业务的发展提供了强有力的平台支持，需求与平台的结合，使得视频监控业务 形成巨大的发展潜力。 目前，监控技术正在向数字化、网络化、智能化方向发展。近几年来，数 字化网络视频监控系统在安防领域得到了广泛的使用，它主要采用以基于p c 平台的视频服务器为核心构建监控网络，这种系统具有人机界面良好、介质管 理方便的优点，但对操作系统的依赖性较强，性能不够稳定，维护费用高。在 这种背景下，以嵌入式视频服务器为核心的数字视频监控系统，由于其良好的 稳定性、实时性日益受到相关领域的青睐。针对目前视频监控系统存在的诸如 由于视频数掘量大导致的实时性差、网络易阻塞，以及基于p c 平台的视频监 控系统稳定性能不佳等问题，本论文设计了一个嵌入式网络视频监控系统。 1 2 视频监控系统发展概况与应用 视频监控的发展大致经历了以下过程：9 0 年代初以前本地模拟监控系统； 9 0 年代末，随着多媒体技术、视频压缩编码技术、网络通讯技术的发展、数字 视频监控系统迅速崛起。前者技术发展已经非常成熟、性能稳定并在实际工程 应用中得到广泛应用，特别是在大、中型视频监控工程中的应用尤为广泛，但 是建设投入较大；后者是以计算机技术、网络技术及图像视频压缩为核心的新 阴川大学颂 + 学位论空 型数字视频监控系统，该系统解决了模拟系统部分弊端，但仍需进一步完善和 发展。目前，视频监控系统正处在模拟系统与数字系统混合应用并将远渐向数 字系统过渡的阶段。现今市场上有两种数字视频监控系统类型，一种是以p c 式数字录像设备为核心的视频监控系统，另一种是以嵌入式视频服务器为核心 的数字化网络视频监控系统“。 1 模拟视频监控系统 模拟视频监控系统发展较早，主要由摄像机、视频矩阵、监视器、录像机 等组成，通过视频矩阵主机可以将来自摄像机的视频图像显示在监视器七，并 能用键盘进行切换和控制或将图像信息录像到磁带；远距离图像传输采用模拟 光纤，利用光端机进行视频的传输。由于系统视频信号的采集、传输、存储均 为模拟形式，因此质量较高。 经过几十年的发展，模拟视频监控系统的构成更加方便灵活、与其它技术 系统的接口趋于规范，人机交互界面更为友好，但由于图像信息采用视频电缆 以模拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控 图像一般只能在控制中心查看。其局限性还在于有线模拟视频监控无法联网， 只能以点对点的方式监视现场，使得靠线工程量极大，无法形成有效的报警联 动，因而模拟视频监控系统的扩展性较差。此外，有线模拟视频数掘的存储会 耗费大量的存储介质，查询取证时十分烦琐。 2 基于p c 平台的数字视频监控系统 随着数字视频压缩编码技术r 益成熟、计算机的普及化，2 0 世纪9 0 年代 中期，基于p c 平台的多媒体监控应运而生，常称之为第二代视频监控系统。 通过分和在监控现场的摄像机、报警传感器等设备，将捕获的图像信息或控制 信息经由各自的传输线路送至插有视频卡的p c 机或工控机。基于p c 平台的监 控服务器大多采用w i n d o w s 操作系统，它能提供图形界面兼有各种外部设备及 应用程序，系统的开发比较容易，具有界面友好，操作方便的特点，但w i n d o w s 系统庞大复杂，占用c p u 资源大，稳定性、可靠性较差。 其主要特点是：视频信号的传输、储存主要为数字形式，质量较高，系统 功能较强。它是第一代模拟监控系统升级实现数字化的可选方案，适合传统监 控系统的改造。然而，在实际工程使用过程中，也暴露出一些不足，主要是系 统稳定性不够好，结构复杂，抗病毒能力差；系统的功耗较高、成本高，维护 阴川大学硕卜学位论文 费用高。 3 基于嵌入式视频服务器的网络视频监控系统 在逻辑上整个系统分为：i j 端监视部分，中心控制部分。前端主要由摄像 机、云台和报警传感器等组成，实现对现场的监控，该部分主要完成图像和声 音的光、声电转换，并把视音频信号和控制信号传送到中心控制部分；中心控 制部分是该系统的核心设备，主要由嵌入式视频服务器组成，它采用嵌入式实 时多任务操作系统，通过专用芯片对前端采集到的视音频信号进行编码压缩， 并能完成对压缩后的视频信号的网络传输。视频需求者通过网络接收到压缩的 数据流后，可利用软件进行解码，在p c 机上进行显示和处理，也可利用分布 在网络上的服务器或其他类型的网络存储设备根据需要进行录像，由于没有监 控中心的概念，任何授权的用户都可根据权限进行视频监控，录像，甚至可以 控制摄像机、云台、镜头的动作或对系统配置进行操作啪。 由于这种系统的硬件同处理器和操作系统捆绑较为紧密、功能专一，因此 不像插专系统易受通用计算机系统中其它软件硬件的影响，性能上更加稳定， 且便于安装、维护，另外，采用嵌入式结构具有强大的病毒抗击能力，同时， 网络的实时性也大大提高。嵌入式视频监控系统与其它监控系统的比较，有这 样一些优点：布控区域广阔，系统具有几乎无限的无缝扩展能力，可组成复杂 的监控网络，性能稳定可靠，无需专人管理，维护费用低。 4 视频监控系统应用 视频监控系统主要有如下领域的应用：安防领域，主要包括安防涉及的重 要单位，如党政机关、军事设施、国家的动力系统、广播电视、通讯系统、国 家重点文物单位、银行、仓库、百货大楼等，而目前，视频监控也进入了越来 越多的智能小区、楼字和家庭；在军事、国防科研单位，以及边海防的军事区 域；工业用，对于生产领域如工厂、电力系统、水利系统、或条件艰苦不便监 视的环境，视频监控系统可以实时动态地报告被监测点的情况。 1 3 论文的研究内容与结构安排 根据嵌入式视频监控系统的技术需求和发展现状，论文设计了采用嵌入式 硼川大学坝卜学位论文 处理器芯片i b mp o w e r p c 4 0 5 和v w e b 公司的m p e g 4 视频编解码a s i c 芯片 v w e b 2 0 1 0 作为服务器硬件平台，以v x w o r k s 嵌入式操作系统作为服务器软件 平台的嵌入式网络视频监控系统。本文所做工作的重点： 1 对本嵌入式网络视频监控系统的总体进行设计，并对软硬件体系架构进 行阐述。由于嵌入式微处理器芯片及m p e g 4 编解码芯片是本系统的核 心部件，论文对这两款芯片的选型进行了讨论。 1 介绍嵌入式v x w o r k s 操作系统板级支持包的开发方法，并给出系统通信 方案的设计要点和选择的视频传输方式。 2 对本系统涉及的m p e g 的相关层进行分析，进而对具体的解压过程进行 研究。 3 对v w e b 芯片编码生成的系统流的进行拆分，将其分解为压缩的视频流 和音频流，介绍视频处理模块、音频处理模块的实现方法，对开源软件 x v i d 的p 帧在d l 格式下的解压问题进行程序校正。 4 对客户端播放器进行设计开发与调试。 论文共分为五章，其余章节安排如下： 第二章对嵌入式视频监控系统涉及的相关技术：压缩技术、嵌入式技术以 及通信技术进行了阐述。 第三章对本嵌入式网络视频监控系统的总体进行了设计，讨论了软硬件体 系结构。并对选用的嵌入式处理器芯片、m p e g 4 视频编解码芯片及嵌入式操作 系统进行了阐述，介绍了v x w o r k s 的开发环境，并给出了板级支持包的开发方 法。分析了系统的通信方案、选用的服务器与客户端之问的视频传输方案。 第四章对本嵌入式系统使用的m p e g 技术进行了阐述，详细分析了 m p e g 4 视频层、m p e g - 2 系统层、m p e g 1 音频层的比特流结构，以及具体的 解码过程。 第五章是本系统客户端播放器的软件分析单元，首先对相关的d i r e c t s h o w 、 多线程技术进行了介绍，在讨论了两种可用的播放方案后，鉴于本系统客户端 播放器的实际需求，采用了直接利用d i r e c t d r a w 和d i r e c t s o u n d 处珲解码后视 频、音频流的播放方案。在此基础上，分别对音视频流的拆分单元、音视频解 码单元以及播放单元的程序实现做了介绍，并给出了测试结果。 4 网川大学碗卜掌竹论文 2 嵌入式视频监控系统的相关技术 2 1 压缩技术 2 1 1 压缩的分类 随着数据压缩技术的日臻成熟，适合于各种应用场合的编码方法不断产生。 有的着重执行速度、有的着重压缩比或特殊功能等不一而足。目前常用的压缩 编码方法可分为两大类：一类是无损压缩法；另一类是有损压缩法。 其中，无损压缩是一种压缩再解压缩后不会产生任何误差的演绎法。即使 用压缩后的数据进行重构，重构后的数据与原来的数据完全相同；无损压缩用 于要求重构的信号与原始信号完全一致的场合。在无损压缩中，数据在压缩或 解压缩过程中不会改变或丢失，解压缩后能得到原始对象的完整恢复。文本压 缩是无损压缩的一个很好例子，因为文本文件、电子表格、数据库文件和程序 可执行文件通常都含有重复的字符序列，压缩技术能够节省磁盘空日j ，当解压 缩后，重复的字符又恢复原位，这种方法没有信息损失。其它例如运用f 传真 机的j b i g 及在w e b 上采用的g i f 都足无损压缩的例子。两种重要的无损压缩 算法：( 1 ) h u f f m a n 编码，霍夫曼编码的基本思想是将短码字安排给出现概率高 的输入块，而将长码字分配给出现概率低的输入块。具体做法是：首先把所有 字符按概率降序排列，然后由下至上构造一棵树，每片叶子放一个字符，然后 由树来决定每个字符的码字。( 2 ) l z w 编码，l z w 是一种基于字典方法的压缩 算法。l z w 编码是围绕称为词典的转换表来完成的，这张转换表用来存放称为 前缀的字符序列，并且为每个表项分配一个码字，这张转换表实际上是把8 位 a s c i i 字符集进行扩充。l z w 编码器就是通过管理这个词典完成输入与输出之 日j 的转换。 而有损压缩是一种压缩再解压后产生误差的演绎法。即使用压缩后的数据 进行重构，重构后的数据与原来的数据有所不同。由于人类听觉视觉系统的特 性( 对于诸如声音或图像等连续讯号源之些微的误差，无法在有限的时日j 内有 效的察觉) ，运用有损压缩来做图像压缩不但可以获得不错的压缩比，也可以兼 删川犬学颂卜学位论文 顾不错的品质，因此，这种方法在压缩图像、电影或声音时较为理想。适用于重 构倍号不一定非要和原始信号完全相同的场合，如j p e 6 、m p e g 等演绎法就足有 损压缩。通用压缩编码标准有：( 1 ) p e g ，由i s o 和c c i t t 共同制定，1 9 9 1 年产尘了第一个j p e g 草案。它是用于彩色和灰度静止图像的一种完善的有无 损压缩方法。它对相邻像索颜色相近的连续色调图像效果也很好。其优点之一 时采用了很多参数，使用户能在很宽得范围内调整数据损失的总量。( 2 ) m p e g ， 是指一组由i t u 和i s o 制定发布的一系列压缩标准，包括对数字图像、声音以 及两者同步信号的压缩。最显著优点就是兼容性好、压缩比高、数据失真小。 2 1 2 视频压缩 视频图像数据具有极强的相关性，也就是说含有大量的冗余信息。压缩技 术就是将数据中的冗余信息去掉，视频压缩一般是有损的，它基于两个因素：( 1 ) 每帧图像的空间冗余度，基于相邻像素值的相关性。( 2 ) 近邻帧之间的时l 日j 冗余 度，基于视频图像中连续帧的相关性0 1 。因此，在视频压缩中使用的技术主要 有去除时域冗余技术和去除空域冗余技术，其中，去除时域冗余技术使用帧问 编码技术去除时域冗余信息，主要包括运动补偿和运动估计，运动补偿就是通 过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的 有效方法，i f i 亍运动估计则指通过估计物体的位移值，得到运动矢黾的过程。去 除时域冗余技术主要使用帧内编码技术和墒编码技术去除空域冗余信息，主要 包括变换编码、量化编码及熵编码，变换编码将空域信号变换到另一j 下交矢苣 空日j ，使其相关性下降，从而使数据冗余度减小。熵编码是无损编码，它对变 换、量化后得到的系数和运动信息，进行进一步的压缩。 2 1 3 m p e g 标准介绍 m p e o 1 制定于1 9 9 2 年，为工业级标准而设计，可适用于不同带宽的设各， 如c d r o m 、v i d e o c d 。它可针对c i f 标准分辨率的图像进行压缩，传输速率 为1 5 m b i t s s e e ，每秒播放3 0 帧，具有c d 音质。m p e g 1 的编码速率最高口丁 6 啊川大学顾十学位论文 达4 - 5 m b i t s s e c ，但随着速率的提高，其解码后的图像质量有所降低。m p e g 2 也被用于数字电话网络上的视频传输，如非对称数字用户线路、视频点播以及 教育网络等。 i v l p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图像质量以及更高的 传输率。m p e g 2 所能提供的传输率在3 1 0 m b i t s s e c 间，其在n t s c $ i 式下的分 辨率可达7 2 0 * 4 8 6 ，也可提供广播级的视像和c d 级的音质。m p e g 一2 还用于为广 播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。m p e g - 2 的 另一特点是，它能提供一个较广的范围的压缩比，以适应不同画面质量、存储 容量以及带宽的要求。 m p e g - 4 是一个真正的多媒体制作、编码和传送标准。它采用了基于对象 的压缩编码技术，这样便于操作和控制对象，而传统的压缩方法是基于帧的， 显然无法对对象进行操作。基于对象的处理技术极大地方便了交互式多媒体业 务的构建。另外，m p e g - 4 在扩展性上具有很好的灵活性，可进行时域和空域 的扩展，这在m p e g 2 种也有体现，但并不很突出。m p e g - 4 广泛应用于实时视 频会议系统、视频监控系统、因特网视音频广播、数字电视等吲。 2 2 嵌入式技术 嵌入式系统足以应用为中心，软硬件可裁减的，适应于应用系统对功能、 可靠性、成本、体积等性能有严格要求的专用计算机系统。嵌入式系统主要由 嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件系统等组成，是集 软硬件于一体的可独立工作的“器件”。硬件以芯片、模板、组件、控制器形式 埋藏于设备内部，软件则是实时多任务操作系统和各种应用软件，一般固化在 r o m 或闪存中。 嵌入式系统要完成复杂的功能，不能像普通单片机那样直接从底层开始编 写所有程序，必须采用底层的操作系统，在此基础上来完成复杂的应用软件设 计。由于嵌入式系统对自身资源的限制，因而不能像普通p c 机的操作系统如 w i n d o w s 那样庞大，同时还必须是实时多任务操作系统。此外，嵌入式处理器 的种类繁多，嵌入操作系统为此需要支持多种不同处理器体系结构的众多处理 器。 阴川人学倾卜学位论文 2 3 系统中涉及的通信技术 2 3 1 t c p i p 协议 网络视频监控系统是在基于t c p i p 协议的通信网基础上运行的，因此 t c p i p 协议是系统的核心协议之一。 在t c p i p 协议组件中，网络层功能是处理来自传输层的分组发送请求，然 后将数据报发往适当的网络接口。网络层i p 提供不可靠、无连接的数据报传送 服务。 t c p 和u d p 作为运输层协议，二者都使用i p 作为网络层协议。虽然t c p 使用不町靠的i p 服务，但它却提供一种端对端面向连接的、可靠的字节流服务。 面向连接对可靠性的保证首先是它在进行实际数据传输前，必须在信源信宿端 建立一条连接，其次，面向连接传输的每一个报文都须接受端确认。而流足一 个无报文丢失、重复和失序的正确的数据序列，流相当于一个管道。t c p 通过 下列方式来提供可靠性：确认机制、超时重传机制、流量控制、拥塞控制。但 t c p 协议为实现流传输，也付出了大肇开销。在t c p m 建立一个连接后，t c p 协议将确保数据按顺序而无重复，最后终止连接，在应用程序中通过套接字使 用t c p 协 义进行数据传输“”。 与t c p 协议不同，u d p 协议提供无连接、不可靠的数据报服务，但其高效 率使其有广泛的应用。这是因为u d p 传输的附加信息很少，其丌销比面向连接 的传输要少，因此适合于实时性要求较高的场合。u d p 还具有广播和多播的特 性。 2 3 2 实时传输协议r t p r t c p 实时传输协议r t p 是在i n t e m e t 上处理多媒体数据流的一种网络协议，利用 它能够在单播或者多播的网络环境中实现流媒体数据的实时传输。r t p 通常使 用u d p 来进行多媒体数据的传输，但如果需要的话也可以使用t c p 或者a t m 等其它协议。r t p 协议的设计目的是提供实时数据传输中的时日j 戳信息以及各 数据流的同步功能。r t p 本身并不能为按序传输数据包提供可靠的保证，也不提 8 四川大学硕 ，学付论文 供流量控制和拥塞控制，这些都由实时传输控制协议r t c p 来负责完成。实时传 输控制协议r t c p 能够监控r t p 的服务质量和网络拥塞程度，收集在一个r t p 会话中参与者的状态，并跟踪r t p 源。 通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码 的一部分。当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个 给r t c p 。r t c p 和r t p 一起提供流量控制和拥塞控制服务。在r t p 会话期j 日j ， 各参与者周期性地传送r t c p 包。r t c p 包中含有已发送的数掘包的数量、丢 失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输 速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们能以有效的反馈和最 小的开销使传输效率最佳化，因而特别适合传送网上的实时数据1 。 9 阴j i l 大学i 碗卜学位论丈 3 嵌入式网络视频监控系统总体设计 3 1 总体设计思想 本嵌入式网络视频监控系统在构架上是由两个核心部分组成的，一部分是 分向在监控现场的嵌入式视频服务器( 或数字硬盘录像机d v r ) ；另一部分是 在远程实施监控的客户端；两部分间通过局域网或广域网互联。具体结构如图 3 1 所示： 监控现场 嘲络 客户靖 之三一 厂订 r 赢w i i 幽3 1 嵌入式网络视狠监控系统绪柯 其中嵌入式视频服务器可同时与多个数据采集设备( 如摄像机和拾音器) 相连，并将摄像机和拾音器采集到的模拟音视频信号进行数字化、网络化的处 理，从而生成基于网络协议的编码视频流，视频流能通过网络进行传输，客户 端的视频需求者调用播放器将接收到的视频码流进行解码播放，从而完成远端 的实时监控或视频回放。 本视频监控系统能够完成的功能主要有：视频实时压缩、本地录像存储、 实时网络传输、实时多路监控、录像资料回放、网络报警功能以及远端管理控 1 0 网川大学硕f 学位论文 制。具体地，本系统能够对多路图像进行现场实时监控，需要时可按下录像按 钮，启动必要的录像功能。录像获得的图像资料以文件格式保存在硬盘中，并 将该文件的索引信息如通道号、录像起止时间写入硬盘。嵌入式视频服务器通 过专门的服务程序能够迅速检索到以时间、镜头为索引信息存储的录像文件， 并支持远程查询录像资料，使客户端能够将需要的录像资料下载到本地，并通 过调用号用的播放器软件对录像文件进行回放。此外，本系统还能实现远程参 数控制，如调节每路图像的对比度、色度、亮度等参数，或对分辨率进行调整。 3 2 嵌入式视频服务器硬件结构设计 嵌入式网络视频服务器在硬件架构上主要包含音视频采集模块、m p e g 一4 视 频编解码模块、嵌入式微处理器模块、硬盘控制器模块、系统存储模块、网络 接口模块、报警模块以及串口和u s b 接口模块，系统硬件结构如图3 - 2 所示。 具体地，音视频采集模块主要负责模拟音视频信号的采集。经由前端电路处理， 然后由相应的a d 转换器转换为数字视频、音频信号，即将采集来的模拟音视 频信号转换为编码芯片能够识别的格式。m p e g - 4 视频编解码模块将数字视频 信号硬件压缩为符合m p e g - 4 标准的数据码流，然后经嵌入式微处理器打包进 行网络传输或者直接在本地进行存储。而嵌入式微处理器模块则实现对系统数 据流向的控制以及外围模块的控制和管理。系统存储模块包括系统s d r a m 存 储器、f l a s h 存储器及r o m 存储器。另外，网络接口模块提供标准l o 1 0 0 4 b p s 网络接口。报警模块包括8 个报警采集口，四个报警驱动口。系统还提供了u s b 接1 ：3 、串口以及r s 4 8 5 控制口。其中，f l a s h 存储器作为系统的启动存储器， 用来存储操作系统b o o t 程序、嵌入式操作系统以及应用程序。s d r a m 存储器 不具有掉电保持数据的特性，但其存取速度大大高于f l a s h 存储器，且具有 单位空问存储容量大、价格便宜的优点，广泛应用在嵌入式操作系统中，作为 程序的运行空间、数据及堆栈区使用”1 。 四川大学硕十学位论文 圈3 - 2 硬件结构圈 嵌入式视频服务器的功能是音视频数据的采集、压缩、传输、控制及刻录， 具体地，由摄像头、拾音器采集到的视频、音频信号经过音视频采集模块、m p e g 一4 视频编解码模块的处理，生成符合m p e g 4 标准的数据码流。压缩后的数掘码 流通过内部p c i 总线送到嵌入式微处理芯片；嵌入式操作系统运行在嵌入式微 处理器平台之上，而运行在嵌入式操作系统上的服务器应用程序使用u d p 协议 将压缩数据打包，并通过以太网接口送至网络，以便网络客户端访问。 3 2 1 微处理器芯片的选择 嵌入式微处理器芯片作为嵌入式视频监控系统硬件平台的核心部件，其性 能和功能直接影响着整个系统的设计。尤其对于在功能和实现上有严格要求的 嵌入式实时系统，在选择时，不仅要考虑该芯片的功能足否能满足系统的需求， 还需考虑它能否服从能耗、散热等方面的限制要求，在满足安全性与j 丁靠性要 1 2 州川大学颂卜学位论史 求的同时，结合设计系统对于成本的要求进行选取。目前，嵌入式微处理器芯 片主要有：p o w e r p c ，m i p s ，a r m 系列等。其中m i p s 具有6 4 b i t 高性能核，功耗较 大：a r m 具有低能耗的特点，适用于无线局域网、手机终端、有线网络通信设备 的应用。而p o w e r p c 贝q 在高速与低功耗之间作了妥协，并集成了丰富的外围电 路接口，具有可伸缩性好、方便灵活的特点，适用于低延时高通鼍的现场应用 需求，从而能够满足高端嵌入式系统计算的需要。通过性价比等各方面的比较， 选用了基于p o w e r p c 架构的芯片作为本系统的微处理器芯片。 i b mp o w e r p c4 0 5 芯片是高度集成的片上系统，在可以很好运行操作系统 的同时，还支持网络设备并控制整个系统。其内部包含3 2 位r i s c 的p o w e r p c 内核及完整的集成外设，适用于高性能的嵌入式应用。集成的p c i 主控制器， s d r a m 控制器，两个以太网e l 及强大的d e b u g 功能为系统设计者提供了广阔 的片上资源选择。它带有8 k 字节回写缓冲的低功耗c p u ，并具有s d r a m 控 制器，支持1 3 3 m h z l 6 位、3 2 位s d r a m 。集成的p c i 主桥控制器提供了3 3 m h z 、 6 6 m h z 的3 2 位p c i 总线操作。同时，外部总线控制器支持r o m 、e p r o m 、 s d r a m 、f l a s h 等外部存储器。此外，d m a 控制器具有4 个独立的通道，支持 在s d r a m 、p c i 总线、内部u a r t 及外部存储器之间进行数据传送。 鉴于以上特性，m mp o w e r p c4 0 5 芯片能够满足视频采集、压缩和网络传 输的高数掘传输率的要求，因此可以作为本系统服务器的微处理器芯片。 3 2 2 音视频编解码芯片的选择 m p e g 4 作为一种新的视频压缩标准，具有低传输码率、低带宽等特点， 适用于网络视频传输，是目前监控系统的主流压缩技术之一。而采用m p e g - 4 视频压缩技术的嵌入式视频监控系统，对于音视频编解码芯片的选择主要有两 种方案。一种是基于d s p 芯片的方案，这种方案的特点在于其性价比高、方案 灵活，同时由于d s p 软件可方便进行重新编程，因而可以满足不同领域的具体 应用需求，但m p e g 4 的软件开发包成本较高。另一种是基于a s i c 芯片的方案， 这种芯片的功耗较d s p 芯片低，同时具有开发周期短的特点，但是方案不灵活。 鉴于本嵌入式视频监控系统对于成本和开发时日j 的具体要求，对于音视频 m p e g - 4 编解码选择了基于a s i c 芯片的方案。目前，市面上基于a s i c 芯片的 删川大学唢j 。学位论文 音视频m p e g - 4 编解码芯片主要有以下几种：( 1 ) w i s 公司g 0 7 0 0 7 芯片，此 款芯片在监控领域应用较广，它在架构上趋于简化，报价也较为低廉，但仅实 现了部分的m p e g 4 算法，并且不具备音频的压缩功能。( 2 ) i n t i m e 公司 i m e 6 4 0 0 芯片，它能同时支持m p e g - l 、m p e g - 2 和m p e g - 4 算法，但不具备 音频的压缩功能，在处理音频信号时，需要用软件压缩音频，这样很难达到旨 视频同步。( 3 ) v w e b 公司v w 2 0 1 0 芯片，这是一款实时的音频视频编解码芯 片，能够将输入视频压缩为m p e g - 1 、m p e g - 2 、m p e g - 4 格式，并将奇频信号 压缩为m p e g 1 、m p e g 。2 的音频格式。 通过对以上芯片的特点进行比较，以及v w 2 0 1 0 芯片较高的性价比和很好 的实用性，本系统选用了v w e b 公司的v w 2 0 1 0 作为系统硬件平台中另一核心 单元。该芯片片内集成有3 个信号处理单元，包括一个视频编码器、一个视频 解码器和一个片内c p u ，因为每个信号处理单元都由一个r i s c 处理器和号用 的硬件加速器构成，因此具有可编程、商性能和低功耗的特点。此外，视频编 码器内部还集成了一个专用的s d r a m 控制器，在系统上电时，视频编码器的 固件程序可由外部主机载入s d r a m ，而片内c p u 的固件程序也可载入v w 2 0 1 0 外挂的s d r a m 。芯片的主机接口采用标准p c i 接口，为了使编码性能达到最 佳，v w 2 0 1 0 内部还集成了一个d m a 控制器，使得芯片在对音视频压缩数据进 行打包处理后，能通过主控d m a 的方式将音视频码流送入内存。另外，芯片 还提供了与p h i l i p s 公司兼容的1 2 c 总线，从而可以方便地对外围芯片进行控制。 3 2 3 其它芯片的选择 本系统主板选用了一片a m 2 9 l v 0 4 0 bf l a s h 存储器用来存储操作系统的 b o o t 程序，容量为5 1 2 k * 8 b i t 还选取