（信号与信息处理专业论文）多路远程监控系统（客户端）的设计与实现.pdf

摘要 摘要 视频监控系统以其直观、方便、信息内容详实被广泛应用于生产管理、保安等 场合，成为金融、交通、商业、电力、公安、海关、国防，乃至住宅社区等领域 安全防范监控的重要手段。随着i n t e r n e t 和监控技术的迅速发展，视频监控的网 络化已成为当今研究的热点之一和主要的发展趋势。 本文课题以室内监控为背景，构建了一个基于c l i e n t s e v e r 结构的远程视频 监控系统。本系统综合利用网络通信技术、多媒体技术以及自动控制技术，服务 器主机集数据采集、实时播放、存储报警、设备控制和网络通信等多种功能于一 身，最多可以支持1 6 路视频的实时监控。远端客户软件是远端p c 用户进行实时 监控、对服务器进行远程控制的工作平台。 由于软件的规模较大、结构比较复杂，客户端软件涉及到的知识面较多。本文 首先介绍了监控系统的背景，然后用两章对于课题涉及到的多媒体通信技术、m p e g 一4 视频标准、网络编程技术和d i r e c t s h o w 编程技术的技术基础做出了简单的分 析和介绍。第四章和第五章是本文的核心部分，即客户端软件设计的具体实现和 调试分析，是本人在项目中主要负责的工作，主要包括以下内容： ( 1 ) 客户端软件各个功能模块的划分。 ( 2 ) 双缓冲的设计，提出了一种根据码率自适应设定播放阈值的策略，很大 程度改善了局域网抖动及延迟对于视频图象的影响。 ( 3 ) 利用d i r e c t s h o w 框架进行m p e g 一4 文件和实时流播放，包括f i l t e rg r a p h m a n a g e m e n t 和各个f i l t e r 的具体实现。 ( 4 ) 使用v b 实现友好的工作界面，下层v c 程序打包动态连接库，提供接口 函数供上层界面调用。 ( 5 ) 基于背景的运动目标检测，有效识别前景目标，提供自动报警信息。 ( 6 ) 对系统进行调试分析，就实验过程中遇到的问题，讨论相应的解决方案。 经过与硬件平台联调，本系统在局域网环境下，传输稳定，视频流回放实时、 流畅、清晰，取得了不错的监控效果。 最后，论文对客户端软件进行了总结，并提出一些改进建议。 关键词： 远程监控系统，s o c k e t ，u d p t c p i p ，r t p r t c p ，m p e g 一4 ，d i r e c t s h o w ，c o m a b s t r a c t a b s t r a c t p r o v i d i n gp e o p l ei n t u i t i o n i s t i e ，c o n v e n i e n ta n da b u n d a n ti n f o r m a t i o n ， v i d e om o n i t o r i n gs y s t e m sh a v eb e e nw i d e l yu s e di np r o d u c t i o nm a n a g e m e n t ， e n s u r i n g p u b l i cs e c u r i t ya n ds oo n t h e yh a v e a l s ob e c o m e a ni m p o r t a n t m e a s u r eo fs e c u r i t ym o n i t o to nf i n a n c e ，t r a f f i c ，b u s i n e s s ，e l e c t r i cp o w e r ， p o l i c e ，t h ec l q ，n a t i o n a ld e f e n s e ，c o m m u n i t y ，e t c w i t h t h er a p i d d e v e l o p m e n to fi n t e r n e ta n dm o n i t o r i n gt e c h n o l o g y ，n o w a d a y s ，t h e r ea r e m o r e a n dm o r ep e o p l et h a tf o c u so nv i d e om o n i t o r i n go ni n t e r n e ta n di th a v ea l s o b e c o m eam a i n l yd e v e l o p m e n tt r e n do fm o n i t o r i n gt e c h n o l o g y o nb a s i so fm o n i t o r i n gs y s t e mi nt h ei n d o o rm o n i t o r i n ga p p l i c a t i o n ，t h e p a p e r c o n s t r u c t sar e m o t em o n i t o r i n gs y s t e mb a s e do nc 1 i e n t s e v e r a r c h i t e c t u r e s y n t h e s i z i n gt h et e c h n o l o g y o fn e t w o r kc o m m u n i c a t i o n ， m u l t i m e d i aa n da u t oc o n t r o l ，t h es e r v e rp r o v i d em a n yf u n c t i o n ，s u c ha sd a t a c a p t u r i n g ，r e a lt i m ed i s p l a y i n g ，s t o r a g ea l a r m i n g ，d e v i c ec o n t r o l l i n ga n d n e t w o r kc o m m u n i c a t i o ne t c ，w h i c hs u p p o r t ss i x t e e nm o n i t o r i n gc h a n n e l sa t t h em o s t t h ee n d i n gc l i e n ts o f t w a r ei st h ep l a t f o r mo fp cu s e r sw h op e r f o r m r e m o t em o n i t o r i n ga n d1 0 n gd i s t a n c ec o n t r o lo ns e r v e r b e c a u s eo fb i gs i z ea n dc o m p l e xs t r u c t u r e ，t h es o f t w a r et o u c h e sm u c h k n o w l e d g e t h ep a p e ri n t r o d u c e st h ea p p l i c a t i o nb a c k g r o u n do fm o n i t o r i n g s y s t e m ，t h e n t h ef o l l o w i n gt w oc h a p t e r sd i s c u s s e st h em u l t i m e d i a t r a n s m i s s i o n ，m p e g 一4s t a n d a r d ，n e t w o r kp r o g r a m m i n gt e c h n o l o g ya n d d i r e c t s h o wp r o g r a m m i n gt e c h n o l o g y t h ef o u r t ha n df if t hc h a p t e r sa r et h e c o r ep a r t so ft h ep a p e r ，a b o u tt h ei m p l e m e n t i n g ，d e b u g g i n ga n da n a l y s i s ， m o s t l yi n c l u d i n gf o ll o w i n gc o n t e n t s ： ( 1 ) s e p a r a t i n gt h ef u n c t i o nm o d u l e so fc l l e n ts o f t w a r e ( 2 ) d e s i g nd u a l b u f f e r s ，b r i n gas e l fa d a p t i n gs e t t i n gw a yo fp l a y i n g t h r e s h o l dv a l u e ，w h i c hc a ni m p r o v et h ei n f l u e n c eo fn e t w o r kd i t h e r i n g d e l a y i n go nv i d e o ( 3 ) b yd i r e c t s h o wf r a m e w o r k ，p l a yt h em p e g 一4f i l ea n dr e a l t i m em e d i a s t r e a m ，i n c l u d i n gd e s i g n i n gt h ef i l t e rg r a p ha n ds e v e r a lf i i t e r s ( 4 ) i m p l e m e n tu p p e r i n t e r f a c ep r o g r a mb yv b u n d e r a p p l i c a t i o ni s a b s t r a c t d e s i g n e db yv ca n dp u b l i s h e da sd l l ( 5 ) i d e n t i f ym o v i n go b j e c tb ys u b t r a c t i n gb a c k g r o u n d p r o v i d i n g a u t o a l a r m i n gi n f o r m a t i o n ( 6 ) t e s t i n ga n da n a l y z i n gt h em o n i t o r i n g s y s t e m ，d i s c u s s i n g t h e c o r r e s p o n d i n gr e s o l v i n gw a yo fp r o b l e m s a tl a s t ，t h ep a p e rs u m m a r i z e st h ec l i e n t s o f t w a r e ，a n dp r o p o s e ss o m e b e t t e r m e n ta d v i c e a f t e rj o i n e d t e s tc o n n e c t i n gw i t hh a r d w a r e ，t h es o f t w a r e s y s t e mg e t b e t t e rm o n i t o r i n ge f f e c t ，p r o v i d i n gs t a b l et r a n s m i s s i o na n dr e a l t i m ev i d e o p l a y b a c kw h i c hjsc l e a ra n df l u e n t k e yw o r d s ： r e m o t em o n i t o r i n g s y s t e m ，s o c k e t ，u d p t c p i p ，r t p r t c p ，m p e g 一4 ， d i r e c t s h o w ，c o m i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特j l j ；l s l ：l 以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名“霸鲻缝日期：文。睁f 月8 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名- ( 翌型蔓导师签名： 日期秽护搿 第一章引言 第一章引言 视频监控是安全防范系统的总要组成部分，它是一种防范能力较强的综合系 统。视频监控系统以其直观、方便、信息丰富而广泛应用于金融、邮电、电力、 交通、商业、旅游、公安、军事、医疗、工矿等国家的重要部门，发挥着重要的 作用。近年来，在计算机网络传输技术和视频压缩技术的推动下，视频监控系统 更是取得了长足发展。 1 1 监控系统的发展历程 视频监控系统经历了本地模拟信号监控系统、基于p c 插卡的数字监控系统、 基于嵌入式技术的网络数字监控系统等发展过程。 1 1 1 模拟视频监控系统 在二十世纪九十年代以前，主要是以模拟设备为主的闭路电视监控系统，称 之为模拟视频监控系统，它是随着模拟技术和摄像机的出现发展壮大的。这种监 控系统主要由摄像机、视频矩阵、监视器、录像机等组成，由视频电缆、控制电 缆进行连接。 模拟视频监控系统由前端设备，控制中心两个部分组成。前端设备包括摄像 机、云台、解码器等；监控中心包括监视器( 电视墙) 、视频分配器、切换矩阵、 控制键盘、录像机等。系统采用模拟方式传输，使用电缆为传输介质，传输距离 不能太长，主要应用于小范围内的监控。监控图象一般只能在本地控制中心通过 监视器观看，监控图象由录像机录制并实现回放。 模拟监控系统的优点为： ( 1 ) 经过几十年的发展，设备品种多，技术成熟，系统成本较低： ( 2 ) 视频、音频信号的采集、传输、存储主要为模拟形式，质量最高。 模拟视频监控系统曾经被应用于众多领域，如今在监控领域依然发挥着重大 的作用，但由于在应用中出现了许多不便的地方，正逐渐被用户淘汰。 模拟监控系统的缺点为： ( 1 ) 系统组网困难，施工难度大，需要铺设“视频”、“音频”、“控制”等线 路，不易扩容： 电子科技大学硕士学位论文 ( 2 ) 系统功能单一，升级困难，录像资料不易保存和查找 ( 3 ) 模拟信号传输衰减大，不适于远距离。 1 i 2 基于p c 插卡的数字监控系统 九十年代中期，随着计算机处理能力的提高和视频技术的发展，人们利用计 算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实现图 像的多画面显示，从而大大提高了图像质量，于是出现了基于p c 插卡的数字监控 系统。 基于p c 机的视频监控系统由p c 机插视频卡构成，在监控现场，有若干个摄 像机、各种检测、报警探头与数据设备，通过各自的传输线路，汇接到监控终端 机上，该终端可以是一台p c 机，也可以是专用的工控机。除了处理各种信息和完 成本地所要求的各种功能外，系统利用视频压缩卡和通信接口卡，通过网络将信 息传到一个或多个监控中心。 基于p c 插卡的数字监控系统的优点为： ( i ) 前端设备与模拟监控系统相同，所不同的是利用视频采集卡通过进行量 化、压缩、编码等手段将模拟的视频、音频信号数字化，并在p c 上实现多画面显 示、切换、控制、录像、录像回放等功能，简化了监控中心的设备，系统功能较 为强大、完善； ( 2 ) 可适用于任意的地理范围，与信息系统可以交换数据： ( 3 ) 视音频信号的采集、传输、存储主要为数字形式，质量较高，适合于模 拟系统的数字化改造，录像资料易于存储和查找： ( 4 ) 基于p c 的视频监控系统终端功能较强，伸于现场操作，应用灵活性较 好； 基于p c 插卡的数字监控系统的缺点为： ( 1 ) 视频前端( 如c c d 等视频信一号的采集、压缩、通讯) 较为复杂，可靠性 不高； ( 2 ) p c 机也需专人管理，特别是在环境或空间不适宜的监控点，这种方式不 理想，不适用于无人值守场所。 i i 3 基于嵌入式技术的网络数字监控系统 2 第一章引言 直到九十年代术，随着计算机、网络、通信技术的日趋成熟以及各种实用视 频处理技术的出现，基于嵌入式的网络监控系统随之诞生。这种视频监控系统以 网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像 分析为特色，引发了视频监控行业的技术革命，它不仅符合社会信息化整体的未 来发展趋势，而且也代表了监控行业的未来发展方向。 在基于嵌入式系统的监控应用结构中，前端将模拟视频经过数字化、压缩、 打包等过程变成基于网络协议的视频流或采用一体化的网络摄像机，在视频监控 的前端完成网络化、数字化，有些还内置了一个嵌入式的w e b 服务器，视频流通 过网络进行传输，发送到视频需求者。视频的使用者可利用软件进行解码，在p c 机上进行显示和处理，也可通过硬件解码，解出模拟视频信号输出到监视器，利 用键盘进行控制，利用分布在网络上的服务器或其他类型的网络存储设备根据需 要进行录像，利用网管系统代替视频矩阵。由于没有监控中心的概念，任何授权 的用户都可根据权限进行视频监控、录像。 这种监控系统具有以下特点： ( 1 ) 布控区域广阔：基于网络视频服务器的视频监控系统，视频服务器端直 接连入计算机网络，没有线缆长度和信号衰减的限制，扩展了布控区域； ( 2 ) 系统具有几乎无限的无缝扩展能力：所有设备都以网络设备的形式存在， 通过i p 地址进行标识，增加设备只是意味着i p 地址的扩充； ( 3 ) 可组成非常复杂的监控网络：采用基于网络视频服务器为核心的视频监 控系统，在组网方式上与传统的模拟监控和基于p c 平台的监控方式均有极大的不 同，由于网络视频输出已完成模拟到数字的转换并压缩，采用统一的协议在网络 上传输，支持跨网关、跨路由器的远程视频传输； ( 4 ) 性能稳定可靠，无需专人管理：网络视频服务器可采用多任务操作系统， 可以直接连入局域网或广域网，即开即看，无需专人管理，非常适合于无人值守 的环境； ( 5 ) 带宽要求随监控对象数目的增长而增长：当监控用户需要同时观看较多 摄像机产生的图像时，对网络带宽就会有一定的要求。 1 2 课题来源及课题任务 本课题源于四川绵阳九洲电子有限公司与我校合作的数字监控系统项目。该 监控系统建立在嵌入式操作系统之上，可以完全脱离p c 平台，同时具备数字视频 电子科技大学硕士学位论文 录像机( d v r ) 和数字视频服务器( d v s ) 的功能，支持远程控制和回放。本人的工 作就是编写调试客户端的界面和视频回放软件。 1 3 论文的主要内容和结构安排 如上所述，本文的主要内容是监控系统客户端软件的实现。论文第二章介绍 了本系统用到的视频编码标准m p e 6 4 和w i n d o w s 平台下多多媒体回放方案 d i r e c t s h o w ；第三章介绍了视频传输的一些基本技术、网络协议和s o c k e t 编程模 型。这两章是软件设计的所遵循的基本技术。第四章介绍了软件的具体实现，包 括界面、缓冲区的设计、命令控制和视频的回放及报警。第五章介绍软件的调试 以及测试分析；第六章是本人对项目的一些改进意见。 1 4 小结 本章讨论视频监控系统的特点及发展历程，介绍了项目课题的来源及本人所 负责的工作，最后对说明论文的主要内容及结构。 4 第二章m p e g - 4 视频标准及d i r e c t s h o w 编程技术 第二章m p e g - 4 视频标准及d ir e c t s h o w 编程技术 推动视频应用的一个核心技术就是数字图象视频压缩技术的飞速发展，压缩 图象与视频信源数据的出发点是去除各种冗余信息，以降低表示图象与视频所需 的数据量。m p e g 一4 于1 9 9 2 年初成为正式的国际标准，它由i s o i e c 中的运动图象 专家组( m p e g ：m o v i n gp i c t u r ee x p e r tg r o u p ) 制定，与先前的m p e g 一4 和m p e g 一2 相比，m p e g 一4 压缩率更高、更加注重多媒体系统的交互性和灵活性，因而在数 字监控系统中得以广泛应用。 在本系统中，客户端的程序是基于w i n d o w s 平台的，微软公司的d i r c e t s h o w 由于具有高效的流媒体数据处理能力及设备无关性，成为视频回放的最佳方案。 2 1m p e g 一4 视频标准概述 m p e g 一4 视频标准由一系列的工具组成，它们通过支持几类功能描述来实现应 用。m p e g - 4 标准这些重要的特性可归纳为三类： ( 1 ) 高压缩率 压缩效率使诸如d t v 和d v d 之类的应用成为可能，改进候的编码效率和多分 辨率数据码流将使基于m p e g 一4 标准的应用得到很大的发展。 ( 2 ) 基于内容的交互 这是m p e g - 4 贡献的最重要的新技术，基于对象的有效表示、对象操作、数据 流编辑和基于对象的可分级性可以实现进一步的内容交互。 ( 3 ) 通用的存取 m p e g 一4 具有很强的容错性能，这似的它可以广泛应用在媒体中，例如有线网 和无线网。另外，基于对象的时域和空域可分级性允许用户决定在自己需要的时 候使用稀少的资源。这些资源可以是可用带宽，也可以是预算能力或能耗。 m p e g 一4 视频比特流提供了一种视觉场景的层次描述，如图2 1 所示。在比特 流中，该层次结构中的每一级可以设定特定的代码之( 开始代码) 进行访问。 视频对象序列( v o s ：v i s u a lo b j e c ts e q u e n c e ) 是指完全的m p e g 一4 场景，它 可以包含任意2 d 或3 d 的自然或合成对象以及对应的增强层。 视频对象v o ( v i s u a lo b j e c t ) 对应场景中一个特定的2 d 对象，它可以是矩形， 或者可以是对应于一个物体或者场景背景的任意形状的对象。 视频对象层( v o l ：v i s u a lo b j e c tl a y e r ) 提供对可缩放编码的支持。每个 电子科技大学硕士学位论文 v 0 能够以多层的可缩放形式编码，也能够以单层的非可缩放形式进行编码，分辨 率的定制，取决于可用带宽、运算能力能具体的应用条件。 圈2 - - i忡e g 一4 视频数据流结构 每个v 0 在时间上进行采样，v o 的每一个时间样本就是v o p ( v i s u a lo b j e c t p l a n e ) ；能够将多个v o p 组成组，从而形成一个g o v ( g r o u po fv i $ u a lo b j e c t p l a n e ) 。 v o p 可以相互独立的编码，类似传统的帧编码，v o p 也有三种编码模式，即帧 内编码模式( i v o p ) ，帧间编码模式( p - v o p ) 和帧间双向预测模式( b - v o p ) 。为了能 适应任意形状的v o p ，m p e g - 4 引入了图象填充( i m a g ep a d d i n g ) 技术和多边形匹 配( p o l y g o nm a t c h i n g ) 技术，而传统的矩形帧编可以看作v o p 一个特例。m p e g - 4 校验模型“3 中的v o p 编码流程可参见框图2 2 。 第二章m p e g - 4 视频标准及d i r e c t s h o w 编程技术 任 图2 2l d p e g 一4 视频编码框图 由上图可以看出，m p e g 一4 的编码器主要由两部分构成，一部分是形状编码， 一部分是传统的运动和纹理编码，编码后的码流结构图如图2 3 所示： 运动信息 l 形状信息纹理信息l 运动矢量 图2 3 m p e g 一4 编码后的码流结构 v o p 的解码是其逆过程，这里就不再作具体分析。 2 1 1 形状编码 在m p e g 一4 标准中，有两类信息可以被看作是一个视频对象地继承特性，它们 是二值形状信息和灰度形状信息。 二值形状信息是指标记信息，它定义了某个给定时刻所支持地哪些元素( 象 素) 属于该v o ，这种信息一把表示成与v o p 边框一样大小地矩阵。矩阵元素的取 值为0 和i ，这取决于该象素是在这个v o 的内部还是它的外部。二值形状信息的 编码采用基于运动能够补偿块的技术，可以是无损或有损编码。 7 电子科技大学硕士学位论文 灰度形状信息是二值形状信息的扩展，它提供阿表示透明对象和减少混迭干 扰效应的能力。灰度形状信息采用0 2 5 5 之间的数值来表示v o p 的透明程度，其 中0 表示完全透视( 相当于二值形状信息中的o ) ，2 5 5 表示完全不透视( 相当于 二值形状信息中的1 ) 。灰度形状信息的编码采用基于块的运动补偿d c t 方法，属 于有损编码。 目前，m p e g - 4 标准中采用矩阵的形式来表示二值或灰度形状信息，称a 平面， v o p 被一个最小的边框所框住，其长宽均为1 6 的整数倍。试验表明，a 平面表示 法具有较高的效率和较低的运算复杂度。 2 1 2 运动估计和补偿 运动估计和补偿普遍用于视频压缩序列，它们利用了帧间的时间冗余。在运 动补偿方面，m p e g 一4 与其他标准之间的主要差别，是将其延伸至任意形状的v o p 。 i - - v o p 的编码可以独立于其他的v o p ，而运动估计( m e ) 对于p - v o p 和b v o p 来说则是必需的，它仅对位于v o p 的边框内部的宏块进行m e 。如果宏块完全位于 v o p 内部，则以事先预测的方式执行m e ，它基于1 6 1 6 宏块以及8 8 块的匹配。 m e 产生整个宏块的一个运动向量，每个小块也产生一个运动向量。 对于p - v o p 和b v o p ，首先有区别地对运动向量进行编码，这以先前传输的 至多三个运动向量为基础，确切的数量取决于允许的向量的范围；最大范围由编 码器选择，并将其传输给解码器。然后采用变长编码对运动向量进行编码。这里， 对于宏块中的每一块，要考虑相邻块的运动向量，它包括了当前块及它的四个近 邻的运动向量。每个向量提供了一个象素估计值，实际的预测值就是这些估计值 的加权平均。 2 1 3 纹理编码 任意形状区域的纹理编码有别与传统的方法，这些区域具有a 映射所描述的 形状。 v o p 的纹理信息可以表示为亮度信息y 和两个色度成分c r ，c b 。在i v o p 情 况下，纹理信息直接包含有亮度和色度成分：在运动补偿的v o p 的情况下，纹理 信息表示运动补偿之后的误差残量。 为了编码纹理信息，使用了基于标准8 8 块的d c t 。为了编码任意形状的v o p ， 第二章m p e g - 4 视频标准及d i r e c t s h o w 编程技术 在v o p 上强加了一个8 8 的网格。完全位于v o p 外的块：不编码；v o p 内的块： 传统的d c t 变换；部分v o p 内，部分v o p 外的块，先用重复填充将在v o p 外的部 分进行填充，再进行d c t 变换。d c t 变换后的块将被两化，对照邻块的各个系数的 预测可以进一步减少系数的熵值。接下来就是对系数的扫描，以增加编码后系数 的平均行程。然后采用变长编码对系数进行编码。整个过程如图2 4 所示。 v o 2 1 4 可缩放性3 3 图2 4v o p 纹理编码流程图 可缩放性分为空域可缩放性和时域可缩放性，它们的实现利用了多重视频对 象层。考虑两个v o l 的情况：基本层和增强层。对于空域可缩放性，增强层改进 了基本层v o p 的空域分辨率；对于时域可缩放，如果所需的帧率高于由基本层提 供的帧率，可以对增强层进行解码。因此，时域可缩放性改进了视频对象的平滑 性。对象的可缩放性时基于v 0 方案的。 m p e g 一4 定义了广义上的可缩放性框架，使空域缩放性与时域缩放性成为了可 能，该框架如图2 5 所示，其中的各个模块相互独立，再预处理器、中间处理器 和后处理器中实现的特定算法取决于想实现的可缩放性的类型。可缩放性预处理 器用于实现所要求的可缩放型，它是基于v o p 的。在空域可缩放性的情况中，预 处理器下采样( d o w n s a m p l e ) 原始v o p 以产生基层v o p ，它在基层编码器中进行编 码。中间处理器则对重建的基层v o p 进行上采样( u p s a m p l e ) 。在原始v o p 和中 间处理器的输出之间的差值，形成了增强层编码器的输入。在时域可缩放性的情 况下，预处理器将视频帧分解为两个数据流，其中一个数据流形成基本层的编码 输入，另外一个数据流则形成了增强层的编码输入，中间处理器不再作用。 电子科技大学硕士学位论文 _ 兰 专 舟 复合器 复台 分离器 _ 三 专 i 编码器i 图2 - - 5 i e p g - - 4 广义可缩放性的框图 在空域可缩放性中，基本层采用无缩放的编码方法进行编码，而增强层的视 频对象平面则编码为p - v o p 或者b - v o p ：如果增强层的v o p 在时域上同基本层的 i v o p 相符，则作为p - v o p 处理；如果增强层的v o p 在时域上同基本层的p - v o p 相符，则作为b - v o p 处理。因为基本层作为增强层的参考，因此基本层中的v o p 必须先于增强层对应的v o p 进行编码，图2 6 说明了基本层和增强层中v o p 的对 应关系。 增强层 基本层 口一口一口 卜 图2 6 空间缩放中基本层与增强层v o p 的关系 在时域可缩放性中，增强了视频数据的帧率，在基层之间可视增强层所携带 的信息。增强层有两种作用： ( 1 ) 增强层仅仅增强基层一部分的分辨率 ( 2 ) 增强层增强整个基层的分辨率 2 1 5 出错反映机制 m p e g 和i t u 都在研究出错反应方法，包括前向差错校正、重传的自动请求、 可缩放编码、基于块组的比特流划分和运动补偿的差错校正。 l o + 田 一 ，田+ 田 第二章m p e g 4 视频标准及d i r e c t s h o w 编程技术 m p e g 一4 提供了一些允许有不同程度的鲁棒性和复杂性的出错反应机制。这些 机制由提供了重同步、差错检测、数据恢复和差错隐藏方法的工具实现。在m p e g 一4 视频中有四种出错反应机制，它们是重同步、数据划分、标头扩展代码和可逆变 长编码。 最常用的将出错反应带给比特流的方法是重同步。它由插入到比特流的独特 的标记组成，以便在出错的情况下，解码器能够跳过剩余的比特直到下一个标记 并从那一点开始重新解码。m p e g - 4 允许在近似于不变数目的编码比特或视频分组 后面插入重同步标记。 数据划分方法把运动信息的编码比特同纹理信息的编码比特分隔开。在差错 时间中，例如当差错只出现在纹理比特上的时候，通过利用解码的运动信息，可 以应用更有效率的差错隐藏。 标头扩展代码代表一种二进制代码，它允许选择包含或不包含冗余的标头信 息，这种信息对视频的正确解码是至关重要的。在这种方法中，标头信息不可靠 并要完全跳过比特流的一大部分的机会将被降低。 可逆变长编码( r v l c ) 进一步减弱差错对于解码数据的影响。r v l c 是能够以 正向也能够以反向方式解码的码字。在出现差错或者跳过比特流直到下一个同步 标记的事件中，有可能以逆序对不可靠的比特流部分进行解码。从而限制差错的 影响，当然，这种方法是以降低熵编码的编码效率为代价的。 2 1 6x v i d 编码模型 x v i d 是从o p e n d i v x 分离出来的，它是目前基于整帧编码( x v i d 和d i v x 都没 有实现m p e g 一4 所有的功能和内容，这点和校验模型不同) 的m p e g 一4 编码器中表 现非常出众的一个。和d i v x 相比，它有以下几个特点 多种编码模式：除了最原始单重固定码流压缩( 卜p a s sc b r ) 之外，x v i d 提 供了包括：单重质量模式动态码流压缩、单重量化模式动态码流压缩、和包括外 部控制和内部控制的两种双重( 2 - - p a s s ) 动态码流压缩模式。由此，x v i d 是目前 m p e g 一4 编码内核中可选模式最多的。其中特别是双重动态码流压缩模式，通过检 测画面运动幅度，以最优化的方式曲线分配画面量化幅度，使充满活性元素的视 频图象可以在占用空间和画面质量之间获得最佳的平衡。而单重量化模式动态码 流压缩，可以高速地一次性生成可控画面细节的动态码流视频文件，在较少的压 缩时间代价之下，可以获得较稳定的画面细节质量。 电子科技大学硕士学位论文 量化方式选择和范围控制：x v i d 不仅提供了标准的m p e g 量化方式，还特地提 供了更适合低码流压缩的h 2 6 3 量化方式。并且x v i d 还可以在双重运算( 2 一p a s s ) 时，根据对画面信息的综合分析，动态的决定某段场景的画面量化方式，有利于 网络媒体文件传播中，空间与画质的平衡。运动侦测和曲线平衡分配：x v i d 可以 对画面逐帧进行运动侦测，以及对全片段的运动侦测结果进行分析后，重新以曲 线平衡分配每一帧的量化幅度。这样，需要高码流的运动画面可以分配更多空间、 更高的码流、更低的量化幅度来保持画面的细节；而对于不包含太多运动信息的 静态画面，则消减分配预算。 动态关键帧距：这是另一个x v i d 所具有的，在空间和画面之间获得最大平衡 的技术。我们知道在视频压缩中不是每一帧都记录着全部的画面信息，事实上只 有关键帧记录着完整的画面信息，而后续的p 帧( p - f r a m e ) 仅仅是纪录下与之前 一帧的差值。如果关键帧之间的画面变化很大，则会浪费宝贵的空间在p - f r a m e 上；而加入把变化很大的那一帧记录在关键帧里，那么由于后续的帧不再有更大 的变化，就可以节省p 帧所需的空间。因此，根据画面镜头切换和运动幅度来变 换关键帧( 帧内编码) 的位置，有利于画面质量的提高。 本课题采用x v i d 开源代码库作为本系统的核心解码库。在解码端，x v i d 定义 了如下一些数据结构： ( 1 ) t y p e d e fs t r u c t f i n o u t o u t i n tc o r e b u i l d ； o u t x v i d i n i t _ p a r a m ： 其中，c p u f l a g s 是c p u 的类型，推荐使用x v i d c p u c h k o n l y 由系统自动判 断c p u 类型；a p i _ v e r s i o n 是解码器的版本号。 ( 2 ) t y p e d e fs t r u c t ( i n tw i d t h ； i n ( s h o u l db eam u l t i p l eo f1 6 ，m a xi s ) 第二章m p e g 4 视频标准及d i r e c t s h o w 编程技术 i n th e i g h t ： i n ( s h o u l db eam u l t i p l eo f1 6 ，m a xi s ) v o i d * h a n d l e ： o u t ) x v i d d e c p a r a m ： w i d t h ，h e i g h t 是被解码图象的宽度和高度；h a n d l e 是解码器的旬柄。 ( 3 ) t y p e d e fs t r u c t i n i n i n i n x v i d d e c f r a m e ： 这是解码器主要的数据结构，用户提供m p e g 一4 数据的地址指针b i t s t r e a m 和 长度l e n g t h ；i m a g e 是解码后图象数据的地址指针；s t r i d e 是某行首象素与下行 首象素之间的距离，它可以等于w i d t h ，也可以把它设置为更大以创建一张边缘化 的图片；e o l o r s p a e e 是指定输出图形的色彩空间，x v i d c s p r g b 2 4 和 x v i d c s p y v l 2 是常用的色彩空间。 x v i d d e c o r e 函数是x v i d 主要的a p i 函数，它可以实现解码器的创建、解码 以及销毁，它的原型如下： i n tx v i d d e c o r e ( v o i d h a n d l e ， i n o u t i n to p t ， i n 电子科技大学硕士学位论文 v o i d 十p a r a m l 其中， o p t 是函数的功能选择标志，当它等于x v i d d e c c r e a t e 时，创建一 个编码器，此时p a r a m l 是x v i d d e c p a r a m 结构，h a n d l e 是创建解码器的返回句 柄；当o p t 等于x v l d d e c d e c o d e 时，解码一帧数据，此时p a r a m l 是x v i d d e c f r a m e 结构；当o p t 等于x v i d d e c d e s t r o y 时，注销解码器。 2 2 d i r e c t s h o w 编程技术 d i r e c t s h o w 是微软公司提供的一套在w i n d o w s 平台上进行流媒体处理的开发 包，与d i r e c t x 开发包一起发布。它为在w i n d o w s 平台上处理各种格式的媒体文 件的回放、音视频采集等高性能要求的多媒体应用，提供了完整的解决方案。m m 它具有一下四个特点： ( 1 ) 它是微软提供的在w i n d o w s 平台处理流媒体的开发包 ( 2 ) 降低了由于数据传输、硬件差异和同步性等所带来的复杂度 ( 3 ) 兼容性强：它支持各种数据格式和终端设备 ( 4 ) 提供标准的、统一的、高效的a p i 接口 2 2 1d i r e c t s h o w 系统概述 图2 - - 7 给出了一个d i r e c t s h o w 系统的的系统框图，虚线一下是r i n g0 特权 级别的硬件设备，虚线以上是r i n g3 特权级别的应用层。d i r e c t s h o w 系统位于应 用层之中，它使用一种叫f i l t e rg r a p h 的模型来管理整个数据流的处理过程；参 与数据处理的各个功能模块叫做f i l t e r ；各个f i l t e r 在f i l t e rg r a p h 中按一定 的顺序连接成一条“流水线”协同工作。 f i i t e r 是d i r e c t s h o w 系统最基本的数据传输单元，按照功能来划分，f i t e r 可以分为三类： ( 1 ) s o u r c ef i i t e r s ：主要负责取得数据，数据源可以是文件、因特网、或 者计算机里的采集卡、数字摄像机等，然后将数据往下传输； 1 4 第二章m p e g 4 视频标准及d i r e c t s h o w 编程技术 图2 - ? d i r e c t s h o w 系统的系统框图 ( 2 ) t r a n s f o r mf i t l e r s ：主要负责数据的格式转换、传输； ( 3 ) r e n d e r i n gf i i t e s ：主要负责数据的最终去向，我们可以将数据送给声卡、 显卡进行多媒体的演示，也可以输出到文件进行存储。 需要特别指出的是，由于d i r e c t x 采用了c o m 标准，d i r e c t s h o w 也是一套完 全基于c o m 的应用系统，无论是f i l t e rg r a p h 、f i i t e r 、p i n 、s a m p l e 还是分配 s a m p l e 的a l l o c a t o r ，都是遵循c o m 标准的。 2 2 2c o m 原理嘲 所谓c o m ( c o m p o n e n to b j e c tm o d e l ，组建对象模型) ，是一种说明如何建立可 动态互变组件的规范，此规范提供了为保证能够互操作，客户和组件应遵循的一 些二进制和网络标准。通过这种标准将可以在任意两个组件之间进行通信也不用 考虑其所处的操作环境是否相同、使用的开发语言是否一致以及是否运行于同一 台计算机。 在c o m 规范下，将能以高度灵活的编程手段来开发，维护应用程序。可以将 一个单独的复杂程序划分为多个独立的模块进行开发，这里的每一个独立模块都 是一个自给自足的组件，可以采取不同的开发语言去设计每一个组件。在运行时 将这些组件通过接口组装起来以形成所需要的应用程序。构成应用程序的每一个 电子科技大学硕士学位论文 组件都可以在不影响其他组件的前提下被升级。这里说说的组件是指在二进制级 别上进行集成和重用而能够被独立生产获得和配置的软件单元。c o m 规范所描述的