（通信与信息系统专业论文）视频码流实时播出装置及分组方案的研究与实现.pdf

视频码流实时播出装置及分组方案的研究与实现 摘要 随着信息技术尤其是计算机技术、网络传输技术、通讯技术和多 媒体处理技术的发展，视频信息在人们的生产和生活的各个方面应用 越来越广泛，比如视频会议系统、可视电话系统、视频监控系统、远 程教育及医疗、视频点播、视频直播等。 常用视频处理技术包括视频捕获、压缩编码和传输等。d i r e c t s h o w 是在、俩r 基础上发展起来的新一代基于c o m 的开放式多媒体开发平 台，利用d i r e c t s h o w 可以简化多媒体应用程序的开发。h 2 6 4 是n u t 的v c e g 和i s o i e c 的m p e g 的联合视频组开发的适应于低码率的新 一代的数字视频编码标准。h 2 6 4 具有出色的编码效率。d a r w i n s t r e a m i n gs e r v e r 是a p p l e 公司q u i c k t i m es t r e a m i n gs e r v e r 技术的开源 版本流媒体服务器，支持流化i s o 基媒体文件并传输媒体数据r t p 包， 可用于实现点播，广播等功能。并且，d a r w i ns t r e a m i n gs e r v e r 还提供 转播r t p 数据包的功能。 本文的第一部分，研究并实现了一个视频实时播出装置。本装置 使用d i r e c t s h o w 来完成视频捕获，使用开源的x 2 6 4 编码器来完成视 频数据的实时编码，最后利用d a r w i ns t r e a m i n gs e r v e r 的转发功能实现 视频数据的播出。测试结果表明，该装置运行良好。特别在使用较低 视频分辨率的情况下，基本可以达到实时效果。本装置扩展后可应用 于视频直播，视频会议，远程教育等系统中，具有一定的实用性。 在当前的网络带宽相对匮乏的情况下，视频数据传输过程中很可 能发生突发性传输差错，这种差错会导致重建视频质量的严重下降。 本文的第二部分，根据实际应用的需求，研究了h 2 6 4 数据的r t p 负 载分组规范，并设计实现了h 2 6 4 数据r t p 负载的一种分组方案。本 方案中，交织模式引入了交织技术。本文第二部分重点研究和分析了 交织模式在突发性丢包的网络上使用的效果。经测试和分析，交织模 式可以很好的将集中的突发性差错分散化，防止了大块视频数据的丢 失，有助于接收端进一步实现差错隐藏。 关键词：视频，流媒体，h 2 6 4 ，交织，r t p r e s e a r c ha n dr e a l i z et h ev i d e ol l v e b r o a d c a s tt o o la n de n c a p s u l a t i o nm e t h o d s a b s t r a c t r e s e a r c ha n da p p l i c a t i o no fm u l t i m e d i at e c h n o l o g yh a sg a i n e dm o r e a n dm o r ea t t e n t i o na l o n gw i t ht h er a p i dd e v e l o p m e n to fn e t w o r ka n dv i d e o c o m p r e s s i o na n do t h e rr e l a t e dt e c h n o l o g i e s f o re x a m p l e ，v i d e op h o n e ， r e m o t ee d u c a t i o n ，v i d e ol i v eb r o a d c a s t ，a n ds oo n v i d e ot e c h n o l o g yc o n s i s t so fv i d e oc a p t u r e ，v i d e oc o m p r e s se t c d i r e c t s h o ww a sc r e a t e df o rs t r e a m i n gm e d i ao nt h em i c r o s o rw i n d o w s p l a t f o r m d i r e c t s h o wp r o v i d e sf o rh i g h - q u a l i t yc a p t u r ea n dp l a y b a c ko f m u l t i m e d i as t r e a m s t h eh 2 6 4i st h el a s ti n t e m a t i o n a l v i d e o c o d i n g s t a n d a r de s t a b l i s h e da n dr e l e a s e db yt h en u - ta n di s o i e ct o g e t h e r h 2 6 4s h o w sh i g h e rc o m p r e s s i o np e r f o r m a n c e ，a n d p o s s e s s e s b e t t e r n e t w o r ka d a p t a b i l i t y s t r e a m i n gm e d i at e c h n o l o g yi sak i n do fa p p l i e d t e c h n o l o g yt o r e s o l v et h ep r o b l e mo ft r a n s m i t t i n gt h ed a t ao fv i d e oa n d a u d i ow i t hh i 曲c a p a c i t yo nn e t w o r k d a r w i ns t r e a m i n gs e r v e ri so n eo f t h eo p e ns o u r c es t r e a m i n gm e d i as e r v e rt h a ta l l o w sy o ut os e n ds t r e a m i n g m e d i at oc l i e n t sa c r o s st h ei n t e r n e t r t pi su s e df o rt r a n s m i t t i n gt h e r e a l t i m em u l t i m e d i ad a t a t h ef i r s tp a r to ft h i sp a p e rd e s i g n sa n di m p l e m e n t sat o o lt oc a p t u r e ， c o m p r e s sa n db r o a d c a s tl i v ev i d e od a t a t h i st o o lc a nb eu s e di nt h ev i d e o l i v eb r o a d c a s t ，v i d e oc o n f e r e n c e ，r e m o t ee d u c a t i o n s y s t e m ，a n ds oo n t h eb e s te f f o r to rr e l i a b i l i t yo fd a t at r a n s m i s s i o n p r o v i d e db yt h e c u r r e n ti pn e t w o r kd o e s n to f f e ra n y q u a l i t yo fs e r v i c eg u a r a n t e e sf o rv i d e o t r a n s m i s s i o n i ti si n e v i t a b l ef o rac o m m u n i c a t i o ns y s t e mt og e n e r a t e t r a n s m i s s i o ne r r o r sd u et on e t v i o r kc h a r a c t e r i s t i c s ，w h i c hw i l lr e s u l ti n d e c r e a s i n go fv i d e or e c o n s t r u c t e dq u a l i t y , w h i c hw i l ls e r i o u s l yd e t e r i o r a t e s u b j e c t i v eq u a l i t y t h es e c o n dp a r to ft h i sp a p e rr e s e a r c h e st h er t pp a y l o a df o r m a tf o r h 2 6 4v i d e o ，a n di m p l e m e n t sa l lo fr t p p a y l o a df o r m a tm o d e s o rt y p e sf o r h 2 6 4v i d e o i n t e r l e a v e dm o d eu s e sa n “i n t e r l e a v e d t od i s p e r s et h ee r r o r s t ob es e p a r a t e s oa st od e c r e a s et h ei n f l u e n c et ot h es u b j e c t i v eq u a l i t y k e yw o r d s ：v i d e o ，s t r e a m i n g m e d i a ，h 2 6 4 ，i n t e r l e a v i n g ，r t p 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名； 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即； 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 日期： 导师签名：日期： 视频数据实时播f i j 装置及分组方案的研究与实现 1 1 研究背景及意义 第一章概述 当今，计算机网络通信技术都处于迅速发展的时期，尤其网络的发展更是给 人类生活带来了巨大的影响。世界范围的i n t e r a c t 成为最引人注目的话题，其发 展速度远远超出任何人的想象。人们对网络应用的需求逐步提高，普通的浏览网 页、发送电子邮件之类的应用己经远远不够。如何在网络上有效实时地传输多媒 体信息，已成为一个研究的热点。因此，视频、音频的传输己不仅仅局限于传统 的有线电视网或电话网。 随着信息技术尤其是计算机技术、网络传输技术、通讯技术和多媒体处理技 术的发展，视频信息在人们的生产和生活的各个方面应用越来越广泛，比如视频 会议系统、可视电话系统、视频监控系统、远程教育及医疗、视频点播、视频直 播等。 然而，网络上传输实时多媒体数据流的主要特点是( 1 ) 带宽需求大：( 2 ) 实时性 要求高：对时延敏感，但能容忍一定的数据丢失；( 3 ) 涉及到多点通信；( 4 ) 对服务 质量要求高等i l j 。而现有的网络无法为视频传输提供q o s 保证。随着网络普及率 越来越高，急剧增长的上网人数将很快消耗现有的网络资源。当用户需求超出网 络的容纳能力时，网络就会发生拥塞，导致突发性差错或丢包。在这种网络下传 输视频数据时，会存在连续丢失视频数据包的情况，使终端最后恢复出的视频图 像存在很大差错。采取适当的差错控制技术可以减小由于网络丢包给终端恢复视 频带来的影响( 指视觉效果方面的影响) 。常用的差错控制技术有纠错编码、交织 等。其中交织技术主要是用于分散突发性错误，以利于接收端进行差错隐藏操作。 针对实际应用，本文的其中个重点就是研究和实现一个视频数据实时捕获 播出装置，实现实时播出捕获的视频数据。这个装置经过扩展可以应用于其他的 实时多媒体系统。而本文的另外一个重点是研究和实现h 2 6 4 视频数据的r t p 分 组方案，特别是针对存在突发性差错的传输网络，研究交织模式在分散突发性差 错的功能。所以本文的研究都具有很强的针对性和现实意义。 1 2视频处理技术概述 视频相关的处理技术主要集中在视频捕获，视频压缩编码等几个方面。 目前，实现视频捕获主要有两种方法，一种是利用视频捕获卡所附带的s d k 开发工具。开发者只需利用捕获卡所提供的控件就能方便的进行二次开发。开发 简便、捕获性能好是其最大的优点。然而，这种捕获方法的实现是与设备有关的， 视频数据实时播； ；装置及分组方案的研究与实现 依赖于视频捕获卡与摄像头的类型，不利于灵活的应用，而且其封装好的s d k 函数不利于用户作更底层一点的操作，扩展性不好。另一种方法是利用数字视频 处理软件开发包直接对数字化的视频捕获设备捕获到的数据进行处理。用它开发 应用程序的特点是捕获视频时不依赖专用的硬件设备，而且应用灵活。w i n d o w s 平台为视频信息的实时捕获提供了多种实现技术。主要有v i d e of o rw i n d o w s 即 v f w ，以及现在的d i r e c t s h o w 技术。 v f w 技术因其结构化的编程模式已落后于当前面向对象的程序设计思想，在 整体上破坏了软件的体系结构。另外，由于自1 9 9 2 年以来v f w 技术的总体结构 没有太大变化，所以采用v f w 技术的捕获系统存在通用性差、维护困难、系统 可扩展性差、不能很好地支持p c i 总线、总线控制器等新的硬件技术等问题。 d i r e c t s h o w 是在v f w 基础上发展起来的新一代基于c o m 的开放式多媒体 开发平台，利用d i r e c t s h o w 可以简化多媒体应用程序的开发，使开发者不必考虑 复杂的数据格式和不同的终端设备，以及数据同步的问题。现已在视频捕获等多 种领域的应用和开发中占据着非常重要的地位。 为了高效地在网络上传输视频数据，通常需要对视频进行压缩编码。目前制 定视频编码标准的国际组织组主要有两个：u t 和i s o f l e c 。i t u t 的建议标准 h 系列( 如h 2 6 1 ，h 2 6 3 等) 主要用于实时视频通信，如视频电视会议、可视电 话等i z j 。而i s o l e c 的建议标准m p e g 系列( 如m p e g 1 ，m p e g 2 m p e g 4 等) 主要用于数字电视广播、d v d 等。国际电信联盟视频编码专家组( r r u t v c e g ) 和国际标准化组织运动图像专家组( i s om p e g ) 于2 0 0 1 年合作成立了联合视频 组j v t ( j o i n t v i d e o t e a m ) ，共同开发新一代的视频标准h 2 6 4 ( 也称为h 2 6 l ) 。 h 2 6 4 是r r u 的正式名称，其m p e g 正式名称是m p e g - 4p a r t1 0 或l s o ，i e c 1 4 4 9 6 1 0a v c 。 h 2 6 4 标准的制定j 下是为适应各种业务对于运动图像压缩率不断增长的更高 要求，并使得编码后的视频数据能够在各种网络环境下传播。这一标准可以应用 于广泛的领域，包括有线电视( c a t v ) 、卫星直播( d b s ) 中的视频服务、基于 数字用户线( d s l ) 的视频服务、数字电视广播( d m 限) 、互动存储媒体( 光碟 等) ( i s m ) 、多媒体信件( m m m ) 、分组交换网络上的多媒体服务( m s p n ) 。实 时会话业务( 视频会议，视频电话等) ( r t c ) 、远程视频监控( r v s ) ，以及串行 存储媒质( 数字t 即磁带录像机) 等。 h 2 6 4 被称为新一代的视频编码标准，主要是因为其出色的编码效率以及对 各种网络的适应性。与以往的视频编码标准不同，h 2 6 4 不仅包含一个视频编码 层来规定各种视频编码算法，同时还定义了一个网络适配层来适应网络传输。它 不但使用了诸多新颖的视频压缩算法，还定义了一些适合网络传输的新特性以及 大量的错误恢复工具l j j 。 1 3流媒体技术概述 1 3 1 流媒体技术原理 2 流媒体技术是指在基于网络包括i n t e r n e t 、无线网络等环境下多媒体数据的捕 视频数据实时播i i 装置及分组方案的研究与实现 获、编码、传输和解码等技术。在需求的强大推动下，网络多媒体技术的研究变 得越来越重要。流媒体技术不是单一的技术，它是建立在很多基础技术之上的技 术。它的基础技术有多媒体数据捕获、压缩、存储和传输等。 视频数据的捕获和压缩技术已经在上一小节阐述，而流式传输的实现需要缓 存。因为i n t e m e t 是以包传输为基础进行断续的异步传输，对一个实时a 源或 存储的v 文件，在传输中它们要被分解为许多包。由于网络是动态变化的，各 个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等，甚至先发的 数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数 据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放 出现停顿。 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太适 合传输实时数据。在流式传输的实现方案中，一般采用i r 丌甲仰p 来传输控制信 息，而用r 1 【 p ，i i d p 来传输实时音视频数据。其中基于u d p 数据传输方式有3 种： ( 1 ) 单播 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送 出的每个数据包只能传送给一个客户端，这种传送方式称为单播。每个用户必须 分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请的 数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚 至停止播放；管理人员也被迫购买硬件和带宽来保证一定的服务质量。 ( 2 ) 组播 m 组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到 多个通道上。采用组播方式，单台服务器能够对几十万个客户端同时发送连续数 据流而无延时。媒体服务器只需要发送一个信息包，而不是多个；所有发出请求 的客户端共享同一信息包。信息可以发送到任意地址的组内客户机，减少网络上 传输的信息包的总量，网络利用效率大大提高。 ( 3 ) 点播与广播 点播连接是客户端与服务器之间的主动的连接。在点播连接中，用户通过选 择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。 点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器， 会迅速用完网络带宽。 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 例如，用户不能暂停、快进或后退该流。 广播方式中数据包的单独一个拷贝将发送给网络上的所有用户。使用点播发 送时，需要将数据包复制多个拷贝，以多个点对点的方式分别发送到需要它的那 些用户，而使用广播方式发送，数据包的单独一个拷贝将发送给网络上的所有用 户，而不管用户是否需要，上述两种传输方式会非常浪费网络带宽。组播吸收了 上述两种发送方式的长处，克服了上述两种发送方式的弱点，将数据包的单独一 个拷贝发送给需要的那些客户。组播不会复制数据包的多个拷贝传输到网络上， 也不会将数据包发送给不需要它的那些客户，保证了网络上多媒体应用占用网络 的最小带宽。 流式传输需要特定服务器，如o u i c k t i m es t r e a m i n gs e r v e r 、r e a ls e r v e r 与 w i n d o w sm e d i as e r v e r 。这些服务器允许对媒体发送进行更多级别的控制，因而系 统设置、管理比标准h t r p 服务器更复杂。实时流式传输还需要特殊网络协议， 他们包括实时传输协议r t p ，实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 3 视频数据实时播f l j 装置及分组方案的研究与实现 和资源预留协议r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 。 1 3 2 支持流媒体的网络协议 图1 - 1 实时流式传输系统 1 实时传输协议k i p 与r t c p r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是针对i n t e r n e t 上多媒体数据流的一种传 输协议。r t p 本身并不能为顺序传送数据包提供可靠的传送机制，它需依靠r t c p ( r e a l t i m e t r a n s p o r tc o n t r o lp r o t o c o ) 一起提供流量控制和拥塞控制服务。在r t p 会话期i 日j ，各参与者周期性地传送r t c p 包，包中含有已发送的数据包的数量、 丢失的数据包的数量等统计信息i4 1 。因此，服务器可以利用这些信息动态地改变 传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，通过有效的反馈和 最小的开销使传输效率最佳化，故特别适合传输实时数据。 2 实时流协议r t s p l l 2 l 实时流协议r t s p ( r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 是由r e a l n e t w o r k s 和 n e t s c a p e 共同提出的。该协议定义了一对多应用程序如何有效地通过口网络传 送多媒体数据。r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r i p 完成数据传输。h t r p 与r t s p 相比， r r t p 传送h t m l ，而r t s p 传送的是 多媒体数据。h 下r p 请求由客户端发出服务器作出响应，而r t s p 是双向的，客 户端和服务器都可以发出请求1 4 i 。 3 资源预定协议r s v p 协议 由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输 高质量的音频视频信息，除带宽要求之外还需其它更多的条件。r s v p ( r e s o u r o c r e s e r v ep r o t o c 0 1 ) 是i n t e m e t 上的资源预留协议。使用r s v p 预留一部分网络资 源( 即带宽) ，能在一定程度上为流媒体的传输提供q o s 。 资源预留协议r s v p 是网络控制协议，它使应用i n t e r a c t 传输数据流时能够 获得特殊服务质量。r s v p 是非路由协议，它与路由协议协同工作。 1 3 3 流媒体技术的相关应用 i n t e m e t 网络的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流 媒体业务日益流行。各个流媒体公司的加入为之提供了从制作端、服务器端到客 户端的所有产品，流媒体技术也因此而广泛成功应用于i n t e r n e t 网络的各个领域， 如多媒体新闻发布、网络广告、电子商务、视频点播、在线直播、远程教育、远 程医疗、网络电台、网络监控、视频会议、计算机支持的协同工作等。 下面举例说明流媒体技术的两个典型的应用： 4 视频数据实时插出装置及分组方案的研究与实现 ( 1 ) 视频点播( v o d ：v i d e oo nd e m a n d ) 流媒体技术的出现使视频点播可以在互联网内使用。流媒体经过压缩编码， 使得其很适合在互联网上传输。客户端采用浏览器等方式进行点播，服务器端采 用先进的集群技术，可对大规模的并发点播请求进行分布式处理，使其能适应大 规模的点播环境。就当前而言，很多大型的新闻娱乐媒体都在i n t e m e t 网络上提 供基于流媒体技术的音视频节目，如国外的c n n 以及国内的中央电视台、北京 电视台等。 ( 2 ) 在线直播 随着i n t e m e t 网络的普及，直接从网上收看体育赛事、重大庆典、商贸展览 等成为很多网民的愿望。流媒体技术在i n t e r n e t 网络上的在线直播中充当着重要 的角色。首先流媒体实现了在低带宽的环境下提供高质量的音视频。其次，流媒 体的组播技术( m u l t i c a s t ) 可以大大减少服务器端的负荷，同时最大限度的节省 带宽。i n t e r n e t 网络上的在线直播己经成为流媒体众多应用中最成熟的一个，有很 多公司都提供在线直播服务，中央电视台每年一度的春节晚会就提供在线直 播。 1 4论文主要工作及安排 随着视频处理以及网络传输等技术的飞速发展，视频通信变得越来越重要。 本论文的重点包括两个方面：一方面是研究和实现实时视频流媒体通信：另一个 方面是研究和实现h 2 6 4 视频数据r t p 负载格式规范( r f c 3 9 8 4 ) 中定义的不同 分组模式，并分析不同网络环境下各种分组模式的利弊。 本论文主要的工作及安排如下： ( 1 ) 对视频捕获、视频编码、视频播出以及流媒体等技术进行研究和分析。这部 分内容将在第一章和第二章进行阐述： ( 2 ) 重点研究h 2 6 4 视频数据r t p 负载格式规范( r f c 3 9 8 4 ) ，并分析规范中定义 的各个分组模式的使用范围。这部分内容将在第三章中阐述； ( 3 ) 在研究视频处理技术及流媒体技术的基础上，设计并实现视频数据实时播出 装置。此装置完成视频实时采集、压缩、r t p 封装、播出等功能。测试此装 置，分析其在实时性、效率等方面的表现。这部分内容将包含在第四章中； ( 4 ) 在研究h 2 6 4 视频码流r t p 分组规范的基础上，设计并实现规范( r f c 3 9 8 4 ) 中涉及的所有h 2 6 4 视频码流r t p 分组模式，并测试分析各种模式在不同网 络情况下的表现。这一部分重点研究了交织模式在存在突发性差错或丢包的 网络环境下的分散差错的功能，这个功能将有助于实现差错隐藏。这部分内 容将在第五章中阐述。 5 视频数据实时播f i j 装置及分组方案的研究j 实现 第二章视频处理技术 随着网络技术和视频技术的发展，人们对视频信息的应用需求也在提高。视 频技术是多媒体技术中的一个重要组成部分。视频信息具有数据量大、实时性强、 冗余多等特点。经过处理的视频数据才适合在网络中传输，因此视频处理技术是 实现视频通信的关键技术之一。如今视频处理技术的突飞猛进推动着视频应用的 快速发展。 本章对常用的视频处理技术进行了研究，其中包括视频捕获技术、视频编码 压缩技术及视频播出技术。 2 1视频捕获 w i n d o w s 平台为视频信息的实时捕获提供了多种实现技术。主要有v i d e of o r w i n d o w s 即v f w ，以及现在的d i r e c t s h o w 技术。 d i r e c t s h o w 是在v f w 基础上发展起来的新一代基于c o m 的开放式多媒体 开发平台，利用d i r e c t s h o w 可以简化多媒体应用程序的开发，使开发者不必考虑 复杂的数据格式和不同的终端设备，以及数据同步的问题。视频码流实时播出装 置使用d i r e c t s h o w 完成视频捕获的功能1 1 。 2 1d ir e z t s h o w 简介 d i r e c t x 是微软公司开发的一套基于w i n d o w s 平台的编程接口。它能出色地 完成高速的实时动画渲染、交互式音乐和环境音效、高效多媒体数据处理等一般 a p i 很难完成的任务。d i r e c t s h o w 是d i r e c t x 大家族中的一位成员，它为w i n d o w s 平台上处理各种格式的媒体文件播放、音视频捕获等高性能要求的多媒体应用提 供了完整的解决方案。 d i r e c t s h o w 是一个开放性的应用框架，也是一套基于c o m 的编程接口。 d i r e c t s h o w 的系统功能参见图2 - 1 。可以看到，图中最大的一块即是d i r e c t s h o w 系统，它的基本工作原理就是“流水线”：将单元组件( f i l t e r ) 串联在一起，交 由f i l t e rg r a p hm a n a g e r 统一控制。d i r e c t s h o w 使用模块化的架构，系统中的基础模 块称为过滤器( f i l t e r ) 。过滤器作为软件的组件，可完成单一的数据流处理功能。 按照功能，过滤器大致分为3 类：源过滤器( s o u r c ef i l t e r ) 、转换过滤器( t r a n s f o r m f i l t e r ) 和表现过滤器( r e n d e r i n gf i l t e r ) 。源过滤器负责从媒体源获取数据；转换 过滤器负责数据的格式转换、传输，如数据流分离合成、编码解码等；表现过 滤器负责数据的最终去向，将数据送往显卡和声卡进行播放，或输出到文件进行 存储。 事实上，计算机应用领域中的很多模块都可以和d i r e c t s h o w 系统交互。也就 6 视频数据实时播f l ；装置及分组方案的研究与实现 是说，d i r e c t s h o w 的应用范畴很广。单纯从本地系统来说，d i r e c t s h o w 可以实现 不同格式的媒体文件的解码播放、或格式之问的相互转换，可以从本地机器中的 捕获设备捕获音视频数据并保存为文件，可以接收、观看模拟电视等。而从网络 应用的角度来说，d i r e c t s h o w 更可用于视频点播、视频会议、视频监控等领域。 其实，广义上来说，d i r e c t s h o w 系统适合于一切流式数据的处理，这些数据可以 是音频、视频这样的多媒体数据，但又不局限于多媒体数据。 图2 - 1d i r e c t s h o w 系统框图 为了提高系统的稳定性，w i n d o w s 操作系统对硬件操作进行了隔离，应用程 序一般不能直接访问硬件。过滤器工作在用户模式( u s e r m o d e ，操作系统特权级 别为r i n 9 3 ) ，而硬件工作在内核模式( k e r n e l m o d e ，操作系统特权级别为r i n 9 0 ) 。 m i c r o s o f t 通过d i r c c t s h o w 给多媒体程序开发人员提供了标准的、统一的、高效的 a p i 接口。d i r e c t s h o w 技术是建立在d i r e c t x 的d i r e c t d r a w 和d i r e c t s o u n d 的基础 之上的，它通过d i r e c t d r a w 对显卡进行控制以显示视频，通过d i r e c t s o u n d 对声 卡进行控制以播放声音。d i r e c t x 为了最大限度提高效率而允许用户直接访问硬 件，如允许用户直接读写显存，因此，d i r e c t s h o w 也同样具有快速的优势。 2 1 2 d i r e e t s b o w 实现视频捕获 为了更加容易建立视频捕捉应用程序，d i r e c t s h o w 提供了一个叫做c a p t u r e g r a p hb u i l d e r 的对象，c a p t u r eg r a p hb u i l d e r 提供l c a p t u r e g r a p h b u i l d e r 2 接口，该 接口可以建立和控制c a p t u r eg r a p h 。 建立视频捕捉程序，必须首先获取并初始化i c a p t u r e g r a p h b u i l d e r 2 接口，然 后选择一个适当的视频捕捉设备。选择好设备后，为该设备创建c a p t u r ef i l t e r ， 然后，调用a d d f i l t e r 函数把c a p t u r ef i l t e r 添加到f i l t e rg r a p h 。 在视频捕获时进行实时监控捕获图像的同时，d i r e c t s h o w 可以实时获取捕获 7 视频数据实时播f j 装置及分组方案的研究与实现 的视频数据，以待后续处理( 如对采集的视频数据进行编码) 。 d i r e c t s h o w 完成视频捕获功能的框架结构如图2 2 所示： 2 2视频编码 i 创建过滤器图管理器组件 初始化c o m 库 创建过滤器管理器 创建捕扶幽构建器 添加捕获j 构建图到管理器中并获 得有用接u 上 2 创建捕获过滤器 创建设备枚举器 指定类型目录 枚举设备标识 取得设备的友好名称 创建税频捕获过滤器 添加视频捕扶过滤器到过滤器图 j 3 构建j 他过滤器。并加入过滤器图 i 构建视频采集的过滤器链路 4 设置视频参数，包括视频数据格 l 式、分辨率、捕获时问、帧率等 j r 5 控制过滤器圈 l 开始捕扶 图2 - 2d i r e c t s h o w 视频捕获实现过程 h 2 6 4 是1 1 r u - t 的v c e g ( 视频编码专家组) 和i s o ，i e c 的m p e g ( 活动图像编 码专家组) 的联合视频组( j v t ：j o i n t v i d e o t e a m ) 开发的适应于低码率的新一代 的数字视频编码标准，它的主要目标是发展一种简单直接的高压缩性能视频编码 设计，并针对“会话”服务( 可视电话) 和“非会话”服务( 视频的存储、广播 及流媒体) 提供更加适于网络传输的方案。h 2 6 4 是删的正式名称，其m p e g 正式 名称是m p e g 4p a r t l o 或i s 0 ，l e c l4 4 9 6 1 0 a v c 。 2 2 1 h 2 6 4 的特点 8 h 2 6 4 的编解码框架与以前提出的标准，如h 2 6 1 、h 2 6 3 及m p e g 1 2 4 相 视频数据实时播i i 装置及分组方案的研究与实现 比并无显著变化，也是基于混合编码的方案：以运动矢量代表图像序列各帧的运 动内容，使用前面已解码帧对其进行运动估计和补偿或使用帧内预测技术，所得 的图像残差值要经过变换、量化、熵编码等部分的处理。但它集中了以往标准的 优点，并吸收了标准制定中积累的经验。h 2 6 4 在所有码率下都能持续提供较高 的视频质量。h 2 6 4 能工作在低延时模式以适应实时通信的应用( 如视频会议) ， 同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视 频流式应用。 h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近 实际应用。h 2 6 4 不仅比h 2 6 3 和m p e g - 4 节约了5 0 的码率，而且对网络传输 具有更好的支持功能。h 。2 6 4 没有繁琐的选项，而是力求简洁的“回归基本”，它 具有比h 2 6 3 + + 更好的压缩性能，又具有适应多种信道的能力。h 2 6 4 标准使运 动图像压缩技术上升到了一个更高的阶段，在较低带宽上提供高质量的图像传输 是h 2 6 4 的应用亮点。h 2 6 4 具有比m p e g 和h 2 6 3 + + 更优秀的p s n r 性能。h 2 6 4 的p s n r 比m p e g - 4 平均要高2 d b ，比h 2 6 3 + + 平均要高3 d b 。 h 2 6 4 的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有 较好的抗误码和抗丢包的处理能力。可适应丢包率高、干扰严重的无线信道中的 视频传输。h 2 6 4 引入了面向口包的编码机制，有利于网络中的分组传输，支持 网络中视频的流媒体传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获 得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 h 2 6 4 的性能提升在于各个部分的技术方案的改进及新算法的应用1 6 1 ( 1 ) 系统被划分为两部分 为进一步提高鲁棒性，h 2 6 4 标准压缩系统被划分为视频编码层( v i d e oc o d e r l a y e r ，v c l ) 和网络抽象层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) 两部分。 v c l 中分为v c l 编码器与v c l 解码器，包括运动补偿、变换编码、熵编码 等压缩单元，主要描述要传输的视频数据所承载的视频内容，主要功能是视频数 据压缩编码和解码。 网络抽象层则是考虑不同的应用，如视频会议通信、h 3 2 x 连续包的视频 传输或r 1 m ，i i d p 口的通信。用于为v c l 提供一个与网络无关的统一接口，它 负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包 括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、 序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据 不属于被参考的帧。类型标志用于指示图像数据的类型。 ( 2 ) 更精确的帧内预测 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给 定帧中充分利用相邻宏块的空自j 相关性，相邻的宏块通常含有相似的属性。因此， 在对一给定宏块编码时，首先可以根据周围的宏块预测( 典型的是根据左上角的 宏块，因为此宏块已经被编码处理) ，然后对预测值与实际值的差值进行编码，这 样，相对于直接对该帧编码而占，可以大大减小码率。h 2 6 4 提供6 种模式进行4 4 像素宏块预测，包括1 种直流预测和5 种方向预测。在h 2 6 4 中，每个4 4 块中的每个像素都可用1 7 个最接近先前已编码的像素的不同加权和来进行帧内 预测。 ( 3 ) 高精度估计 在h 2 6 3 中采用了半像素估计，在h 2 6 4 中则进一步采用1 4 像素甚至1 8 像素的运动估计。即真正的运动矢量的位移可能是以1 4 甚至1 8 像素为基本单 9 视频数据实时插l i 装置及分组方案的研究与实现 位的。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越低， 即压缩比越高。 ( 4 ) 重新定义了适于图像的结构划分 新标准在提高图像传输的容错性方面做了大量工作，重新定义了适于图像的 结构划分。在编码时，图像帧各部分被划分到多个s l i c e 结构中去，每个s l i c e 都 可以被独立解码，不受其它部分的影响。s l i c e 由图像最基本的结构一宏块( m b ) 组成，每个宏块包含一个1 6 1 6 的亮度块和两个8 8 的色度块。在h 2 6 4 的预 测模式中，一个宏块( m b ) 可划分成1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 4 不同模式的尺寸，这种多模式的灵活、细微的宏块划分，更切合图像 中的实际运动物体的形状，于是，在每个宏块中可包含有1 、2 、4 、8 或1 6 个运 动矢量。对于所有的s l i c e 编码类型，h 2 6 4 支持两类帧内编码：4 x 4 与1 6 1 6 编码模式。对于4 4 模式，每一个亮度4 4 块有8 种不同方向上的预测模式及 d c 预测模式；对于1 6 1 6 模式，每个1 6 1 6 亮度块有4 种帧内预测模式。而 对于宏块的8 8 色度采样，采用与亮度1 6 1 6 几乎相同的预测模式。为了保证 s l i c e 的编码独立性，帧内预测是不允许跨越s l i c e 边界的。 ( 5 ) 量化 对变换残差系数的量化使用了5 2 级步长的量化器，可选3 2 种不同的量化步 长，而h 2 6 3 标准只有3 1 级。量化步长范围的扩大使得编码器能够更灵活、精 确地进行控制。在比特率和图像质量之问达到折中。 ( 6 ) 熵编码 视频编码处理的最后一步就是熵编码。h 2 6 4 中关于熵编码有两种方法。一 是统一的v l c ( 即u v l c ：u n i v e r s a lv l c ) 。在h 2 6 3 等标准中，根据要编码的 数据类型如变换系数、运动矢量等，采用不同的v l c 码表。h 2 6 4 中的u v l c 码 表提供了一个简单的方法，不管符号表述什么类型的数据，都使用统一变字长编 码表。其优点是简单；缺点是单一的码表是从概率统计分布模型得出的，没有考 虑编码符号问的相关性，在中高码率时效果不是很好。二是内容自适应二进制算 术编码( c a b a c ：c o n t e x t