（通信与信息系统专业论文）基于directshow的流媒体的应用和研究.pdf

北京邮电大学硕士研究生学位论文摘要 基于d i r e c t s h o w 的流媒体的应用和研究 摘要 随着计算机网络技术、流媒体技术的快速发展，流媒体的处理技 术越来越受到业界的广泛关注，由于流媒体在网络上广泛应用，怎样 使流媒体的处理变得简单而富有成效逐渐成为焦点问题，选择合适的 应用方案将会有效的提高媒体信息的处理和应用，从而大大减少成 本，目前应用较为广泛的技术是微软公司的d i r e c t s h o w ，已经在音视 频采集、视频聊天、视频点播、视频叠加、媒体播放等领域得到广泛 应用。 本文所研究的内容是d i r e c t s h o w 技术在视频点播和音视频采集 领域的应用，文章首先介绍了d i r e c t s h o w 系统的框架和f i l t e r 的基本 原理，阐述了通用f i l t e rg r a p h 的构建和d i r e c t s h o w 应用程序开发的 一般过程。 在视频点播的应用中，本文侧重介绍如何用d i r e c t s h o w 来实现 客户端媒体信息的实时播放，项目的创新在于将传统的m p e g 解压卡 用d i r e c t s h o w 软件包来实现，即采用系统安装的解压模块f i l t e r 来代 替硬件的功能。在分析了缓冲队列的利用效率后，采用高效的单缓冲 队列来代替以往的双缓冲队列，节省了内存空间。同时在应用程序内 开发源f i l t e r ，简化了开发流程和程序的调试。 在音视频采集的应用中，本文侧重介绍独立f i l t e r 的设计和实现， 以及对播放链路的构建。文章分析研究了如何在本地p c 机上模拟实 现电视卡硬件包装f i l t e r 的功能，并通过中间件系统的命令实现对选 台、采集等功能的逻辑控制。通过与服务器的连接，实现了从网络上 接收并播放媒体流。本文重在实现几个基本f i l t e r 的框架功能，对数 据流的接收和媒体类型的匹配，直至最后媒体的播放都进行了完整的 系统设计和实现。 关键词：过滤器过滤器图表c o m 组件基类v o d 套接字 北京邮电大学硕士研究生学位论文 t h er e s e a r c ha n da p p l i c a t i o no ft h e s t r e a mt e d i ab a s e do nd i r e c t s h o w a b s t r a c t w i t ht h ef a s te x t e n to fc o m p u t e ri n t e r n e ta n dt h es t r e a mm e s a t e c h n i q u e ，m o r ea n dm o r ea b r o a da t t e n t i o nh a sb e e np u ti n t ot h ed i s p o s a l t e c h n i q u eo f t h es t r e a mm e d i ai nt h i sf i e l d d u et ot h ea b r o a da p p l i c a t i o n o f t h es t r e a mm e d i ai nt h ei n t e r n e t ，i th a sh e c o m eaf o c a li s s u eo nh o wt o m a k et h ed i s p o s a lt e c h n i q u ee a s ya n de f f e c t i v e t h em e a s u m b l e a p p l i c a t i o ns c h e m ew i l lg r e a t l yi m p r o v et h ed i s p o s a la n da p p l i c a t i o no f m e d i ai n f o r m a t i o n ，a sar e s u l t ，g r e a t l yd e c r e a s i n gt h ec o s t a tp r e s e n t ，t h e d i r e c t s h o wo f m i c r o s o f tc o m p a n yh a sg o tm o r ea p p l i c a t i o n ，s u c ha s c a p t u r eo f a u d i oa n dv i d e o ，v i d e oo nc h a t ，v i d e oo nd e m a n d ，v i d e oo n m i x i n ga n dm e d i ap l a yb a c k t h et h e s i sf o c u s e so nt h ev i d e oo nd e m a n da n dc a p t u r eo f a u d i oa n d v i d e ow i t hd i r e c t s h o w a tf i r s t ，i ti n t r o d u c e st h ef r a m es t r u c t u r eo f d i r e c t s h o ws y s t e ma n df i l t e rp r i n c i p l e ，a n de x p a t i a t et h ec u r r e n c y c o n s t r u c to f f i l t e rg r a p ha n dt h eg e n e r a ld e v e l o pp r o c e s so f d i r e c t s h o w a p p l i c a t i o np r o c e d u r e i nt h ea p p l i c a t i o no f v o d ，t h ee m p h a s i si sp u to nh o wt oi m p l e m e n t t h ep l a yo f t h ec l i e n tm e s ai n f o r m a t i o n t h ei n n o v a t i o no f t h ep r o j e c ti s 北京邮电大学硕士研究生学位论文摘要 u s i n gd i r e c t s h o ws d k i n s t e a do ft h et r a d i t i o n a lm p e gd e c o m p r e s s i o n c a r d t h a ti st h ed e c o m p r e s s i o nm o d u l ef i l t e rb u i l d e di ns y s t e mt a k et h e p l a c eo fh a r d w a r e t h ee f f e c t u a ls i n g l ec u s h i o nq u e u ei se m p l o y e d i n s t e a do ft h ed o u b l ec u s h i o nq u e u ea f t e ra n a l y i n gt h ee f f i c i e n c yo f c u s h i o nq u e u e t h i sr e s u l tt h eg o o du s eo f m e m o r y t h e d e v e l o p m e n to f s o u r c ef i l t e ri nt h ea p p l i c a t i o np r o c e d u r es i m p l i f i e st h ed e v e l o pp r o c e s s a n dd e b u go f p r o c e d u r e i nt h ea p p l i c a t i o no f c a p t u r eo f a u d i oa n dv i d e o ，t h ee m p h s i si sp u t o nt h ed e s i g na n di m p l e m e n to f a b s o l u t ef i l t e r , a n dt h ec o n s t r u c to f p l a y p a s s a g e w a y t h et h e s i sf o c u s e so nh o w t os i m u l a t et h ew r a pf i l t e r f u n c t i o no f t h et vc a r d a tt h es a m et i m e ，t h el o g i cc o n t r o lo f t u n e ra n d c a p t u r en e e dt ob ei m p l e m e n t e dt h r o u g ht h em i d d l e w a r es y s t e m c o m m a n d f i n i s ht h ed a t ai n c e p tf r o mi n t e m e ta n dp l a yb a c ko f m e d i a s t r e a m t h ep r o j e c tm a i n l yi m p l e m e n t st h ee l e m e n t a r yf i l t e rf r a m e f u n c t i o n i na d d i t i o n ，d e s i g na n di m p l e m e n tt h er e c e p t i o no f d a t as t r e a m ， t h em a t c h i n go f m e d i a t y p e ，t h ep l a yo f p r o g r a m k e yw o r d s f i l t e r ，f i l t e rg r a p h ，c o m ，v o d ， s o c k e t 北京邮电大学学位论文缩略语 英文缩写 a v i a s f b m p c i f c o m d c t f t p j p e g h d t v h t t p m p e g r s v p r t c p r t p r t s p s t b u d p v o d 缩略语 英文全拼 a u d i ov i d e oi n t e r l e a v e d a d v a n c e ds t r e a m i n gf o r m a t b i tm a pp i c t u r e c o m m o ni n t e r m e d i a t ef o r m a t c o m p o n e n to b j e c tm o d e l d i s p e r s ec o s i n et r a n s f o r m f i l et r a n s f e rp r o t o c 0 1 j o i n tp i c t u r ee x p e r tg r o u p h i g hd e f i n i t i o nt e l e v i s i o n h y p e rt e x tt r a n s f e rp r o t o c o l m o v i n gp i c t u r e se x p e r t sg r o u p r e s o u r c er e s e r v ep r o t o c o l r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c o l r e a lt i m et r a n s f o r mp r o t o c a l r e a lt i m es t r e a m i n gp r o t o c o l s e t t o pb o x u s e r d a t ap a c k e tp r o t o c a l v i d e oo nd e m a n d 第5 9 页共7 0 页 中文 音频视频交错格式 高级流格式 位图 通用中间格式 组件对象模型 离散余弦变换 文件传输协议 联合图片专家组 超文本传输协议 超文本传输协议 运动图像专家组 资源预留协议 实时传输控制协议 实时传输协议 实时流协议 电视机顶盒 用户数据包协议 视频点播 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：盗窒煎日期：2 1 1 1 童三旦! 三旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 施闫缚 北京邮电大学学位论文第一章引言 1 1 课题研究背景 第一章引言 网络技术、通讯技术、多媒体技术的迅猛发展对i n t e r a c t 产生极大的影响， 特别在以下几个方面：第一，联网方式多样化，从1 4 4 k m o r d e n 到专线、i s d n 、 有线电视、光纤、卫星网络等；第二，网络带宽的大大拓宽，无论哪种联网方式， 它们所提供的带宽不断的在扩大；第三，i n t g ：r n e t 提供更多的服务，它不再局限 于网络通信e m a i l 、简单的信息浏览、f t p 、t e l n e t 等，诸如电子商务、远程 教育、视频点播等新的服务和应用如雨后春笋般的出现。 在这种情况下世界各地的传统影视媒体、教育学习机构、广播媒体纷纷加入 到i n t e r n c t 领域中，使自身的传播方式得到了扩充。面对有限的带宽和拥挤的拨 号网络，实现窄带网络的视频、音频、动画传输最好的解决方案就是流式媒体的 传输方式。通过流方式进行传输，即使在网络非常拥挤或很差的拨号连接的条件 下，也能提供清晰、不中断的影音给观众，实现了网上动画、影音等多媒体的实 时播放。 一般来说，流包含两种含义，广义上的流是使音频和视频形成稳定和连续的 传输流和回放流的一系技术、方法和协议的总称，我们习惯上称之为流媒体系统； 而狭义上的流是相对于传统的下载一回放( d o w n l o a d p l a y b a c k ) 方式而言的一 种媒体格式，能从i n t c r n e t 上获取音频和视频等连续的多媒体流，客户可以边接 收边播放，使时延大大减少“1 。 随着视频点播技术的发展，服务器端不仅需要大量的存储系统，同时还要 负荷大量的数据传输，导致服务器根本无法进行大规模的点播。同时由于局域网 中的视频点播覆盖范围小，用户也无法通过互联网等网络媒介收听或观看局域网 内的节目。 此时流媒体技术出现了，在视频点播方面我们完全可以遗弃局域网而使用互 联网，由于流媒体经过了特殊的压缩编码，使得它很适合在互联网上传输。客户 端采用浏览器方式进行点播，基本无需维护。由于采用了先进的机群技术，可对 大规模的并发点播请求进行分布式处理，使其能适应大规模的点播环境。随着宽 带网和信息家电的发展，流媒体技术会越来越广泛的应用于视频点播系统，也许 有一天你也可以在自己的家中欣赏到与电视节目相当的流式视频节目。 本论文所研究的课题部分内容属于国家部级项目的改进。部分属于企业公司 的研发项目。隶属于联想研究院协同计算研究室中间件系统的开发项目。 第i 页共7 0 页 北京邮电大学学位论文第一章引言 1 2 主要的研究工作和研究成果 研究生期间本人所做的工作主要是在基于d i r e c t s h o w 的流媒体技术的研究 基础之上，结合国家和企业项目所提出的需求，分析了v o d 系统和网络电视系 统的应用现状，提出新的应用方案，并独立完成系统的设计与实现。 本论文所研究的课题实现了v o d 系统客户端的纯软件实现，在分析对比使 用硬件解压卡实现的客户端程序的基础上，综合应用d i r e c t s h o w 体系架构来实 现客户端节目流的实时播放，并结合运用了单缓冲队列来节省空间、提高播放效 率。 在联想研究院实习期闯，参与了x l i n k 中间件系统的研发项目，主要负责 电视卡模拟部分的设计和实现。内容涉及功能f i l t e r 的框架设计实现，接口的实 现，以及系统链路的构建，与服务器端的通信。 1 3 论文的组织( 结构) 第一部分综述流媒体技术及d i r e c t s h o w 技术。 首先介绍了d i r e c t s h o w 的开发环境和g r a p h e d i t 的作用，然后介绍 d i r e c t s h o w 的视频回放链路的构建，源f i l t e r 的实现，s o c k e t 通信的方式以及读 取数据采用的模式。然后详细介绍了f i l t e r 的原理和d i r e c t s h o w 应用程序的一部 开发过程。 第四章介绍v o d 系统客户端的设计与x - l i n k 中问件系统电视卡部分的设 计。 v o d 系统客户端的设计主要分三个模块来实现客户端对实时接收的流媒体 的播放和控制。重点介绍各个功能模块的架构设计以及功能分析。x l i n k 中间 件系统主要涉及独立f i l t e r 的开发，重点介绍f i l t e r 的功能设计和流程，以及f i l t e r 和p i n 口的基类选型分析。 第五章介绍v o d 系统客户端系统的实现和电视卡模拟系统的实现。 首先介绍v o d 系统各个功能模块的实现和调试要点，然后介绍电视卡模 拟系统的t u n e r ，c r o s s b a r ，c a p t u r ef i l t e r 及其p i n 口的框架设计，需要实现的 基本函数和接口。介绍如何使用这几个f i l t e r 来构建f i l t e rg r a p h 链路并设计简 单播放器实现m p e g 2 文件的播放，停止，暂停。最后介绍如何实现从本地和 从网络上读取文件。 第六章总体介绍在开发过程中遇到的问题并总结了一些开发方法。包括 s o c k e t 编程的应用，c o m 组件的应用都有一些自己的想法。 第2 页共7 0 页 北京邮电大学学位论文第二二章流媒体技术综述 第二章流媒体技术综述 2 1 流媒体技术概述 流媒体( s t r e a m i n gm e d i a ) 是一种新兴的网络传输技术，在互联网上实时顺序 地传输和播放视音频等多媒体内容的连续时基数据流，流媒体技术包括流媒体 数据采集、视音频编解码、存储、传输、播放等领域。 一般来说，流包含两种含义，广义上的流是使音频和视频形成稳定和连续的 传输流和回放流的一系列技术、方法和协议的总称，我们习惯上称之为流媒体系 统；而狭义上的流是相对于传统的下载一回放( d o w n l o a d - p l a y b a c k ) 方式而言 的一种媒体格式，它能从i n t e r a c t 上获取音频和视频等连续的多媒体流，客户可 以边接收边播放，使时延大大减少。 在网络上传播多媒体信息主要有两种方式：下载和流式传输。下载方式是传 统的传输方式，指在播放之前，用户下载多媒体文件至本地，通常这类文件容量 较大，依据目前的网络带宽条件，需要较长时间，并且对本地的存储容量也有一 定的要求，这就限制了p d a 等低存储容量设备的使用。流式传输则把多媒体信 息通过服务器向用户实时地提供，采用这种方式时，用户不必等到整个文件全部 下载完毕，而只需经过几秒或几十秒的启动时延即可播放，之后，客户端边接收 数据边播放。与下载方式相比，流式传输具有显著的优点：一方面大大地缩短 了启动延时，同时也降低了对缓存容量的需求；另一方面，又可以实现现场直播 形式的实时数据传输，这是下载等方式无法实现的，同时有助于保护多媒体数据 的著作权。 流式传输有顺序流式传输和实时流式传输两种方式。顺序流式传输是顺序下 载，在下载文件的同时用户可观看在线媒体。由于标准的h r r p 服务器可发送这 种形式的文件，也不需要其它特殊协议，经常被称作h 1 r p 流式传输。顺序流式 文件易于管理，但不支持现场直播，严格的说是一种点播技术【”。 实时流式传输与顺序流式传输不同，它需要专用的流媒体服务器与传输协 议。实时流式传输总是实时传送，适合现场直播，实时流式传输必须匹配连接带 宽，这意味着图像质量会因网络速度降低而变差。实时流式传输允许对媒体发送 进行更多级别的控制，因而系统设置和管理比标准h t t p 服务器更复杂【“。 第3 页共7 0 页 北京邮电大学学位论文第一二章流媒体技术综述 2 1 1 流媒体的压缩标准 视频图像的文件格式分为两类，一类是静态图像文件格式，另一类是动态 视频图像文件格式。 静态图像的文件格式比较多，常见的有j p g 、g i f 、b m p 、t g a 、p c x 、t i f f 、 m m p 、f 及r e l 等。 动态视频文件可分成两大类：其一是影像文件，如v c d ；二是流式视频文 件。影像文件不仅包含了大量图像信息，同时还容纳了大量音频信息。常见的有 a v i 、m o v 、m p e g m p g d a t 等格式。流式视频主要有r m 、m o v 、a s f 三种 格式【6 j 。 我们泛指的m p e g x 版本，是指由一组i t u 和i s o 制定发布的视频、音频、 数据的压缩标准。 m p e g 标准有三个组成部分：m p e g 视频、m p e g 音频、视频与音频的同步。 m p e g 视频是m p e g 标准的核心。为满足高压缩比和随机访问两方面的要求， m p e g 采用预测和补插两种编码技术。 5 1 m p e g 视频压缩算法中包含两种基本技 术：一种是基于1 6 x1 6 像素子块的运动补偿技术，用来减少帧序列的时域冗余； 另一种是基于d c t 的压缩，用于减少帧序列的空域冗余，在帧内压缩及帧问预 测中均使用了d c t 。运动补偿算法是当前视频图像压缩技术中使用最普遍的方 法之一。 m p e g 标准系列有针对c d r o m 的1 5 m b p s 传输率的m p e g 1 、针对h d t v 的6 m b p s 以上传输速率的m p e g 2 。 s l m p e g - 4 是针对视频会议、可视电话的甚 低速率编码标准，它融入了基于内容的检索与编码，可对压缩数据内容直接访问。 m p e g 一7 标准被称为“多媒体内容描述接口”，这种标准化的描述可以加到任何 类型的媒体信息上，不管视频信息的表达形式或压缩形式如何，具有这种标准化 描述的多媒体数据均可被检索，因此，m p e g 7 的应用领域主要是数字化图书馆 和广播式媒体。 在低速率视频传输的应用方面，有h 2 6 1 、h 2 6 3 、h 2 6 3 + - - - 种标准。 h 2 6 1 是i t u - t 针对可视电话和会议电话、窄带i s d n 等要求实时编解码和 低延时应用提出的一个编码标准。h 2 6 1 标准大体上分为两种编码模式：帧内模 式和帧问模式。h 2 6 1 是一个典型的采用第一代编码技术的混合编码方案，为了 减少信道误码，h 2 6 1 采用了一种叫做b c h ( 5 1 1 ，4 9 3 ) 的纠错编码方式。 h 2 6 3 标准在i t u - th 2 6 1 的基础上，以混合编码为核心技术，按照分层的 形式组织码流。h 2 6 3 在许多方面对h 2 6 1 进行了改进和扩充，如在编码算法复 杂度增加很少的基础上，h 2 6 3 能提供更好的图像质量、更低的速率，十分适合 于口视频会议、可视电话应用。目前，h 2 6 3 编码是i p 视频通信采用最多的一 第4 页共7 0 页 北京邮电大学学位论文第二章流媒体技术综述 种编码方法，并已被许多多媒体通信终端标准所吸收，如r r u - t h 3 1 0 ( b i s d n ) 、 h 3 2 0 ( i s d n ) 、h 3 2 4 ( p s l n ) 和h 3 2 3 ( l a n 、w a n 、i n t e r n e t ) 等。 2 1 2流媒体技术原理 多媒体数据必须进行预处理才能适合流式传输，这是因为目前的网络带宽对 多媒体巨大的数据流量来说还显得远远不够。预处理主要包括两方面：一是降低 质量；二是采用先进高效的压缩算法。 流式传输的实现需要缓存。这是因为i n t e m e t 以包传输为基础进行断续的异 步传输，对一个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包， 由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间 延迟也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延 迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不 会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，这是因为 高速缓存使用环形链表结构来存储数据：通过丢弃已经播放的内容，“流”可以 重新利用空出的高速缓存空间来缓存后续尚未播放的内容。； 流式传输的实现需要合适的传输协议，w w w 技术是以h r r p 协议为基础 的，而h t t p 又建立在t c p 协议基础之上。由于t c p 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控 制信息，而用r t p a j d p 来传输实时音频数据。 流媒体的具体传输流程如下： ( 1 ) w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要 传输的实时数据从原始信息中检索出来。 ( 2 ) 用h r r p 从w e b 服务器检索相关数据，a v 播放器进行初始化。 ( 3 ) 从w e b 服务器检索出来的相关服务器的地址定位a v 服务器。 ( 4 ) a v 播放器与a v 服务器之间交换a ，v 传输所需要的实时控制协议。 ( 5 ) 一旦a v 数据抵达客户端，a v 播放器就可以播放了。 在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通信协议与a v 服 务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行a v h e l p e r 程序所在客户机的目的地址。 3 1 实现流式传输一般都需要专用服务器和播放器， 其基本原理如图2 1 所示。 第5 页共7 0 页 北京邮电大学学位论文 第二章流媒体技术综述 图2 - 1 流式传输基本原理 2 1 3 流媒体传输协议 流式传输的实现需要合适的传输协议。t c p 需要较多的开销，故不太适合传 输实时数据。在流式传输的实现方案中，一般采用h r r p 厂r c p 来传输控制信息， 而用r t p u d p 来传输实时多媒体数据。 ( 1 ) 实时传输协议r t p 与r t c p r t p 是用于i n t e m e t i n t r a n e t 针对多媒体数据流的一种传输协议。r t p 被定 义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同 步。r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议 上工作。当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个 给r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供 流量控制或拥塞控制，它依靠r t c p 提供这些服务。r t c p 和r t p 一起提供流量 控制和拥塞控制服务。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开 销使传输效率最佳化，因而特别适合传送网上的实时数据。 ( 2 ) 实时流协议r t s p 实时流协议r t s p 是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的，该协议定义 了一对多应用程序如何有效地通过i p 网络传送多媒体数据。r t s p 在体系结构上 位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传输。h r r p 与r t s p 相 比，h 1 t r p 传送h t m l ，而r t p 传送的是多媒体数据。h r r p 请求由客户机发出， 服务器作出响应；使用r t s p 时，客户机和服务器都可以发出请求，即r t s p 可 以是双向的。 ( 3 ) 资源预留协议r s v p 由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高 质量的音频、视频信息，除带宽要求之外，还需其他更多的条件。r s v p 是i n t e m e t 上的资源预留协议，使用r s v p 预留一部分网络资源( 即带宽) ，能在一定程度 上为流媒体的传输提供q o s 。 r s v p 协议本身不是一个路由选择协议，而是一种网络控制协议，它仅仅沿 第6 页共7 0 页 北京邮电大学学位论文 第二章流媒体技术综述 着数据流所选定的路由来预留资源。一旦建立预留，r s v p 协议会让请求服务可 靠地维持路由器和主机的状态。 r p s v 的工作原理大致是这样的，发送端首先向接收端发送一个r s v p 信息， r s v p 信息同其他口数据包一样通过各个路由器到达目的地。接收端在接收到 发送端发送的信息之后，由接收端根据自身情况逆向发起资源预留请求，资源预 留信息沿着原来信息包相反的方向在对沿途的路由器上被逐个的进行资源预留。 ( 4 ) d a v i c 协议 d a v i c 是目前v o d 行业的事实标准，在9 5 年7 月颁布的d a v i c l 0 是最 基础的版本，其它版本是在它的基础上发展起来的，目前已经正式颁布了4 个版 本d a v i c l 0 一d a v i c l 4 。d a v i c l 0 共有1 2 部分，d a v i c 虽然对v o d 系统进 行了详尽描述，但是没有对系统的具体实现方式做任何的限制，只是定义了实现 v o d 系统所必须的“工具”集合。在d a v i c 定义的v o d 系统参考模型中，一 个v o d 系统由节目提供者、业务提供者( s e r v e r ) 、传输网络、业务使用者( c l i e n t ) 四类子系统组成。每个子系统又由多个功能块构成。d a v i c 定义了各个子系统 和功能块之间的接口，并为各种功能尽量定义一种唯一的工具。对于节目提供者 只简单地指明了如何将节目装入服务器、网络、用户终端的设计可以从d a v i c 规范中找到详尽的规定，只要遵循d a v i c 中定义的接入参考点，就可以灵活地 构成一个v o d 系统。 d a v i c 对v o d 系统的描述可以分为三大类： 第一类是从整体功能的角度描述了d a v i c 系统，定义了d a v i c 系统提供的 典型应用、整体参考模型以及各个子系统的构成。这一类包括了d a v i c 的第1 、 2 、3 、4 、5 部分。 第二类从实现的角度，由高到低描述了构成d a v i c 系统的基本工具，如媒 体信息的高层表示方法、通信的高中低层协议、物理接口规范等，还描述了子系 统自j 信息的动态流程。这一类包括了d a v i c 的第7 、8 、9 、1 2 部分。 第三类与系统的运行维护有关，包括用户权限控制、保密、计费等，这一类 包括了d a v i c 的第l o 、l l 部分。 d a v i c 功能参考模型： 在d a v i c 定义的参考模型把一个完整的v o d 系统分成五个部分：节目提 供者、业务提供者( 服务器) 、业务消费者( 用户终端) 、服务器到用户自j 传送网络、 节目提供者与服务器之间的传送网络。图2 - 2 给出了v o d 系统的参考模型： 第7 页共7 0 页 北京邮电大学学位论文第二章流媒体技术综述 c o n t e n t s e t k a v k c e p r o v i d e r o p 5 - 辩 p r o v i d e rs p s - s c sc o n s u i l l 盯 s y s t e m d e l i v e r ys y s t e md e l i v d n s y s t e m l c 鸭 s y s t e m( s v s ) s y s t e m( s c s ) n h a 删$ e r v | c e i n t e r f a c e 口一一一o - 一一d 毋一 = ) 一一书- 一一一o - 一一一一一一o 一口 p p l l c 劬, s e n s e l a t e a a c e 二 一审一一争一 = ) 一母- 令拿- i s *一口 s a n d t r m s p o a 8 a v k e h e a a c e h i ih 目 口 口 二口 口 0 图2 - 2v o d 系统的参考模型 d a v i c 系统通用参考模型 d a v i c 参考模型类似i s d n 立体模型，将系统分为三个平面： 用户平面，控制平面，管理平面。 每个平面从高到低又分成五个功能层： 基本服务层( p r i n c i p a ls e r v i c e ) ： 与具体业务相对应的高层实体，是系统使用者的界面，它通过与低层实体交 换信息完成有关应用实例。 应用服务层( a p p l i c a t i o ns e r v i c e ) ： 将各类业务综合后的一种抽象的功能划分，为上层提供服务，与下层交互， 在服务器和用户终端之间传送业务所需的控制信息。 会话及传输服务层( s e s s i o na n dt r a n s p o r ts e r v i c e ) ： 建立、管理和维护会话过程，提供一个端到端的通信。 网络服务层州e t w o r ks e r v i c e ) ： 完成与网络有关的功能，如网络的物理传输、连接建立和拆除等。 物理层( p h y s i c a l ) ：对应相应的实际物理设备。 不同功能层对等实体间传送5 种信息流。如图2 3 ： 第8 页共7 0 页 北京邮电大学学位论文第= 章流媒体技术综述 s5 o s4s352s1 图2 - 3d a v i c5 种信息流 这5 种信息流的功能为： s l ：在用户平面上，也就是我们平时所指的下行信道，是一个从服务器到用 户终端的高速单向数据流，传送压缩视频、音频、文本等数据。它只对服务器和 终端有意义，其它中间传送实体对s l 流只进行透明传送。在系统中，采用 t c p i p 的技术并使用相应的算法实现对s 1 流的传输。 s 2 ：在用户平面上，是端到端的双向控制信息流，对中间实体透明，即平常 所说的上行信道。通过s 2 可以控制s 1 流的传送，如暂停、快进等。系统实现 了s 2 的功能。 s 3 ：在控制平面上，是完成会话管理的控制信息流，用于建立、修改、终止 一次会话，协商资源请求、报告异常等。 s 4 ：在控制平面上，完成连接管理，负责服务器与网络问、网络与用户间连 接的建立和释放。 s 5 ：在管理平面上，在对等功能层的面管理实体间以及面管理和层管理之间 传送管理信息。 其中，s l 、s 2 是端到端的业务信息流，与网络无关。s 3 、s 4 属于控制信 息流，负责业务的会话、呼叫、连接控制，与网络有很大关系。系统利用了t c p 数据和带外数据实现s 3 、s 4 流的功能。 此外，d a v i c 还定义了a i - a 1 2 共1 2 个接入参考点，a 1 、a 9 、a 1 0 、a i l 位于子系统之间，其它参考点定义在各个子系统内的功能实体之间。 2 1 4流媒体系统结构 流媒体系统包括以下五个方面的内容。 1 ) 编码工具：用于创建、捕捉和编辑多媒体数据，形成流媒体格式。 第9 页共7 0 页 北京邮电大学学位论文第二章流媒体技术综述 2 ) 流媒体数据。 3 1 服务器：存放和控制流媒体的数据。 钔网络：适合多媒体传输协议甚至是实时传输协议的网络。 5 ) 播放器：供客户端浏览流媒体文件。 流媒体所涉及的硬件资源一般有视频源，编码设备，编码工作站，硬件服务 器，c d n ( 内容分发网络) ，用户接入设备，用户终端设备等几个主要部分。 2 2 流媒体的应用和发展现状 2 2 - 1 流媒体的应用 流媒体的应用可以根据传输模式、实时性、交互性粗略的分为多种类型。传 输模式主要是指流媒体传输是点到点的方式还是点到多点的方式。点到点的模式 一般用单播传输来实现。点到多点的模式一般采用组播传输来实现。实时性是指 视频内容源是否实时产生、采集和播放，实时内容主要包括实况内容，视频会议 节目内容等，而非实时内容指预先制作并存储好的媒体内容。交互性指应用是否 需要交互，即媒体流的传输是单向的还是双向的。 根据上述分类，常见的流媒体的应用主要有： 1 ) 视频点播( v o d ) 。视频点播是最常见、最流行的流媒体应用类型。通 常视频点播是对存储的非实时性内容以单播传输方式实现，除了控制信 息外，视频点播不具有交互性。在具体实现上，视频点播可能具有更复 杂的功能。 2 ) 视频广播。视频广播可以看作是视频点播的扩展，它把节目源组织成频 道，以广播的方式提供。用户通过加入频道收看预定好的节目。视频广 播不具有交互性。 3 1i n t e r a c tt v 。i n t e r n e tt v 在提供方式上类似视频广播，也是以频道的方式 提供，但是i n t e m e t t v 的功能更类似于一般的电视，其节目一般也是直 接来自电视节目，通过实时的编码、压缩制作而成。i n t e r a c tt v 还可以 实现实况转播，而且可以实现先进的多视角实况转播，特别是对于体育 比赛，用户可以在不同的视角间切换，同时相关的评论、资料信息业可 以同时传送到用户端的计算机上显示。 4 1 视频会议。视频会议可以是双方的，也可以是多方的。前者可以作为视 频电话，视频流媒体信息可以点到点的方式传送。多方的视频会议需要 多点控制单元，需要以广播的方式传输。视频会议是典型的具有交互性 第1 0 贞共7 0 页 北京邮电大学学位论文第二章流媒体技术综述 的流媒体应用。 5 1 远程教学。远程教学目前应用也比较广泛，而且具有很好的市场应用前 景。远程教学可以看作是前面多种应用类型的综合，在远程教学中，可 以采用多种模式，甚至混合的方式实现。 6 ) 视频监控。通过安装在不同地点并且与网络连接的摄像头视频监视系统 可以实现远程的监测。与传统的基于电视系统的监测不同，视频监测信 息可以通过网络以流媒体的形式传输，因此，更为方便灵活。 2 2 2 流媒体的发展现状 就像多媒体通信技术的产生一样，它的发展也将随着通信技术、电视技术和 计算机技术的发展而同步前进。在今后的多媒体通信技术的发展中，网络技术、 终端技术和信息处理技术仍属发展的关键技术所在。 多媒体通信的网络技术 多媒体通信的网络技术总的发展趋势是信息传输的超高速和网络功能的高 度智能化。随着网络体系结构的演变和宽带技术的发展，传统网络向下一代网络 ( n g n ) 的演进是不可避免的大趋势，基于软交换的下一代网络开展的传统的话 音业务和多媒体业务的商业应用已逐步出现。从发展的角度来看，n o n 是传统 基于时分复用( t d m ) 的p s t n 逐步向基于i p a t m 的分组网络的演进，是p s t n 与分组网融合的产物。从网络的角度看，以软交换为核心，结合媒体网关，信令 网关，互联电路交换网和分组网，以实现业务层的融合和网络的统一管理。随着 网络应用加速向口汇聚，网络将逐渐向着对m 业务最佳的分组化网的方向演进 和融合。 多媒体通信的信息处理技术 信息处理技术一直是多媒体通信中的一个关键部分，它包括多媒体信息的分 布处理和各种媒体信息的信息压缩处理。在图像信息处理方面，人们正在继续研 究和开发新一代图像压缩编码的算法，例如模型基、语义基算法、神经网络、模 糊集合、混沌、分形理论等算法，并力图将这些算法变成适当的软件或硬件，以 期在保持一定图像质量的前提下获得更大的压缩比。此外，还力图将图像图形的 识别和理解技术、计算机视觉等内容引入压缩编码算法中去。今后可望在几百到 几千比特每秒的速率上传输可视电话图像，在1 0 m b s 以下的速率上传输超过现 在h d t v 质量的超级电视图像。在语音信息处理方面，除了进一步对语音信息 第1 1 页共7 0 页 北京邮电大学学位论文 第一二章流媒体技术综述 进行压缩以外( 如普通语音信号压至2 - - 4 k b s ) ，还要研究对语音信号的识别、合 成和输入，包括对特定人和非特定人语音的识别和输入。在文字信息处理方面， 除了继续研究文本数据的压缩外，正在进行文字识别和输入方面的研究。