（通信与信息系统专业论文）多媒体通信的qos技术及其中间件开发.pdf

重庆邮 b 学院硕士论文 摘要 在口网上传送多媒体信息流时，随着网络负荷和拥塞程度的动态变化， 口包从发送端传送到接收端的传输速率不定、时延不定、传送途径不定( 引起包 失序1 等因素，使得在i p 网中实时传送音视频文件时会产生图像抖动、闪烁，甚 至会出现播放断续等现象。面对这些挑战，人们提出了综合服务和区分服务、拥 塞控制、差错控制等多种q o s 技术。 同时，利用中间件技术，能够快捷有效地开发和部署多媒体通信业务。中间 件是位于平台( 硬件和操作系统) 和应用之间的通用服务，这些服务具有标准的程 序接口。 本课题通过对面向对象技术、统一建模语言( u m l ) 的研究和实践，设计开发 多媒体通信中间件。论文叙述了多媒体流播的协议、i p q o s 网络架构和相关q o s 控制技术，它们是多媒体通信中间件q o s 体系的构成要素。研究了多媒体通信 中间件的q o s 管理机制，重点阐述o c t o p u s 多媒体通信中间件的q o s 规范和映 射、l | 矗视与调整方法。采用统一建模语言对o c t o p u s 的q o s 管理器和动态协议框 架( d p f ) 组件进行了需求分析、系统分析以及系统设计，给出了类图结构设计。 并讨论了q o s 管理器和动态协议框架之间的交互及协作机制与过程。论文最后 提出了下一步的努力方向。 关键词：多媒体通信；中间件；服务质量( q o s ) ；动态协议框架；面向对象技术 皇垦墅里兰堕竺三兰兰一 a b s t r a c t b e c a u s eo f t h ed y n a m i cv a r i a t i o no f t h el o a da n dc o n g e s t i o no f t h cn e t w o r k ，t h e i pp a c k e t st h a tf r o mt h es e n d e rt ot h er e c e i v e rs u f f e rf r o mt h eu n c e r t a i n t yo ft r a n s m i t r a t e ，d e l a ya n d r o u t e w h e nd e l i v e rm u l t i m e d i as t r e a mi n i pn e t w o r k s ，t h e a u d i o v i d e os t r e a mm a yb eb r o k e n s o m eq o st e c h n o l o g yc a nb ea p p l i e dt or e s o l v e t h e s ep r o b l e m s ，s u c ha si n t e s e r va n dd i f f s e r vm o d e l ，c o n g e s t i o na n de r r o rc o n t r o l ， e t c a tt h es a m et i m e ，m i d d l e w a r ec a r lb eu s e dt od e v e l o pa n dd e p l o ym u l t i m e d i a s e r v i c ef a s ta n de f f e c t i v e l y i h em i d d l e w a r el i e sb e t w e e nt h ea p p l i c a t i o n sa n dt h e p l a t f o r m o fh a r d w a r ea n do s ，w h i c hp r o v i d e sg e n e r i cs e r v i c ew i t hs t a n d a r d j n t e r f a c c s t h i sr e s e a r c hp r o j e c tw i l ld e s i g na n dd e v e l o pam i d d l e w a r eo fm u l t i m e d i a c o m m u n i c a t i o nb yu s eo ft h eo b j e c t o r i e n t e dt e c h n o l o g ya n du m l t h i st h e s i s d e s c r i b e st h eq o sf a c t o r so fam i d d l e w a r eo fm u l t i m e d i ac o m m u n i c a t i o n ，w h i c hi s c o m p o s eo fs o m es t r e a mp r o t o c o l s ，pq o sa r c h i t e c t u r e sa n d m e t h o d so fq o sc o n t r 0 1 w er e s e a r c hm e c h a n i s m sf o rq o sm a n a g e m e n ta n dh i g h l i g h t st h em e t h o d so fq o s m a p p i n g ，m o n i t o ra n da d a p t i o ni nt h eo c t o p u s w ea n a l y z et h er e q u i r e m e n to ft h e s y s t e m ，a n dd e s i g nt h eq o sm a n a g e ra n dd p fi no c t o p u s t h ei n t e r w o r k i n g b e t w e e nt h eq o sm a n a g e ra n dd p fi sa l s oi n t r o d u c e di nt h et h e s i s s o m ef u t u r e e f f o t - l sa r ep o i n t e do u ti 1 1t h ee n d k e y w o r d s ：m u r i m e d i ac o m m u n i c a t i o n ；m i d d l e w a r e ；q u a l i t y o fs e r v i c e ( q o s ) ； d y n a m i cp r o t o c o lf r a m e w o r k ( d p f ) ；o b j e c t - o r i e n t e dt e c h n o l o g y n 草庆邮1 u 学院顺l 论义 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究：l 作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论义扣0 i 包含其他人已经发表或撰写过的研究成果，也不包含为扶得重 庆邮电学院或其他教育机构的学位或证书而使j 材过的材料。与我同 1 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谤f 意。 位论文作者签名：徐；岛弓锄囊字 = i 期：2 。争年fjj ，争 学位论文版权使用授权书 本学位论文作者完全了解重迭唑生堂i 缝有关保留、使用 学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件 和磁盘，允许论文被查阅和借阅。本人授权重废由电堂医 可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采，h j 影印、缩 印或扪捕簿复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：苛：坞为曩 签字l f l 期：2 0 0 眸，月z 争日 、 导师躲佑砀。；) v 签字f | ；| | 】加干年厂月抖 霹庆邮电学院硕士论文 1 1 研究背景 第一章绪论 随着现代社会物质和精神生活水平的提高，以及人们对远程办公、教学、医 疗、娱乐日益增长的需求，人们普遍希望多媒体通信及应用可以为他们提供良好 的服务。在这种需求的推动下，多媒体及其通信技术和多媒体宽带网络的建设都 获得了进一步的发展。目前的多媒体应用一般基于现有的数据传输和通信网络， 并通过w l a n 、3 g 等宽带技术支持无线及移动接入。多媒体流和数据等业务混 合地在网络上传送，其服务质量的保证是很重要的一环，足以影响到多媒体业务 的生命力。 在网络的一般应用服务里，由于用户终端和网络环境的差异性，以及服务模 式单一等原因，往往容易造成部分用户的服务质量需求不能得到很好的满足。而 在网络的多媒体应用服务里，由于媒体流数据量一般偏大且常为实时性，q o s 问 题更难以被忽视。为了尽可能地解决这一问题，已经提出了一些q o s 保障技术 如综合服务模型，资源预留协议，区分服务模型，多协议标记交换、分层多播 ( 1 a y e r e d - m u l t i c a s t i n g ) 机制等。 多媒体通信技术( 多媒体压缩技术，多媒体实时传输技术等) 形成了一系列的 各种存储压缩标准以及一系列多媒体流实时传输协议：r t p ( r e a l t i m et r a n s p o r t p r o t o c 0 1 ) ，实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和实时流 协议r t s p ( r e a l t i m es t r e a mp r o t o c 0 1 ) ，来实现实时多媒体流的传输和监视、会活 控制等功能。 与此同时，流媒体技术作为多媒体应用的高级形式，在互联网上已经得到了 广泛的应用，如视频点播、在线影院、远程教育、交互式电视等。随着流媒体技 术以及其它相关技术的成熟，流媒体技术应用于2 5 g 3 g 移动通信网也成为可 能。在开拓移动通信增值业务过程中，通过把多媒体( 流媒体) 技术引入移动网络， 使人们得以方便地进行视频点播，接收动画、游戏等活动。为了切实保障这些应 用的成功开展，必须关注和满足其q o s 指标，如流媒体数据的压缩、包的丢失， 重庆邮电学院硕士论文 吞吐量，资源利用率以及实时音视频数据的延迟、抖动等参数。同时，如何平 衡有效地保证组内各个不同终端用户的接收质量也具有重要的意义。基于已经提 出的相关协议规范和技术措施，需要建立完善的q o s 框架、管理策略和方法等， 以便在不同的网络情况和用户需求条件下，提供相适应的q o s 支持。 另外，当前分布式应用技术( j i n i 技术，j a v ar m i 技术等) 的不断成熟促进了 分和式中间件的开发。多媒体技术和中间件技术的结合产生了多媒体中问件，基 于好的多媒体中问件，可以方便快速地开发多媒体应用业务，从而向人们提供各 种多媒体服务。一个完善的多媒体中间件平台，应当能为其应用服务开发提供简 单的接口和强大的功能，包括提供好的端到端q o s 管理解决方案。 1 2 主要研究内容 多媒体通信及应用，涉及多媒体的捕获生成、传输和接收播放等诸多方面。 限于篇幅和能力，本论文主要对多媒体通信的q o s 技术进行介绍，并在此基础 上，描述有关多媒体通信中间件的设计与开发。构造一个具有完整多媒体通信能 力的中间件平台，并提供较好的q o s 机制包括q o s 协商、q o s 监视和q o s 自适应调整等，在带宽、延迟、抖动等不断变化的条件下提供良好的服务质量。 本论文的选题和研究工作以新加坡国立大学计算机学院多媒体技术研究实 验室和重庆邮电学院光互联网及无线信息网络研究中心的合作协议为依托，通过 对面向对象技术、u m l 的研究和实践，设计开发多媒体通信中间件。本文将对 o c t o p u s 多媒体通信中间件的重要组成部分q o s 管理器和动态协议枢架( d p f ) 进行比较深入的研究和分析。 论文的主要内容有： ( 1 ) 综述多媒体流播的协议，i pq o s 网络架构，相关q o s 技术，它们提供 了多媒体通信中间件的q o s 体系要素。 ( 2 ) 采用统一建模语言( u m l ) 对o c t o p u s 多媒体通信中间件的q o s 管理器 和动态协议框架( d p f ) 进行了需求分析、系统分析和系统设计。 ( 3 ) 从中间件平台体系结构和主要功能的角度，以及分布式计算发展的角 度，研究了o c t o p u s 的q o s 管理器和动态协议框架具备的核心组件和功能。 ( 4 ) 讨论了o c t o p u s 多媒体通信中间件q o s 管理器和动态协议框架的交互 鼋庆邮电学院硕士论史 和协作机制与过程。 论文安排如下： 第1 章，阐述了研究：【：作的选题背景，以及研究的内容、方法。第2 章，综 述因特网和无线i p 蚓络j ：的多媒体流播及q o s 技术。第3 章，研究多媒体通信 中f i j 件的q o s 管理机制，雨点闸述了o c t o p u s 的q o s 映射、监视和调整疗法。 第4 章，扪述了多媒体通信小问件的丌发和实现。利j h 面向对象技术对q o s 符 理器和动念协议框架进行了系统需求分析、总体结构设计、和类图结构没汁等。 第5 章，对作者的工作进行r 总结，并提出了进一步的工作目标。 重庆邮l u 学院瑚i 论义 第二章多媒体通信及其q o s 技术 2 1 多媒体通信技术 多媒体( 含多媒体技术) 是计算机技术与音频、视频、图形、图象等领域的尖 端技术结合的产物，是综合性电子信息技术，它给传统的计算机系统，音视频设 备带来了方向性的变革，并将对大众传播媒介产生深远影响，它又是涉及对计算 机技术、l 扭了技术、信号处理技术、通信技术、广播f 乜= ! i l 技术等若干信息技术进 j r 蓖组、优化、革新、综合的一门“群体性”技术。多媒体通信实现了二：i 性的统 ：计算机的交互性、通信的分布性和画面的真实性，是多种学科技术的相互渗 透与有机结合，是一种崭新的计算机通信制式。 视频多媒体业务如会议电视等提供位于不同地点的多个用户之叫的实时通 信，内容包括与会者图像信息、商质量话音以及其它媒体信息。动态图像传输在 乜信领域被称为视频业务或视讯业务，在计算机界常常称为多媒体通信、流媒体 ( m e d i as t r e a m i n g ，又称s t r e a m i n gm e d i a ) 通信等。会 义电视和流媒体就是图像通 讯技术的两个应用。多媒体的流式( s t r e a m i n g ) 播放即多媒体流播 【1 ，是指在发送 方传送媒体数据的同时接收方即播放媒体数据，媒体内容不需要全部下载( 在部 分内容被接收和解码时进行重放) 。多媒体流包括视频流和音频流等。音频和视 频数据既有分丌的，也有在单一文件中被组合在一起的。不同于以通信为基础和 出发点的会议电视技术，流媒体发源于计算机和网络技术。流媒体技术与应用流 媒体技术是随着互连1 网( i n t e m e t ) 的迅猛发展而发展的。腆型的流媒体应用系统包 括视频点播( v i d e o o n d e m a n d ，r o d ) 系统、视频会议( v i d e oc o n f e r e n c e ) 系统、远程 教育( d i s t a n c ei e a m i n g ) 系统、数字图书馆( d i g i t a ll i b r a r y ) 等。在客j 。端，用户通过 相应的解码器接收音视频流，其多数为软件实现，如m i c r o s o f t 的m e d i a p l a y e r 、 r e a l n e t w o r k s 的r e a l p l a y e r 等。廉价、甚至是免费的客户端软件是流媒体应h 的 另一特点，也是其迅速普及的一个原因。 流媒体技术的核心是流式技术和高压缩技术，使多媒体视音频信息以边f 载 边播放的形式提供服务，从而彻底转变了传统互联网呆板的内容表现形式，具有 4 重庆邮电学院硕士论文 强视觉冲击力的视频节目成了人们进入宽带网络最重要的应用之一。各电信运营 商希望能够通过流媒体技术和宽带网络的发展，巩固原先的网络通信市场，并以 此介入新兴的网络媒体娱乐市场。因为传统的网络运营商本身不具备广播电视传 播网络，但宽带网络和流媒体技术及互动性与未来的发展，让宽带运营商看到了 发展宽带交互视频的机会与美好前景。“流媒体将改变宽带产业”正在成为一种 共识。 目前，多媒体及网络领域的相应国际标准和协议充分考虑了流媒体的应用。 在多媒体方面，m p e g 系列标准( m p e g 一1 m p e g 一2 m p e g 4 ) 对网络传输的重视逐 渐加强。而h 系列协议包括h 2 6 1 ，h 2 6 3 ，h 2 6 l 等视频编码标准，h 3 2 3 ，h 3 2 4 等系统标准更直接地面向网络应用。 鉴于流媒体技术的特点和成功的应用，许多传统的会泌电视厂商也推出了流 媒体产品，配合会议电视系统一起为用户提供更完善的解决方案，并取得了成功 的应用。如t u r b o c a s t 流媒体系统【2 支持实时广播或在线点播。在电视会议召开 时可以通过流媒体系统将会议内容实时广播到企业内部网或互联网。被授权用户 则可以通过p c 机接收会议内容，也可以会议后点播存储在服务器上的会议内容。 它把实时、双向、高质量的会议电视和易于实现、灵活、低成本的流媒体有机地 结合在一起，满足了用户多方面的需求，在实际应用中取得了很好的效果。 总之，作为视频通信技术的应用，以会议电视和流媒体在技术和应用上有睹 多相似之处，但也有许多不同。会议电视作为成熟的通信系统，能够提供实时、 双向、多网络、广域和保证质量的音视频通信；而作为新技术的流媒体给我们带 表一种低成本、高效、易用的音视频通信方案，并可以预见它更新的发展。从应 用的角度来看，了解会议电视和流媒体的特点及不同点，根据用户的需求将二者 有机地组合，将会是一种珠联璧合的方案，并促进和体现出现代电信技术与计算 机、网络技术的融合。 与此同时，在实时、连续的音视频信号通过非实时、包交换、异步的互联网 时，会产生时延、抖动、甚至丢包，将造成图像停顿、断音等错误。如何在低带 宽、大延时、非可靠的互联网上传输数据量较大的音视频信号，即流媒体技术的 服务质量( q o s ) 保证是一个很重要的研究课题。另外，高接入带宽为无线网络多 媒体服务提供了物质基础，使无线通信与多媒体通信的结合成为可能。 重庆邮电学院硕士论文 2 2 多媒体流播的协议 协议是为客户和流服务器之间的通信而设计和标准化的。流媒体协议提供的 服务包括网络寻址、传输和话路控制等。协议可分为三类：( 1 ) 网络层协议，如 理；( 2 ) 传输协议，如用户数据报协议( u d p ) 和t c p 是低层传输协议，而r t p 和 r t c p 是高层传输协议，它们是在u d p t c p 之上实现的；( 3 ) 话路控制协议，定 义消息和程序，以控制多媒体数据在已建立的通话期间传送，如实时流协议 ( r t s p ) 。 数据传输：用于多媒体数据传输的实时传输协议( r t p ) 把流分成若干含有时 间戳、序列号、发送方信息的数据包。单个的音频样本或视频帧可以由多个r t p 数据包传播，r t p 包头帮助接收方解释数据。 ( 1 ) 定时：从r t p 标头就能够确定帧的间隔，而不需要使发送方和接收方的 时钟同步。r t p 标头包括一个3 2 位的时间戳字段，它表示数据的第一个字节被 采样的时刻。所有来自同一个音频样本或视频帧的数据包都具有同样的时间戳 值。 ( 2 ) 定序：r t p 一般都运行于u d p 上，作为另一种选择，t c p 也能被用于 提供可靠的传输或者把流传送通过那些废弃u d p 数据包的防火墙。r t p 标头包 含了能够使接收方按正确顺序处理接收到的数据包，并且能确定数据包于何时丢 失的序列号。接收方保存数据包丢失的统计数据以便为发送方提供反馈。这些统 计数据可能促使发送方调整传输速率。 ( 3 ) 来源识别：除了定时和定序信息，r t p 标头还能识别数据包里数据的来 源。这对于那些有多个传输数据源的应用程序( 例如远程会议) 特别有用。每个来 源都用3 2 位二进制数字作为标识。每个r t p 数据包都有单一的为数据定义时间 戳和序列号的同步源。在某些情况下，同步源在个或多个汇集型源的帮助下生 成数据。在一个多用户参加的远程会议应用程序里，每个参加者都产生一个音频 流并发送一个r t p 数据包给中间系统，即混频器。混频器把来自不同参加者的 数据包组合起来并生成单一的音频流。混频器是新流的同步源，最初的参加者是 汇集型源。通过r t p 标头里所包含的汇集型源标识符，混频器通知接收方关于 负责被组合流的所有各方的信息。 ( 4 ) 媒体格式：接收方对r t p 数据的解释依赖于编码格式。r t p 标头包含了 重庆邮电学院硕士论文 7 位有效载荷类型的字段来标识多媒体数据的格式，有效载荷类型与名称和编码 描述有关，包含了时间戳时钟频率。最初的一组有效载荷类型是在r f c l 8 9 0 中 定义的。 同时，r t p 规范也定义了提供传输质量反馈和流参与者身份确认的r t p 控制 拂议( r t c p ) 。r t c p 执行如下功能： ( i ) q o s 反馈：这是r t c p 的首要功能。r t c p 提供了接收方r t p 数据包接 收质量( 例如数据包丢失统计) 的反馈，这帮助了r t p 发送方检测执行问题并h 因 此能够适配传输速率。利用发信方和收信方的报告，r t c p 分别在信源和信宿提 供q o s 反馈。这些报告可以含有关于接收质量的信息，如：自从上一次报告后， r 1 甲丢包的百分率：自从接收开始以来累计的丢包数；包到达时问的抖动：自从 接收到发信方最近的报告以来的延迟。 ( 2 ) 参与者识别：r t c p 把每个来自r t p 数据包的来源标识符和惟一的规范 名字联系起来，这就允许接收方有可能用不同的3 2 位来源标识符与单独的发送 方或一组流联系起来。 ( 3 ) 控制包定标：保持所有的控制包占话路总带宽的5 。在控制包中，2 5 分配给发信方报告，7 5 分配给收信方报告。为了防止控制包缺乏，收信方或发 送方至少每隔5 秒发送一个控制包。 ( 4 ) 同步：r t c p 把真实的挂钟时间和r t p 数据包里的时间戳联系起来，这 使接收方能够同步一组流的回放，例如属于同一个会话的音频和视频。 r f c l 8 8 9 定义了5 种r t c p 包类型：r r ( 接收端报告) 包括接收质量的反馈， 有接收到的最高序列号和丢弃了的包数量、i n t e r - a r r i v a l 抖动和时间戳；s r ( 发送 端报告) 包括媒体问j 司步信息和发送字节数等；s d e s ( s o u r c ed e s c r i p t i o n ) 包含源的 一些描述信息；b y e 表示参与者的退出：a p p ( a p p l i c a t i o n s p e c i f i c ) j 包含了有关 应用的信息。 重庆邮电学院硕士论文 图2 1r t p 架构 会话建立：会话初始协议f s 口) 用于邀请用户加入会话，会话发布协议( s a p ) 用于通知多播组有些客户可能加入进来，而实时流播协- i ( r t s p ) 1 3 】允许客户向多 媒体服务器发送请求消息，用于控制实时数据服务。 尽管也会使用u d p ，r t s p 消息般还是通过t c p 连接传送，方案r t s p 和n s p u 分别对应于t c p 和u d p ；鉴于丢失数据包的重新传输会增加很多延迟，r t p 和 r t c p 数据包则一般通过u d p 交换，虽然也使用t c p 。总之，r t s p 用于从媒体 服务器启动和直接传送流媒体数据；r t p 是流媒体数据的一个传输协议；r t c p 是一个用于监视r t p 包传输的协议；u d p 和t c p 是用于r t p r t c p r t s p 包的 底层协议；m 为在因特网上传输u d p t c p 包提供了一种方法。这些协议的联合 提供了一个完整的因特网上的流服务。 会话描述：会话的参与者需要接收元数据，例如参与会话的流、持续时间、 会话名称和目的组成的传送和编码参数。这些信息由会话描述协议( s d p ) 传送。 表示层描述：多媒体文档的创建需要能安排组织一段时间会话的回放的有效 方式。作为h t m l 的另一种选择，同步多媒体综合语言( s m i l ) 提供了对多媒体 会话在什么时间、什么地方、怎样显示的控制。 以上，r t p 、r t c p 、s i p 、s a p 、r t s p 和s d p 是根据i e t f 产生的征求意见 文档而定义的，w 3 c 则是负责s m i l 规范的组织。 2 3因特网和无线ip 网络上的流媒体传输 2 3 1 面临的挑战 网络系统负责流媒体的传输，在网络系统中影响流媒体q o s 的因素很多， 重庆邮电学院硕一卜论史 典型的有带宽( b a n d w i d t h ) 、i n t e r n e t 分组丢失率( p a c k e tl o s sr a t e ) 、无线网络误码差 错( e r r o r ) 、网络异构性( h e t e r o g e n e i t y ) 以及网络延迟( d e l a y ) 等。 网络带宽是影响流媒体q o s 的重要因素。由于流媒体平均码率较大，流媒 体传输时间也较长，因而要求有足够且稳定的网络带宽作保障。m p e g 一1 码流需 1 5 m b p s 的带宽，即使 l 2 6 3 + 编码的视频也需2 8 k b p s 以上的带宽。此外，变码 率( v b r ) 媒体流的码率随时问而有所变动。对于预先录制的流，服务器可以在网 络高吞吐量时期发送额外的数据以度过未来的低吞吐量时期；对于直播流，发送 方只有有限的能力利用高吞吐量时期。 分组丢失率( p a c k e tl o s sr a t e ) 是i n t e m e t 的一个特性。由于i n t e r n e t 的尽力( b e s t e f f o r t ) 特性，当网络繁忙时，路由器不能处理到达队列中的所有数据而丢弃新到 达的数据，从而造成分组丢失。分组丢失会引起流媒体的媒体质量下降，甚至在 ，。蓬情况下导致终端无法解码播放流媒体流。可以改造t c p 协议，使之适应流 媒体需求，如t c p f r i e n d l y 系列协议，也可将t c p 差错重传( r e t r a n s m i s s i o n ) 等 a r q 策略引入专为流媒体没计的传输协议中。 i n t e m e t 建立在t c p i p 协议族得基础上，它属于分组交换网络，因此存在着 分组丢失问题。对于无线网络( 除非我们在无线网络中设计可靠的协议使其上层 变成分组交换网络) ，需要考虑传输差错( t r a n s m i s s i o ne r r o r ) 问题。在无线网络中， 由于存在多径衰落( m u l t i p a t hf a d e ) 和阴影衰落( s h a d o w i n gf a d e ) ，造成信道的误码 率很高，数据传输常常会出现随机性或突发性错误。在目前的技术条件下，无线 网络传输错误不可避免，而高度压缩的媒体流对错误又非常敏感，特别是采用预 测编码和变长编码的码流( 如m p e g 码流) ，即使一个比特的错误也可能传播和积 累而造成严重的媒体质量下降。无线网络环境下针对流媒体的信道编码( c h a n n e l c o d i n g ) 是目前研究的重点。 网络异构性( h e t e r o g e n e i t y ) 是流媒体应用面临的重要挑战。i n t e m e t 各子网从 物理层到网络层的很多特性差异较大，i n t e m e t 与无线网络的差异更加显著。流 媒体跨越不同子网或穿越i n t e r n e t w i r e l e s s 网络边界，其q o s 协商等问题相当突 出。 端到端的网络延迟( d e l a y ) 对于不同流媒体应用的影响不尽相同。它造成电波 类型应用的启动延迟( s t a r t u pl a t e n t y ) ，但在服务过程中用户对端到端延迟并不敏 重庆邮电学院硕士论文 感。对于视频会议、实时游戏等应用，用户对端到端的网络延迟则非常敏感。另 一种延迟是突发性网络延迟。路由器接收突发流量时可导致突发性网络延迟，对 于流媒体，突发性延迟可造成抖动问题。媒体播放器为了在接收后续帧时忍受长 时间的延迟，一般会在丌始回放流之前高速缓存少数帧。 特别地，无线信道的不稳定状态使得在无线m 网络上提供q o s 视频传输面 临着许多挑战。 带宽波动：首先，无线信道的吞吐量会因为多径衰落、同频道干扰和噪声的 扰动而降低。其次，无线信道的容量会随着基站与移动主机之间距离的变化而波 动。第三，当移动的终端在不同网络间运动时( 例如，从无线局域网到无线广域 网) ，信道带宽往往会发生剧烈变化( 例如从每秒几兆比特到每秒几千比特) 。最后， 当发生基站交接时，基站可能没有足够的无线资源去满足新加入的移动主机的需 求。因此，带宽波动对于无线网络上实时视频传输时一个严重的问题。 高误码率：与有线连接相比，无线信道一般具有大得多的噪声，而且具有小 尺寸( 多径) 和大尺度( 阴影) 衰落，使得误码率非常高。误码会对视频演播质量造 成破坏性的影响。因此迫切需要保证视频在无线信道上的健壮传输。 异构性：在组播情况下，接收端可能具有不同的要求和特性，如等待时间、 视觉质量、处理能力、功率限制( 无线和有线) 和带宽限制。接收端的要求和特性 的异构性使得设计一个高效的组播机制非常困难。 2 3 2 解决方案 i n t e r n e f 上的q o s 控制方法有综合服务、r s v p 、区分服务、基于约束的路 由、m p l s 、i n t e m e t 2 、分层多播等协议和机制。简单地说，资源预留和应用控 制是保证r t p u d p 业务q o s 的两种基本方法。 2 3 2 1 广域网的q o s 体系结构 i pq o s 的研究目标是有效地为用户提供端到端的服务质量控制或保证。q o s 就是网络单元( 例如，应用程序，主机或路由器) 能够在一定级n _ k 确保它的业务 流和服务要求得到满足。q o s 并没有创造带宽，只是根据应用程序的需求以及网 络状况来管理带宽。当前的因特网提供尽力而为的服务，还不具备支持q o s 的 能力。通常采用f i f o 队列，对所有的业务提供一致的单一级别的服务，当网络 墨堕塑堕堂! 塑主丝苎 发生拥塞时，分组将会产生不可预测的时延和丢失。为此i e t f 提出了综合服务 和区分服务两种体系结构，它们可以根据不同的需求提供相应的q o s 保障。其 中，综合服务是一种基于预约流的服务，它可以支持定量的q o s 保证( 时延和抖 动) ，可用来支持实时多媒体业务。 1 综合服务体系结构 网络资源按照某个业务的q o s 要求进行分配，制定资源管理策略。综合服 务( i n t e g r a t e ds e r v i c e s ，i n t s e r v ) 体系结构4 1 便是基于这种策略，资源预留协议 ( r e s o u r c er e s e r v a t i o np r o t o c o l ，r s v p ) 5 】是其核心部分。 值得注意的是，即使资源预留取得成功，实际得到的端到端q o s 保障也可能 与撮初协商的q o s 存在偏差。原因可能包括：( 1 ) 并不是资源预留路径上的所有 设备都支持资源预留；( 2 ) 并不是所有的应用都能遵守自己的预约请求。实际上， 一些应用往往会发送比请求的预约要多的消息，从而引起分组时延过火或丢失： ( 3 ) 预约路径上的一些设备可能会出现故障，会破坏现有的q o s 连接，并需要寻 找可以替代的路由。另外，由于综合业务r s v p 和区分服务都只能保证一个方向 的流量传输，所以基于t c p 的业务没有基于u 】) p 业务所获得的q o s 保障程度好， 因为t c p 面向连接，具有反方向确认流量。 2 区分服务体系结构 i n t s e r v 尽管能提供q o s 保证，但扩展性较差。因为其工作方式是基于每个 流的，这就需要保存大量的与分组队列数成正比的状态信息；此外，r s v p 的有 效实施必须依赖于分组所经过的路径上的每个路由器。在骨干网上，业务流的数 目可能会很大，同时它还要求路由器的转发速率很高，这使得i n t s e r v 难于在骨 干网上得到实施。 为了解决i n t s e r v 的一些缺点，i e t f 在r f c 2 4 7 5 中提出区分服务 ( d i f f e r e n t i a t e ds e r v i c e s ，d i f f s e r r ) 体系结构【6 | j 旨在定义一种实施i pq o s 且更容 易扩展的方式，以解决i n t s e r v 扩展性差的缺点。网络边界节点对业务流进行分 类、整形、标记。核心节点按照资源管理策略分配资源，对q o s 要求高的业务 给以优先处理。该架构标记毋包的d s 域【7 1 从而给业务进行分类，并通过汇聚分 类状态获得可扩展性。分组被分类并标记，在沿途路径节点上按指定的每跳方式 转发。 重庆邮电学院硕士论文 2 。3 2 。2q o s 的应用控制技术 对现场或存储的视频音频进行实时传输是实时多媒体的主要部分。一个视 频流包括一个图像( 或帧) 序列，这些图像( 或帧) 由像素栅格组成，每个像素对应 图像上的一小块区域。图像的大小用每个维度上的像素数来表示，每个像素的颜 色或饱和度都可以用若干位的一个二进制数来表示。视频流和音频流分别包含了 视频、音频序列的样本，接收方用保持它们时间间隔的方式播放样本或帧。可以 利用图像和帧序列的冗余对多媒体流进行压缩以减少数据传输量。在多媒体流的 编码数据量和用户接收质量之间常常需要进行折衷。 由于视频流比音频流需要更多的带宽以及视频表示的复杂多样性，以下我们 将以视频流作为主要研究对象。 视频音频流一般有带宽、延时和损耗的要求。在视频音频流系统里，原始 的视频和音频数据由视频和音频压缩算法进行预压缩，然后存储在存储设备中。 依据用户的请求，流服务器从存储设备中检索到压缩的视频音频数据，然后应 用层q o s 控制模块根掘网络状况和q o s 要求调节视频t 音频比特流。调节后，传 输协议对压缩的比特流进行打包，并把视音频数据包送到因特网或无线球网络。 在因特网上，由于拥塞，一些数据包可能会丢失或经历过长的延迟；在无线i p 段，有些包可能因误码丽遭到破坏。那些成功地到达接收端的数据包首先经过传 输层，然后经应用层处理，再由视，音频解码器解码。 为了适应变化的网络条件和用户对演播质量变化的要求，提出了各种应用层 q o s 控n t 8 】技术。这些技术包括拥塞控制和差错控制。它们各自的功能如下：拥 塞控制用于防止丢包和减少延迟；差错控制则是在出现丢包的情况下改善视频， 音频演播的质量。这些技术应用于终端系统，并不需要路由器和网络的q o s 支 持。在出现丢包和可用带宽变化的情况下，应用层q o s 控制可以最大限度地提 高视频质量。 1 拥塞控制 拥塞控制有两种机制：码率控带4 和码率整形。码率控制通过使视频流的码 率与可用的网络带宽相匹配，力求将网络拥塞和丢包的数目降至最低。码率控制 是一一个基于对网络中可用带宽的估计确定视频通信发送码率的技术，现有的码率 控制方案可分为三类：基于信源的、基于接收端的以及混和的码率控制。 里鏖唑皇堂壁堡主堡苎 ( 1 ) 在基于信源的码率控制下，由发信方负责调节视频传输码率。发信方根 据网络的反馈信息调节视频流的码率。这种方式可应用于单播和多播。单播时调 节发送码率有基于探测器的方法和基于模型的方法( 如t c p f r i e n d l y ) 。而组播的 发信方使用一条通道把视频发送到接收端，对于这种“单信道组播”只能使用基 于探测器的码率控制。由于所有的接收端共用一条信道，单信道组播是高效的。 然而单信道组播不能提供灵活的服务以满足具有各种接入带宽的接收端的不同 需求。相反，如果通过各自的单播流传送多点视频，那么带宽的利用率很低，但 服务可以被区分丌，因为每个接收端都可以与信源协商服务参数。单播和单通道 组播是两种极端的情况。为了实现带宽利用率和服务灵活性之间较好的折衷，已 经提出了基于接收端的码率控制和混合的码率控制。 ( 2 ) 一般，基于接收端的码率控制只应用于分层的组播，而不应用于单播视 频。 ( 3 ) 在混合的码率控制下，接收端通过增加或丢弃通道来调节接收码率，同 时发信方根据从接收端反馈回来的信息也调节发送码率。这种方式的一个例子是 目的地集分组。 而码率整形迫使信源以码率控制算法规定的码率发送视频流。通过码率整 形技术可以将预压缩的视频比特流修正到目标码率限制。码率整形器是压缩层与 网络传输层之间或两个网络段之间的一个接口( 或滤波器) ，通过它可以达到视频 流与可用带宽之间的匹配。有许多类型的码率整形器或滤波器，包括：( 1 ) 编解 码滤波器，通常用于实现不同压缩方案之间的转码。( 2 ) 弃帧滤波器通过丢掉一 定数目的帧降低视频流的码率，可以用于信源或网络上。( 3 ) 弃层滤波器可以识 别并根据重要程度丢弃某些层。( 4 ) 频率滤波器在压缩层进行运算，工作在频域 ( 即离散余旋变换或d c t 系数) ，其机制包括低通、退色和彩色到单色滤波。( 5 ) 再 量化滤波器在压缩层进行运算( 即d c t 系数) ，可以降低码率。 2 差错控制 拥塞控制的目的是防止丢包。然而事实上在因特网上丢包是不可避免的， 并且可能显著地影响接收质量，这就促使在出现丢包的情况下使视频演播质量最 优化的机制的设计。差错控制就是这样一种机制。差错控制技术可以分为四类： 传输层差错控制，包括f e c 和限制延迟重发；编码器差错复原编码：编码器错 重庆邮电学院硕二b 论文 误隐藏；和编码器、解码器交互的差错控制。 9 】提出了一个实现低延迟和错误鲁棒性需求的无线视频通倩架构，该架 构使用f e c 和a r q 协议提供无线链路接入的有效带宽。基站设置了一个视频代 理服务器，以减少a r q 带来的响应延迟，同时可以提供错误跟踪能力。 以上的各种应用层q o s 控制技术可为终端系统所采用，并不需要路由器或 网络的支持。若网络支持视频流的q o s ，则性能将进一步加强。 为了提高视音频的传输质量，把连续媒体( 流视频和音频被归类为连续媒体) 发布服务用于因特网。连续媒体发布服务包括网络滤波( 针对单播) 、应用层组播 和内容复制。 ( 1 ) 类似于拥塞控制技术，网络滤波的目的也是在网络拥塞时使视频质量最 优化。滤波器在数据层而j 二的操作包括：接收来自服务器或上一级滤波器的视频 流：把视频数据以目标码率发送给客户或下一级滤波器。滤波器在控制面上的操 作包括：接收来自客户或下一级滤波器的请求；响应请求；将请求传至上级滤 波器。注意，网络滤波针对的是单播( 即点对点) 媒体流。 ( 2 ) 作为i p 层的一个扩展，i p 组播能够提供高效的多点数据包传送。应用层 的多播不需要路由器对多播的支持，发送方对- - , j , 群代理执行单播传输，每个代 理可以轮流给其他代理发送数据。一些代理服务器把数据传送给术端主机。这些 代理在i p 网络的顶部构成了一个覆盖网络。多播主干网( m b o n e ) 是用于视频会议 的覆盖网络的一个早先实例。 ( 3 ) 内容复制采取两种方式，称为缓冲存储和镜像存储。 2 3 2 3 无线及移动网络上的媒体传输 特别地，在无线网络上实时传输高质量的视频存在几个主要的问题：带宽波 动、高误码率和异构性。为此，提出了自适应帧结构。自适应帧结构包括可分级 的视频表示、网络感知视频应用和自适应服务。这种自适应框架具有如下关键特 征：( 1 ) 适度的质量退化：与不可分级视频相比，可分级视频可以使它的视频表 示适应带宽的变化，并且网络可以根据感知的视频表示进行丢包。因此，在严峻 的信道条件下，接收质量将被适度地降低。( 2 ) 高质量：当存在剩余带宽( 不包括 预留带宽) 时，剩余带宽会被有效利用，使接收质量或收益最大化。( 3 ) 公平性： 多余带宽资源可以按效用公平【1 0 】或最大最小公平川的方式共享。 4 重庆邮电学院硕士论文 1 可分级的视频表示 由于原始视频占用大量的带宽，在传输之前必须进行压缩以便实现高效传 输。视频压缩方案可以分为两类：可分级和不可分级的视频编码。其中，可分级 视频能适度地应对带宽的可变性，可分级视频编码方案产生一个部分可解码的艇 缩比特流。与解码全部比特流相比，压缩比特流的部分解码会产生降质的图像， 或较小的图像尺寸，或较小的i 帧率。相反，不可分级视频对带宽波动更为敏感， 因为它不能使视频的表示适应带宽的变化。而且，可分级流也可以提供对变化的 信道误差特征的适应性，以及对接收终端计算能力的适应性。对于无线通信，可 分级性允许调整信源码率，并允许应用非平衡误码保护以适应信道误码条件。因 此，可分级视频更适合用在无线环境下应付无线信道的波动。而且，可分级视频 表示是在异构网络f 例如具有不同接入带宽的网络) 上实现组播的一种高效、灵活 的方法。对于因特网传输，可分级性使可变比特率传输有选择地丢弃比特，以 及相应于不同的调制解调器速率、变化的信道带宽和不同的设备能力调整信源码 率成为可能。所有的视频流服务都可以使用可分级的视频编码技术。 可分级编码器可有粗间隔度( 在2 到3 层内，这时也成为分层编码器) 或细间 隔度( 嵌入式编码器) 。在细间隔度的极端情况下，比特流可以在任何点被截断。