（计算机软件与理论专业论文）基于avsm的3g流媒体应用层qos控制方法研究.pdf

摘要 摘要 随着无线技术的发展，特别是第三代移动通信技术的成熟，无线流媒体视频的 应用成为可能。但是在无线条件下，由于无线网络具有带宽有限性、信道无规则波 动性、高丢包率和高延迟等特征，造成视频质量的严重退化，无线视频流媒体业务 并没有普及开来。如何在3 g 无线网络条件下提供有服务质量保证q o s ( q l l a l i t ) ro f s e i c e ) 的媒体服务成为多媒体通信技术的关键问题。 中国自主知识产权的数字音视频编解码标准a v s 已经在有线网络应用方面取得 了快速的进展，其第7 部分即面向无线的a v s 廿d 标准也肯定会得到广泛的应用。如 何提供基于a v s 寸幢编解码器的有服务质量保证的3 g 视频流媒体服务，是当前的一 个热门课题。 本文在根据3 g p p 标准建立的a v s - m3 g 流媒体服务系统的基础上，对流媒体 应用层o o s 包括拥塞控制和差错控制两方面进行了深入的研究。 首先，针对无线网络的拥塞问题，提出适用于a v s 寸“码流的拥塞控制机制。其 中包括媒体内容码率调整和传输速率调整。发送端可根据实时流控制协议r t c p 的 反馈报告来进行调整。在媒体码率调整方面，提出基于a v s m 码流切换的拥塞控制 机制。在a v s m 的3 g p 文件格式基础上，设计并实现适用于码流切换的a v s m 的 3 g p 多码流扩展文件格式。然后通过客户端缓冲区信息的r t c p 反馈，设计了码流 切换算法，以保证视频服务质量。在传输速率调整方面，本文引入高效地适用于 r 1 1 p i h c p 协议的u ) a 传输速率控制方法，通过网络状况的r t c p 反馈包括网络回 路时间、丢包率、网络延迟、抖动，对网络状况进行估计，并以传输速率控制模型 来进行传输速率控制。实验结果证明，系统能够解决无线网络拥塞问题，进行快速 平滑地视频切换来满足服务质量要求。 其次，在差错控制方面，本文提出基于r r c p 立即反馈的分层重传机制。针对 r t c p 包的反馈不及时性，引入立即反馈算法。在此基础上，根据视频传输i 玎p 包 的不同重要性，提出分层重传的差错控制算法。实验结果表明，在系统带宽不能满 足重传所有丢失包的情况下，分层重传降低了由于丢包引起的失真和不连续，较大 地提高了视频的质量。 北京工业大学工学硕士学位论文 关键字a v s - m ；q o s ；拥塞控制；差错控制 a b s 拄a c t a b s t r a c t w t hl h ed e v e l 叩m e mo f 衍m l e s s 鹏却o r k s ，i ti sp o s s i b l ef b rt h er e a l 血n ev i d e os 虹煳t ob e 拄a s m i t t e d 卸dr e c 咖do v e r3 gn e 锕o r k s h o w f 慨w i r e l e s sc h a n n e li sc h a r a c t e r i z e d 船i t s1 i m h e d b 蚰d w i d 血，l d g m yd e l a ya 1 1 dh i 曲l yp a c k e tl o s s 眦a 1 1o f 吐璩s ec h 矧埘e r i s 血sa f f h tt h eq u a l i 母o f v i d e os 咖i n go v 盯w i r e l e s sc h a n n e l s o 印p l i c a d o n so f 谢雠1 e s ss t r e 翘血gv i d e oh a v t b e w i d e l ys p r e a d nh 嬲b e c n 吐l ek e y 呻b l e mh o wt op r o v i d eaq u a l i 哆0 f s e i c c ( q o s ) g i l a r 锄t e e dv i d e o s y s t c h i n e s ca d v 柚c e da u d i ov i d c o d i n gs 乜n d a r d ( a v s ) 、釉i n d 印髓d ti n t e u e c t l l a lp r o p e r i yh 船 b 。u s e do v c rw 砌n e t w o f k s a st 1 1 e7 血p a no fl h ea v ss t a i l d a r d s ，a v s - mi sa i l n i n ga t 丽r e l e s s 印p l i c a d o i l s nh 勰b e e nah o tt o p i ch o wt op r 0 讥d eq o sg u a r 蛆t e e d3 gv i d e os 心锄讪gs e r v i c eb a s e d o n a v s mc o d e c i nt h i sp 印e ll h ea p p l i c a 矗0 n1 a y e rq o so f s 乜黜i n gs y s t 鼬证c l u d i n gc o n g 石o nc o n 自r o la 1 1 d 洲 c o n 缸d 1i ss m d i e db 觞e d l h ea v s m3 gs 咖i n gs y s t 即1w h i c hi sb u i n 谢n 1 1 e3 g p ps t a i l d a r d s f i r s 廿y t h ep r o b l e mo fc o n g e s 石o ni i lw i r e l c s sn e n o i i 【si s 缸v e g 吐g a t e d am e c h a n i 锄s u i t d b l ef o r a v s - ms 仃e a m sw h i c hi sc o m p o s e do fc o n t e n tr a t ea n d 仃a 锄i s s i o nm t ea d a p 诅t i o ni sp r o p o s e d 1 1 1 e s e l l d e rm a ya d a p t 如c u r r 吼t 仃a n s m i s s i o na n dc o n t c n tm t 鹤b 髂e do nr t c pf 醅曲a c k t op e r f o i m 也e c o n t e n tr a c ea d 印切矗o ，w ed e s i 孕廿扯3 g p t e n d e df i l ef o r m a tf o ra v s - mn m l d - s t r e 柚s 州c hi s s l l i 诅b l e f o r b i ts 呦ms 谢t c h 吨w l hm c r t c p f 醅d b a c k o f m ec h c n t b u 踟；w e p m p o s 酣a b ns t r e 呦 s 砒c h i n ga l g 耐m m t op e r f o r m 血e 订a n s m i s s i r a t ea d 印诅t i o n ，蛆e 伍c i e n tl d ar a t cc o n 虹d 1 “g o r i m mf o rr t p 压盯c ps y s t 锄i sa d 叩t c d w m 血i sa l g o 舳m ，t 1 1 e3 gs y s t c mc 孤a d a p t 血e 吣m i s s i o nr a t et h i d u g hr t c pf c e d b a c ko f 血e 驰t w o r ki n 妇m a 6 0 n t h e 豫皿t 8o ft l l ee x p e r 洫t s h o wm a tl h eg y s t e mc 瓤s o l v el h ep r o b l “1o fc o n g e s d o 如dp e r f 豳b e t c 盯q o s 谢血af 缸ta n d s m o o t hs 、v i t c h i n 参 s e c 加d l y i n 吐1 ea s p e c to fe r r o rc o n 删，a1 a ”r e dr e 呦s m i s s i o m e c h a n i s mb a s e do nr t c pe a r l y f e e d b a c ki sp r o p o s e d t 0s o l v ct h ep r o b l e i no fl o n gi n t e r v a lo fr t c p 触d b a c k ，w h i c h 瑚yc a u 3 el a t e a 而v ef o rv i d e od a t a ，t l l e e a r l yr t c p 如d b a c km l l a n i s mh 站b 啪l l s e d m o r e o v e lb 鹪e do nt h e d i m ：r e ti m p o n 锄c eo fr t pp a c k e t s ，w ep r o p o s ea1 a y e t e dr e h a n 锄i s s i 衄e f r o rc o n 仃o la l g 吲m m r h e s i m u l a 曲n 瑚u l t s 宴h o wm 鸸i nm ec o n d 城恤tl h eb a n d w i d t hi s1 i i n i t e dt or e 呦s l n i ta n1 0 s tp a c k e 乜， 1 1 1 北京工业大学工学硕士学位论文 c h e n tc a ng e tt h em o r ei m p o r c a i l tp a c k e t s 血m u g hl a y e r e dr e 岫s m i s s i o n t h i sm e c h a l l i s md e c r e 鹪e s m ed i s t o 正o na n dd i s c o n n n u 酊c 肌s e d b yp a c k e tl o s s 眦di m p r o v e sm ev i d e oq u a l 竹f e a i l y k e y w o r d sa 、厂s m ；q o s ；c o n g e s t i o nc o n 仃o l ；e n 计c 0 n 廿d 1 图表目录 图表目录 图2 13 g 流媒体服务系统网络结构图6 图2 23 g p 文件格式7 图2 3 流媒体的协议栈8 图2 4r t p 包头的格式图9 图2 5r t c ps r 包格式1 1 图2 6r t c pr r 包格式1 2 图2 - 7r t c pa p p 包格式1 3 图2 8a p p 包应用独立数据格式1 3 图2 93 g 流媒体服务系统程序框架图1 4 图2 103 g 流媒体服务工作过程图15 图2 1 13 g 流媒体服务客户端图1 7 图2 1 23 g 流媒体应用层q o s 框架图1 9 图3 一l 一个简化的流模型中的曲线关系图2 3 图3 2 流模型中的曲线图例2 4 图3 3n i s t n e t 网络拓扑结构图一3 1 图3 _ 4 发送数据和接收数据曲线图2 7 表3 一l 状态图2 9 图4 1 丢包对h 2 6 4 压缩视频质量的影响3 1 图4 1 2 错误在时间和空间上的传播3 2 图4 3 基于接收方控制的时序图3 4 图4 - 4 瓜，s m 的r t p 负载格式3 7 图4 5f b 立即反馈包格式3 8 图4 6 传输控制系统结构3 8 图4 ，7 不同优先级别的数据包丢失对视频质量的影响4 0 表4 1 不同丢包情况视频质量比较4 l 图4 - 8n s 2 网络拓扑结构图4 2 图4 - 9h 2 6 4 码流实验结果比较4 2 表4 2h 2 6 4 码流实验结果比较4 3 表4 3a v s m 实验结果比较一4 3 图舢1 0 视频质量对比4 3 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加阱标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：毖自董日期2 型茎! 堑 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 殛整幸日期功5 ：! ! ! ! 第l 章绪论 1 1 本文研究背景 第1 章绪论 视频流媒体不仅用于视频点播、网络教学、数字图书馆等多媒体业务，还被用 于一些对实时性要求很高的场合，如实况转播新闻、球赛、重要会议等。另外，视 频流技术还用于远程监控、安全监督以及互动视频节目等方面。随着坤的深入研 究，高清晰度的数字电视与网络的结合更是开辟了广阔的前景。而无线视频流媒体 则由于网络带宽的限制，无线信道条件的无规则波动造成视频质量的严重退化，所 以其应用并没有普及开来。但随着3 g 趋势的不可逆转，无线网络的带宽增加并可以 提供流媒体服务，如何在即将应用的第三代无线网络上提供流媒体服务，如何保证 流媒体服务的质量，这个炙手可热的课题成为各大移动运营公司不可忽略的一个技 术重点。 随着通信业务的迅猛发展和通信量的激增，新的移动通信系统不仅要有大的系 统容量，而且还要能支持话音、数据、图像、多媒体等多种业务的有效传输。第三 代移动通信系统将高速移动接入和基于互联网协议的服务结合起来，在提高无线频 率利用率的同时，为用户提供更经济、内容更丰富的无线通信服务。 现在因特网上传输视频、音频主要有下载( d o w 【l l o a d ) 和流式传输( s 廿瑚m 协曲两 种方式。流式传输有实时流式传输( r c a l m m es t r c a i i l i n g ) 和顺序流式传输( p r o g r c s s i v e s 仃e 锄i n 曲两种方式。实时流式传输是实时传送，特别适合现场事件。顺序流式传输 则适用于流媒体点播，用户不必等到整个文件全部下载完毕，只需经过几秒或十数 秒的启动延时即可进行观看。当音视频等媒体在客户端播放时，文件的剩余部分继 续下载，用户不需要存储文件就可以边下载，边连续、不中断地播放。这样流式传 输不仅使启动延时大大缩短，还不需要太大的缓存容量。 对于3 g 的流媒体系统，3 g p p ( n e3 一g e i l e r a t i o np a m l s h i pp m j e c t ) 已经制定 了相应的技术规范和标准。其中在参考文献 1 中定义了系统的需求，在参考文献【2 】 中定义了3 gp a c k e ts 、7 l ，i t c l l i n gs y s t e m 系统中的协议和编解码器。我们根据这些标准 和规范设计了3 g p s s 系统的框架。它的主要处理过程是视频源编码，信道传输，终 端解码三个阶段。3 g p s s 系统采用我国制定的面向无线的视频压缩标准a v s m 编解 码器【3 。经a 、，s m 编码器压缩生成的码流以3 g p 文件格式存储以供传输。服务器 和客户端通过i 盯s p s d p 协议进行会话管理，r t p r t c p 协议进行数据传输和传输控 制。客户端完成数据的接收，缓冲管理和解码播放。另外，3 g p p 流媒体系统必须提 供一个很好的o o s 管理机制b9 1 。 服务质量( q u a l 埘o f s e i c e ，简称q o s ) ，它的作用是使系统适应变化的网络条 北京工业大学工学硕士学位论文 件和用户对演播质量变化的需求，最大限度地提高视频质量【9 】。我们知道，实时视频 流对带宽、延迟、损耗有很高的要求。然而目前最尽力的因特网不对视频流提供任 何q o s 保证。而且其非均匀性难以支持灵活的提供服务，也难以满足用户宽范围的 q o s 需求【3 o3 g p p 提出了侧重网络底层的q o s 框架，但无线网络仍具有带宽波动和 高误码率的特性。因此我们在应用层进一步使用q o s 控制。它包括拥塞控制和差错 控制。前者用于防止丢包和减少延迟。后者是在出现丢包的情况下如何提高媒体质 量。这些技术应用于终端系统，并不需要路由器和网络的q o s 支持。 1 2 国内外流媒体应用层q o s 的研究现状 网络服务质量是网络与用户之间以及网络上互相通信的用户之间关于信息传输 质量的约定，其包含了传输延迟允许时间、最小传输画面失真度以及声像同步等因 素。目前而言，几乎没有真正支持q o s 的运营网络。因此我们寻求在应用层进行q o s 控制。应用层q o s 控制的技术包括拥塞控制技术和差错控制技术 1 0 。我们通常以 信噪比来衡量传输视频的质量，如公式( 1 1 ) 所示： 尸氓( n ) 。= 2 0 l o g i o 1 2 1 拥塞控制 拥塞控制的目的是采用某种机制应对和避免网络阻塞，降低时延和丢包率。拥 塞控制包括发送速率调整和媒体码率调整。前者尽量使视频编码流码率与网络带宽 适应，减少丢包。后者迫使信源以码率控制算法规定的码率发送已压缩的视频流。 码率控制的方法包括基于信源、基于接收端、联合控制三类方法【1 0 】。 ( 1 ) 基于信源控制：由网络的反馈信息调节码率，可用于单播f 1 卜”】和组播1 4 1 。 单播可用基于探测器的方法【1 3 】和基于模型的方法【1 5 圳】。组播只能用基 于模型方法。 ( 2 ) 基于接收端的控制2 2 埘】：接收端通过增加和丢弃通道来调节码率。而发 信方不参与控制。但只用于分层的组播。可用基于探测器和基于模型方 法。 码率调整方法是指将预先压缩的视频流的码率修正到目标码率限制1 2 4 】。主要技 术有： 第1 章绪论 ( 1 ) 转码【2 5 】，以实现不同压缩方案之间的转化。 ( 2 ) 弃帧滤、波【1 0 】，根据帧的重要程度丢弃某些帧。 ( 3 ) 弃层【2 6 】，在可伸缩编码中丢弃增强层。 ( 4 ) 再量化滤波，通过反量化提取d c t 系数，然后采用较大的量化步长对 d c t 系数进行量化。 1 2 2 差错控制 拥塞控制只能减少数据包的丢失，但是网络中不可避免的会存在数据包丢失， 而且到达时延过大的分组也会被认为没有用而被丢弃，从而降低了视频质量。要改 善视频质量就需要一定的差错控制机制。差错控制机制包括： ( 1 ) 前向纠错( f e c ) 【2 ”8 】：f e c 是通过在传输的码流中加入用于纠错的冗余 信息，在遇到包丢失的情况时，利用冗余信息恢复丢失的信息。它的不足是增加了 编码时延和传输带宽。f e c 方法一般用r s 码。 ( 2 ) 自动熏传( a r q ) 【2 。通常流的播放有时间限制，因此，仅有当重传的时 间小于正常的播放时间时，重传才是有价值的，但重传对时间要求严格。 ( 3 ) 错误恢复编码( e n u r _ r e s i l i e n te n c o d i i 培) 3 】：在编码中通过适当的控制 使得发生数据的丢失后能够最大限度地减少对质量的影响。在i n t 锄c t 环境下，最典 型的方法是多描述编码( m d c ) 。m d c 把原始的视频序列压缩成多个码流，每个流 对应一种描述，都可以提供可接受的视觉质量。多个描述结合起来提供更好的质量。 该方法的优点是实现了对数据丢失的鲁棒性和增强了质量。其缺点是相比单描述编 码( s d c ) ，它在压缩的效率上受到影响。而且由于在多描述之间必须加入定的相 关性信息，这进一步降低了压缩的效率。 ( 4 ) 错误隐藏( c o n c e a h e n t ) ：错误的隐藏是指当错误已经发生后，接受端通 过一定的方法尽量削弱对人的视觉影响。主要的方法是时间和空间的插值 ( e r p o l a i i o n ) 。近年来的研究还包括最大平滑恢复，运动补偿时间预测等。 1 3 课题的研究目标和研究意义 我国于2 0 0 2 年开始制定中国视音频编解码标准【9 】即a v s 标准。2 0 0 6 年信息产 业部就正式批准了a v s 成为国家标准。它是是面向我国的信息产业需求，为数字音 视频设备与系统提供的高效经济的编解码技术，它服务于高分辨率数字广播、高密 度激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应 用。自a v s 标准建立以来，它在音视频编解码方面的技术取得了极大地进步，而其 产业化应用也在逐渐展开。a v s m 是a v s 标准的第七部分。它是我国自行制定的 北京工业大学工学硕士学位论文 以移动终端为应用背景的视频压缩标准，该标准的制定充分考虑了高压缩率，低复 杂度和信道的不稳定性。目前，a v s m 的编解码芯片已被逐渐应用于手机等移动设 备。 本文所涉及的研究课题属于国家8 6 3 项目“数字视音频编码、传输、测试与应 用示范”。课题研究的主要目标是给出一套高效智能化的能够解决海量多媒体数据存 储、表现、编码和传输的理论方法与算法模型，解决数字视音频编解码标准化的关 键问题，以及在带宽有限或抖动的网络上有效地传输流媒体的问题等。 随着视频流媒体技术研究的逐渐深入，人们的生活逐渐产生了深远影响。传统 流媒体、p 2 p 流媒体等技术的市场应用前景也越来越乐观，不仅在视听工业、多媒体 计算机等方面有广泛应用，而且在广播电视以及未来的信息高速公路等各个方面都 有着诱人的应用前景。因此本课题的研究不仅关系到流媒体技术本身的发展，而且 关系到国计民生的前途与未来，将对未来生活质量有着深远的影响与意义。 1 4 本文的内容安排与组织结构 本文在3 g 流媒体系统平台上，建立了一个完善的q o s 管理机制。研究内容包 括码流调整、传输速率控制等拥塞控制技术，重传差错控制技术两个方面。基于 a 、，s m 的3 g p 文件格式，在网络估计和客户端缓冲区状况反馈的基础上进行a v s m 的码流切换，极大程度地避免和解决了网络的拥塞问题。本文引入的基于立即反馈 的分层重传差错控制算法，为流媒体系统提供了更好地解决丢包、坏包等差错产生 的问题。 本文分以下几个部分：第一章是绪论部分，介绍3 g 流媒体应用背景和0 0 s 研 究现状；第二章则重点介绍基于a v s m 的3 g 流媒体系统并引入一个o o s 框架体系 结构；第三章进行了基于a v s m 的码流切换技术和传输速率控制方法研究；在第四 章中，提出基于立即反馈的分层重传差错控制；最后，总结本文所阐述的内容，并 展望未来的工作。 第2 章a v s - m3 g 流媒体系统 第2 章a v s m3 g 流媒体系统 2 1a v s m3 g 流媒体系统结构 流媒体是一种实时传输数据的方法，它让用户在整个内容被传送完之前就可以 边下载边观看。目前，流媒体通常在宽带网络的音频和视频传输中被使用，但是它 在移动网络里也正变得切实可行。 流媒体系统要解决的一个关键问题就足提供服务质量保证即q o s ( q 1 1 a l i t yo f s e i c c ) 。q o s 即用户服务质量，它的作用是使系统适应变化的网络条件和用户对演 播质量变化的需求，最大限度的提高视频质量。我们知道，实时视频流对带宽、延 迟、损耗有很高的要求。然而目前最尽力的因特网不对视频流提供任何o o s 保证。 而且其非均匀性难以支持灵活的提供服务，满足用户宽范围的q o s 需求口】。3 g p p 提 出了侧重网络底层的0 0 s 框架，但无线网络仍具有带宽波动和高误码率的特性。因 此我们在应用层进一步使用0 0 s 控制。它包括拥塞控制和差错控制。前者用于防止 丢包和减少延迟。后者是在出现丢包的情况下如何提高媒体质量。这些技术应用于 终端系统，并不需要路由器和网络的q o s 支持。作者及项目组成员根据3 g p p p s s 2 中基于p 的3 g 流媒体应用框架，建立了一个基于a v s m 的3 g 流媒体系统口q 。在 此基础上，本文建立了一个应用层q o s 体系结构，并进行了深入的q o s 研究工作。 3 g p p 规范吲定义了包交换流服务( p a c k c t s w n c h e ds 仃e a i r l i i l gs e r “c e ) p s s 的编解 码器和协议标准。无线流媒体网络结构如图2 1 所示。 流媒体处理过程是视频源编码，信道传输，终端解码三个阶段。我们提出以 a v s m 视频压缩标准为编解码器，它是我国自行制定的以移动终端为应用背景的视 频压缩标准，该标准的制定充分考虑了高压缩率，信道的不稳定性和低复杂度。经 a v s m 编码器压缩生成的码流以3 g p 文件格式存储供传输。服务器和客户端通过 r t s p s d p 协议进行会话管理，r t p 舸c p 协议进行数据传输和传输控制。客户端完 成数据的接收，缓冲管理和解码播放。 2 11 a v s m 编解码器和3 g p 文件格式 a v s m 采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧间预测、 变换、量化和熵编码等。帧间预测使用基于块的运动矢量来消除图像间的冗余；帧 内预测使用空间预测模式来消除图像内的冗余。再通过对预测残差进行变换和量化 消除图像内的视觉冗余。最后，运动矢量、预测模式、量化参数和变换系数用熵编 码进行压缩。该编码方法只有h l h a 帧，h l t e r 帧，降低编解码的复杂度，参考帧使 码进行压缩。该编码方法只有h l 订a 帧， 1 1 1 t e r 帧，降低编解码的复杂度，参考帧使 北京工业大学工学硕士学位论文 用多考帧，避免了丢帧引起的解码错误和视频质量下降。 图2 13 g 流媒体服务系统网络结构图 f i g i 】2 - l3 gs 订即皿i n gs e r v i c en e t 、v o r ka r c h i t e c t u 咒 经视频编码器压缩得到的码流数据往往将其用特定的文件格式封装起来，以便 于视频数据的交换，管理，编辑，网络传输和播放。针对移动通信的特点。我们在 i s o 基本文件格式【3 5 】基础上扩展定义了a v s m 的3 g p ( 图2 - 2 ) 文件格式【3 6 1 。 3 g p 文件采用面向对象的组织结构，媒体数据以及媒体数据相关的控制数据均被封 装在各个盒子( b o x ) 中。服务器可以通过对各个盒子的解析，高效地对媒体数据进 行存取，管理。在3 g p 文件中，媒体数据封装在m d a t 盒子中，称之为m e d i a m d a t 。 通常把视频媒体的一帧数据，音频媒体的一段数据，称为一个m e d i a 样本( s 啪口1 e ) 。 3 g p 文件在进行本地播放的时候，存在一种m e d i a 类型n 吐盒子( m e d i at r a 呔) 。相 关媒体数据的编解码信息和媒体数据的存储位置信息，同步信息等均存放在m e d i a 仃a c k 中，在本地播放的时候，播放器可以根据m o d i a 仃a c k 中的信息正确配置解码器， 从m e d i a m d a t 中读取到正确的m e d i as a m p l e 供解码器解码。而3 g p 文件在进行流媒 体传输播放的时候，事先把针对特定实时传输协议的数据，如包头等数据封装在m d a t 盒子中，称之为h i n tm d a t ，m c d i am d a t 中一个m e d i as 锄p l e 对应在h i n tm d a t 中存在 一个h 胤样本( s 锄p l e ) 。需要传输某一个m e d i as a m p l e 的时候，必须先读取h i l l t m d a t 中的对应l l i ms 锄p l e ，从h i n ts a m p l e 可以得到包头数据，和需要传输的m c d i as 锄p l e 的样本号( s 锄p l e n u n l b e r ) ，以及m e d i as 锄p l e 拆分成几个数据包进行传输等信息。 同时在3 g p 文件中必须增加一种h i t l t 类型h 呔盒子( 1 l i n t 妇c k ) 对h i n t m d a t 中l l i n t s a m p l e 进行读取控制。服务器接到客户端的请求要求播放某一个3 g p 文件中某段媒 体数据后，根据3 g p 文件中的该段媒体数据对应的h 血t t r a c k 中的信息，配合该段媒 第2 章“s m3 g 流媒体系统 体数据对应的m e d i a t r a c k 将媒体数据读取出来，打成符合一定实时传输协议( 如r 1 1 p ) 的数据包，通过会话层协商指定的端口进行发送。 3 g pf i l eb o xs t m c 岫它h i e r a r c h y 图2 23 g p 文件格式 f i g u r e2 23 g p f i l e f o m l a t 与其它基于i s ob a s em e d i a 矗l ef o m a t 扩展定义的文件格式如m p 4 文件格式，a v c 文件格式不同的是：在流媒体传输的时候，3 g p 文件格式针对3 g 无线网络的特点增 加了码流替代( a l t c r i l a t e ) 和码流切换( s 丽t c h ) 的功能。在3 g p 文件中的各个仃a c k ，分 别控制的是一段码流。这些码流可能是不同的媒体内容，也有可能是内容相同，但 码率不同的码流，针对不同的网络环境，流媒体服务器可以选择适合网络状况的码 流进行传输。这就是码流a l t e m a t e 功能。 如果这些码流内容相同，码率不同，而且支持码流之间的切换，则流媒体服务 器就可以实时的根据网络状况，进行码流的切换。这就是码流s 诵t 出功能。 2 1 2 流媒体协议 协议是为了在客户端和服务器之间进行通信而设计和标准化的。根据他们的功 能，与因特网上的流视频直接相关的协议可以分为三类： 1 、网络层协议：网络层协议提供了基本的网络服务支持，如网络寻址。因特网 协议( 口) 就是用于因特网视频流的网络层协议。 冒圈 北京工业火学工学硕士学位论文 2 、传输协议：传输协议为流应用系统提供端到端的网络传输功能。这些协议包 括u d p ，t c p ，r t p ，r t c p 。u d p 和t c p 是低层传输协议，而r t p 腰江c p 【37 】是 高层传输协议，它们是在u d p 和t c p 之上实现的。 3 、话路控制协议：话路控制协议定义消息和程序，以控制多媒体数据在已建立 的通话期间传送。r t s p 3 8 】和s d p 就是这样一种话路控制协议。 为了说明这三种类型的协议之间的关系，我们在图2 3 中描述了媒体流的协议 栈。如图所示，在发信方，压缩的视频和音频数据被读出，并在r t p ，r t c p i 汀s p 层 上打包，以提供定时和同步信息以及包的序列号。然后把这些打包的r 1 p 流传送到 u d p ，r c p 层和p 层。得到的i p 包在因特网上传输。在收信方，媒体流在演播前按 相反的方式处理。这是数据层的情况，在控制层，i 盯c p 包和r t s p 包在u d p 厂r c p 层上复用，并且被送到口层，以便通过因特网传输。 2 1 2 1 流媒体传输协议r t p r t c p 媒体流的传输协议包括u d p ，t c p ，r t p 和r t c p 协议。u d p 和t c p 提供基本的传输功能，而r t p 和r t c p 则运行在u d p 厂r c p 之上。 u d p 和t c p 协议支持的功能包括复用、差错控制和流量控制。这些功能可以简略的 描述如下。 图2 3 流媒体的协议栈 f i 鲫- 3s t r e a m i n gp r d t o c o l s u d p 和t c p 能够对来自不同应用程序的数据流进行复用，这些应用程序是运行 在具有相同i p 地址的相同计算机上。为了差错控制的目的，t c p 和大多数u d p 实 现是利用校验和来检测误码。如果在接收的包中检测到有一个以上的误码，t c p ，u d p 层就会丢掉这个包，这样上一层将不会受到这个损坏的包。另一方面，与u d p 不同， t c p 重传来恢复丢弃的包，因此，t c p 提供可靠的传输，而u d p 则不是。t c p 利用 流量控制，根据网路的拥塞状况来调节传输码率。 由于t c p 重传所引入的延迟对于具有严格延迟要求的流媒体应用来说是不可接 受的，因此一般用u d p 作为视频流传输协议。另外，由于u d p 不能保证包的传输， 第2 章a v s _ m3 g 流媒体系统 所以接收端必须依靠上一层的协议如瑚r p 来检测包的丢失。 r t p 是一个因特网标准协议，用于端到端的传输功能，以便支持实时应用。r t c p 是r t p 的同伴协议，它的作用是向r t p 的参与者提供o o s 反馈。换句话说，r t p 是一个数据传输协议，而r t c p 是一个控制协议。 r t p 并不保证q o s 和可靠性传输，而是提供以下支持媒体流的功能。 ( 1 ) 时间戳：r t p 提供时间标记，用于不同媒体流之间的同步。 ( 2 ) 序列编号：由于到达接收端的数据包可能是不按次序的，r 1 1 p 用序列编 号对接收到的数据包进行正确的排序。序列编号还用于丢包检测。 ( 3 ) 有效载荷类型识别：包含在r t p 包中的有效载荷类型有一个称为有效载 荷类型识别符的砒瞪包头域来指示。接收端基于有效载荷类型识别符解 释包的内容。 ( 4 ) 信源识别：每一个r t p 包的信源有一个称为同步信源标识符的i u p 包头域来指示，它提供一种区分信源的方法。 r t p 包包括包头和负载两部分，图2 - 4 是r t p 包头的格式。其中p t 长度为7 位，表示r r p 包负载的类型，如3 1 表示h 2 6 l 类型的负载；s e q u e i l c en 哪b e r 长度 为1 6 位，表示包的顺序号，用于判定包的丢失，如接收端收到序列号为8 6 和8 9 的 包，则可判断丢失了8 7 、8 8 ：t i m 咖p 长度为3 2 位，用于提供包内第一个字节的 采样时间，可以为播放提供同步功能；s s r c 同步源标志符，表示包的来源。 012 3 。 0l2 346 6 7890123 4667 8 9 01 2 3 4 5 6 7 8 9 o1 。 + 一+ 一+ 一+ 一+ 一十一十一十一十一十一+ 一十一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一 v = 2 l p l x ic ci m lp t + + 一+ 一+ 一+ + + + + + 十- + + 十+ + + + 一十一 t i m e s t a p s o q u e n c en m b e r + 一十一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ + 十一十一十一十一十一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十+ 一+ 一+ 一+ 一 s y n c h r o n i z a t i o ng o u r c e( s s r c )i d e n t i f i e ri 。 + = + ；十= 十= + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + ：+ = + = 十= + = + = + = + = + = + = + = + 。 c o n t r i b u t i n gs 。u r c e( c s r c )i d e n t i f i e r sl 。 1 图2 - 4 r t p 包头的格式图 f i g u 他2 4f b r m a to f r t ph e a d 盯 r t p 负载格式依赖于具体的编解码器，在第四章我们将讨论a v s m 码流的负载 格式。 实时传输控制协议r t c p ( r e a l t i i l l et r a l l s p o r tc o n 仃0 lp r o t o c 0 1 ) ：负责管理传输 质量在当前应用进程之间交换控制信息。在i u 甲会话期间，各参与者周期性地传送 r t c p 包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料。因 北京工业大学工学硕士学位论文 此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。r t c p 主要有五个功能： ( 1 ) q o s 反馈：用反馈信息的方法来提供分配数据的传送质量。反馈信息包 括发送方和接收方报告，其中包含的信息有丢包率、丢包数、延迟和抖动。这种反 馈可以用来进行流量的拥塞控制，也可以用来监视网络和用来诊断网络中的问题； 这是r p 作为一种传输协议的主要作用，它与其他协议的流量和阻塞控制相关。反 馈可能对自适应编码有直接作用，但是p 组播的实验表明它对于从接收机得到反馈 信息以诊断传输故障也有决定性作用。向所有成员发送接收反馈可以使“观察员” 评估这些问题是局部的还是全局的。利用类似多点广播的传输机制，可以使某些实 体，诸如没有加入会议的网络业务观察员，接收到反馈信息并作为第三类监视员来 诊断网络故障。反馈功能通过r t c p 发射机和接收机报告实现。 ( 2 ) 参与者识别：提供全局唯一的信源描述信息，包括姓名，电话号码等： r t c p 为每个i h p 源传输一个固定的识别符，称为标称名或c n a m e 。由于当发生冲 突或程序重启时s s r c 可能改变，接收机要用c n a m e 来跟踪每个成员。接收机还 要用c n a m e 来关联一系列相关r t p 会话期中来自同一个成员的多个数据流，例如 同步语音和图像。 ( 3 ) 调整r t c p 包的发送率：前两个功能要求所有成员都发送r t c p 包，因 此必须控制速率以使r t p 成员数可以逐级增长。通过让每个成员向所有成员发送控 制包，各个成员都可以独立地观察会议中所有成员的数目。此数目可以用来估计发 包数率。 ( 4 ) 媒体间同步：发送方报告中含有实时指示和相应的r t p 时间戳，用于同 步。 ( 5 ) 传输最少的会议控制信息，例如在用户接口中显示的成员识别。这最可能 在“松散控制”的会议中起作用，在“松散控制”会议里，成员可以不经过资格控 制和参数协商而加入或退出会议。r t c p 作为一个延伸到所有成员的方便通路，必须 要支持具体应用所需的所有控制信息通信。 r t c p 包分为五种：s r 、r r 、s d e s 、b y e 、a p p 。这几种包可以单独作为r t c p 报告包，也可以组成复合包。s r 和r r 分别传送发送方报告和接收方报告。s d e s 用于表述源的信息，其中的c n a m e 选项必不可少。b 用于传输会话结束时候的 控制信息，a p p 则用于传输相应的应用数据。我们采用r t c p 复合包来传输上述五 种包的信息。下面我们重点介绍应用最多的s r 、i 汛包和a p p 包。 s r 包是发送方报告，用于报告发送数据的信息，包括包数、时间戳、发送的 n t p 时间等，这些信息可用于客户端判断网络情况，或者计算r t t 时间。如图2 5 所示。 图2 5 r t c ps r 包格式 f i g u r e 2 - 5f o 咖a to f r t c ps r 惜i h 水 十 + + 忙 卜 枉 卜 忙 卜 杷 - l 忙 卜 忙 卜 忙 呈卜忙。j _ 仁 ：宝卜仁把卜 仁 旺_ 仁 c 卜忙n 卜枉“卜 忙 卜 拉 1 卜一：兰；+ f 忙 阳卜 忙 p 卜 忙 j _ 一 惜 一 i i 一 斟 _ r 惜 一 忙 卜 k 1 图2 6 r t c p r r 包格式 f i g u 托2 - 6f o r m a to f r t c pr r a p p 包图2 7 所示用于在流服务