（无线电物理专业论文）移动流媒体传输关键技术研究.pdf

移动流媒体传输关键技术研究 专业： 硕士生： 指导教师： 摘要 无线电物理 刘洋 丘海明副教授 随着多媒体技术和通信技术的迅猛发展，如何将多媒体应用成功的引入无线 网络已成为研究的热点。移动流媒体作为这一研究的产物，同是也是第三代移动 通信技术的重要应用之一。由于无线传输信道误码率高、传输时延大、带宽小且 多变等特点，为其设计和实现带来了挑战。编解码技术、传输协议、q o s 控制策 略等是将移动流媒体技术实用化过程中必须解决的几个关键问题。 本论文首先介绍了现有的各种编码标准，分析了无线网络对于编码标准的要 求，总结了存在的问题。其次分析了移动流媒体的传输协议，重点描述了r t p 和 r t c p 协议及其控制机制。然后本文针对移动流媒体传输的q o s 控制策略进行研 究。论文在分析了已有各种解决方案的基础上，提出了一种新的基于r t p 监控代 理的速率自适应q o s 控制策略。该策略能够动态适应网络带宽，平滑输出码率， 并能够有效的区分有线网络造成的丢包率与无线链路的误码造成的丢包率。论文 用n s 2 网络仿真软件对其丢包策略和速率控制算法进行了仿真，实验结果显示无 线网络丢包率和有线网络丢包率被有效地区分，发送速率较为平滑，带宽被公平 共享。因此该方案能对丢包做出正确反应、时延更小，从而为移动流媒体用户提 供更好的音视频质量。 关键词：移动流媒体，r t p ，r t c p ，q o s ar e s e a r c ho nc r u c i a lt e c h n o l o g yo ft r a n s m i s s i o nf o r m o b i l es t r e a m i n gm e d i a m a j o r ：r a d i op h y s i c s n a m e ：y a n gl i u s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rh a i m i n gq i u a b s t r a c t w i t i lt h er a p i dd e v e l o p m e n to f t h et e c h n o l o g yo f m u l t i m e d i aa n dc o m m u n i c a t i o n h o wt ot r a n s f e rt h ea p p l i c a t i o no fm u l t i m e d i af r o mw i r e dn e t w o r kt om o b i l en e t w o r k s u c c e s s f u l l yh a sb e c o m eo n eo fh o t s p o t si nt h er e c e n tr e s e a r c ho fn e t w o r kd o m a i n m o b i l es t r e a m i n gm e d i aa sa ni m p o r t a n ta p p l i c a t i o ni n3 gi sd e v e l o p e df o rs o l v i n g t h i sp r o b l e m h o w e v e r , d e s i g na n di m p l e m e n to fm o b i l es t r e a m i n gm e d i ai sav e r y b i gc h a l l e n g eb e c a u s ew i r e l e s sc h a n n e lh a st h ec h a r a c t e r i s t i c so fh i 曲v b r 、h i g h t r a n s m i s s i o nd e l a ya n dv a r i e da n dl i m i t e db a n d w i d t h c o d e ct e c h n o l o g i e s ，t r a n s p o r t p r o t o c o l s ，q o sc o n t r o ls t r a t e g ya ss e v e r a lk e yt e c h n o l o g i e so fm o b i l es t r e a m i n g m e d i aw i l lp r o m o t et h ed e v e l o p m e n to ft h em u l t i m e d i ac o m m u n i c a t i o no v e rm o b i l e n e t w o r k a tf i r s t ，t h i sp a p e ri n t r o d u c e dc o d e cs t a n d a r d sa n da n a l y z e dc o d e es t a n d a r d sf o r m o b i l en e t w o r k s e c o n d l y , t r a n s p o r tp r o t o c o l sw a si n t r o d u c e ds u c ha sr t s pp r o t o c o l 、 r t p r t c pp r o t o c 0 1 t h e nw ef o c u s e do nt h er e s e a r c ho nq o sc o n t r o ls t r a t e g y a f t e r r e v i e w i n gc u r r e n ts o l u t i o n st ot h i sp r o b l e m ，w ep r o p o s e do u rn o v e ls c h e m e ：ar a t e s e l f - a d a p t a t i o ns c h e m eb a s e dr t pm o n i t o r i n ga g e n t t h i ss c h e m eh a dt h ea b i l i t yt o a d a p tt of l u c t u a t i o n si nt h en e t w o r kc o n d i t i o n sa n dd i s t i n g u i s h e dq i l a l i t yd e g r a d a t i o n c a u s e db yn e t w o r kc o n g e s t i o na n dw i r e l e s sl i n ke r r o r t h es c h e m ea d j u s t e dr a t e s m o o t h l yi nat c pf r i e n d l ys t y l e s i m u l a t i o ni nn s 2s h o w e do u ri m p l e m e n t e ds c h e m e c o u l dd i s t i n g u i s hb e t w e e np a c k e tl o s sr a t eo fw i r e l e s sn e t w o r ka n dw i r e dn e t w o r k s u c c e s s f u l l ya n dt h er a t eo fs e n d i n gw a si m p r o v e de f f e c t i v e l y t h e r e f o r e ，i tc o u l d p r o v i d eb e t t e ra u d i oa n dv i d e oq u a l i t yf o rg o o dr e s p o n s et on e t w o r ka n ds h o r t e rt i m e d e l a y k e yw o r d s ：m o b i l es t r e a m i n gm e d i a , q o s ，r t p , r t c p 1 1 选题背景及研究意义 第1 章绪论 i n t e r n e t 的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流 媒体业务是从i n t e r n e t 上发展起来的一种多媒体应用，指使用流式传输( 边播 放边下载) 方式在网络上传输多媒体文件，包括音频、视频和动画等，在接收端 接收到一定缓存数据后就可以播放出来的多媒体应用。与传统的多媒体下载不 同，流媒体传输具有实时性和连续性的特点。边播放边下载的流式传输方式可以 使用户不必等待所有的数据下载到本地。采用不同的码率传输，可以使用户在几 十k b i t s 低带宽到几十m b i t s 高带宽的不同网络环境中都能在线欣赏到连续不 断的较高品质的音视频节目。流媒体技术广泛用于互联网多媒体新闻发布、网络 广告、电子商务、视频点播、远程教育、远程医疗、网络电台、i p t v ( 网络电视) 、 视频点播，虚拟会议系统、远程监控等。 拿广为人知的i p t v 来说，随着政策、技术等问题的逐渐摆上台面，2 0 0 7 年 的市场发展未来可期。根据专业机构流媒体网统计，截至2 0 0 6 年年底，国内以 互动为主要表现形式，基于i p 网络、以电视机为终端显示的i p t v 用户已达到 5 0 余万户，预测2 0 0 7 年底，国内i p t v 用户数将为1 5 0 万。2 0 0 6 年上海文广传 媒集团与央视先后获得了广电总局的i p t v 牌照。除先期发展的上海等地的i p t v 系统以外，2 0 0 6 年下半年以来湖北电信、内蒙古网通、安徽电信、辽宁网通等 在内的许多地方运营商陆续开始i p t v 招标。2 0 0 7 年中兴以h 2 5 4 为视频标准的 方案一举拿下了湖北电信i p t v 的项目。且前参与i p t v 竞争的厂商有z t e 、h w 、 u t 、s i m e n 、a s b 等众多厂家，采用的编码标准大都为m p e g 4 和h 2 6 4 。 但是人们对信息的渴求已经不再局限于有限网络，随着第三代移动通信技术 的发展，人们提出了4 a ( a n y w h e r e ，a n y t i m e ，a n y o n e ，a n y d e v i c e ) 的信息获 取要求。上世纪九十年代末期，随着通信技术、多媒体技术、网络技术的发展， 移动流媒体技术走入了人们的视野。科技界和企业界抓住移动终端在普通老百姓 手中大为普及的机遇，推出了诸如手机视频点播和手机实时监控等移动流媒体业 中山大学硕七学位论文 务。移动流媒体即利用手机接收流式传输的多媒体文件。收视率调查的权威机构 n i e l s e n n e t r a t i n g s 发布一个另人雀跃的数字：单就1 9 9 9 年来看，在网上访问 流式媒体内容的人数足足增加6 5 。2 0 0 0 年1 1 月访问流式内容的访客高达3 5 0 0 万人次，表示超过三分之一的互联网曾阅读过流式内容。据业界人士估算，到 2 0 0 5 年为止，我国的移动通信数据通信服务用户已经达到一亿五千万，移动数 据业务占到了无线数据业务的2 0 以上，形成了一个近千亿元的巨大市场。中国 目前有手机用户近4 亿，市场前景广大。中国移动、中国联通都开通了手机电视 业务。拿中移动来说，提供的服务就有富年电子的电视和影院业务，3 g 门户网 的电视和影院业务，腾迅的q q 影院等。当前这些业务大都走g p r s 网络的c m w a p 和c m n e t 接入点，每秒播放的帧数为5 f s 到1 5 f s ，响应速度可以做到5 秒以 下，对终端的要求也较高，只能在高端手机上实现，同时其按流量收费模式使一 般用户也难以承受。现在大多移动监控业务都是将监控图像以m j p e g 方式存于 h t t p 服务器中，然后移动用户请求服务器传送即时图片，监控图片信息在i p 网 与移动网络交界处进行w e b 和w a p 的转换。由于这种方式实现简单，成本较低， 得到了广泛的应用。但是得到监控信息往往不连贯，也很少保证其q o s 。将多媒 体信息采用r t p 协议打包，并对现有的协议做一些优化，便能获得更好的用户体 验。但是由于现有的网络带宽限制，用户的o o s 往往得不到保证。随着3 g 技术 的逐步成熟和市场的推动，运营费的进一步降低，将带来更大的带宽、更小的网 络时延、较小的时延抖动，i p 网与移动网络间传送的音视频流将会更加流畅。 因此将移动流媒体技术引入移动增值业务，已经成为目前全球范围内移动业务研 究的热点。 一个完整的流媒体系统通常由七部分组成，分别是视频压缩、应用层o o s 控 制、连续媒体分发服务、流媒体服务器、媒体同步机制、流媒体协议、无线网络 上的视频传输。当前的研究也主要集中在此7 个方面。目前移动流媒体业务的主 要方向有以下两个方面： 短片下载播放包括剪辑的影视片段，专门制作的f l a s h 等娱乐节目片 段。用户可下载播放 实时视频应用包括手机电视、实时新闻、无线视频监控、体育节目的 直播 中国联通与中国移动在2 0 0 4 年先后开通了手机电视业务，在国内先后有富 第1 章绪论 年、西伯尔科技集团、长天科技集团、长城软件等介入了移动流媒体业务。 尽管移动流媒体取得了极大的成功，但是有其发展中的瓶颈问题，阻碍了其 进一步发展。这其中包括现有的网络协议的改进、音视频压缩标准的改进、网络 带宽、收费方式，无线信道的衰落和误比特率高、移动终端处理能力低与平台和 l c d 的多样化，移动终端内存小和电池能力的有限性。本论文就流媒体的三个 关键技术，流媒体音视频编解码标准、流媒体传输协议、流媒体q o s 控制策略 展开研究。 由于以上矛盾的存在，使得开展针对移动流媒体传输协议、压缩编码、q o s 控制有着十分重要的学术价值和现实意义，具体表述如下。 a 推动适合于无线信道的流媒体技术的进一步发展，视频压缩和无线通信技术 的融合 8 上述任何一个问题的解决，都会给用户带来更好的视听体验，从而牢牢的 抓住客户，赢得市场，从而能更好的推动进一步的研究与市场运用 1 2 论文的主要研究内容 本论文主要包括以下内容： 第1 章为绪论，主要阐述了论文选题及意义，以及该研究领域的现状 与存在的问题。 第2 章对移动流媒体视频编码算法标准进行了总结和分析。如m j p e g 、 m p e 6 系列、h 2 6 x 系列以及它们的应用范围和性能表现。重点介绍了 低码率的h 2 6 4 和m p e g 4 视频压缩标准作为移动流媒体标准的优点与 不足之处。 第3 章为移动流媒体传输相关网络协议。如i p 、u d p ，t c p 、r t p 、r t s p 、 s i p 、r s v p 等。由于现有协议大都是为有线i p 网络设计的，将之直接 在无线网络中利用存在很大不足。有线i p 网通常由拥塞造成分组丢失， 而无线网络由于多径传播以及电波在自由空间传播引起扩散损耗以及 阴影效应引起慢衰落往往造成的是误比特率高。本章分析并总结了现 中山大学硕上学位论文 有的传输协议和相关算法。 第4 章为移动流媒体传输控制技术。如差错控制与拥塞控制。各种传 输技术的使用保证了用户的q o s 。通过对移动流媒体视频传输特性的 研究分析，提出一种基于代理的r t p 速率传输控制策略，并通过仿真 对该策略进行了分析。 第5 章是总结和展望。 论文的最后有关的参考文献及致谢。 4 第2 章移动流媒体编码标准 图像和视频编码的压缩编码技术是利用图像和视频中的大量冗余信息，如空 间冗余、时间冗余、视觉冗余、编码冗余，用尽可能少的信息表示原始信息，以 达到数据压缩的目的。在过去，音视频文件需要从服务器下载后才能播放。这直 接导致了两个问题，一方面占据了用户大量的存储空间，另一方面花费了用户大 量的下载时间。比如一个1 分钟的m p e g - 1 视频节目所需的存储空间为1 1 2 5 m 。 如果用户使用5 6 k b p s 的m o d e m 接入，那么用户至少需要2 5 分钟。显然这是用户 所不能接受的。流媒体的出现正好解决了多媒体通信的这个及待解决的问题。用 户可采用边下载边播放的方式欣赏到连续不端的高品质的多媒体节目。二十世纪 末流媒体技术从有线i p 网走向无线网络。而无线网络与有线i p 网络丢包原因的 不同使得针对无线网络的图像视频压缩编码迅速成为研究的热点。视频压缩技术 可分为有损压缩和无损压缩两大类。无损压缩是指解压缩后的图像与原图像完全 一致，不存在任何信息损失。有损压缩是指解压缩后的图像与原图像不一致，并 且丢失后的数据不可恢复，但可以利用人的视觉特性使解压缩后的图像看起来与 原始图像一样。每一类压缩都包括多种压缩编码方法，具体如下。 ( 1 ) 无损压缩编码种类 霍夫曼编码 行程编码 算术编码 l z w 编码 ( 2 ) 有损压缩编码种类 预测编码：d p c m ，a d p c m ，运动补偿 变换编码：d c t 变换，小波变换，子带编码 模型编码：分形编码 基于重要性：滤波，子采样，矢量量化 混合编码：h 2 6 1 ，m p e g 等 本章第l 部分介绍现有视频与图象压缩编码标准以及m p e g 标准的r t p 打包策 中山大学硕士学位论文 略，其中m j p e g 格式的连续静态图片格式现在已经在监控系统得到了广泛的应用 ( 如公共交通监控、公司监控，家庭监控) 等。m p e g 一4 与h 2 6 4 以其目标码率 低和抗误码性能好特另q 适合无线网络视频传输。第2 部分介绍了无线网络视频传 输存在的问题以及目前研究的主要方向。 2 1 视频与图象压缩编码标准 多媒体通信中，原始的不经压缩的图像的数据量是惊人的。如数字电视图像， 采用s i f 格式，n t s c 制式，4 ：4 ：4 采样，则每帧数据量为3 5 2 * 2 4 0 * 3 = 2 5 3 4 4 k b ， 每秒数据位率为2 5 3 4 4 * 3 0 = 7 6 0 3 ( m b s ) ，一片c d r o m 可存帧数为 6 5 0 0 2 5 3 4 4 = 2 5 6 5 k 帧，一片c d r o m 节目时间为6 5 0 7 6 0 3 6 0 = 1 4 2 分，传输 一路数字视频信号需占用7 6 0 3 m b s 的信道。显然，这对用户来说是无法忍受的， 且现在的网络带宽也无法满足这样的要求。因此，必须对数字视频数据等进行压 缩处理。数字视频的数据冗余使得数据压缩成为可能。静止图像压缩标准与视频 压缩标准的制定主要由i s o 和i t u 等完成的。如静止图像压缩编码的j p e g ， j p e g l s ，j p e g 2 0 0 0 ，二值图像压缩编码的j b i g ，j b i g 2 等，其中i s o 和i e c 制 定的标准主要针对视频数据的存储( 如v c d d v d ) 、广播电视和视频流的网络传 输应用，他们以m p e g - x 述。由i t u 制定的标准主要针对实时视频通讯的应用( 如 视频会议，可视电话) ，他们以h 2 6 x 命名。本节将对这些标准进行介绍，重点 对适合流式传输的编码进行了总结。另外数字音视频编解码标准( a v s ) 是我国自 主制订的数字电视、i p t v 等音视频系统的基础性标准。a v s 标准第2 部分视频 ( a v s l p 2 ) 属高效的第二代视频编码技术，相比于第一代标准m p e g 一2 ，编码效率 提高2 3 倍，并且实现方案简洁，在实际中已得到应用，如大连电信的i 陌v 项 目。相关详细资料可参阅w 聊c h i n a a v s c o m 等。 2 1 1j p e g 标准相关系列 2 1 3 1 j p e 6 标准是“连续色调静止图像编码”国际标准的简称，它是国际标准化 6 第2 章移动流媒体编码标准 组织( i s o ) 下属的联合图片专家组j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 于1 9 8 6 年开始制定、并于1 9 9 1 年前后制定完毕的第一个静止图像压缩编码的国 际标准，标准号为i s o i e c1 0 9 1 8 ，分为三个部分，第一部分为要求和指南( i t u t 8 1 ) ，第二部分为一致性测试( i t ut 8 3 ) ，第三部分为扩展( i t ut 8 4 ) 。j p e g 标准定义了三个基本部分，编码器，解码器，交换格式。建议规定了有损压缩和 无损等两类编解码处理。第一类基于d c t ，提供有损压缩，可以在达到对图像数 据显著压缩的同时，保证解码重建图像的高视觉逼真度。第二类不使用d c t 以满 足无损的应用要求。 j p e g 2 0 0 0 由j p e g 于2 0 0 0 年开发出。它采用小波变换和位平面熵编码，可 获得当今最先进的压缩性能。利用j p e g 2 0 0 0 ，可以不需要解压缩整个文件而抽 取各种分辨率、质量等。于j p e g 相比，有更高的压缩质量，具有错误恢复功能， 可对码流随机访问。 m - j p e g ( m o t i o n - t o i np h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静止图 像( 或逐帧) 压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像 处理，把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地 压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑，此外 m - j p e g 的压缩和解压缩是对称的，可由相同的硬件和软件实现。但m - j p e g 只对 帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩，故压缩效率不高。 2 1 2 咿e g 标准系列“ m p e g ( m o v i n gp i c t u r ee x p o r t sg r o u p ) 标准是国际标准化组织i s 0 i e c 下 设的一个制定动态视频压缩编码的组织。该组织制定了m p e g - 1 ，m p e g - 2 ，m p e g - 4 ， m p e g 一7 ，m p e g 一2 l 等。其中m p e g 一7 ( 多媒体内容描述接口) ，它主要供图像信息检 索用，它将对现有内容识别方案的有限能力进行扩展：m p e g - 2 1 标准( 多媒体框 架) 的任务是如何将不同的技术和标准融合在一起，需要什么样的新标准以及完 成这些标准需结合做些什么工作。 m p e g l 中山大学硕士学位论丈 m p e g l 标准( i s o i e c l l l 7 2 ) 制定于1 9 9 3 年，是针对1 5 m b s 以下数据 传输率的数字存储介质( 如c d - r o m ) 运动图像及伴音压缩编码的国际标准。 该标准包括m p e g 一1 视频、m p e g l 音频、m p f g l 系统三个部分，该标准详细地 说明了视频图像的压缩和解压缩方法，以及播放m p e g l 数据所需要的图像与 声音的同步。m p e g - i 在系统层将压缩后的视频、音频以及其他辅助数据分别 组成的数据包进行统计复用。在音像质量方面，高于电视电话的质量，达到 v h s 录像机和c d - r o m 的放像质量。相关详细内容见一”。 m p b g 一2 1 9 9 4 年1 1 月通过m p e g - 2 建议。m p e g 一2 在m p e g l 的基础上做了重要扩展和 改进，将其图像质量从基本级至最高级分成四级，最高可达h d t v 质量。m p e g 一2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的 规范标准，编码传输率从3 - 1 0 0 m b s 可变。m p e g 一2 采用多帧压缩技术，对图像 序列中不同的帧采用不同的压缩编码方式，通过运动补偿的时间预测和d c t 进行 编码。其采用三种编码方式i 帧、p 帧、b 帧三种编码方式。m p e g 一2 可以较好地 应用于交互式的视频电播等应用，并且能够适用于a t m 等宽带通信网络。相关详 细内容见”“。 m p e g 一4 m p e g - 4 标准( i s o i e c1 4 4 9 6 ，c o d i n go fa u d i o v i s u a lo b j e c t s ) 是m p e g 工作组制定的第三个国际标准。m p e g 工作组分别在1 9 9 8 底和1 9 9 9 年底完成了 t p e g 一4v e r s i o nl 和v e r s i o n2 的制定。其在设计上试图达到两个目标：一是 低比特率下的多媒体通信；二是多行业多媒体通信的综合，主要有通信业、计算 机业、消费电子业和影视娱乐业等。其最低编码率为5 6 4 k b s 。 与传统的基于像素的视频压缩标准( 如m p e g l ，m p e g 一2 ，h 2 6 1 ，h 2 6 3 等) 不同，m p e g 一4 采用基于对象的视频编码方法，它不仅实现对视频图像数据的高 效压缩，还可以提供基于内容的交互功能以及基于内容的分级扩展。m p e g 一4 提 供了用于误码检测和误码恢复的一系列工具，使得压缩后的码流具有鲁棒性，并 第2 章移动流媒体编码标准 可应用于带宽受限、易发生误码的网络环境中，如无线网络、i n t e r n e t 和p s t n 等。其视频编码原理框图如2 一l 。m p e g 一4 针对形状、纹理、运动信息编码。 图2 - 1 i p e g - 4 视频编码原理框图 m p e g 一4 支持的功率和相应的功能集如图2 2 所示。在这一功能集的底层是 v l b v 核，l , ( v l b v ：v e r yl o wb i tr a t ev i d e o ) 。它为5 6 4 k b i t s s 视频操作与应用 提供算法与工具，支持较低的空间分辨率( 低于3 5 2 2 8 8 像素) 和较低的帧频( 低于 1 5 h z ) 。v l b v 核心支持的专用功能包括：( a ) 实时多媒体应用：支持矩形图像序 列的有效编码，具有编码效率高、高精度、高容错度、低延时等特点。( b ) 多媒 体数据库应用：支持多媒体数据库的存储、随机存取以及f f f n 快进快退) 等功 能与操作。m p e g - 4 的h b v ( h b v ：h i e , hb i tr a t ev i d e o ，范围在6 4 k b i t s s 一4 m b i t s s 之间) 同样支持上述功能，但它支持较高的空间与时间分辨率。其输入可以是 i t u r6 0 1 的标准信号，因此其典型应用为数字电视广播与交互式检索。现有的 流媒体应用方案许多都采用了m p e g - 4 信源编码方式。m p e g - 4 相关详细内容见 l i i 6 6 酏 4 m j 6 啦 图2 2m p e g - 4 支持的码率与相应功能集 9 中山大学硕士学位论文 m p e g 一4 码流打包策略 r t p 是专门设计用来传输实时流的协议。它的负载格式规范定义了如h 2 6 1 、 w o t i o n - j p e g 、m p e g 等比特流在r t p 数据流的帧格式，负载格式可进一步分解。 如分层编码格式又可分为l d c t ( l a y e r e dd c t ) 和h v q ( h i e r a r c h i c a lc o m p r e s s i o n o fv i d e o ) 。r t p 协议仅是一个协议框架，它需要和负载形式相关的规范结合才 能形成一个完整的协议。对于视频流的分割，应该注意使得m p e g 视频序列头信 息出现在r t p 负载的开始处并且周期性的出现，视频图像组信息或视频图像头信 息出现在r t p 负载的开始处或紧跟序列头信息后，数据包大小小于网络的最大传 输单元m t u 等。 r f c 2 5 5 0 描述了利用r t p 传输m p e g l m p e g 一2 视频和音频流的数据打包策略。 i e t f a v t 和i s o i e cm p e g - 4o v e ri n t e r n e t 特别小组是制定m p e g 一4o v e rr t p 的相关方案的重要力量，通过r t p 协议传送w p e g 一4 流的好处是，可以把m p e g 一4 码流和其他的r t p 净荷同步，实现r t c p 监视m p e g - 4 的传送，多数据流的复合等 功能。目前除了r f c 3 0 1 6 一种确定的m p e g 一4 码流的r t p 分组净荷格式外，其他 的正在进一步改进中，主要有以下几中方案： ( 1 ) 将w p e c - - 4 音视频码流直接映射到r t p 净荷中，不使用w p e g 一4 系统： ( 2 ) 将m p e g - 4 基本码流e s 直接映射到r t p 净荷中，不使用m p e g 一4 系统的同步 层； ( 3 ) 将w p e g - 4 同步层的s l 分组码流( s lp a c k t i z e ds t r e a m ) 映射到r t p 净荷 中： ( 4 ) 将m p e g - 4 传送层的经f l e x w u x 工具复用后的f l e x m u x 码流映射到r t p 净荷 中。 在基于i p 协议的网络上传送m p e g 一4 的方案有两种，一类是基于w p e g 一4d w i f 体系的方案，另一类就是不采取d m i f 体系而使用其他会话层协议和信令协议的 解决方案。 2 1 3h 2 6 x 标准系列”“2 h 2 6 l 1 0 第2 章移动流媒体编码标准 h 2 6 1 是 t u - t 制定的视频压缩标准，它是国际上第一个视频压缩标准，主 要用于电视电话和视频会议，以满足i s d n 发展的需要。h 2 6 1 也称为p * 6 4 k b s 标准( p = l ，2 ，3 ，3 0 ) 。p = l 或2 时仅支持q c i f ( q u a r t e r c o m m o ni n t e r m e d i a t e f o r m a t ) 视频格式，用于帧速率较低的视频电话：当p = 6 时可支持c i f 格式的 视频会议。该标准与1 9 9 0 年1 2 月获得批准。其视频压缩算法的核心是运动估值 预测和d c t 编码。它的许多技术，如视频数据结构、运动估算与补偿、d c t 变换、 量化和熵编码被m p e g 一1 借鉴和采用。 h 2 6 3 i t u - th 2 6 3 标准( v i d e oc o d i n gf o rl o tb i t r a t ec o m m u n i c a t i o n ) 是i t u t 于1 9 9 6 年制定的用于低码率声像服务的压缩标准。h 2 6 3 是基于运动补偿的d p c m 的混合编码，在运动搜索的基础上进行运动补偿，然后运用d c t 变换和z i g z a g 扫描游程编码，从而得到输出码流和提高图像质量。与h 2 6 1 相比增加了一些 功能，如半个像素精度的运动估值、p b 帧模式等。其设计编码延时不超过1 5 0 m s ， 在低码率( 如3 8 4 k b i t s ) 仍然能得到相当满意的效果。因此其在无线网络和有 线网络上得到了广泛的应用。 i t u - th 2 6 3v e r s i o n2 ( h 2 6 3 + ) 是对h 2 6 3 的进一步完善和发展，于1 9 9 8 年完成，h 2 6 3 + 对h 2 6 3 做了重大改进，并且定义1 2 个全新的编码选择项。h 2 6 3 最重要的改进体现在以下几个方面： ( 1 ) h 2 6 3 只支持有限的图像格式( s q c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f ) ， h 2 6 3 + 在支持这些格式的基础上，允许用户自定义源图像的格式。并将图像大小、 宽高比、时钟频率等信息包含在h 2 6 3 + 的码流中。 ( 2 ) 支持时间、信噪比和空间可分级性。 ( 3 ) 图像分段间的相互依赖受到了限制，有助于减少差错扩散。 ( 4 ) h 2 6 3 定义了7 种图像帧类型，分别是i 、p 、p b 、i m p r o v e dp b 、b 、e l 和 e p 。 h 2 6 3 + + 在h 2 6 3 + 的基础上增加了三个编码选择项，分别为增强的参考图像 帧选择、支持数据分割的条带结构、辅助性增强信息的补充。 中山大学硕上学位论文 h 2 6 4 ( 即h 2 6 l ) h 2 6 4 视频编解码标准是由i t u t 和i s o i e cm p e g 联合组成的j v t ( j o i n t v i d e ot e a m ) 共同制定的。j v t 组织的目标是建立一个单独的视频编码标准，即 新的i t u t 标准h 2 6 4 ，同时将它作为它m p e g 一4 的第1 0 部分。h 2 6 4 与以往的 标准相比，在相同编码质量时h 2 6 4 可以节约大约5 0 的码率，但是其复杂度大 约是h 2 6 3 的4 5 倍。h 2 6 4 的标准草案已经于2 0 0 2 年5 月底制定完成。h 2 6 4 的主要编码流程跟先前的一些编码标准( 如m p e g - i ，m p e g 一2 ，h 2 6 3 ) 相比并没 有结构上的变化，而是在各个主要模块内部使用了一些先进的技术，提高了编码 效率，这些新技术包括： ( 1 ) 帧内预测编码对原像素块进行变换，量化和熵编码等消除视频帧的空间冗 余 ( 2 ) 更丰富的运动估计方法 采用了多种大小和形状的块。 多帧运动估计和复杂的多方向模式选择。 1 4 甚至t 8 像素精确度运动估计。 解码环路中的去块滤波器。 ( 3 ) 整数d c t 变换，解决了反变换误匹配问题 ( 4 ) 新的熵编码方法 通用交长编码u v l c ( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ) 。 上下文自适应二进制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ) 。 总的说来。h 2 6 4 相比于其他编码方式有以下一些特点 ( 1 ) 低码率，高质量 h 2 6 4 ( 即h 2 6 l ) 与其他的编码方案的比较见下图”。从下图可看出， 在相同质量下h 2 6 4 节省了大量码率。 一 第2 章移动瀛媒体编码标准 1 4 2 6 l 托平均犏码堵砬 h2 6 j c h cm p e t o - 4 a s pm j t ( 卜 s p1 1 2 i l a 鬻i 髓； l 节省码辜f 1 2 40 8：8 h1 ，4 9 4 2 ，i 2 l & 薄雌n r ，ll 2 1 4 l l6 6：2 5 晏 主 堂 篷 笔 差 堂 聱 舞 知m n c i f ，孙 l z 荔多掣i 蓼护 一 + h ：6 l 彩j + m p e g - 4 f a s i d + 、l p f c t 4 t s p i l 影 * 一h ：6 3 l c h c l 十h ，：6 3 t b l 码攀聪啊 巩随c t f 1 5 i l z 图2 - 3h 2 6 4 和其他标准的比较一 ( 2 ) 应用范围广 既可运用于有严格时延限制的实时通信，也可运用于时延不大的其他应用 ( 如视频存储) 。 ( 3 ) 稳健性 h 2 6 4 在设计时，针对分组交换网如i n t e m e t 中的分组丢失和无线网络中比 特误码都提供了相应的工具，使得h 2 6 4 在这些网络中传播时具有更强的抗误 码性能。 ( 4 ) 对各种网络的友好性 h 2 6 4 中增加了n a l 层，负责将编码器的输出码流适配到各种类型的网络 中，从而提供了友好的网络接口。 2 2 无线网络中视频传输存在的问题 由于移动流媒体融合了无线传输技术和视频压缩技术两个不同的领域，以致 中山大学硕士学位论文 在融合的过程中出现了许多对立的问题，如视频数据对错误敏感、无线信道错误 率高，视频数据量大、无线信道带宽小，视频压缩处理算法复杂、移动终端能耗 与运算能力有限m t 。 到目前为止发展起来的视频压缩标准及典型目标比特率如下”“”： 表2 1 视频压缩标准及其目标比特范围 标准制定日期 目标比特率 h 2 6 11 9 8 4 1 9 9 0 p + 6 4 k b p s m p e g 11 9 8 8 1 9 9 2 小于1 5 m b p s m p e g - 2 ( h 2 6 2 ) 1 9 9 0 1 9 9 4 1 5 - 3 5 m b p s m p e g 一4 19 9 3 2 0 0 2 8 k 一3 5 m b p s h 2 6 3 ( h 2 6 3 + h 2 6 3 + + ) 19 9 3 2 0 0 2 8 k - 1 5 m b p s h 2 6 4 ( m p e g - 4p a r t10 2 0 0 1 2 0 0 6 4 k 一3 0 m b p s v c l 0 2 0 0 3 2 0 0 6 4 k - 3 0 m b p s a v s 系列视频标准部分 2 0 0 3 至今 4 k 一3 0 m b p s 第二代和第三代移动通信技术标准和可用业务数据带宽对比如下： 表2 - 2 第二代和第三代移动通信技术标准业务及带宽比 技术标准数据业务带宽 g s m ( g p r s ，e d g e ) ( 2 g )9 6 k b p s - 114 k b p s c d m a l x ( i s l 3 6 ) ( 2 g ) 14 4 k b p s 13 6 5 k b p s c d m a 2 0 0 0 ( 3 g )3 8 4 k 2 m b p s w c d m a 3 8 4 k 2 m b p s t d s c d m a 3 8 4 k 一2 m b p s 在有线网络中，视频包大小对包丢失率的影响没有多大影响。但是在无线网 络中，无线网络中丢包大小却与丢包率有着直接的关系。u d p 包过小会造成频繁 的数据包分片，对网络物理信道产生太多的竞争而产生丢包。也会增大i p 报头 额外开销，导致带宽利用率下降。其关系见图2 4 。如果过大也会造成实时通信 的时延过长和丢包率增加。另外丢包率与码率，移动速度，包大小三者也有很大 关系。可参阅t h o m a ss t o c k h a m m e r 等人写的h 2 6 4 a v c i n w i r e l e s s e n v i r o n m e n t 。另外，当前的移动流媒体解码算法如h 2 6 4 等过于复杂，这导致 1 4 第2 章移动流媒体编码标准 了对解码手机的要求较高，不适合移动流媒体应用的普及推广。因此。在研究高 质量的编码算法的同时，必须开展减少解码复杂度的研究。 图2 - 4 无线信道分组丢失率与分组大小的关系m ， 由于以上这些矛盾的存在，使得探寻无线网络的视频编码技术正为3 g 发展 的一个重要研究方向，目前的研究主要集中在最小传输编码、自适应码率调节、 码流动态切换、可伸缩编码、联合信源信道编码、视频编码的容错技术以及网间 通信的视频转换编码等方面。相关详细内容见o i 【”h 2 ”以及第5 章。 第3 章移动流媒体传输相关网络协议 移动流媒体传输协议栈包括r t p r t c p 协议、r t s p 协议、s d p 协议、r s v p 协议等。下图是流媒体的传输协议栈结构图，本章首先介绍了各传输协议，然后 对移动流媒体传输时协议存在的问题进行了分析和总结。 图3 一l 移动流媒体传输控制协议栈 3 1 移动流媒体传输协议【2 2 i 3 1 1 实时传输协议( r t p ) r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是i e t fa u d i oa n dv i d e ot r a n s p o r tp r o t o c o l 小组针对多媒体数据流的实时传输而设计的，一般用于一对一或一对多的传输情 况下，提供时间信息和实现流同步。r t p 通常使用u d p 来传送数据，但也可以 在t c p 或a t m 等其他协议之上工作。当应用程序开始一个r t p 会话时将使用 两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包提 供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码的一 1 6 中山大学硕士学位论文 部分。r t p 报文由两部分组成：报头和有效载荷。其固定报头格式如图3 - 2 所示。 0 l23 0123t567890i234567890t2345678901 4 - 一+ 一+ 一+ 一+