（计算机软件与理论专业论文）基于fgs的拥塞控制机制的研究.pdf

基于f g s 的拥塞控制机制的研究 摘要 通过因特网对现场或存储的视频进行实时传输是流媒体的主要内容之一。 然而，由于当前因特网具有尽力而为的特性，它不为视频流提供任何的服务质 量保证。此外，因特网的异构性使得它难于在视频组播中灵活地提供服务，从 而满足用户宽范围的服务质量需求。因此，如何在因特网上传输高质量的视频 流是当前的一个重要课题。 本文首先介绍了流媒体技术的现状和发展趋势，分析了传统视频编码方法 不适用于网络传输的原因，详述了面向传输的f g s 视频编码方法及其特性。在 此基础上，本文提出了一个基于f g s 的拥塞控制机制。该拥塞控制机制通过r t c p 提供的q o s 反馈信息和丢包模型来确定视频流的发送速率，并根据f g s 码流结 构进行码率整形，使得视频流的发送速率能够动态地适应网络带宽的波动，从 而最大限度地提高视频质量。最后，本文设计并实现了一个基于f g s 的视频流 系统。实验结果表明该拥塞控制机制能够实现一定的t c p 友好性，并且能够保 证视频质量随着网络带宽的波动而平稳地变化。 关键词：f g s ，拥塞控制，服务质量，r t p r t c p ，流媒体 r e s e a r c ho naf g s b a s e dc o n g e s t i o nc o n t r o lm e c h a n i s m a b s t r a c t r e a l t i m et r a n s p o r to fl i v eo rs t o r e dv i d e oi so n eo ft h ep r e d o m i n a n tp a r t so f s t r e a m i n gm e d i a h o w e v e r ，t h ec u r r e n tb e s t e f f o r ti n t e r n e td o e sn o to f f e ra n yq o s g u a r a n t e e sf o rs t r e a m i n gv i d e o i na d d i t i o n ，t h eh e t e r o g e n e i t y o ft h ei n t e r n e tm a k e s i td i f f i c u l tt oe f f i c i e n t l ys u p p o r tv i d e om u l t i c a s tw h i l ep r o v i d i n gs e r v i c ef l e x i b i l i t y t om e e taw i d er a n g eo fq o sr e q u i r e m e n t sf r o mu s e r s t h u s ，h o wt ot r a n s p o r t s t r e a m i n gv i d e ow i t hh i g hq u a l i t yi sc u r r e n t l ya ni m p o r t a n t r e s e a r c hi s s u e a tf i r s t ，t h et h e s i si n t r o d u c e st h es t a t u sa n dd e v e l o p m e n tt r e n do fs t r e a m i n g m e d i a ，a n a l y z e st h e r e a s o nt h a tt h et r a d i t i o n a lv i d e oc o d i n gt e c h n i q u e sa r en o t s u i t a b l ef o rn e t w o r kt r a n s m i s s i o n ，a n dt h e ne x p a t i a t e s t h ef g sv i d e o c o d i n g t e c h n i q u ea n di t s c h a r a c t er i s t i c s o nt h i sb a s i s t h et h e s i sp r e s e n t saf g sb a s e d c o n g e s t i o n c o n t r o lm e c h a n i s m t h em e c h a n i s md e t e r m i n e st h es e n d i n gr a t eo f v i d e ot r a m cb a s e do np a c k e tl o s s m o d e la n df e e d b a c ki n f o r m a t i o na b o u tt h e n e t w o r kq o sp r o v i d e db yr t c p a n dt h e na d j u s t st h es e n d i n gr a t et ot h ea v a i l a b l e n e t w o r kb a n d w i d t ht h r o u g ht h eu s eo fr a t es h a p i n gb a s e do nt h es t r u c t u r eo ft h e f g sb i t s t r e a m ，s ot h eo p t i m a lv i d e oq u a l i t yi sa c h i e v e d a tt h ee n do ft h et h e s i s ，a s t r e a m i n g v i d e o s y s t e m i s d e v e l o p e d t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h e m e c h a n i s mc a na c h i e v et h e t c p f r i e n d l y b e h a v i o ra n dt h es m o o t hv a r i a t i o no f v i d e oq u a l i t yw h i l et h en e t w o r kb a n d w i d t hv a r i e s k e yw o r d s ：f g s ，c o n g e s t i o nc o n t r o l ，q o s ，r t p r t c p , s t r e a m i n g m e d i a 独创性声明 本人声明所早交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包古为获得盒墼些太堂或其他教育机构的学位或证书而使用过的材 料。与我一同_ 丁作的同对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位敝储酶椰邱签字鼢咋f 月叩日 学位论文版权使用授权书 本学位论文作者完全了解盒目b 些太堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金 月b 工、业盘堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名：褐7 7 j 郦 签字日期函叶年譬月日 学位论文作者毕业后去向 工作单位： 通讯地址： 黧辫 签字目期卿月吁日 致谢 衷心地感谢我的导师侯整风副教授! 在我的研究生学习期间，侯老师不仅 在学业上对我进行了耐心细致的指导，而且还在日常的交流中教会了我许多书 本上学不到的东西，使我在做人和做学问两方面都得到了很大的提高。在论文 的选题、研究、实验以及撰写的过程中，侯老师都倾注了大量的心血。导师诲 人不倦的高尚师德和认真严谨的治学态度将使我受益终生! 感谢蒋建国教授、胡学钢教授在我研究生学习期间所给予的悉心关怀和热 心指导! 同时对王浩教授、袁兆山教授、穆斌副教授等很多老师在学业上对我 的教诲和指导表示诚挚的谢意! 感谢2 0 0 1 级研究生陈继、潘承锦、周逢朝、韩巍、杨东虎、丁凉等同学的 支持和帮助! 在此，特别感诸f 贾伟和谢飚，没有他们的帮助，我的实验是无法 完成的。 感谢我的女友杨阳在我研究生学习期问对我的支持和鼓励! 最后感谢我的 父母，正是他们默默的付出和全力的支持，才使我解除了后顾之忧，从而全身 心地投入到学习中去。 杨明玮 2 0 0 4 年4 月 第一章导论 1 1 引言 网络技术和多媒体技术的迅速发展使得通过因特躅提供实对多媒体服务成 为可能。多媒体技术是将文本、图形、图像、音频和视频等多种信息媒体融合 为一一体，在计算机上编排、处理和演示的技术。它以多种形式表达、存储和处 理信息，从而提供了很好的交互性，极大地改善了人机界面，改变了人们使用 计算机的方式。多媒体技术需要处理音频、视频等信息，它们不但有巨大数据 量，而且常常要求实时处理。在网络上传输的多媒体信息称为网络多媒体。融 合了多媒体的网络通讯具有计算机的交互性、多媒体的复合性、通信的分布性 以及音视频所带来的真实性等特征m 。 网络多媒体的一个关键应用就是流媒体的应用，即视频、音频等数据作为 连续的实时流从源端向目的端传输，在目的端接收到定的缓冲数据后可以立 即播放的多媒体应用。其中，流媒体( s t r e a m i n gm e d i a ) 是指在网络中使用流 式传输技术的连续时基媒体，如视频、音频和动画等”。其概念包含两个方面。 首先，流媒体是计算机网络上需要实时传输的对时间敏感的多媒体数据：其次， 在传输前需要对多媒体数据进行流化，即把多媒体数据处理成多个数据包，并 附上与其传输有关的信息，形成实时数据流，这样在不用下载整个多媒体文件 的情况下就可以实时播放视频等对时间敏感的多媒体数据。 现在，随着网络宽带化的发展，流媒体业务正变得日益流行。流媒体技术 广泛用于因特网多媒体新闻发布、在线直播、网络广告、电子商务、视频点播、 远程教育、远程医疗、网络电台、实时视频会议等因特网信息服务的方方面面。 下面列举了流媒体技术的几个典型应用： 1 ) 流媒体技术在视频点播上的应用。很多大型的新闻娱乐媒体都在因特 网上提供基于流技术的音视频节目，如国外的c n n 、c b s 以及我国的中 央电视台、北京电视台等，人们将这种在因特网上播放的节目称为 w e b c a s t 。 2 ) 流媒体技术在视频会议上的应用。通过流媒体可以进行点对点的通信， 最常见的例子是可视电话。此外，大型企业可以利用基于流技术的视 频会议系统来组织跨地区的会议和讨论，从而节省了大量的开支。国 际电信联盟i t u 制定了许多基于电信网络的多媒体会议标准，如 h 3 2 0 、h ，3 2 3 等。微软的n e t m e e t i n g 和组播主干网m b o n e 上的v ic 、 v a t 等工具也可以用来建立计算机网络上的会议。 3 ) 流媒体技术在远程教育上的应用。通过流媒体技术进行的远程教育可 以充分地体现交互性，并尽量满足学员个体的要求。大型企业可以利 用基于流技术的远程教育系统作为对员工进行培训的手段，这里不仅 可以利用视频和音频，计算机屏幕的图形捕捉也可以用流的方式传递 给学员。 流媒体技术的应用将为网络信息的交流带来革命性的变化，并对人们的工 作和生活产生深远的影响。 1 2 流媒体技术的现状和发展趋势 流媒体技术的大量应用推动了流媒体技术的研究。由于流媒体技术是多媒 体技术和网络技术的交叉课题，因此它包括流媒体编码技术、流媒体服务器技 术、端到端流媒体技术和流媒体系统技术等”1 。当前，多媒体及网络领域的相 应国际标准和协议也充分考虑了流媒体的应用。 1 2 1 流媒体编码技术 流媒体编码技术建立在传统多媒体编码技术的基础上。由于视频数据冗余 度最大，经压缩编码处理后的视频质量是决定流媒体服务质量的关键因素，因 此视频编码技术是流媒体技术的核心。 视频编码的研究课题主要有数据压缩比、压缩解压速度以及快速实现算法 三方面内容。传统的压缩编码建立在香农信息论基础之上，以经典集合论为工 具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数 据冗余，属于低层压缩编码的范畴。 随着视频编码及其相关学科的迅速发展，新一代压缩编码技术日益成熟， 其编码思想由基于像素和像素块转变为基于内容( c o n t e n t b a s e d ) ”3 。它突破 了香农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内 容冗余来实现数据压缩，可分为基于对象( o b j e c t b a s e d ) 和基于语义 ( s e m a n t ic s b a s e d ) 两种，前者属于中层压缩编码，后者属于高层压缩编码。 与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由 i t u t 和i s o i e c 开发。i t u t 公布的h 2 6 x 系列标准主要有h 2 6 1 、h 2 6 3 ， i s o i e c 公布的m p e g 系列标准主要有斟p e g l 、m p e g 一2 、m p e g 一4 和m p e g 一7 ， 并且计划公布m p e g 一2 1 。 h 2 6 1 、h 2 6 3 、m p e g 一1 和m p e g 一2 是采用以香农信息论为基础的预测编码、 变换编码、熵编码及运动预测与补偿等第一代压缩编码技术；m p e g 一4 “1 ( i s o i e c 1 4 4 9 6 ) 则是基于第二代压缩编码技术所制定的国际标准，它以视听媒体对象为 基本单元，采用基于内容的压缩编码，这适应了多媒体信息的应用由播放转向 基于内容的访问、检索以及操作的发展趋势。 a v 对象( a v o ，a u d i ov is u mo b j e c t ) 是m p e g 一4 为支持基于内容的编码 而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划 分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在m p e g 一4 中视 音频已不再是过去m p e g l 、m p e g 一2 中帧的概念，而是一个个视听场景( a v 场 景) ，这些不同的a v 场景由不同的a v 对象组成。a v 对象是听觉、视觉、或者 视听内容的表示单元，其基本单位是原始a v 对象，它可以是自然的或合成的声 音、图像。原始a v 对象具有高效编码、高效存储与传输以及可交互操作的特性， 它又可进步组成复合a v 对象。因此m p e 6 4 标准的基本内容就是对a v 对象进 行高效编码、组织、存储与传输。a v 对象的提出使多媒体通信具有高度交互以 及高效编码的能力，a v 对象编码就是m p e g 一4 的核心编码技术。 m p e g 一4 不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性以及 全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同 时也可根据不同的应用需求现场配置解码器，以支持多种多媒体应用。 m p e g 一4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动 补偿、量化、熵编码外，还提出了一些新的关键技术，并在第一代视频编码技 术的基础上进行了卓有成效的完善和改进，如视频对象提取技术、v o p ( v i d e o o b j e c tp l a n e ) 视频编码技术、s p r i t e 视频编码技术、d c 预测、a c 预测、全 局运动补偿和四分之一运动补偿等。 此外，视频编码的可伸缩性技术也在m p e g 一4 中得到了广泛的应用，作为其 核心技术之一。视频编码的可伸缩性( s e a l a b i l i t y ) 是指码率的可调整性，即 视频数据只压缩编码一次，却能以不同的帧率、空间分辨率或视频质量进行解 码，从而支持用户各种不同的应用要求，并在带宽波动很大的因特网和具有不 同传输特性的异构网络上进行视频传输。 m p e g 一4 通过视频对象层( v o l ，v i d e oo b j e c tl a y e r ) 来实现可伸缩性编 码，并且m p e g 一4 提供了两种基本可伸缩性工具，即时域可伸缩性( t e m p o r a l s c a l a b i l i t y ) 和空域可伸缩性( s p a t i a ls e a l a b i l i t y ) ，此外还支持时域和空 域的混合可伸缩性。每一种可伸缩性编码都至少有两层v o l ，低层称为基本层， 高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列 更高的分辨率和细节。 在随后增补的视频流应用框架中，m p e g 一4 提出了精细的可伸缩性( f g s ， f i r eg r a n u l a r i t ys c a l a b l e ) 编码方法以及渐进的精细可伸缩性( p f g s ， p r o g r e s s i v ef i n eg r a n u l a r it ys c a l a b l e ) 编码方法。 f g s 编码方法实现简单，可在编码速率、显示分辨率、内容、解码复杂度 等方面提供灵活的自适应性和可伸缩性，并且具有很强的带宽自适应能力和抗 误码性能a 但是。它还存在着编码效率低于非可伸缩性编码以及接收端视频质 量非最优等不足。 p f g s 则是为改善f g s 编码效率而提出的视频编码方法，其基本思想是在增 强层图像编码时使用前一帧重建的某个增强层图像为参考进行运动补偿，以使 运动补偿更加有效，从而提高编码效率。 2 0 0 3 年5 月，i t u 和i s o 联合发布了h 2 6 4 蹲( m p e g 一4 的p a r t i o ) ， f 2 6 x 和m p e g 两大标准系列在h 2 6 4 上完成了统一。h 2 6 4 不仅比h 2 6 3 和m p e g 一4 节约了5 0 的码率，而且对网络传输具有更好的支持功能。它引入了面向i p 包的编码机制，这有利于网络中的分组传输，并更好地支持视频流的应用。h 2 6 4 具有较强的抗误码特性，可适合在丢包率高、于扰严重的无线信道中进行视频 传输。此外，h 2 6 4 支持可伸缩性编码，从而在视频传输时能够得到稳定的图 像质量。因此，h 2 6 4 适合于不周网络中的流媒体应用。 h 2 6 4 标准的压缩系统由视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络 提取层( n a l ，n e t w o r ka b s t r a e t i o nl a y e r ) 两部分组成。v c l 主要包括v c l 编解码器，其主要功能是视频数据的编码和解码，它包括运动补偿、变换编码、 熵编码等单元。n a l 则用于为v c l 提供一个与网络无关的统一接口，它负责在 网络传输前对视频数据迸行封装打包。n a l 采用统一的数据格式，包括单个字 节的包头信息、多个字节的视频数据、逻辑信道信令、定时信息、视频序列结 束标志等。当编码参数根据当前网络状况进行调整时，v c l 可以传输该编码参 数。 h 2 6 4 与h 。2 6 l 、h 。2 6 3 一样，也是采用d c t 变换编码加d p c m 差分编码， 即混合编码结构。同时，h 2 6 4 在混合编码的框架下引入了新的编码方法，提 高了编码效率。这些编码方法包括1 4 或：8 像素的运动估计、多参考帧的运 动估计、多模式的宏块划分、小尺寸4 4 的整数变换、更精确的帧内预测、u v 。c 、 快速运动估计算法u m h e x a g o n s 等。 1 2 ，2 流媒体服务器技术 流媒体服务器在提供流媒体服务中起着关键的作用，而且流媒体本身有着 大数据量、要求实时处理等特点，因此流媒体服务器技术也是流媒体技术研究 的重点。流媒体服务器包含三个子系统，它们是通信程序、操作系统和存储系 统。 通讯程序涉及到服务器中实施的应用层和传输层协议，雨r t p r t c p 作为流 媒体的应用层协议，早在1 9 9 6 年就被i e t f 接纳为i n t e r n e t 标准，目前r t p r t c p 已经成为流媒体传输中使用最广泛的协议。针对具体应用，i e t f 还制定了r t p 与特定媒体相结合的标准，如m p e go v e rr t p 、h 2 6 3o v e rr t p 、i n t e r l e a v e d m e d i ao v e rr t p 、g e n e r a la u d i 0o v e rr t p 和f e co v e rr t p 等。m p e go v e rr t p 的标准为r f c2 2 5 0 ，该协议在r t p 对m p e g 的封装过程中，将m p e g 码流的特 征信息如时戳、编码层次结构等拷贝到r t p 包头中，对m p e g 视频的解析和封装 直达片层( s l i c e ) ，从而使r t p 分组有着很强的q o s 保障，传输终端可通过r t p 包头分析传输中的差错如丢包率、延迟和抖动，再通过一定的应用层q 。s 控制 策略修复相当程度的网络差错。随着r t p 协议族的成功应用，新制定的多媒体 标准也考虑与r t p 协议的结合，其中m p e g 一4 标准就涉及了r t p 封装和传输，而 i e t f 也制定了m p e g 一4 的r t p 封装协议。除了r t p r t c p 协议外，i e t f 还制定了 其他支持多媒体的传输和控制协议，如r s v p 、r t s p 等。 为了满足流媒体的实时要求，流媒体服务器的操作系统必须使用进程管理 的实时调度技术。大多数实时调度算法只是两种基本算法的变静：最早截止时 间优先( e d f ，e a r l i e s td e a d l i n ef i r s t ) 和单调请求率调度( r a t e m o n o t o n i c s a h e d u l in g ) 。在e d f 调度”1 中，对每一个任务都指定一个截止时间，按截止时 问的增长顺序依次对各个任务进行处理。在单调请求率调度”1 中，每一个任务 根据它的请求率确定一个固定的优先级，即对于请求率最高的任务，其优先级 最高，对于请求率最低的任务，其优先级最低，然后按照优先级的顺序对各个 任务进行处理。 由于流媒体服务器的资源如c p u 、内存等是有限的，因此服务器需要通过 资源管理来处理资源以满足实时要求。资源管理包括接纳控制和资源分配。其 中接纳控制算法可分为确定的按纳控制算法和统计的接纳控制算法。确定的接 纳控制算法”向客户端提供硬性的保证，其优点是简单性和严格的质量保证， 面其缺点是较低的服务器资源利用率。统计的接纳控制算法1 提供统计的保 证，即至少对某固定百分比的媒体单元而言满足其连续性需求，它利用了人 类的知觉机理以及流媒体服务器在平均和最坏情况下的差别，从而提高了流媒 体服务器的利用率。 流媒体服务器的操作系统通过文件管理为流媒体文件的存储和读取提供了 访问和控制功能。传统的磁盘调度算法如先到先服务和s c a n 并不能提供实时保 证，因此提出了许多支持流媒体的磁盘调度算法，如s c a n e d f 、g s s ( g r o u p e d s w e e p in gs c h e d u i i n g ) 和d c s c a n ( d y n a m i cc i r c u l a rs c a n ) 等。s c a n d e f “” 结合了传统的磁盘调度算法s c a n 的搜索最优化和e d f 机制的实时保证。g s s ”“ 按照具有相似截止时间的所有流属于同一组的原则将n 个流分为g 个组，同一 组内的各个流按照s c a n 进行服务。d c s c a n ”采用循环的s c a n 服务顺序，使 磁盘搜索的开销和交互服务时间的波动最小化，从而提高吞吐量。 流服务器存储系统的要求是高吞吐量、大容量和容错性。如果个完整的 流媒体文件存放在一个磁盘上，那么对这个文 牛同时访问的数目就会受到磁盘 吞吐量的限制。因此，数据条形化的方案“”被提出来，即在平衡磁盘负载和保 持较低的等待时间的情况下，一个流媒体文件被分散放置在多个磁盘上，并且 可以并行访问这个磁盘阵列。为了提高存储系统的容量并降低存储成本，通常 采用分层存储结构，并加入第三级存储，即只有总存储量的小部分保存在磁 盘上，而其余的大部分存放在第三级磁带库系统。存储区域网“”( s a n ) 结构 是在提供大规模流媒体服务时必须使用的。为了保证在磁盘出现错误的情况下 不中断服务，流媒体服务器使用了容错技术。其中，镜像存储技术“7 3 能够比传 统的容错技术如奇偶校验编码提供更加高效的容错性。 1 23 端到端流媒体技术 端到端流媒体技术，即应用层q o s 控制技术，是解决流媒体在发送端和接 收端之间传输的相关问题，其目的是为了提高流媒体应用的q o s 即服务质量。 这包括拥塞控制技术、差错控制技术等。它们应用于终端系统，并不需要路由 器和网络的q o s 支持。 突发丢包和超时延迟对流媒体演播质量具有破坏性的影响，而它们往往是 由于网络拥塞造成的。t c p 是一个面向连接的单播协议，提供了可靠的数据传 输、流控制和拥塞控制。然而，流媒体应用通常是基于u d p ，没有集成与t c p 兼容的拥塞控制机制，它们与t c p 流以不公平的方式竞争带宽。当拥塞发生时， 所有t c p 流降低它们的数据率以解除拥塞，但是非t c p 流部继续以最初的速率 发送数据。这种极不公平的竞争可能导致t c p 通信量的饿死，或导致拥塞崩溃。 因此，针对流媒体的应用提出了很多拥塞控制机制，这些拥塞控制机制使得流 媒体应用表现得t c p 友好( t c p f r i e n d l y ) ，从而能够公平地分配网络带宽。 流媒体的拥塞控制机制可分为单播拥塞控制机制和组播拥塞控制机制。组 擂拥塞控制机制又可细分为基于速率的方法和基于窗口的方法，前者有t r a m ( t r e e b a s e dr e li a b l em u l t i c a s tp r o t o c 0 1 ) 、t e a r ( t c pg m u l a t i o na t r e c e l v e r ) 和t o p o s e n s e 等，后者有r a i n b o w 、m t c p ( m u l t i c a s tt c p ) 等。 单播拥塞控制机制也可细分为基于速率的方法和基于窗口的方法，前者有 r a p ( r a t ea d a p t a t i o np r o t o c 0 1 ) 、l d a + ( e n h a n c e d l o s s d e l a y b a s e d a d a p t a t i o na g o r i t h m ) 、t f r c p ( m o d e lb a s e dt c p f r i e n d l yr a t ec o n t r o l p r o t o c 0 1 ) 和t f r c ( t c p f r je n d l yr a t ec o n t r o lp r o t o c 0 1 ) 等，后者有b c c a ( b i n o m i a lc o n g e s t i o nc o n t r o la 1 9 0 t i t h m ) 等。 r a p 是一个简单的a i m d ( a d d i t iy e 一a c r e a s em u l t i p l i c a t i v e d e c r e a s e ) 方案，它的每个数据包都必须被接收端确认，a c k 用来发现丢包并用来推断r t t r o u n dt r i pt i m e ) 。r a p 模仿了t c p 的a i m d 行为，即当检测到拥塞时，它将 发送速率减半，而在没有拥塞的周期，它将发送速率以每r t t 增加一个数据包 的速率增加。l d a + ”依赖于r t c p 提供的q o s 反馈信息，它实质上是一个 m d 拥塞控制机制，但其a i m d 的增加和减少因子根据网络状况动态调整。t f r c p c 使用t c p 吞吐量模型来调整发送速率，它的每个数据包都必须被接收端确认， 并且它把时间分为固定的时间周期，每个周期重新计算模型参数，如果一个周 期没有数据包丢失，则下一个周期将发送速率加倍，否则速率由t c p 模型给定。 与t f r c p 相同，t f r c ”“也是基于t c p 吞吐量模型来调整发送速率，但是它通过 平均丢失间隔等方法更加精确地计算模型的参数，t f r c 已经被i e f t 接纳为 6 i n t e r n e t 标准，即r f c3 4 4 8 。 拥塞控制在确定发送速率之后必须通过码率整形器将媒体流的码率修正到 目标码率。码率整形器。2 1 是压缩层与网络传输层之间或两个网络段之间的一个 接口，通过它可以达到媒体流的发送速率与可甭带宽之间的匹配。码率整形器 或滤波器有很多类型，包括编解码滤波器、弃帧滤波器、弃层滤波器、频率滤 波器和再量化滤波器等。 差错控制技术在出现丢包的情况下能够改善流媒体演播的质量。视频通讯 的差错控制技术可以分为传输层差错控制、编码器差错复原编码、解码器错误 隐藏和编解码器交互的差错控制。 传输层差错控制提供了一个基本的q o s ，通过编解码器中的其他差错控制 机制还可以进一步提高q o s 。其中，前向纠错( f e c ) 是数据通信中用于检测和 纠错的常见方法，它也被一些标准所采纳，如用于i s d n 视频会议的h 2 6 1 ”“ 和h 2 6 3 “”的附件h ，但是它只对比特错误占主导地位的信道有效。差错复原 打包按照编码算法来构造数据包，以便数据包能够包含一个或几个独立编码的 数据块，使得传输差错隔离在一个小区域内。这种应用层已知的打包被称为应 用层成帧”( a l f ) 。当发生丢包和超时延迟时，如果包的单程传输时间小于最 大的允许延迟，那么有延迟限制的重传是一个可行的选择。除了以上三种方法 外，由于视频比特流中的各个部分并非同等重要，例如，在基于块的混合编码 中图像头和其他辅助信息比块数据重要彳导多，因此可以采用不平等的差错保护 措施。 编码器的差错复原编码引入冗余比特从而产生对传输误码具有鲁棒性的比 特流，使得差错不会对解码器的工作产生破坏性的影响以及差错不会导致重建 的视频质量严重失真。其中，错误隔离技术是把传输错误的影响隔离在一个有 限的区域内，这经常通过重同步标记和数据分割来实现，它们都已被m p e g - 4 和h 2 6 3 标准采纳。健壮的二进制编码如可逆的变长编码( r v l c ) 、差错复原熵 编码( e r e c ) 所产生的比特流对传输错误更具有鲁棒性。对r v l c 编码所产生 的码流，解码器不仅能够前向解码，也可以后向解码，这样就缩小传输错误所 影跪的区域，减少不必要丢弃的数据量。e r e c ”7 利用重摊编码比特的方法使解 码器在每个块的起始处重新获得同步。由于使用了v l c 和帧间预测，所以编码 后的比特流对传输错误非常敏感。其中，帧间预测的使用会在发生误码的情况 下引起误差累积，差错复原预测技术通过限制预测环把误差累积限制在一个较 短的时间间隔内。差错复原预测的一种方法是周期性地插入帧内编码图像或宏 块。文献 2 8 分析了帧内编码宏块的比率、信道编码速率和信道误码参数之间 的关系，并提出基于这种关系对于给定的信道误码特性可以得到最佳的信道编 码速率和帧内编码宏块的比率。文献 2 9 ，3 0 ，3 1 通过r d 最优模式选择和信道 误码模型确定每个宏块的编码模式，即确定帧内编码宏块的空间位置。差错复 原预测的另一种方法是独立的分段预测，即把数据域分割为几个数据段，并只 在同一个数据段内进行时间和空间预测，这样一个数据段内的误码不会影晌另 一个数据段，这在h 2 6 3 中称为独立分段解码( i s d ) 。 多描述编码( m a c ) 与其他的差错复原技术相比能够更有效地解决丢包闯题。 这种编码方案生成同一个信源的多个比特流( 称为描述) 并在分离的信道上传 输，每个信道可能会发生丢包或突发误码，但是通过任何一个描述所重建的视 频质量都是可以接受的。并且用附加的描述可达到递增的视频质量，因此接收 端可以根据哪几个描述被正确地接收而启用不同的解码方案。为了实现这个目 的 l d c 对原始视频信息使用非分层的、相关的分解变换方法，如相关线性变 换”“、块相关重叠正交变换。”1 等。 由于压缩的视频流具有一定的统计冗余，并且人类的感知系统可以容忍一 定程度的失真，因此，在差错复原编码的基础上解码器能够通过错误隐藏技术 提高重建的视频质量。对于基于块的混合编码模式，个受损的宏块包含三种 类型的信息：纹理信息，包括原始图像块或预测误差块的d c t 系数值；运动信 息，包括以p 模式或b 模式编码的宏块的运动矢量( l v ) ；宏块的编码模式。对 于纹理信息的恢复，所有的技术都使用了空间时间内插。对于空间内插，文献 f 3 4 提出的最大平滑恢复( m s r ) 方法要求受损块中恢复的像素应该平滑地连接 同一帧内和f i b 后帧间相邻的像素，而文献 3 5 提出了基于凸集投影( p o c s ) 的 方法，但这种方法不适合实时应用。m v 的恢复也可以使用空间时间内插，文 献 3 6 提出了几种简单的方法，如采用前一帧中对应宏块的m v 和采用同一帧中 相邻宏块的平均m v 等。对于编码模式的恢复，大部分技术是基于试探的方法， 文献 3 7 提出的方法是收集相邻宏块编码模式的统计特征，并在给定周围宏块 编码模式的条件下寻找最有可能的模式。 由于压缩的比特流不是一个独立等分布的二迸制序列，对于有限长的数据 包，只有相对少量的合法的码字组合，因此基于语法的修复技术被提出。文献 3 8 讨论了这类修复技术。对于比特错误占主导地位的信道。基于语法的修复 技术是一个有效的错误隐藏方法。 在以上提到的差错控制技术中，编码器和解码器是独立工作的，因此编解 码器交互的差错控制可以达到更好的效果。在信源编码器中，解码器的反馈信 息被用来修改编码参数”、选择参考图像”3 等：在传输层，解码器的反馈信息 被用来改变f e c 或重传所占总带宽的百分比。文献 4 0 提出了无等待重传的方 法，即解码器为恢复受损数据向编码器发送一个重传请求，并采用错误隐藏方 法隐藏受损的视频部分，然后继续正常的解码，在收到重传数掘后，再纠正受 到影响的像素。这种方法消除了延迟，而且不会损害视频质量，但是具有较高 的实现难度。 1 2 4 流媒体系统技术 流媒体系统技术不仅为了改善流媒体的q o s ，而且为了提高流媒体的系统 效率，它是流媒体技术研究的重点和趋势之一。流媒体系统技术包括流媒体的 应用层组播技术、多媒体代理服务器及缓存技术等。 i p 组播技术经过十多年的研究和发展依然面临着网络管理、网络配置和支 持高层功能等问题。为了解决这些问题，提出了应用层组播技术“，其目标是 在因特网和i p 网络的顶层建立组播服务。应用层组播机制允许内容服务供应商 ( c s p ) 、因特网服务供应商( i s p ) 或企业建立自己的组播网络，并将它们接入 更大范围的媒体组播网络，即媒体组播网络可以支持应用层或媒体层内容层上 的对等关系。 随着流媒体技术在因特网和无线网络环境中的发展，对多媒体代理服务器 的研究也逐步深入。多媒体代理服务器继承了传统代理服务器的重要作用，它 扩展了流媒体服务器的功能，能够有效地降低用户的启动延迟，此外，由于多 媒体代理服务器距离用户较近，因此可以提高用户接收的媒体质量。多媒体代 理服务器还可以用于因特网和无线网络的边界，从而显著地提高无线用户访问 因特网多媒体资源的能力。 当前，多媒体代理服务器的研究包括缓存替换( c a c h er e p l a c e m e n t ) 算法、 媒体预取( p r e f e t c h ) 算法、前缀缓存( p r e f i xc a c h i n g ) 算法等。其中，缓 存替换算法是管理缓存的主要手段，因此它是决定代理服务器性能的核心因素。 文献 4 2 提出一种针对分层编码的缓存替换算法，不同层的媒体片断被赋予不 同的权值。而且权值与媒体片断的点播频率成正比，与片断长度成反比。文献 4 3 提出的基于资源的缓存( r b c ，r e s o u r c eb a s e dc a c h i n g ) 算法强调缓存容 量与磁盘i 0 的负载平衡。而文献 4 4 为不同类型的媒体设置了不同的缓存优 先权。媒体预取算法在用户接收流媒体的同时，利用流媒体服务器和网络的空 闲资源，将后继数据预先下载缓存到多媒体代理服务器中。文献 4 5 设计了一 个基于滑动窗口的预取算法，代理服务器根据网络状况和媒体层间的相关性决 定预取的数据。文献 4 6 提出了代理服务器和终端用户之间的预取算法，当用 户带宽空闲时，代理服务器主动将用户下一步可能点播的数据先推到用户缓存 中。前缀缓存算法是将媒体节目的前面部分缓存在距离用户较近的代理服务器 中，从而有效地降低启动延迟。 1 3 本论文研究的主要内容 流媒体与传统数据相比有着大数据量、对时间敏感等特点，因此流媒体应 用与传统的因特网应用有着很大的差别。为了保证流媒体的q o s ，流媒体应用 对网络的吞吐量( 即带宽) 、传输延迟、延迟抖动以及差错率都有一定的要求。 但是，当前的因特网具有尽力而为的特性，它不为流媒体提供任何的q o s 保证。 9 而应用层q o s 控制技术是应用于终端系统，并不需要路由器和网络的q o s 支持， 它通过拥塞控制和差错控制能够较好地保证流媒体的q o s 。 随着因特网和无线通信的发展，视频压缩编码的目标也由传统的面向存储 转交为面向传输。其中，m p e g 一4 标准的f g s 编码方法提供了完全可伸缩的增强 层码流，具有很强的网络带宽的适应能力。 因此，本文提出了一个基于f g s 的拥塞控制机制。该拥塞控制机制通过r t c p 的q o s 反馈信息和两状态马尔可夫丢包模型以一定的码率控制算法来确定视频 流的发送速率，并根据f g s 码流的结构进行码率整形，使得发送速率能够动态 地适应网络带宽的波动，从而最大限度地提高视频质量。为了验证该拥塞控制 机制，本文设计并实现一个基于f g s 的视频流系统。 本文的其他部分安排如下： 第二章：介绍了传统的视频编码方法及其q o s 控制策略，详述了面向传 输的f g s 视频编码方法及其特性。 第三章：提出了基于f g s 的拥塞控制机制，并论述了其4 个方面：基于 r t c p 的o o s 反馈信息的计算和分析、基于丢包模型的码率控制算法、 基于f g s 视频流的码率整形以及启动阶段。 第四章：详述了视频流系统的设计和实现，并就t c p 友好性和视频质量 分析了实验结果。 第五章：总结了本文的工作，并对以后的工作进行了展望。 1 4 小结 本章首先阐明了流媒体的概念，并列举了流媒体技术的典型应用。由于流 媒体技术是多媒体技术和网络技术的交叉课题，因此它包括流媒体编码技术、 流媒体服务器技术、端到端流媒体技术和流媒体系统技术。本章介绍了这些技 术的现状和发展趋势，并对其中的流媒体编码技术和端到端流媒体技术作了更 加详细的论述。最后，本章说明了本论文研究的主要内容。 1 0 第二章适合网络传输的f g s 视频编码方法 21 基于传统视频编码方法的o o s 控制策略 在因特网上进行一点对多点的视频流传输时，由于用户具备的网络条件或 终端设备能力的不同，各个接收端可能对于相同内容的视频流有着不同的o o s 要求。此外，网络拥塞将导致丢包和超时延迟，甚至破坏视频流的演播，这就 需要降低视频流的o o s 要求以调整发送速率。解决上述问题都涉及到o o s 控制 策略。 根据编码方法的不同，基于传统视频编码方法的o o s 控制策略可以分为基 于非可伸缩性编码的o o s 控制策略和基于分层可伸缩性编码的q o s 控制策略。 2 1 1 基于非可伸缩性编码的q o s 控制策略 2 1 1 1s i m u is t or e s i m u l s t o r e “”是指在服务器中保存同一个视频内容的不同质量、不同帧率 或不同尺寸表示的多个拷贝。服务器从中选择一个合适的视频流传送给客户端。 这样对每个视频流都可以保证最优的编码效率，而且服务器选择视频流的 方式非常简单，服务器和客户端的实现也不复杂。另外，这种方法能够很容易 地和端到端的重传相结合。 另一方面，这种方法的最大缺点是视频流不能够处理网络状况的变化。即 使采取数据分割和不平等差错保护等措施，也只能获得有限的对网络状况的自 适应。这是因为视频流本身不能动态地适应当前网络的状况。 21 ，1 2s l m u ic a s t s i m u l c a s t “”是将同一视频内容编码成多个不同质量、不同帧率或不同尺 寸表示的视频流，并将这几个视频流同时用独立的组播通道发送到网络，客户 端根据自己设备的能力和网络状况选择接收一个合适的视频流。 在这种方法中，客户端选择视频流的方式非常简单，而且解码器的实现也 不复杂，因为它仅仅是一个普通的单层解码器。 虽然每个视频流在编码效率上是最优的，但是这种方法同时发送同一视频 内容的多个码流，因此带宽利用率很低。 2 1 1 3 码流切换 码流切换“”( s t r e a ms w i t