（信号与信息处理专业论文）internet视频流的端到端传输与编码技术的研究.pdf

南京邮l u 人学硕i 研究生学位论文摘堂 摘要 视频流是多媒体系统与应用的难点之一，它对于网络带宽、传输延迟、抖动 都有着严格的限制。随着计算机技术、压缩技术和高速网络的发展通过l m e r n e t 提供实时视频服务获得了广泛的应用。但由于实时视频通信具有数据量犬、网络 带宽要求高、延时敏感等特性，而目前的i n t e r n e ! 尚不能对视频流提供任何q e s 保证，这使得在i n t e r n e t 上的实时视频传输面临许多困难。再加上服务器与客户 方软件对网络q o s 波动的自适应能力较差，使得用户所得到的媒体流服务无法满 足用户的需求。如何在q o s 动态变化的共享网络上提供有效、公平而且最优的视 频流服务，已成为一个无论在理论上还是在实践中都具有挑战性的研究课题。 在深入分析i n t e r n e t 上实时视频传输特性的基础上，本文提出了基于i n t e r n c t 的实时视频流的拥塞控制策略，给出一个面向单播视频流的端到端架构。l 受架构 是一个拥塞控制和差错修复相结合的体系结构，在这个架构中视频流传输过程j 有快速的反应性能与网络友好性。 具体束晚本文的主要研究工作包括： 阐述了目前提高i n t e r n e t 视频流o o s 的途径，有基于网络的q o s 解决策略和揍 二终端系统的q o s 解决策略两个方向。面向具有捌塞和分组丢失特性的 i n t e r n e t ( ；道本文提出了一个自适应拥塞控制策略和高优先级的分组差锗限 护策略相结合的端到端单播视频流架构。两种策略的结合使得系统既能够 实现对网络状况波动的快速反应，也增强了面向i n t e r n e t 信道随机差锚的传输 鲁棒性。对架构中的组件进行的分析，并讨论了不同选择之问的优劣之处 最后我们讨论了如何生成这一架构的问题，以及按照什么样的足玉路柬设计这 一架构。 在端到端架构的差错修复屠中，深入探讨了r s 编码的算法和实i 她过程，采 用c 语言编程。最终选择m p e g 视频作为研究对象，设计了一个单一层次的 面向m p e g 视频的高优先级保护的传输策略，将m p e g 数据流划分为高优 先绂和低优先缴两部分，r s 编码只用于高优先级数据的保护，以较低的玎销 提供对m p e g 数据的保护。使得系统在较低的行销和延迟情况下获得较商的 视频展现质量。 南京邮电人学坝j 研究生学位论文摘耍 在端到端架构的视频传输层中中，设计了一个带有自适应拥塞控制机制的视 频流协议，提出了一个移动平均的速率调整方案，与a i m d 算法相比较，土 ， 较快的反应性能。并对速率调整决策的定时问题进行了探讨最后通过仿真和 实验验证了协议的自适应特性和t c p 友好性。 在端到端架构的视频传输层中，阐述了如何采用g i l b e r t 模型的q o s 反馈挎 制来测量丢包率，然后设计了一个基于r t p u d p i p 的实时传输系统，浚系统 采用基于r t p 和r t c p 的反馈拥塞控制算法，控制编码器的输出比特率，以使 得整个基于i p 网络的视频传输系统既能充分地利用网络带宽又不g | 起网络 拥塞，从而减少时延，降低丢包率，为终端用户提供一个较好地图像质量， 本文不仅从理论上对i n t e r n e t 视频流系统的设计和优化提出了新的万案，i j 且从相应的仿真和实验结果表明，本文的方案达到了改善i n t e r n e t 视频流麻用的 自适应能力、传输鲁棒性以及总体优化的目的。 关键词视频流，实时传输，拥塞控制，差错保护，反馈拥塞控制 堕皇型! 坚查兰堡! ：丝墨兰兰堡堡兰 ! ! i ：型! ! a b s t r a c t r e a l t i m ev i d e os t r e a m i n go v e rt h ei n t e r n e ti sa ni m p o r t a n tc o m p o n e n to f n u m e r o u si n t e r n e tm u l t i m e d i aa p p i c a t i o n s t r a n s m i s s i o no fr e a l t i m ev i d e o h a sb a n d w i d t h ，d e l a ya n dl o s sr e q u i r e m e n t s h o w e v e r ，t h ec u r r e n ti n t e r n e tc ar n o to f f e ro u a l i t yo fs e r v i c e ( o o s ) g u a r a n t e et or e a l t i m et r a f f i c w i t ht h e r a p idg r o w t ho f m u l t i m e d i as t r e a m i n ga p p l i c a t i o n s ，m o s to f 、e u r r e n tc o m m e r c i a l v i d e o s t r e a m i n gp r o d u c t ss u p p o r t sb a s i e v i d e os t r e a m i n gs e r v i c en n d e l s u f f i c i e n t r e s o u r c e ，t h e yd on o tp e r f o r mc o e g e s t i o nc o n t r o l ，n e t w o tk f r i e n d l in e s sa n dd e p l o y m e n tf l e x i b i l i t ye f f e c t i v e l y t h e r e f o r e ，t 、i f ic i 。1l 1y f a i r l y ，a n do p t i m a l l ys t r e a m i n gv i d e oo v e rt h ed y n a m ic i n t e r n e th a sb e c o m e ab i gc h a l l e n g et or e s e a r c h e r s + b a s e do nt h ea n a y s iso ft h ev i d e ol r a n s m i s s i o nc h r a c t e r is t i c s0 ft h e i n t e r n e t ，a ue n d t o e n du n i c a s ta r c h i t e c h t u r eisp r e s e n t e dl nt h ist h e s is i td i f f e r sf r o mt r a d i t i o n a la p p r o a c hi ni t st e c h n o l o g y i n t e g r u ti o n t h o s e t r a d i t i o n a la p p r o a c h e sf o l l o wt h e c o m p r e s s i o n o r t r a n s p o r tm e c h u n is h s e p r a t e l y ，b u t o u ra r c h i t e c h t u r ec l o s e yc o m b i n e st h e c o n g e s t i o nc 0 1 t 1 ( j i m e c h a n is mw i t he r r o rc o n t r o lm e c h a n is m t h isa p p r o a c hr e s u l tsini t sr u p id r e s p o n s et o n e t w o r ks t a t u sv a r i a l i o n ，i t sn e t w o r kf r ie n d iin e s s l ：0o ：h e r c o e x is t i n gs t r e a m si nt h ei n t e r n e ts h a r ec h a n n e s ，a n di t sr o b e s t n e s sin v i d e ot r a n s m i s s i o no v e r1 0 s s yc h a n n e l s t h ec o n t r i b u t i o no ft h lsih e s lsc 、l 】ld b ed o s c r i b e da sf o ll o w s ： a ne n d 1 0e n du n l e a s tv i d e os t r e a m in ga r c h i t e c h t med u et olh eir 1 1e r r ( - t c h a n n e lw i t hc o n g e s t i o na n dp a c k e t1 0 s sc h a r a c t e r is t i c s 。w pp r o p o s e du u n i c a s tv i d e os t r e a m i n ga r c h i t e c h t u r ew h ic hc o m b i n e sa na d a pllv u c o n g e s t i o nc o n t r o lp o l i c ya n dah i g h p r i o r i t ye r r o rp r o t e c t i o r lm e c h a n is m c o m p a r i n gt ot r a d i t i o n a ld i f f e r e n t i a t e da p p r o a c h ，t h ei n t e g r a t e da p p r o a c h c o u l dq u i c k l yr e a c tt ot h ed y n a m i cn e t w o r ks t a t u s a n de n h a n c e sth e 南京邮电大学颂士研究生学位论文 t r a n s m i s s i o nr o b u s t n e s sa g a i n ts t o c h a s t i ce r r o re v e rt h ei n t e r n e t ah i g h p r i o r i t ye r r o rp r o t e c t i o n isa p p r o a c h e d am e t h o djsp r o p o s e dl p r o t e c t m p e gv i d e o q u a l i t y f r o m p a c k e t l o s sw i t hh i g b p r i o r it j r e e d s o l o m o nc o d e se r r o rp r o t e c t i o n 。t h em p e gs t r e a mi ss p l i li n t oh i g h a n dl o w - p r i o r i t yp a r t i t i o n s ，r sc o d e sisa p p l l e dt oh pp a r t i t i o nd a t ao n ly ， t op r e y i d ep r o t e c t i o no ft h er e c e i v e dv i d e oq u a l j t yw i t bl o we v e h e a da n d t om a x i m i z er e s i s t a n c et ob u r s te r r o r sw h i l em i n i m i z i n g9 1 0 b a lo v e r h e a d a n dd e l a y ， a na d a p t i v ec o n g e s t i o nc o n t r o lp o li c y i nt h ep r o p o s e de n d t o 。e n d a r c h i t e c t u r e w ed e s i g n e da na d a p t iv ev i d e es t r e a m i n gp r o t o c o lw i ” c o n g e s t i o nc o n t r o lm e c h a n i s i l l t h e t r a n s m is s i o nr a t ec o u l db ea d j u s t e d a c c o r d i n gt ot h ef e e d b a c ki n f o r m a t i o nf o rt h ep u r p o s eo fp r e v e n t jn gp a c k c l 1 0 s s o u rp r o p o s e dm o v i n ga v e r a g er a t ec o n t r o lp o t ic yi sb e t t e rt h a nt h e a i m da l g o r i t h mo ni t sr e s p o n s es p e e d ，h o w e v e ri te x h i h i t s “t c p f f i e n d tv ” b e h a v i or i nt h ei n t e r n e ts h a r i n gc h a n n e l af e e d b a c kc e n g e s t i o nc o n t r 0 1a lg o r i t h mf o rt r a n s p o r t i n gle a l 、 v id e e 。s i n e ep a c k e tl o s sa n dd e l a ya r eu s u a l l yc a u s e db yn e t w o ik c o n g e s t i o n w ep r e s e n taf e e d b a c kc o n g e s t i o nc o n ir o ls c h e m eb a 、e do r e a l l i m et r a n s p o t tp r o t o c o l ( r t i ) a n dr e a i t i m etf a n s p o r tc o n tr e 。 p r o t o e o l ( r t c p ) ，w h i c hc a ns a t is f yt h er e a l t i m ev i d e ed e li v e r ys ys re h 2 w i t hl n s sa n dd e l a yr e q u i r e m e n t s t h ep a p e rf i r s ts h e w sol ird e s ig ：l m o t iv a l i o r ，t h e ni n t r o d u c e st h er e a l t i m e v id e otf a n s p o r tr i l i 0 1 & r e h i t o c t u r e u s in g t r a n s p o r t a t i o n s y s te m w i tho t h e t v i f i ( 一j tr a n s p o r t a t i o ns y s t e m sb a s e do nu i ) t o rt c b e s i d e st h ep r e s e n t e dr o v e la p p r o a c h e so ri n t e r n e tv i d e es t r e a m in gs y ic h d e s ig ni nt mst h e s is ，r e l e v a n ts i m u l a t i o na n de x p e r i m e n t sr e s o l tss h o wih a l a p p r 、o a c h e sa c h i e v et h eo b j e c t i v eo fa d a p a t a b i l i t y t r a n s m l s s i o nr o h u s t l ) e s s a n ds y s t e mg l o b a lo p t i m i z a t i o nf o ri n t e r n e tv i d e os t r e a m i n g k e yw o r d s ：v i d e os t r e a m i n g ，r e a l t i m et r a n s p o r t a t i o n ，c o n g e s t i o nc o n r o l ， e r r o rc o n t r o l ，f e e d b a c kc o n g e s t i o nc o n t r o l 1 一一 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向：塑垡迪焦生塑堡兰复堡垦竺猩垫查 作 者：二堡生级研究生 余莉莉指导教师鲎塞攫 题目：i n t e r n e t 视频流的端到端传输与编码技术的研究 英文题目： e n d - t o e n dt r a n s p o r t c o d i n gs u p p o r tf o ri n t e r n e t v i d e os t r e a m i n g 主题词：视频流实时传输拥塞控制差错保护 反馈拥塞控制 v i d e os t r e a m i n gr e a l - t i m et r a n s p o r t a t i o n c o n g e s t i o nc o n t r o l e r r o rc o n t m t f e e d b a c kc o n g e s t i o nc o n t r o l 南京邮电大学学位论文独创性声明 y 8 5 0 9 1 2 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生姥链喹噍型v 南京邮申大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：娃导师签名专邀日期丝塑l 南京邮电大学磺j 研究生学位论土 笫l 午_ 税频流技术 第1 章视频流技术 1 1 视频流定义与分类 1 1 1 视频流定义 所谓视频流( v i d e os t r e a m i n g ) ，是指视频数据通过网络媒体，从视频服务 提供方向，视频服务接收方实时传输，并在接收方进行实时的视频回放的过程。 1 1 2 视频流分类 视频流应用按照不同的标准可以做如下分类( 如表1 1 所示) ： 1 ) 根据服务实时性的不同，视频流服务可以分为：实时视频流( 1 ，iv e ) 和存储回放视频流( s t o r e d p 1 a y b a c k ) 。这种分类方式可以对应 广 播电视中的直播和录播方式。实时视频接收到的内容与视频源强存在 有限的时延( 包括编解码和传输延迟) ，而存储视频内容是经过顸编 码的，可以在编码后的任意时间提供服务。在实时视频会话中，将米 的数据是不可获得的，而存存储视频会话中所有的将来数据足可以召 会话开始就能获得的。 2 ) 根据信息发柏的方式不同，视频流服务可以分为：单播( u n lc a sl ) 和多播( m u l t ic a s t ) 。单播方式为点对点的发送接收模式，向多播 方式为点到多点的发送接收模式。由于多播方式中多个接收者ij 能 有不同的网络特征和处理能力，存在异构性，除了网络 办议中的寻坩 和路由不同于单播方式之外，对应的捌塞控制和差错拧制要比擎播，j 式更为复杂。 3 ) 根据用户交互性的不同，视频流服务可以分为两种：单向模式和交i 模式。在单向模式【1 j ，有如当i j i 的电丰兕广播，无论是存储视妯还足没 时视频，客户方都j t 能被动地接收信息。而在交互模式，p ，客户玎t - j 以频繁地与服务器进行交互求改变刨放的秩序。但是，交互的频率受 到了客户和服务器之矧的端到端延迟的限制，例如端到端的延迟为 2 0 0 毫秒，交互的的频率就不能超过5 次每秒。 8 南京邮i 乜大学碗j 研咒生学位论文 第l 审议频衙：拙术 第1 章视频流技术 1 1 视频流定义与分类 1 11 视频流定义 所谓视频流( v i d e os t r e a m i n g ) ，是指视频数据通过网络媒体，从视频服务 提供方向，视频服务接收方实时传输，并在接收方进行实时的视频刚放的过程。 1 1 2 视频流分类 视频流应用按照不同的标准可以做如下分类( 如表i 1 所示) ： 1 ) 根据服务实时性的不同视频流服务可以分为：实时视频流fl iv e ) 和存储回放视频流( s t o r e d p l a y b a c k ) 。这种分类方式可以对应j = 广 播电视中的直播和录播方式。实时视频接收到的内容与视频源只存在 有限的时延( 包括编解码和传输延迟) ，而存储视顿内容是经过颈编 码的，可以在编码后的任意时间提供服务。在实时视频会话中，将束 的数据是不可获得的，而在存储视频会话中所有的将束数据是 以在 会话开始就能获得的。 2 )根据信息发布的方式不同，视频流服务可叭分为：单捅( u n i c a s t ) 和多播( m u l t i c a s t ) 。单播方式为点对点的发送接收模式m 多疆 方式为点到多点的发送接收模式。出于多播方式中多个接收者司能 有不同的网络特征和处理能力，存在异构性，除了网络协议中的哥址 和路由不同于单播方式之外，对应的拥塞控制和差错控制要比r p 描西 式更为复杂。 3 ) 根据用户交互性的不同视频流服务可以分为两种：单向模式和交j 模式。在单向模式中有如当前的电视j 。插，无论是存储视频还是爻 时视频，客户方都只能被动地接收信息。而在交互校式中，客。方i ： 以频繁地与服务器进行交互来改变回放的秩序。但是，交五：的频率受 到了客户和服务器之问的端到端延迟的限制，例如端到端的延迟为 2 0 0 毫秒，交互的的频率就不能超过5 次每秒。 2 0 0 毫秒，交互的的频率就不能超过5 次每秒。 南京邮i u 人学硕士研究生学位论文第1 币秕顿娩技术 表1 1 视频流服务分类 分类标准具体类别 服务的实时性存储回放服务实时服务 信息发布方式单播方式多播方式 用户交互模式单向模式交互模式 基于我们上述的分类，同一视频流会话可以是三种交互方式的结合，如交q 式单播存储视频流，单向的多播实时视频流等。 1 2i n t e r n e t 视频流技术回顾 一个完整的i n t e r n e t 视频流系统通常由三部分组成，一个视频发送万，个 视频接收方，中间由i n t e r n e t 连接。发送方将实时压缩或者预先压缩编码过的视 频数据经过网络传输到接收方，由接收方进行解码，完成视频的实时唧放。整个 视频流系统体系结构、c p u 与磁盘调度、缓冲区管理、数据压缩、嘲络传输、反 馈控制、q o s 等多方面的内容。 1 2 1i n t e r n e t 视频流中的关键技术 ( 1 ) q o s 保证 传统的以网络为中心的q o s 保证技术，不仅对于i n t e r n e t 视频流，而h 埘j 【t i t e rr l c l ：有着不同q o s 需求的应用都有着普遍的意义。i n t e r n e t 上的q o s 保ei i 要是 路由器柬提供的。i n t e r n e t 上的q o s 的研究主要是从几个方【面米进行的： 服务定义与机制定义，q o s 路出，计费策略，q o s 应用与主机。4 ：同的q o s 架构， 以及不同的服务：集成服务i n t s e r v ( i n t e g r a t e ds e r v ic e s ) 和区分服务d 1 【皓t v v ( d 1 f f e f en l i a t e ds e r v j c e s ) ，可以为不问范臻j 和小同需求屋次的q o s 提供f j f 付 绂的服务。集成服务中最著名的预留协议为r s v p 资源预留协议( r e s o t i t t v r o s e r v a t i o np r o t o c 0 1 ) 。 t t s h a o2 0 0 0 提出了一种基0 ：区分服务的视频流0 案。 在个视频流系统中，终端系统和所有的网络组件都要为端到端的q ( ，s 提供 * 汪进行洳作，i n t s e r v ，d i f f s e r v 将同时存在并会在1 m e m e t i c ( 境f 进行 i 操f 。 南京邮乜入学坝。l 研究生学位论文 馆i 乖视频洫技术 i n t s e r v 将在边缘网络上实现比如在一个企业嘲络，其中的流的数目不是氐 大，而d i f f s e r v 将在i n t e r n e t 的核心实现，其中的流的数目非常巨大，d i f f s e t 、 将提供不同的服务和o o s 保证。 本文的研究是独立于网络q o s 保证的，一方面可以最大限度地适应波动的刚络 q o s 状况，而尽可能地提供高质量的视频流。另一方匦，具有自适应特性的现自 视频流系统仍可以从q o s 保证的改善中得到好处。 ( 2 ) 拥塞控制 由于i p 网络所能提供的b e s te f f o r t ) 强务，所以网络的容量经常会因为不能满 足所有流应用的带宽需求而导致网络拥塞，出于网络拥塞会导致不可预矢i j 的延迟 和丢失，不利于实时的多媒体应用。 m g i l g e1 9 9 1 提出了一个早期的端到端 的拥塞控制方案，称为网络集成视频编码，用于尽力而为网络上的视频传输。 k j e f f y1 9 9 2 设计了一个u d p i p 之上的多媒体传输协议m 7 r p ，它通过本地的传输缓 冲来检测拥塞状况，它的局限性使得它只适用于局域网内部。 h k a n a k i a1 9 9 3 提出了一种自适应的拥塞控制方案， z c h e n1 9 9 5 提出了一个数据报协议v d ! ， 用于视频应用与w e b 的集成，但对于速率的调整没有提出相应的策略。 s c w 1 9 9 8 提出了用于多媒体流的s c p 协议，修改了t c p 的拥塞控制机制，f | = i 是它并：k 对其协议川的友好性进行研究。 rr e j a i ei 9 9 9 提出了一种速率自适序阿议 r a p ，用于解决端到端的拥塞控制问题。但它的速率调整策略为t c p 的a i m d 鲐刈、。 在丽向流应用的拥塞控制机制、协议i 日j 公平性、稳定性、响应性能方向，j 述的各种方案各有涵盖，本文的拥塞控制方案是专门面向视频流应用而设汁的， 目的在于提高其对网络状况波动的响应能力，提高对带宽的利用率，并探i 、r 协 议问的公平性。 ( 3 ) 差错控制 花现 f 的网络条件下，信源即使是在阚络平稳的情况。f 也不能避免_ 三也臀，i 错出现，所以需要相应的差错控制技术。当前的差错控制机制主要有两种：两 向差错校t e f e c ( f o r w a r de r r o rc o r r e c t io n ) 和重传( r e t r a n s m is s i o n ) 。，传统 的重传机制( 如自动重复请求a r q ) e cp a p a d o p o u l o s1 9 9 6 可以在视频传输的 单程时例小于允许的最大延迟时使用。具体的说，接收方必须缓冲足够的数拓：求 容纳至少为三倍单程时间的分组重传总延迟。适当的重传机制仍然可以用】交f ： 0 南京邮l 乜人学碗j 研究生学位论文 第1 章桃频洫技术 式低比特率视频传输c l ，r h e e1 9 9 8 。相比之下，开环的f e c 的适用面则较闭 环的重传机制更为广泛 w t a n1 9 9 9 ，i r h e e1 9 9 9 ，j ，b o l e l9 8 。 上述的差错控制技术都是在独立于拥塞控制的情况下进行研究的，但是枉 个完整的视频流系统中，必须考虑到差错控制和拥塞控制的集成问题，但这二：者 的结合在实际的视频流系统中的应用仍然是个有待进一步研究的问题。 ( 4 ) 信源信道混合编码技术j s c c 从信息论的角度出发，一个视频流系统可以分为信源的编码解码模块和信道 的编码解码模块，传统的视频压缩问题和前向差错校正技术就是分别从信源和f j 道两个方面来进行的研究。在实时的多媒体传输应用中，发展出了信源信道混台 编码的技术，简称j s c c ( j o i n ts o u r c e c h a n n e lc o d i n g ) 。如果用一一旬话柬表达 j s c c 的出发点，就是传输信号的特征能够影响网络传输方案的运行。 m g i rr 叭l 1 9 9 3 最先发表了以j s c c 为原则设计的信源编码器， sm c c a n n e1 9 9 6j 在他的情 士论文中发展了这一概念。目前j s c c 的应用研究主要集中在无线通信领域，但是， 在i n t e r n e t 视频流应用中，本文认为j s c c 应该同样具有相当的生命力。 ( 5 ) 视频压缩 视频压缩是多媒体系统中的一个传统课题，目酊仍然在4 ；断的发展过氍中。 过去的研究大多数是独立于网络传输来考虑视频眶缩问题的，也就是说，尽可能 地提高数据的压缩效率。传统的多媒体压缩标准对于带宽的需求都较高，如 m p e g l 的比特率为1 s m b p s ，而m p e g 一2 为8 m b p s 。为了降低多媒体展现对于倡辅 带宽的过分依赖，超低比特率的视频压缩编码也得到了研究者的足够重视，- 7 1 取 得了相当的成果，女i j m p e g 一4 i s o i e c1 4 4 9 6 2 和h 2 6 3e 1 1 u t 2 6 3 等。考瞧 剑视频流应用中普遍存在的异构性问题目的各种基于f g s ( f in og 1 8 d e l n 、 s e a la b le ) 的各种可分级视频压缩技术i f ：在成为当时的热f 。 12 2 视频应用面临的挑战 随着新一代i p 网络的发展与部署，i p 视频应用既有广阔的应h 前持， , t j 时 也面临着新的挑战。 ( 1 ) 网络方面 由于当前的i p 网络没有q o s 控制机制i p 技术界对能够提供q o s 保障的综 南京邮电大学硕扛研究生学位论文l 章祝顿濂技术 合服务( i n t e r s e r v ) 和区分服务( d i f f s e r v ) 网络体系结构进行了大量的研究。 前得出的结论是：由于要在网络中保留大量的基于流的信息使得路由器不_ 重 负，很难在i n t e r n e t 这样大规模的网络上应用。而区分服务将所有的业务流按照 类区分，大量的处理工作在区分服务区的边界节点进行，其核心节点只按照类进 行调度和转发，板大减轻了核心节点的工作负荷，它j 下等待着业界的接受。如何 在具有q o s 保障功能的新一代i p 网络中对视频业务提供有效支持将是一个很县 吸引力的问题。尤其是视频流中包括一些对解码非常重要的定时同步信息、系统 信息等关键信息( 只占视频总流量的很小的部分) ，它们应浚确保能够正确传递 到接收端。而在m p e g 这类压缩标准中，不同的可视对象的重要性也不同，这就 要求网络能够对它们提供不同级别的q o s 保障。 对视频流提供确定性质量保障( 时延受限，无丢包) 会导致恻络资源的利用 率不高，而统计q o s 保障只能对流聚集提供平均意义上的质量保证，个别流司能 达不到其要求的服务质量但统计q o s 保障能获得统计复用增益，提高网络资游 利用率。统计q o s 保障涉及到接纳控制、资源分配等问题，如何将网络提供的统 计q o s 保障与基于端系统的控制机制有效结合起来，用以解决网络服务质量的矧 期波动视一个热门的研究方向。 由于缓冲区队列管理算法随机早期丢弃( r e d ) 能有效避免t c p 流的伞嗣 同步问题，已计划在新代路由器中广泛使用。但r e d 会造成t c p 流的端到y * 带宽抖动( b a n dw i d t h j i t t e r ) ，这同样也适用 二基于t c p 兼容拥塞控制机制的tj d p 视频应用( 为保证t c p 和u d p 流之问竞争网络带宽的公平性) ，r e d 对税频应 用的潜在影响还需要作进一步的研究。 目前，对多播的研究集中于在如何对网络带宽使用效率和多播服务灵洒隆j 二 怕j 进行折中。另外，基于q o s 的调度算法、q o s 路由选掸算法、多播地址分配世 是研究较多的课题。 ( 2 ) 端系统方面 通常采用的操作系统不是为了视频应用而设计的，但视频应用在播放“寸候i 要周期性占用c p u 资源，所以操作系统需要为这类业务提供些资源访问方法。 由此，要求在上层应用与底层操作系统之1 日j 进行协作，需要将c p u 、网络以及输 入，输出资源的管理结合起来。而端系统的资源也需要动态地分配与管理。另一个 问题是视频业务对c p u 的需求会随着帧速率的改变而改变。而帧速率的变化是 南京邮l 乜人学坝l 研究生学位论文 骗l 审视频洫技术 出场景或网络状况的改变而引起的这就需要开发一些新的自适应算法及相应的 接口。 视频压缩算法仍然要在压缩效率、灵活性和计算复杂度之间进行折中。i 司州 发送端也应该在编码时提供非均匀的差错保护功能，对重要信息提供较强的纠锚 能力。另外，如何对视频应用提供安全性支持也是值得关注的问题。 ( 3 ) 其它 伴随着第三代移动通信的发展和基于i p 的卫星网络的部署，丰兕频应用势必 向无线移动领域和卫星领域扩展，无线移动信道的高差错率和卫星信道的高时延 性对视频应用提出了新的挑战。 1 2 3i n t e r n e t 视频流中所面临的问题 从用户要求视频流服务提供q o s 的角度出发，1n t e r n e t 视频流面临着以下的 问题： 带宽问题：为了达到可接受的视频展现质量，实时视频有着最低的带宽需 求，然而现有的i n t e r n e t 并没有提供这方面的保证。 延迟问题：与对延迟要求不严的普通数据传输不同，实时视频流是延迟敏 感的，但是，由于i n t e r n e t 上的拥塞可能对视频流的流量产， 二影响， 丢失问题：由于分组丢失会对解码视频质量产生影响，视频流应用必须z 虑丢失需求，但是，在现有的i n t e r n e t 上的分组丢失是不n f 避免的，这 就使得视频流质量会不同程度地出现衰减。 对于多播视频，还存在着其它的几个问题； 可扩展性：当多播用户数目很大的时候是否依然可以高效l 怍。 公j f 性：各个接收端接收的视频流应该始终与它本身的能j j 以及从游端到 接收端路径上的链路容量相匹配。 带宽效率：它指的是能否以较小的带宽进行多插应用，提高带宽使j 1 】壹 宰 异构性：在 n t e r n e t 上和接收方都存在异构性闽题。它指的是hl u m 各个子网闯不平等的资源分布，如处理资源带宽资源，存储与控制簸哜： 接收方异构指的是对于需求的差异，如延迟展现质量，以及各个接收力 对于视频的处理能力。这也就是我们常说的灵活性问题。 可伸缩性问题：专门的控制算法在单个接收方的时候工作得很好，但是如 南京邮电大学磷“研究生学位论文批l 审视颓洫技术 果应用到多个接收方的话，就有可能导致捌塞，对于多播来说，可伸缩忖问 题是非常重要的。 1 2 4 问题的解决方案 考虑到视频流系统面临着各种问题和挑战，很自然地可以想到n t 以从尽川能 地提高压缩效率和网络传输及控制能力来入手。我们将一般的解决方案分为三 种：编码中心方案、传输中心方案和传输编码混合方案。 ( 1 ) 编码中心方案 从压缩编码的角度出发，为了，降低多媒体展现对于传输带宽的过分依赖，适 应非常低比特率的视频压缩编码也受到了研究者的足够重视而且已经取得了指 当的成果，如t p e g 一4 和h 2 6 3 。虽然这些编码研究都对网络条件加以了考虑，但 是，又都是建立在网络为一个黑箱传输系统的假设之上的。一旦网络的突发情况 出现，导致了传输的延迟和分组的丢失，视频的展现质量势必会受到很大的影响， 简单说柬，从压缩编码解码的角度来研究，是将网络当作黑箱柬操作，如图 i j 所示，探讨如何最大限度的提高压缩效率，减少编码解码失真。这一技术的 典型应用就是压缩编码标准m p e g 一1 s o i e c1 1 17 22 、m p e g 一2 ：is o i 队 1 3 8 1 8 2 、m p e g 一4 i s o i e c1 4 4 9 62 ，y z h a n g1 9 9 7 ，h 2 6 l 1 t u - t i 2 6 l ，、 h 2 6 3 i t u th 2 6 3 的发展。 现有的 兕频压缩标准如 2 6 l 、m p e g 一1 和 2 6 3 是建立在通信媒体j 仃高顺 最的假设之上的。用于接收方的缓冲的监控和同步。 里母e 图1 1 编码r ，心方案 ( 2 ) 传输中心方案 所谓从剐络传输的角度束进行研究，是考虑如何提高网络的服务质量u ，s ， 提高嗍络带宽设计新的网络传输软硬件，而无需考虑视频编码和解码的过程， 如图1 2 所示。相关技术的代表性进展有实时传输| 办议r t p ( r e a l t im ( 3t r ；m s p o r t ， p r o t o c 0 1 ) r f c l 8 8 9 ，资源预留协议r s v p 3 集成服务和区分服务等。然i f l j ， 整个i n t e r n e t 架构的变革是无法在朝夕之问完成的，所以，显然，我们可以从 上文提到的两个方面来发掘原因，首先是网络带宽不够而造成无法项测和估汁的 4 南京邮l 乜人学碘t 研究生学位论史第1 辛税频流投毒 拥塞，其次是压缩速率还不够低，以满足最低的网络带宽需求。我们不能凼 为网络无法提供q o s 而否定视频流的研究恰恰相反，更应该在现有的有限网络 条件下，研究如何尽可能域优地提供视频流服务，这也正是本文的研究出发点所 在。 虽然下一代的i n t e r n e t ( n g i ) 承诺提供更可靠的服务保证，但是我们尤法 指望在未来几年内就能达到令所有用户满意的程度，与此相反，网络接入方式的 异构性还会继续存在，如m o d e m ，c a b em o d e m ，i s d n ，x d s l ，无线接入方式等。 因此对于大部分的终端用户来说，不平等的网络带宽条件还将普遍存在。从目l n 的应用发展状况来看，我们只在当前允许的网络带宽允许条件下提供视频服务， 而一旦网络带宽升级，则会立即出现与之相对应的高质量的视频服务，而且，人 们对于网络上提供的视频内容将大大超出我们现在可以想象的范围。正如卜c b e r k e i e y 的a v i d e hz a k h o r 教授在1 9 9 9 年i g e e 多媒体国际会议上列fnl e w 视频流的未来做了很乐观的展望：i n t e r n e t 将深入人们的! 活。从这种意义t 柬 说，网络带宽仍将处于某种程度的拥挤饱和状况。】9 9 9 年c o r n e l l 大学的s o i t m ( o v a c h a r y a 的博士论文【s ，a c h a r y a 中提出了在n g i 提供服务保证的情况 ，祚抓 上视频传输和媒体回放标准广泛应用，视频流的服务的瓶颈将会存在r 脏务器 方，因此而设计了一种视频代理服务机制。但是摩尔定律以及几f _ 年柬的讣锌 机技术实际发展表明。数掘存储技术与主机处理速度未来将仍然保持高速增长， 因此，我们认为s o a m d e va c h a r y a 的工作成果只能在网络服务质量得到充分保谴 的前提下改善w a n 上视频流质量。 j 母主 嘲1 2 传输中心方案 ( 3 ) 传输编码混台方案 单一地从网络或者编码角度出发柬考虑视频流问题，都