（管理科学与工程专业论文）基于mpeg4视频对象的tcpfriendly拥塞控制方法研究.pdf

国防科学技术大学研究生院学位论文 摘要 随着多媒体应用的蓬勃发展，t c p 连接的可用带宽逐渐受到具有侵占性的u d p 连接 的严重影响，造成t c p 性能的下降。而且越来越多的多媒体应用呈现出由播放型转向基于 内容的访问、检索和交互操作的趋势。为了保证t c p 会话和u d p 会话的友好相处，公平 地分享带宽，u d p 会话应该像t c p 一样能够对网络拥塞有所反应，而且应该针对多媒体 应用呈现的基于内容的访问、检索和交互操作的趋势具有新的特点。 本文在研究了各种t c p f r i e n d l y 协议和面向质量的速率控制方法之后，设计了一种与 具体应用相关的拥塞控制协议c b t f r c ，可以对m p e g 一4 可伸缩性编码器f g s 的输出速 率进行控制，针对包含多个对象的m p e g - 4 视频流，提出了优先保证基层数据和优先保证 对象的两种速率分配策略，c b t f r c 可以根据用户感兴趣的内容，来决定采取哪种策略， 从而实现基于内容的t c p f r i e n d l y 拥塞控制。本文将c b t f r c 应用到i v s s 智能视频监控 系统中，解决了端对端传输的拥塞控制问题。最后通过仿真实验，证明了c b t f r c 协议 解决了非t c p 流与t c p 流竞争带宽时的不公平性问题，并兼顾了用户的可接受质量，保 证了应用层o o s 。 关键字：m p e g 4 ，t c p 友好性，拥塞控制，视频对象 第1 v 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h ep r o l i f e r a t i o no fm u l t i m e d i aa p p l i c a t i o n s ，b a n d w i d t ha v a i l a b l et ot c pc o n n e c t i o n s i s o p p r e s s e db y g r e e d y u d pt r a f f i c ，a n d t h ep e r f o r m a n c eo ft c pc o n n e c t i o n se x t r e m e l y d e t e r i o r a t e s n o wm o r ea n dm o r ea p p l i c a t i o n st e n dt oh a v ean e wc h a r a c t e ro fc o n t e n t b a s e d a c c e s s i n g ，s e a r c h i n g ，a n di n t e r a c t i v e l ym a n i r l u l a t i n g i no r d e r t h a tb o t ht c pa n du d ps e s s i o n s f a i r l yc o - e x i s ti nt h ei n t e r n e t ，u d ps e s s i o n ss h o u l dr e a c tp r o p e r l ya g a i n s tc o n g e s t i o na st c p d o e s ，a n ds u i tt h en e wt r e n d so fc o n t e n t b a s e d a c c e s s i n g ，s e a r c h i n g ，a n di n t e r a c t i v e l y m a n i p u l a t i n g a f t e rs t u d i e dag r e a t m a n y o ft c p f r i e n d l y c o n g e s t i o n c o n t r o l p r o t o c o l s a n dt h e q u a l i t y o r i e n t e dr a t ec o n t r o lm e t h o d si nt h i st h e s i s ，w ed e s i g nac o n g e s t i o nc o n t r o lp r o t o c o l r o o t e du p o nas p e c i f i c a p p l i c a t i o n ，t om a n i p u l a t et h eo u t p u tv i d e or a t eo ff g s t h es c a l a b l e m p e g 一4e n c o d e r ，s i n c et h em p e g - 4v i d e os t r e a m sc o n s i s to f m u l t i - o b j e c t s ，w e p r e s e n tt w o r a t e c o n t r o lp o l i c i e s ：o n ei sp r i o r i t y - b l ( b a s el a y e r ) b a s e d ，t h eo t h e ri sp r i o r i t y o b j e c tb a s e d ，a n dt h e p r i o r i t y i sd e c i d e db yc b t f r ct a k i n ga c c o u n to ft h eu s e r sm i n d ，t h u sw ea c c o m p l i s ht h e c o n t e n t - b a s e d t c p f r i e n d l y r a t e c o n t r o l ，f u r t h e r m o r e ，w e a p p l y c b - t f r ci ni v s s ，a n i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ，t h e ns o l v ei t s e n d t o e n d c o n g e s t i o nc o n t r o lp r o b l e m ， t h r o u g h s i m u l a t i o n sa n d e x p e r i m e n t s ，i t i sp r o v e dt h a tc b - t f r cw e p r o p o s e d c a nc o p ew i t ht h e u n f a i rc o m p e t i t i o nb e t w e e nn o n t c ps t r e a m sa n dt c p s t r e a m s ，a n da l s og i v e sa t t e n t i o nt ot h e u s e r sp e r c e i v e dv i d e o q u a l i t y ，f i n a l b 。a c c o m p l i s h e sq o so f a p p l i c a t i o nl a y e r k e y w o r d s ：m p e g - 4 ，t c p - f r i e n d l y ，c o n g e s t i o nc o n t r o l ，v i d e oo b j e c t - - _ _ _ - - - _ - _ - _ - _ _ _ - _ _ - - _ _ _ _ _ _ - _ - _ ，_ _ - 一 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：基王塑! ! 二! 塑额盘基的! 二! ! i ! 四! z 捆塞整剑左洼丛窒 学位论文作者签名：纽盘 日期：如。 年c ，月髟日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目： 学位论文作者签 作者指导教师签名日期：z 2 - 年1 1 月日 国舫科学技术大学研究生院学位论文 第一章绪论 1 1 背景及问题的提出 近年来，越来越多的多媒体应用呈现出由播放型转向基于内容的访问、检索和交互操 作的趋势。其中协同虚拟环境( c o l l a b o r a t i v e v i r t u a le n v i r o n m e n t ) 、交互数字电视( i n t e r a c t i v e t v ) 、多媒体内容分发网络系统( m u l t i m e d i ac o n t e n td e l i v e r yn e t w o r k s ) 、移动视频监控系 统( m o b i l e v i d e os u r v e i l l a n c es y s t e m ) 等应用成为研究的热点。 为了支持应用中对视频内容的访问，大多数应用引入了m p e g - 4 编码标准中“视频 对象( v o ) ”的概念，所谓视频对象就是场景中具有语义的实体，可以独立地对它们进行 访问和操作。采用基于对象的方法，把图像和视频分割成不同的对象，分别压缩编码，除 了能够提高数据压缩比外，更重要是可以实现基于帧的压缩编码所无法实现的以下功能： 1 虚拟环境中典型的“虚实结合”功能。对象分割技术将多个身处异地的人物视频对 象抽取出来，与v r m l 实现的共享图形对象合成到一个虚拟会议室中，实现虚拟视频会议 系统，或者合成到一个虚拟教室中，实现协同虚拟学习环境，这就是协同虚拟环境中舆型 的“虚实结合”功能。 2 基于内容的交互功能。用户可以通过视频播放器以多种方式与服务器中的视频对象 进行交互，如鼠标点击对象、移动对象、缩放对象、增加对象或删除对象。在基于对象的 i t v 应用中，不同的观看者可以对同一视频对象可以有不同的交互和表现。 3 基于对象的精细颗粒度的速率控制机制。移动视频监控系统中，由于信道带宽低， 误码率高，采用基于对象的可伸缩性视频编码方法，可以实现基于对象的精细颗粒度的速 率控制机制。如优先给人们感兴趣的前景视频对象分配更多的比特率，给背景对象分配较 少的比特率。 以上这些新型的基于内容的分布多媒体应用都面临一个如何保证应用服务质量( q o s ) 的问题。由于当前i n t e m e t 不保证q o s ，每个应用都采用适合自己的传输协议来完成传输 任务，以达到期望的性能。对实时性要求较高的多媒体应用为了避免重传造成的延迟，多 采用u d p 协议，“b e s t e f f o r t ”传送数据；而传输可靠数据的应用，如h t t p 、t i p 、t e l n e t 等， 郝采用基于窗口和重传机制的t c p 协议来完成无丢失的数据传输。由于多媒体应用的蓬勃 发展，u d p 数据流在i n t e m e t 上所占的比例已经占到主导地位，而u d p 数据流对网络的侵 锫l 页 国防科学技术大学研究生院学位论文 占性已经威胁到了t c p 数据流的传输。这些采用u d p 协议的应用，与t c p 应用不能公平 地共处：发生拥塞时，所有t c p 流降低速率来解决拥塞，可是u d p 流仍然按照原速率发 送。从图1 1 可以看出，u d p 的引入造成t c p 速率显著下降，这种极不公平的状况会导 致t c p 流的“饥饿”，严重时会造成t c p 连接断开，基于t c p 的应用无法工作。 图1 1u d p 导致t c p 速率下降 我们正在开发的i v s s 智能视频监控系统中，视频编码采用基于对象的m p e g 一4 编码 标准。因此，当多路多对象m p e g - 4 监控视频流在网络中传输时，不仅要考虑它们与t c p 流公平地共享带宽，而且希望当拥塞发生时，m p e g 一4 视频流能够根据用户需要，优分：传 输用户更感兴趣的内容，能够做到基于对象的拥塞控制。 针对以上分布多媒体应用在端对端的通信中存在的问题，以及这些新应用的特点，本 文的研究目标就是设计一种新的拥塞控制协议，这种拥塞控制协议至少应该满足以下：个 要求：1 保证能够与t c p 流友好相处( t c p f r i e n d l y ) ，公平地分享带宽：2 可以进乱基 于对象的m p e g 4 视频流拥塞控制：3 对网络状况变化做出反应的同时，也能够使用户接 收到较为满意的视频质量。 1 2 国内外研究现状 为了解决u d p 会话与t c p 会话公平地共存于网络，很有必要考虑会话问的公平竹。 近年来大量的研究投入到“t c p f r i e n d l y ”速率控制机f n 1 8 ，l l 。1 5 ，1 7 ，1 8 】。t c p f r i e n d l y 的定义为：在相同的网络环境里，如果一个菲t c p 流长期的吞吐量不超过相同条件( 棚川 第2 页 9 8 7 6 5 4 3 2 l 0 【畚幽兽邑每h 国防科学技术大学研究生院学位论文 的路径、丢包率、包大小、往返时间) 的t c p 连接的吞吐量，就可以称此非t c p 流为 t c p f r i e n d l y 流【1 】，如图l - 2 所示。 t c p f r i e n d l y 有类似t c p 的特点，对网络状况的变化有所反应，能与已存在t c p 友好 相处，不会因为它的引入而造成t c p 吞吐量的大量减少，致使t c p 业务的饥饿状态发生。 t c p f r i e n d l y 将t c p 协议的拥塞控制与纠错机制分离，只模拟t c p 协议对网络拥塞产生的 速率变化，而不会对已经丢失的包进行重传，也就避免了因为重传带来的延时，因此更加 适合于多媒体应用。 第3 页 8 7 6 5 4 3 2 1 冒皿口ii已1：器 国防科学技术大学研究生院学位论文 拟t c p 流对网络拥塞的反应，而对于丢失的包不重传。发生拥塞时，希望u d p 流按照类 似t c p 流的方式降低发送速率，与t c p 流公平地分享带宽。但是a i m d 机制会造成速率 的锯齿状变化，不适合多媒体应用。二项式拥塞控制算法【8 】是一种非线性的拥塞控制算法， 它用一套公式概括了所有二项式非线性拥塞控制算法，试图通过公式中系数和指数的变 化，寻找适合于视音频流传输的二项式拥塞控制算法。 这两种方法将丢包率作为判断网络状况的标志：无丢包，则速率增长；有丢包，则速 率下降。通过仿真结果的分析 2 5 1 ，仅仅采用丢包率一个参数来估计网络状况。则难以精 确估计网络状况。而且，基于探测的方法基本上是简单的将t c p 的拥塞控制和纠错机制分 离，吸取a i m d 机制。使得非t c p 流获得了和t c p 流类似的速率变化方式。因此，它只 是适用于普遍应用的t c p f r i e n d l y 协议。再者，单一的速率增长方法会使拥塞发生的可能 性提高，造成速率锯齿状变化。锯齿状的速率变化对多媒体应用有致命的影响，会极大的 降低用户收到的质量。 基于模型的方法是指使用t c p 吞吐量模型 1 4 ，1 5 】来估算发送速率，其目的是使u d p 流与t c p 流在相同环境下的抢占带宽的能力相同，以达到与t c p 协议的友好性。基f 模 型的方法避免了使用a i m d 机制而造成的速率锯齿状变化，对网络状况估计更为精确，而 且速度变化更加平滑，因此较适合连续的多媒体流的传输。基于模型的方法有很多 【3 , 6 ，7 ，1 7 1 9 】，其中t f r c 是基于模型的方法中的经典协议【3 ，1 9 】。基于模型的方法虽然能 够较好地解决t c p f r i e n d l y 问题，但是它无法保证用户可接受的视频质量( 即应用q o s ) ， 更无法满足基于对象的拥塞控制要求。 为了实现基于对象的拥塞控制，已经出现了一些针对对象的速率控制方法。 一个 m p e g 一4 视频流内包含一个或多个视频对象，每个视频对象序列包含多层视频流信息， 一 层视频流就是一个v o p ( v i d e oo b j e c tp l a n e ) 序列，v o p 是视频数据的基本单元。m p e g 4 视频流中存在3 种v o p ：i - v o p ，p v o p ，b v o p 。g o v ( g r o u p o f v o p ) 是以l - v o p 开 始的一个v o p 序列，并且结束于下一个i - v o p 的前一个v o p 。将用户可接受质量因素考 虑到视频的速率控制中，就必须提到高灵活性、高扩展性的f g s ( f i n eg r a n u l a rs c a l a b l e ) 编码1 2 2 2 4 1 。精细的可伸缩性视频编码f g s 是m p e g 一4 标准的视频流化框架中的关键性编 码技术，它属于分层编码，它的码流分为基层数据码流( b l ) 和增强层数据码流( e l ) 。 视频质量依赖于编码参数和足够的e l 数据，甚至少量的e l 数据被应用就能够显著的提高 视频质量。但如果b l 数据丢失了，就会对视频质量有致命的影响，因为b l 在解压缩时 第4 页 国防科学技术大学研究生院学位论文 是独立解码的。因此，为了尽量满足用户希望收看高质量视频的要求，我们在编码和传输 的时候，必须保证b l 数据的传输和尽量多发送e l 数据。 面向质量的速率控制方法是为了使失真率降到最低而采取的速率控制方法。失真率 1 6 1 是一个用来衡量原始图像与解压后的图像之间差别的数值。面向质量的速率控制是一个比 较新的概念，目前这方面的研究不是很多，但都是希望使失真率降到最小值，尽量使用户 得到满意的视频质量。例如，m p 4 一t f r c 1 5 协议中的面向质量的速率控制方法，它将整个 帧看作一个对象，引入f g s 编码，控制f g s 编码器进行高效、可扩展的速率控制。但实 际上视频中存在的对象往往不止一个，将整个帧作为一个对象的方法并没有体现对象的真 、。；难意义，也做不到基于多个视频对象的速率控制，更不用说与对象的交互了。 i 3 本篇论文解决的问题与贡献 为了解决存在多个对象的m p e g 4 视频流与t c p 流友好相处的拥塞控制问题，本文做了 以下工作： 1 广泛、深入地研究了各种t c p f r i e n d l y 协议以及速率控制方法，分析了它们对多媒 体应用的优点和不足，尤其是对于多个m p e g 一4 视频对象在传输时存在的不足。 2 设计了一种与具体应用相关的传输协议c b t f r c ，可以对基于m p e g 4 视频对象 的f g s 编码器进行输出速率的控制。既解决了非t c p 流与t c p 流共存于网络的友好性问 题，又兼顾用户的可接受质量。这是本文研究的主要贡献。 3 在我们研制的智能视频监控系统i v s s 中实现了c b t f r c 。 4 对c b t f r c 进行了仿真，从仿真结果分析来看，c b t f r c 能够较好地满足研究目 标。 1 4 本文结构 本文的内容是这样安排的：第一章介绍了此课题产生的背景和所面临的问题，然后分 析了其他人在这方面所做的工作，以及存在的不足，因此提出本文的研究目标。第：草将 首先介绍对典型的t c p f r i e n d l y 协议t f r c 的研究，然后介绍面向质量的速率控制方法和 基j 单一对象的t c p f r i e n d l y 拥塞控制协议m p 4 一t f r c ，t f r c 协议解决了与t c p 的友好 惟l 题，f j i 不保证应用层q o s ，m p 4 t f r c 考虑到了q o s ，但是不能做到对多对象的精细 第5 页 国防科学技术大学研究生院学位论文 速率控制。第三章中提出并介绍基于内容的c b t f r c 协议，使得m p e g 一4 视频流能够与 t c p 流友好的分享网络带宽，并兼顾用户可接受视频质量，妥善地解决了m p e g 一4 视频中 多个对象的速率控制问题。第四章介绍i v s s 项目背景和c b t f r c 协议的实现。第五章中 对c b t f r c 协议进行仿真，并与相关协议进行比较。第六章是总结。 鹅6 负 国防科学技术大学研究生院学位论文 第二章t c p f r i e n d l y 与速率控制方法研究 2 1 基于模型的t c p f r i e n d l y 协议t f r c t f r c ( t c p f r i e n d l y r a t ec o n t r o lp r o t o c 0 1 ) 3 1 9 ，是一种基于模型的、端到端的拥塞控 制协议。t f r c 将t c