（计算机软件与理论专业论文）基于ip网络视频质量自适应控制的研究.pdf

摘要 利用现有网络条件，提供良好的视频质量，是面向通信传输的视频系统需 要长期面对的问题。本文研究的重点是在口网络环境变化的情况下，实时有效 地控制视频质量，保证给终端用户提供良好的视频服务。取得的研究成果和创 新如下： 1 提出了一个i p 网络视频质量自适应控制的机制 提出了一套对d 网络流量、拥塞等变化环境自适应调整的视频质量控制机 制，由编码端和解码端的网络监控单元形成反馈系统。解码端检测网络参数， 藉以调节接收端视频缓冲区，改善回放视频质量；编码端得到网络反馈参数后， 自适应的控制画面和宏块层的目标码率和量化参数，进行精细分配和控制，从 而减少了网络拥塞，改善了系统o o s 。 2 提出了相似拉普拉斯率失真模型一s l 视频压缩的速率控制，就是预估一组量化参数，使得在压缩速率的限制下， 达到失真最小的结果。本文由d c t 量化后系数的分布概率，结合拉普拉斯概率 密度函数，推导出拉普拉斯率失真控制模型。利用此模型，设计实现了发送端 画面和宏快层的速率控制函数；发送端缓冲区的上、下溢出界限公式；f g s 增 强层码率比例截取算法等。实验结果表明，使用s l 模型在编码稳定性和视频质 量变化上总体提高了3 2 9 6 。 3 提出了计算网络带宽逐次趋稳和加权可调拥塞算法 传统的a i m d 算法采用的是加增倍减的方法来探测网络拥塞，带来的视频 质量波动较大。本文提出逐次趋稳算法，在端到端之间定期发送测试包，根据 丢包率，使用迭代方法，计算网络流量变化，平稳快速地使目标速率在最大可 用带宽附近交化，减少了视频质量波动。试验数据表明，该算法具有较好的收 敛性和平滑性。根据逐次趋稳算法得到的目标码率，本文使用比例因子加权调 整发送速率，最终发送的视频速率符合网络带宽的要求。实验表明，该拥塞算 法与a 讧d 相比，具有较快的反应能力和良好的t c p 友好性。 4 提出一种f g s 重发重收和空域的错误控制机制及鲁棒打包方案 设计了f g s 的基本层和增强层重发重收策略，并且把增强层利用位平面 编码分解为多个数据包。重新设计了新的u 】) p 数据包包头，便于高效、鲁棒传 输视频数据；对于空域分层编码，提出了区别于a r q 的i 画面错误恢复手段， 同时采用后向错误定位方法来恢复p 画面，实验表明，与计算宏块中所有象素 值的方法相比，恢复p 画面的计算量仅为2 1 8 。利用r t p 包和编码宏块尺寸 的比较关系，提出了一种鲁棒的编码端数据打包机制一1f l e x m i l 】，降低分组之 西北工业大学博1 二学位论文基于i p 剐络视频质量自适应控制的研究 间的相关性，提高了i 画面的鲁棒性。 当网络出现严重拥塞时( 平均丢包率为1 5 扣2 0 ) ，使用相同的视频测试 集，采用本文的视频质量自适应控制机制，综合各个分部件测试单元的结果， 和没有采用此机制的系统相比，视频平均峰值信噪比p s n r 提升了1 2 2 d b 。2 3 1 d b ，为终端用户提供了较好的视频质量。 本文是阶段性研究成果，仍有许多问题需要进一步研究，如编解码器优化、 新的错误控制算法、在实际应用中的各种问题等。 关键词：精细分层编码率失真模型打包视频缓冲区拥塞控制服务质量 重发重收差错控制 i i a b s t r a c t t h e 印p l i c a t i o i l sb a s e do ni n t e m 武v i d e 0h 勰s e c ni n c r e 勰e dp o p u l 撕t y “g m u p d e c i s i o ns u p p o 幽gp l a t f o r i r i ”r e q u i 阳sl l i g hq u a l i t yv i d e oc o m m u 越c a t i o n v i d c o 哦a i n sl a 玛e 锄o u mo fi i l 】；o r m a t i o n ，w t i i l e 如t e m e ti sb e s t e 丘b ns e n ，i c ea n dh a sn o g u 那a i l t e eo fv i d q u a i i t yv i d s y s f a n 幻t r a r i s m i s s i o nn c e d st 0p r o v i d eg o o d v i s u a lq u a l 时b 鹊c do nc u 玎e 咀tn e 似o r l 【c o n d i t i o n b e s i d e sc o d i n ge m c i e n c y ， 坤- n e t 、v o r ko r i 锄t e dv i d c o 删m l i l i c a t i o nh 勰l l i 曲盯r 鹎l i i r e m e i i t s ：e n c o d i n g m e i h o de v o l v c d 如m 丘x e db i t r a t es u i t a b l ef o rs 咖g et 0v a r i a b l eb i t - m t e ；h a n d l i n g o fp k e tl o s s 锄dn o wc o n t r o lt l l i sp a p c rs t i l d i 锶也em e t i l o d o l o g yt 0c o n t r o im e v i d c oq u a l i t y 锄dp r 0 们d e9 0 0 di m a g e st oe n d u s c rl u l d e rt h ec o n d i t i o no f 口n c 时o r k e n v i r o 衄豇l tc l l a i l g e t h e 向i l o w i n gi ss 咖eo f t h e l l i e v e m c i 】临觚di m l o v a t i o n s ： 1 p r o p o s ea n dd e s i g na na d a p t i v ev i d e oq u a l i t yc o n t r o lm e c h a n i s mf b ri p n e “y o r k q o si i lv i d e o 血t an o w 妣l u d 鼯m c d i aq o sa n dn e t 、o r kq o s t h ef o n t i e ri s r e l a t c dt o 锄c o d i n gr a t e 越dq u 枷z a t i o nf 缸t o ri nm ee n c o d c r ；a l l dm el a t t e ri s r e l 砷e dt om t 、o r kl a t 即c ya i l dp a c k c tl o s sr a t e t h i sp a p c rp m p o s e sam e c h 柚i s mt o a d 印t i v e l yc o m f o l 也ev i d c oq l l a h t yw h e n1 l ：幢e n v i r 0 姗e n tc h a n g e si nt h e 口n 咖o r k s u c ha sn e 觚o r kf 1 0 w 阻t ea i l dc 伽g e s t i o n t l l i sm e c t l a l l i s mi sc o 璐i s t c do f a 触d b a c k s y s t a mw i mn e m o r km o i l i t o r si i lb o t he n c o d c ra n dd e c o d 瓯n e 咐o r kp 跏n e t e ri s m 0 1 1 i t o r e di n 幽ed e c o d e rt oa d j u s tt h eb u 丘醯i nt h er e c e i v e ra n di m p r o v em e p l a y b a c km 脚i t y ；i i lm ec n c o d t l l r o u 曲t l l es i m i l a rl 印1 a c i 觚d i s t o n i o nm o d e l p r o p o s c di n 廿l i sp a p 羁m en e t w o r k 庇e 曲卸kp a l 锄e “e 璐a r cu s e dt oa d a p t i v e l y c o n t r o lt l l et a 曜e tb i tr a t e 锄dq 啪t i z a t i o nf k t o ro f t h ev i d e o e 姐dm i c r o - b l o c k 删u c e n g 髓d o n ，锄di m p r o v e m e d i aq o s 2 p r o p o s ea n dd e s i g nas i m i l a rl a p i a c i a d i s t o i 啊o nm o d e l b i tm t ec o m r o ii nv i d c o m p r e s s i o ni st oe s 在m a t eas e to fp 踟e 蛔r st o a c h i e v em i i l i l l l 咖d i s t o n i o n 帅d c rt l l el i l i 血o fc o m p r e s s i o nr a t e h lt l l i sp a p e r l a p l a c i a i lr a t cd i s t o r t i m o d c li sd e r i v e db 舔c do nn ”p r o b a b i l i t yd i s 砸b u t i o no f t l e p a r 锄c t e r sm e rd c tq u 锄t i z a t i o n ，觚d l el 印l i 锄p d f w i t ht 量l i sm o d e l ，t l l i s d e s i 印呻i 锄饥忸ad a t ar a t ec o n 仃o i c t i o nf o rv i d c 0 舾m ea n d m i c r o b l o c kl a y e r 缸t h e 订卸s r n i t t e r ，仃锄s n l i n c rb u f f ha v e r f 1 0 w t l n d c f - n o we q l l a l i ，粕du s i n g p r o p o r t i o ni n t e r c e p t i o na l g o r i t l l 】m i nf g se l l l l 锄c c d l a y 瓯a ss h o 眦i i lt l l e c x p 酣m c n tr c s u l t s ，t h e c o d i n gs 诅b i l 时锄dv i d e 0q u a l i t yc 觚g a i n3 2 9 6 b y 1 1 s i n g s l m o d d i 西北一业大学博j ：学位论文基于i p 网络视频质量自适应控制的研究 3 p m p o s ea n di m p i e m e n ta ni t e 憎t i v es 妇b 埘t ya p p r o a c h i n ga i g o r i m mf o r n e t w o r kb a n d w i d t hc a i c u l a t i o n ， a n dw e i g h t e d c o n g e s t i o n a d j u s t a b i e a i g o r i t h m d u et or a n d o 啪e s so fn e t 、o r kn o w 锄dc o n g e s t i o i l ，w i t l l o u t ( 沁sm e c h a i l i s m ， t 1 1 ev i d c oq u a l i t ya t 僦e i v c rc 缸“p 鲥e n c ei a 曙e 丑u c t u 8 i o no v e rn l en e 撕o r k t r a n s m i s s i o n t t a d i t i o n a la m da l g o r i t m o n i t o r i n gt l i en e 俯o r kc o n g e s t i o nc a i l a l s oh a v el a 略ef l u c t i l a t i o ni nv i d c oq l l a l “y t h ei t e r a t i v es t a b i l i t y 印p r o a c l l i n g a l g o r i t i l l i lp r o p o s e di nt l l i sp 印p 耐o d i c a l l yg e n e r a t e st e s tp a c k c tb e 咐e e i lm e 觚o e n d s ，i t m t i v e l yc a l c u l a c 懿t l l en e “v o r kf l o w 血a 1 1 9 eb a s 。do n 垭ep a c k c t1 0 s s ，卸d m a k e st h et a 唱c tb i tr a t ec h a i l g ec l o s et 0t h em a x i m u ma v a i l a b l eb 锄d 谢d t l ls m o o m l y 锄dq u i c k l y e x p c r i m e n tr c s u l ts h o w st l l a tt l l i sa l g o r i m mh 够g o o dc o n v e 玛e n c ea n d s m 0 0 t t l l l e s s c o i l s i d e r i n gm e 衔锄d l i n e s so ft c p ，c o n g e s t i c o n 仃o lm e d st ob e d c s i g n e d 向ru d p p a c k c tl o s sr a t ea tt h e 砖c e i v 盯c 缸b et l s e dt om e a s u r em e c o n g e s t i o n t h er a t i of 如t o rw c i g h t i n gc a nb eu s e dt oa d j l i s tm e 仃a j 塔m i s s i o nr a t et o a v o i dd i s a d v a l l t a g eo fa 讧d 1 砘c tb i tm l ei l li t e r a t i v es t 曲i l 的a p p r o a c l l i n g a l g o r i t h r n ，u n d c rc o n g e s t i o nc o i 灯o l i ss u i t a b l ef o rn e 锕o r ke n v i r o n m e n t e x p 丽m 锄t r e s u ns h o w sm a tt l l i sc o n g e s t i o na 1 9 0 r i t h mh 髂q u i c kr c s p o n s e 髓di st l 四一衔d l y 4 p m p o s ea ne r m rc o n t m ii nc o d e 心t r a n s m i s s i o nf o rf g sa dr e g u l a r l a y e r ，a n da r o b u s tp a c k a g i n gm e t h o d t h i sp 印e rp m p o s e sar e - t r a n s i n i s s i o ns 觚t e g yi nb 硒i c 卸de n h a n c e dl a y c f0 f f g sa n dad e c o m p o s i t i o no fe n h a l l c c dl a y c ri m om u l t i p l ep a c k a g e su s i n gb i t - p l a n e c o d i n g an e wu d pp a c k c th c 甜e ri s a l s 0p r o p o s e df o re m c i e ma n dr o b 岫t 仃a n s m i s s i o no f v i d c 0d a t 乱c 伽p a r e dt of e g l l l a rl a y c r c dc r i c o d i n gm c t l l o d ，t l l i sp a p e r p r o p o s e se n d rr e c o v e r ym e m o d 恤c h i sd i 觚tf 0 肋u t l l i sm e t h o dr c d u c c d t h ed a t ac o m p u t a t i o nq u a i l t i t ) ，2 1 8 a 1 1 di s 蚍i t a b i ef o rq u i c kr c t m s m i s s i o n a r o b l l s tp a c k a 百n gm e t l l o d ( 1f l c x m u x ) a f t c r u r c e c o d i n gi ne n c o d u t i l i z e st h e r e l a t i o n s h i pb e 觚e e nr 1 呼p a c k e t 孤dm i c r o b l o c ks i z et or 酣u c e 血ec o r r e l a t i o n b e “v e e ng r o u p s 孤di n c r e 髂em er o b u s 协e s so fif h m e e x p e r i m e n tr e s u l t so ft h cw h o l es y s t e ms h o wm a tv i d c oa v e r a g ep s n rg a i n s 1 2 2 d b - - 2 3 1 d bb yu s i n gm cv i d e 0q 吼l 埘c o n 仃0 1m e c h a l l i s mi nt h i sp a p u n d c r s e v e r ec o n g e s t i o n ( a v e r a g ep a c k e tl o s sm t eo f1 5 一2 0 ) a n ds 锄ev i d e ot c s ts e t s k e y w o r d s ：f g s ，r a t ed i s t o r t i o nm o d e l ，p a c k a g i n g ，“d e ob u h b r ，c o n g e s t i o n c o n h d l ，q o s ，r c t r a l l s m i s s i o n ，黜rc o n t m l 主要缩写表 a c k ：a c k i l o w l e d g e 确认包 a i m d ：a d d i t i v ei n c r e a s em u l t i d l i c a t i v ed e c r e 勰e 加性增加乘性减少 a p p ：a p p l i c a t i o ns p e c i f i cf i m c t i o mr t c p 包中的a p p 报文 b a b ：b i n a r ya l p h ab l o c k 二：进铝0a l p h a 块 b l ：b a s e l a v e r 基本层 c a e ：c o n t e x t - b a s e d i t h m e t i ce n c o d i n g 算术编码 d m i f ：1 1 1 ed e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k 多媒体传送整体框架 d t ：d r o 口t a i l 去尾 e c n ：e a r l yc 0 n g e s t i o nn o t i f i c a t i o n 早期拥塞通知 e l ：e n b a n c e m e n tl a v e r 增强层 e z w ：e l b e d d e dc o d i l l gl l s i n gz e r o 仃c eo f w 打e i e tc o e 仿c i e n t 零树小波编码 f g s ：f i n eg r 觚u l 盯s c a l a b i l i 够精细分层编码 f i f o ：f i r s t i i l f i r s t o u t 先进先出 f q ：f a i rq u c u i n g 公平排队 g o b ：g r o u p so f b l o c k s 视频编码中的块组 i n d ：i n v e r i n c r e f l s ea d d i t i v ed e c r e a s e 反向增加乘性减少 i p ：i n t e m e tp r o t o c o l网络协议 i s o ：i n t e m a t i o n a lo r g a n i z a t i o nf b rs t a l l d a r d i z a t i o n 国际标准组织 i t u ：i i l t c r i i a t i o n a lt c l e c o n u n u n i c a t i o nu n i o n 国际电信联盟 m b ：m a c r o b l o c k 宏块 m i m d ：m u n i p l i c a t i v ei n c r e 弱em m t i p l i c a t i v ed e c r e a s c 乘性增加乘性减少 m s e ：m e 孤s q 咄e r r o r 均方误差 m t u ：m a 】( t r 强s i i l i s s i o nu m t最大传输单元 p d u ：p r o t o c o ld a 诅u n i t p f g s ：p r o 口e s s i v ef g s 渐进式精细分层编码 p s n r ：p e a l cs ig f 】【a ln o i s cr a t i o 峰值信噪比 q o s ：q u a l 时o f s e r 、，i c e 服务质量 r d ：胁ed s 硒r t i o n率失真 r e d ：m d o me a d yd e t e c t i o n 随机早期检测 r r ：r c c e i v e rr e r tr t c p 包中的i 承字段 r t c p ：r c a l t i m et r a n s m i s s i o nc o n t f o lp r o t o c o l 实时传输控制协议 r 1 o ：r e t r a n s m i s s i o nn m e o u t重传超时 l x 西北工业大学博士学位论文基于i p 网络视频质量自适应控制的研究 r t p ：r e a l - t i m et r a n s m i s s i o np r o t o c o l实时传输协议 r t s p ：r e a l - t i m es t r e 锄i n gp r o t o c o l实时流协议 i m ：r o l l l l dt r i pt i m e 回路往返时间 s a d ：s 啪o f a b s o l u t ed i 旋r e n c e 平均误差绝对值总和 s r ：s e n d e rr e 口o r tr t c p 包中的s r 字段 t c p ：t r a i l s m i s s i o nc o n 仃0 lp r o t o c o l传输控制协议 u d p ：u s e rd a t a g r a mp r o t o c o l用户数据报 x 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属于西北工业大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查 阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作 者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名： 沙6 c 年勺月跏日 指导 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的 学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所 知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其 他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已 申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人 和集体，均已：在文中以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：叁丝 k 6 年9 月动日 第一章绪论 1 1 研究背景和课题意义 随着h t 锄e t 网络的快速发展，人们的工作和生活方式都发生了很大的变 化。对互联网的需求变得越来越多样化。网络内容也从过去的基于文本的方式 变化到以多媒体为主的服务上。在网络上传输的数据种类和特性已逐渐从过去 的非即时性数据变化到现阶段的即时性语音及视频多媒体数据服务。为了满足 上述需求，网络的传输机制及相关协议( p r o t o c 0 1 ) 也由过去的尽力式( b e s t e m n ) 传送机制变化到以数据流为基础( f l o wb 勰e d ) ，如r s v p 【1 】( r c u r r e s e r v a t i o np f o t o c o i ) ，或是以数据分类流为基础( c l a s sb 鹪e d ) ，如区别式服务 d i f 璐e r v l 2 】( d i 疵r e n t i a t e ds e r v i c e ，) 的传输机制。当前网络环境是m v 4 ( h n 锄c t p r o t o c o lv e r s i o n4 ) 所提供的网络层、传输层等协议为主流的环境，因此本文的 研究条件也是基于p v 4 的网络实验环境。 视频从发送端到接收端的视频传送过程中，影响图像质量的环节很多。比 如发送端编码速率、网络带宽、时延、丢包、接收端解码能力等，最终呈现在 客户面前的视频质量在感官上会出现令人不满意的现象。由此i s o m c 提出了 多媒体传送整体框架一d m m i j 】( 1 kd e l i v e r y m u l t i i n c d i ah e 鲫i o n f r 锄e w o r k ) ，主要面对的是网络、广播和本地存储三种环境下的多媒体传输问 题，d m 腰对同步层提供了一个透明的，统一的接口d a i ( d m a p p l i c a t i o n h l t e r f i 嵋e ) ，对传输层提供了复用功能，定义了一个抽象接口d n i ( d m m n e 研o r k h t e m c c ) ，面对不同的网络传送技术和操作场景都有一个相同的调用接口。如 何提供一个完整的视频传送框架，包容各种异构的网络环境，并能对视频质量 做出适应性的调整，最大限度的解决端到端视频质量的损失，是非常必要的。 原始的视频信息包含很丰富的内容，它提供了比文本、声音和图形更为丰 富和形象生动的信息，如果直接在网络上传输，需要很大的带宽，因此一般都 是需要作相应的变换后再传输。高效的视频编码压缩技术一直是人们所致力研 究的课题。近千年来对视频压缩技术进行了大量的标准化工作，制定了多个国 际标准( 包括：h 2 6 1 、h 2 6 3 、m p e g 等) 。最重要的首推m p e g ( m o v i i l g p i c m r e e x p c n sm u p ) 。在1 9 9 8 年到2 0 0 4 年i s o m c 制定m p e g 一4 【4 】标准，它是整合 现有视频压缩的优点而发展得出的一套基于对象( o b j o c t - b 髂e d ) 的多媒体压缩 标准。它具有面向对象、弹性编码( f l c x i b l e ) 、错误容忍编码( e n d r r 韶i l i e n c e ) 等特点，使其在应用上可以针对不同的环境，不同的使用者需求提供一个最合 适的视频质量服务。面对各种异构得网络，如何改进一个标准化的视频编码框 架，并且提供弹性的编码及压缩方式来满足不同使用者的带宽差异，使得视频 西北工业大学博士学位论文 基于i p 网络视频质量自适应控制的研究 能较好的适应异构网络，是一个长期的研究方向。 和通过网络传输文本数据相比，视频传输在延迟和包丢失方面有特别的限 制。同时目前的i n t 锄e t 并没有广泛使用q o s 【5 】( q u a l i t y o f s e r v i c e ) 保证机制， 而且网络可用的带宽会随时间改变，数据传输的过程一直在持续，一旦发生网 络拥塞，就会造成视频流的延迟和丢包，因此在构建的视频传输框架中要有网 络q o s 探测机制来实时衡量网络传输品质，取得网络带宽、时延等参数的变化， 并通过相应的传输通道反馈给发送端，以便及时调整发送端视频量化参数，使 得网络拥塞发生的概率减小。如何设计一个有效的传输协议来传送视频数据， 既做到高效，又能最大限度的利用网络资源，达到视频质量随着网络的变化而 可调性地变化，给终端用户呈现一个较好的视频服务质量，也是一个需要仔细 研究的课题。 由于口网络是包交换网络【6 1 ，如前所述，网络拥塞将会导致造成数据包的 丢失、时延等现象。当前的i n t e m e t 网络丢包无法避免，而数据包的丢失将会严 重影像视频的质量，因此还必须考虑差错控制技术。差错控制技术包括在编码 端通过改进码流的结构，使其利于接收端检测错误和恢复数据，在解码端利用 图像的空间或时间相关性来消除或减少信道差错对视频质量的影响。差错控制 技术已成为视频通信系统的重要组成部分，对差错控制技术进行深入研究有重 要意义。 数字通信技术在9 0 年代以后得到了飞速发展，主要体现在口网、无线移 动通信和多媒体业务上。基于d 网的视频传输成为人们研究的热点。所研究的 方向从面向存储转到了面向传输，以上涉及的问题，因为影响到视频质量，因 此成为视频通信应用中需要解决的关键问题。本文基于国防研究项目的需要， 在此平台中需要视频流的支持，来保证通信的有效和实时性，对其中的关键技 术进行研究，将具有非常重要的理论与现实意义。 1 2 国内外研究的现状 视频服务能够提供更多的信息量，成为人们越来越关心的网络服务内容， 它所涉及的问题也成为研究的热点问题。从八十年代开始，就有很多的学者在 视频的各个领域进行深入研究，下面从三个方面来说明当前研究工作的现状： 1 2 1 视频编码 多媒体数据能够压缩的基本原理是数据相对于所表达的信息具有相当的冗 余性，其中包括时问和空间上的冗余。以前传统的视频压缩技术主要是面向存 储，目标是单纯地追求某一固定码率下的压缩效率。面向传输的视频压缩技术 第一章绪论 在追求高压缩效率的同时，由于网络的异构特性以及不可避免的传输错误，要 求压缩后的视频流能够适应一定的带宽变化范围，具有时域、空域( 分辨率) 和复 杂度等多方面的可调性，来最大限度地满足网络环境，以做到给用户提供较好 的视频质量。1 9 9 8 年底国际电信联盟( i t u ) 制订的m p e g 4 以及随后制定的 h 2 6 4 标准具有高效率的压缩，加强了对各种信道的适应能力，以满足不同速率、 不同解析度以及不同传输( 存储) 场合的需求。 通过采用m p e g 4 或是h 2 6 4 【7 】方法使得视频流拥有可分级性，当网络带宽 较小的时候，只保持基本的视频信息被传输，并根据实际的网络环境决定是否 传送增强的视频信息以使 ：导图像质量得到加强，以此锝到自适应性。这样豹方 式可以保持拥有网络连接的大部分终端都能以适当的码流来使用多媒体信息 两不用考虑原码流的需求。 分层编码( l a y e r c dc o d i i l g ) 【g l 是最常见的可伸缩性编码，它是将多媒体数 据压缩编码为多个码流。其中一个可以独立解码，称为基本层码流。其他码流 必须与基本层码流一起被解码才能获得好的视觉效果或高的分辨率，这些码流 称为增强层码流。分层编码技术主要分为三类：时域可伸缩性编码( t e m 口o r a i s c a l a b i l i t y ) ，空域可伸缩性编码( s p a t i a ls c a l a b i l 时) 、信噪比可伸缩性编码( s n r s c a i a b i i 畸) 。由于分层编码的码流可以按层为单位进行截断，所以具有一定的 网络带宽适应能力。但是分层编码方法的分层粒度( g r 柚u l a r i t y ) 相对于网络的变 化来说还是太粗糙，不能有效满足网络传输视频信号的应用，各个压缩层的码 率在编码时就固定了，而且一般间距比较大( 减小间距需要增加增强层数目， 这样会增加额外开销，例如每个码流都需要一个码头来描述，降低编码效率) ， 在视频通信时，增强层码流要么不传，要么完全传输。那么用户只能获得有限 的码率调整范围。因此一种精细的可伸缩性码流对视频流传输是完全必要的。 由w j i p i n gl i 等人提出的d c t ( d i s c r e t ec o s i n et r 眦s 砌m ) 位平面1 9 】变换 技术，作为m p e g 4 的精细分层编码f g s l lo j ( f i n eg r a n u l a rs c a l a b i l 埘) 方案， 虽然具有自适应网络带宽和差错恢复等许多优良的特性，但它也有致命的弱点， 缺少有效的运动补偿，编码效率较低，对增强层没有做灵活的码率截取控制， 同时编解码器和网络q o s 分析部分的复杂度都需要加强。在同等码率下，f g s 的质量要比m p e g _ 4 中的非可伸缩性编码低2 d b 3 d b ( 3 d b 意味着码率翻一翻) ， 这在实际应用中就影响了视频质量。为此许多新的基于f g s 的可伸缩视频编码 算法被提出，其主要目的就是在提高编码效率的同时，保留f g s 所具有的精细 可伸缩性、自适应网络带宽和差错恢复能力等。比如渐进的f g s p f g s ( p r o g r c s s i v ef g s ) i “j ，它的每个增强层的宏块可以选择不同的参考图像用于 运动补偿和重构。在一定程度上消除在可伸缩编码中产生的误差传递和累计。 西北工业大学博士学位论文 基于i p 网络视频质量自适应控制的研究 1 _ 2 2 视频传输 经过编码的视频流传输与传统的t c p i p 网络数据传输有明显的区别，主要 表现在：传统的数据传输对传输延时和传输抖动没有严格的要求，但是有严格 的差错控制和错误重传机制。而视频流要求传输具有实时性，对同步要求较高。 并且对传输延时和抖动非常敏感，但允许在一定的情况下有包的丢失，即可以 接受一定程度的传输误码，同时应具有根据网络的实时可用带宽，自适应地调 整视频传输质量的能力是必须的。其中涉及到的问题主要有视频缓冲区的管理、 视频传输采用的协议、视频流包化优化方案( p a c k e t i z a t i o n ) 、端到端q o s 管理 机制等。 1 2 2 1 视频缓冲区管理 通常的视频压缩算法都采用了可变长v l c i l 2 j ( v 盯i a b l el e n g t hc o d e ) 编码， 编码生成的视频码流是可变码率的。为了能够在实际的固定和可变码率信道上 传输，需要引入缓冲区缓存视频流数据。因此，视频编解码算法必须提供一个 有效的缓冲区管理策略，确保缓冲区不会发生上溢和下溢。编码器通过码率控 制算法，调整生成的视频码流满足既定的缓冲区管理策略：同时在码率控制算 法中使用自适应量化方法( 主要是依靠率失真模型) ，确保压缩视频的质量。 一般的，缓冲区管理策略都是建立在一个假想的解码器模型上，该解码器 模型直接和编码器的输出相连接，缓冲区管理策略通过控制编码视频数据流移 入和移出解码器缓冲区的时间以保证解码器模型的数据缓冲区不上溢也不下 溢。在m p e g 标准中，该解码器模型称为v b v ( d e ob u 脆rv e r i f i e r ) ，而在 h 2 6 1 、h 2 6 3 以及h 2 6 4 中称为h r d l ”j ( h y p o t h e t i c a lr e f e r c n c ed e c o d e r ) 。很 多这样的模型是在编码端或是解码端分别做这部分工作。 1 2 2 2 视频传输协议及拥塞控制 基于视频流实时性要求，若要在i n t e m e t 上提供流媒体数据服务，则需要使 用r t p r t c p 【碍( r e a l 一t i m e1 r 觚s p o np m t o c o l 瓜e a l t i m et r a l l s 口o r tc o n l p r o t o c 0 1 ) 协议。r 1 甲协议在一对一或者一对多的传输情况下工作，提供数据包 传输过程中的时间信息和实现流数据同步；r t c p 协议与r 曙协议一起工作， 提供网络传输中的流量控制和拥塞控制。 r t p 是建立在下层的u d p i l 纠( u s e rd a t a p r o t o c 0 1 ) 协议上，u d p 协议没有 拥塞控制机制，因此数据包的发送是盲目的。当网络发生拥塞时，由于t c p 流 将会把发送窗口减半，有效地控制发送数据；而u d p 流将会继续发送，这样 绪论 u d p 流将会抢占更多的带宽。由于在现有的网络应用中，t c p 应用在网络上占 有大量比例，针对u d p 如何提供一种拥塞控制算法，既保证拥塞发生的机率小， 同时对于t c p 又是友好的。是传输控制协议提供流媒体服务时需要处理的核心 问题之一。 目前解决网络拥塞的基本思路是：估计网络的可用带宽，然后根据网络当 前的吞吐量调整终端数据输出速率，使得终端码率能自适应地随着网络传输条 件的变化而变化。一些学者提出了利用网络传输往返时间r t t ( r o u n d p t i m e ) 和丢包率，进行网络可用带宽的估计；对速率的调整，常采用a i m d ( a d d i t i 、，ci i l c r e a s e ，m u l t i p l i c a t i o nd e c 诧a s e ) i ”1 算法进行拥塞控制。但是这样 的拥塞控制算法在实际中会造成较大的码率振荡，从而严重影响视频质量。 1 2 2 3 视频包化方案 从视频缓冲区出来的视频流，不同的传递机制导致不一样的传输效率。通 过r ! r p 瓜t c p 协议进行视频流数据传输，可以定义不同的视频流包头，对协议 数据单元p d u ( p r o t o c o ld a t au i i i t ) 的优化会造成传输效率的不同。包优化的 目的有两点，一是为了更有效的在网络上传输，二是减少包之间的关联性，阻 止视频中的错误蔓延。对p d u 优化能有效组织包的结构和大小，以适应异构网 络的传输。针对m p e g 一4 视频流，主要有以下几种方案： 固定大小包化机制l l ： 封装p d u 时，按照固定的大小t s 来打包，同时t s v l o s s o 基本无拥塞v n 保持一个恒定的发送 速率 视频质量自适应控制系统 o 2 0 v l o s s o 1 网络拥塞使用迭代算法调整v n v 1 0 s s o 2 0 拥塞严重，需要快速调整 v n = v n o 8 0 v n 设定网络可用带宽为a ，使用迭代算法来计算a 的值： 1 发送端： 以速率r ( n ) 周期性的发送第n 个数据流包； 2 接收端： 检测网络单向时延d k ，k = l ，2 k ； 3 接收端： 检测d k 的增长变化趋势，并通知发送端； 4 发送端： i f 时延增大( r ( n ) a ) ，r m a x = r ( n ) ； i f 时延没有增大( r ( n ) a ) ，r m i n = r ( n ) ； r ( n + 1 ) = l a x + r m i n ) 2 ； ( 3 5 ) 当r m a 】【r m i n r 。i 鳄 。 耻瞄心口+ 刍心口b 加? s r “5 其中a 卜a 2 、a 3 为模型参数，b i t m t c 在此表示每像素的位数