（计算机应用技术专业论文）fgs视频流的传输质量保障技术.pdf

浙江大学博上学位论文 摘要 摘要 为了更好地解决视频的网络传输问题，特别是对各种不同带宽的传输通道 的适应性，视频编码技术发展出了可扩展编码，特别是精细粒度可扩展编码。 但是，针对不同的视频应用需求和网络传输通道条件，如何合理利用精细粒度 可扩展编码的特性，真正提高视频传输的质量，仍然是一个值得研究的问题。 本文分析了当前精细粒度可扩展编码f g s 视频传输质量保障技术的研究 现状，针对限定带宽丢包信道下的抗丢包传输技术、质量均衡技术和自拥塞控 制技术，着重开展了以下三方面的研究工作： 首先，本文研究了f g s 视频的抗丢包传输技术。利用f e c 冗余纠错机制 对m p e g 4f g s 视频数据传输进行错误保护已有不少研究，但冗余数据基本都 采用了占用额外传输带宽的方法。在总传输带宽限定的条件下，冗余编码占用 的带宽就会挤占视频数据本身的带宽从而引入视频编码质量的受损。如何使编 码损伤和传输损伤达到最佳分配，同时利用f g s 编码的特性在不同的增强层 之间进行非均等的f e c 冗余数据分配，从而使最终的视频失真最小化是带宽 限定的丢包信道上视频传输的关键问题。本文通过对f e c 编码在丢包信道下 的纠错性能分析，结合从待传输视频f g s 增强层提取的率失真特性的数值模 型，设计了寻优算法来获得最佳的不均等f e c 冗余分配策略，提高了视频传 输的总体质量。 其次，本文研究了f g s 视频传输的质量均衡技术。在提高视频传输总体 质量或者说平均质量的基础上，降低视频帧间的质量波动也是改善用户体验的 一个重要因素。已有的f g s 视频质量均衡传输技术的研究或者未考虑丢包信 道的环境，或者在无线噪声信道上直接采用在传输包内引入部分冗余数据进行 保护的方法。本文以r t p 传输数据包为基本单位封装数据或冗余信息，在限 定带宽的丢包信道上，建立了m p e g 一4f g s 视频质量均衡传输的码率分配框 架，建立起f e c 分配策略和最终视频平均失真以及视频失真波动之间的数学 浙江大学博士学位论文 摘要 模型，并设计了寻优算法同时在平均视频质量和平均视频帧问质量波动两个目 标上都获得最优。 第三，本文研究了f g s 视频在限定带宽的丢包信道上的自拥塞控制技术。 精细粒度可扩展编码和其他当今主流视频编码方法类似，在不同的帧编码类型 以及场景内容的变化都会导致视频流具有瞬时的流量突发特性。这种突发的速 率波动不加处理很容易造成瓶颈链路上的路由器队列溢出。现有研究工作通过 发送端根据时延约束主动地丢弃视频数据进行自拥塞控制，一些研究工作考虑 了受限带宽信道可能的丢包但未针对f g s 编码进行特别分析，从而直接丢弃 了部分视频帧，另一些研究工作针对了f g s 编码视频展开但未考虑可能的丢 包环境。本文利用f g s 增强层的精细可扩展特性，在发送端有选择地传输部 分增强层数据来平滑发送速率，并通过分析瓶颈链路传输延迟和视频传输失真 之间的定量关系来确定每帧包含增强层数据量和发送时刻的发送策略。该方法 能够有效的平滑发送速率，在给定的传输延迟约束下，能够在接收端获得更好 的视频质量，同时保持瓶颈链路路由器的缓存维持在稳定状态。 最后，在计算机仿真实验证实了上述研究工作的有效性的基础上，本文进 一步以代表性的物理网络环境对本文的研究成果进行了综合的实验测试，验证 了本文方法的有效性和实用性。 关键词：视频传输，精细粒度可扩展编码，前向冗余纠错，非均等错误保护， 质量均衡控制，自拥塞控制 浙江大学博士学位论文 a b s t r a c t a b s t r a c t f i n e g r a n u l a r i t ys c a l a b l e ( f g s ) v i d e oc o d i n g i s p r o p o s e d a sak i n do f i m p r o v e ds c a l a b l ev i d e oc o d i n gt e c h n o l o g yf o re v e nb e t t e rv i d e od e l i v e r yo n v a r i o u sn e t w o r kp a t h sw i t hv a r y i n gb a n d w i d t ha n dp a c k e tl o s sp a t t e r n b u th o wt o i m p r o v e t h ea c t u a l r e c e i v i n gv i d e oq u a l i t y o nc e r t a i nc h a n n e lc o n d i t i o n sb y e x p l o r i n gt h eu n i q u ec h a r a c t e r i s t i c so ft h ef g sc o d e dv i d e os t i l l r e m a i n sa c h a l l e n g e i nt h i s d i s s e r t a t i o n ，a f t e ra n a l y z i n gt h er e s e a r c hw o r ka b o u tf g sv i d e o t r a n s m i s s i o nt e c h n o l o g y ，w ec o n c e n t r a t eo nt h eu n e q u a ll o s sp r o t e c t i o n ，c o n s t a n t q u a l i t yc o n t r o la n ds e l fc o n g e s t i o nc o n t r o lo ff g sv i d e ot r a n s m i s s i o no v e ral o s s y n e t w o r kp a t hw i t hf i x e db a n d w i d t h f i r s t l y ，w es t u d yt h eu n e q u a ll o s sp r o t e c t i o no ft h ef g sv i d e o w h i l et h e r e a r er e s e a r c h e so nf e cp r o t e c t i o no fm p e g 一4f g sv i d e ot r a n s m i s s i o n ，t h e r e d u n d a n td a t ai st r a n s m i t t e db yu s i n ge x t r ab a n d w i d t h o nat r a n s m i s s i o np a t h w i t haf i x e db a n d w i d t h ，t h e s er e d u n d a n td a t am u s to c c u p ys o m et r a n s m i s s i o n c a p a c i t ya n dc a u s ea d d i t i o n a lv i d e od i s t o r t i o nd u et ot h ec u to nt h ev i d e od a t a h o wt ob a l a n c et h ea m o u n to ft h es o u r c ec o d i n gd a t aa n dt h a to ft h er e d u n d a n td a t a ， a n dt h ea m o u n t so fr e d u n d a n td a t at op r o t e c tv i d e od a t ao fd i f f e r e n ts i g n i f i c a n c e ，i s e s s e n t i a lt oa c h i e v eag o o do v e r a l lt r a n s m i s s i o nq u a l i t yo nal o s s yc h a n n e lu n d e ra l i m i t e db a n d w i d t h b a s e do nt h ei n t e r p o l a t e dr a t e - d i s t o r t i o nm o d e lo ft h ef g s e n h a n c e m e n tl a y e ro ft h ev i d e os e q u e n c eu n d e rt r a n s m i s s i o na n dt h ef e c p r o t e c t i o np e r f o r m a n c ea n a l y s i s ，w ep r o p o s e da nu n e q u a ll o s sp r o t e c t i o ns c h e m et o i m p r o v et h eo v e r a l lv i d e ot r a n s m i s s i o nq u a l i t y s e c o n d l y ，w es t u d yt h ec o n s t a n tq u a l i t yc o n t r o lo f t h ef g sv i d e ot r a n s m i s s i o n o nab a n d w i d t h l i m i t e dl o s s yc h a n n e l av i d e os e q u e n c ew i t ha na l m o s tc o n s t a n t q u a l i t yg i v e su s e rb e t t e re x p e r i e n c ec o m p a r e dw i t h t h a to ff l u c t u a t e d q u a l i t y , p r o v i d i n gb o t hh a v es i m i l a ra v e r a g eq u a l i t y c o n s t a n tq u a l i t yc o n t r o lo ft h ef g s v i d e ot r a n s m i s s i o nh a sb e e ns t u d i e de i t h e ro n a1 0 s s l e s sc h a n n e lo ro nt h o s e v 浙江大学博士学位论文 a b s t r a c t w i r e l e s sl i n k sw h e r ei n t r a - p a c k e tf e c p r o t e c t i o nt e c h n o l o g yi se n g a g e d i nt h i s d i s s e r t a t i o n ，w ep r o p o s e daf r a m e w o r ko fc o n s t a n tq u a l i t yc o n t r o lo ff g sv i d e o t r a n s m i s s i o nw i t ht h er t p p a c k e ta sab a s i ct r a n s m i s s i o nu n i tt oc a r r yv i d e od a t ao r f e cd a t a b a s e do nt h en u m e r i c a lr a t e - d i s t o r t i o nm o d e lo ft h ev i d e os e q u e n c e u n d e rt r a n s m i s s i o n ，a no p t i m i z a t i o na l g o r i t h mi sp r o p o s e dt oa c h i e v eb o t ho fah i g h a v e r a g ev i d e oq u a l i t yo fa l lv i d e of r a m e sa n dau n i f o r mq u a l i t yo ns u c c e s s i v ev i d e o f r a m e s f i n a l l y ，w es t u d yt h es e l fc o n g e s t i o nc o n t r o lo ft h ef g s v i d e ot r a n s m i s s i o nt o m e e td e l i v e r yd e a d l i n e so n ab a n d w i d t h - l i m i t e dl o s s yc h a n n e l l i k ea l lt h e m a i n s t r e a mv i d e oc o d i n gt e c h n o l o g y ，f g sc o d i n gg e n e r a t e sv a r i a b l eo re v e nb u r s t y f l o wr a t e i tm a yc a u s et h eb o t t l e n e c kb u f f e rq u e u eo v e r f l o wi fp r o p e rp r e v e n t i v e m e a s u r e sa r en o tt a k e n s o m er e s e a r c hw o r ko fs e l fc o n g e s t i o nc o n t r o ld on o t t a k et h ec h a r a c t e r i s t i c so ff g sv i d e oi n t oc o n s i d e r a t i o n ，w h i l eo t h e r sd on o t c o n d u c to n al o s s yc h a n n e l i n t h i sd i s s e r t a t i o n ，w ep r o p o s eas e n d e r s i d e d e l a y c o n s t r a i n e df g se n h a n c e m e n tl a y e rd a t as c h e d u l i n gs c h e m et os m o o t ht h e s e n d i n gr a t ew h i l eb o t hm e e t i n gt h ed e l i v e r yd e a d l i n e so fa l lv i d e of r a m e sa n d m a i n t a i n i n gag o o dr e c e i v i n gq u a l i t y i na d d i t i o nt oa l lt h es i m u l a t i o nr e s u l t st h a tp r o v et h ee f f e c t i v e n e s so fo u r r e s e a r c hw o r km e n t i o n e da b o v e ，t h er e s u l t so fp h y 7 s i c a le x p e r i m e n t so na ne x a m p l e n e t w o r ka r ea l s op o s i t i v e k e y w o r d s ：v i d e ot r a n s m i s s i o n ，f i n eg r a n u l a r i t ys c a l a b l e ( f g s ) ，f o r w a r d e r r o r c o r r e c t i o n ( f e c ) ，u n e q u a ll o s sp r o t e c t i o n ( u l p ) ，c o n s t a n tq u a l i t yc o n t r o l ，s e l f c o n g e s t i o nc o n t r o l 浙江大学博七学位论文图目录 图目录 图2 1 可扩展编码的基本框架9 图2 2m p e g 4 精细粒度可扩展编码的结构9 图2 3 渐进的精细粒度可扩展编码p f g s 的结构1 0 图2 4 一个典型的端到端视频传输框架1 1 图2 5 互联网的异构性1 3 图2 6 传统视频编码和可扩展视频编码在异构网络中传输方式对比1 4 图2 7r t p 数据包的头部字段一1 7 图3 1m p e g 4f g s 编码框架3 3 图3 2 位平面编码原理3 4 图3 3 基于像素域的f g s 视频率一失真标签提取方法3 5 图3 4f g s 视频传输的非均等错误保护框架3 5 图3 5 两状态的m a r k o v 模型3 5 图3 - 6f e c 纠错码原理3 5 图3 7 基于增强层优先级的f e c 冗余数据分配3 5 图3 8 基于优先级的f e c 冗余数据分配实例3 5 图3 - 9f e c 冗余数据分配的搜索范围3 5 图3 1o 在第一个增强层搜索获得的最佳f e c 分配3 5 图3 一1 1 第二次迭代时搜索点的起始位置3 5 图3 1 2 仿真实验的框架3 5 图3 1 3 仿真实验的网络拓扑结构3 5 图3 1 4u l p 数据包在n s 2 仿真协议中的格式3 5 图3 1 5 不同丢包概率下三种策略的逐帧视频质量比较3 5 图3 1 6 丢包概率为1 0 时三种策略的某典型视频帧质量比较3 5 图3 1 7 不同丢包概率下三种策略的平均视频质量比较3 5 图4 1 质量均衡的f g s 流传输框架3 5 图4 2 增强层的f e c 数据包分配3 5 图4 3 加入f e c 冗余数据包的过程3 5 图4 4f g s 中非均等的率分配框架3 5 图4 5 质量均衡的f e c 分配算法实验框架3 5 图4 6 不同丢包率下三种方法的平均视频质量( d ) 对比3 5 图4 7 不同丢包率下三种方法的平均视频质量波动( a d ) 对比3 5 图4 8 不同丢包率下三种方法的逐帧视频质量对比3 5 浙江大学博士学位论文图目录 图5 1 两个典型视频流中不同类型视频帧的大小3 5 图5 2 瓶颈链路上视频传输的自拥塞控制场景3 5 图5 3 传输过程中的三类不同时隙3 5 图5 - 4 单个视频帧传输的端到端延迟构成3 5 图5 5 单个视频帧的数据包在瓶颈链路队列中的排队延迟3 5 图5 - 6m p e g 4f g s 编码视频之间的数据依赖关系一3 5 图5 7 三种方法的逐帧视频质量对比3 5 图5 8 三种方法的瞬时视频传输速率对比3 5 图5 - 9 三种方法的瓶颈路由器缓冲队列长度对比3 5 图6 一l 测试环境示意图3 5 图6 2f g s 发送端的实现3 5 图6 3 背景流量的生成和控制3 5 图6 4n e t g e a rw g t 6 3 4 u 无线路由器3 5 图6 5 一个简单的c l i c k 路由器配置3 5 图6 6 几个核心的c l i c k 模块和配置3 5 图6 7 不采用特殊调度，第1 8 2 3 帧的视频解码效果3 5 图6 8 采用本文方法，第18 2 3 帧的视频解码效果3 5 图6 9f o r e m a n 序列前1 0 0 帧的实验结果3 5 浙江大学博士学位论文表目录 表目录 表3 一l 一个发送端的t r a c e f i l e 示例3 5 表3 2 平均丢包率为5 时非均等f e c 冗余分配的结果3 5 表3 3 平均丢包率为2 0 时非均等f e c 冗余分配的结果3 5 表3 4 一个接收端的t r a c e f i l e 示例3 5 表3 5 不同丢包率下三种策略的平均视频质量d 3 5 表3 - 6 不同丢包率下三种策略的平均视频质量波动a d 一3 5 表4 1 仿真实验编码参数的设置3 5 表5 1 典型视频序列中i 帧、p 帧和b 帧的大小比较3 5 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿态鲎或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘鲎可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字r 期：年 月同 导师签名： 签字日期：年月日 浙江大学博士学位论文致谢 致谢 时光如梭，攻读博士的求学生活即将结束。在此期间受到许多师长，同学 和朋友们给予的指导、关心和帮助，在此表示真诚的感谢! 首先，衷心感谢导师鲁东明教授五年来的指导和关心! 鲁老师的引导和鼓 励，不仅使我对网络多媒体的研究领域产生了兴趣，而且坚定了继续求学的信 心和决心。作为一名在职攻读博士学位的学生，鲁老师不仅在学术上给予我全 面的指导，也给予我更多的自由合理安排学习和工作，使我能够顺利完成学业。 鲁老师敏捷的学术思维、敏锐的创新意识和强烈的工作热情时常激励着我克服 困难，认真完成本论文的工作。在此，谨向鲁东明教授表示由衷的感谢! 衷心感谢课题组许端清老师、董亚波老师的关心和帮助! 两位老师思维严 密、工作一丝不苟，在博士论文期间提供了大量有价值的意见和建议。 衷心感谢孙钢博士、魏平博士和占志峰博士! 与你们的讨论给予我许多的 灵感与启发，共同的求学过程中的思维碰撞和相互帮助令我终生难忘。衷心感 谢课题组其他老师和同学的支持和帮助，大家相互间的友好合作使得各个课题 得以顺利完成。 衷心感谢学校网络中心的王勇超、江肖强、俞宏志、王建国等老师! 他们 在项目工作以及网络实验方面提供了有力的支持，在他们的帮助下完成了许多 实验和测试，并作为本文的素材 衷心感谢我的父母! 正是你们的教育与培养，才使我能够走到今天。你们 无私的爱激励我不断克服困难、勇往直前。可惜母亲已经仙逝，未能目睹我完 成学业的这天，实乃我终身之遗憾。 特别感谢我的妻子，她一直以来都给予我最大的鼓励和支持，使我能专心 于工作和求学，并对未来充满信心。特别感谢我的孩子，他不仅带给了我许多 快乐和对未来的希望，还宽容地接受了许多我无法陪伴他的时光 衷心感谢所有曾经帮助、关心和鼓励我的师长、同学及好友! 谨以此文献 浙江大学博：b 学位论文 致谢 给所有帮助我和关心我的人! 最后，谨向百忙中抽出宝贵时间评审本论文的各位专家、学者致以最诚挚 的谢意! 邢卫 2 0 0 9 年夏于浙大求是园 浙江大学博士学位论文第1 章绪论 1 1 研究背景和意义 第1 章绪论 计算机和通信网络技术的发展以及互联网的发展改变了人们信息传输和 交流的方式，并且已经从最初的纯文字的信息交互向以语音、视频为主的多媒 体信息传递转变。多媒体信息尤其是视频信息能够更直观、迅速地传递信息。 但是视频数据通常都很大，在网络上传输的成本很高。近几年来，随着多媒体 编码和通信技术的发展，在互联网上进行视频信息传输已经成为可能。网络多 媒体的应用迅速崛起，正在颠覆着传统的以文本和图片为主的信息传输和交换 方式：3 g 移动通信网络中的可视电话应用被认为是最有特色的应用之一；面 向宽带接入用户的i p t v 应用可以提供比普通电视更好的用户体验【l 】，并正在 被i t u t 进行标准化工作；而w e bv i d e o 已经成为下一代互联网上w e b 的重 要应用。根据思科的研究报告，网络视频流量占全球互联网总流量的比例已经 上升到了3 0 ，预计到2 0 1 2 年将提高到5 0 。可以预见，随着互联网的普及 以及网络接入带宽和服务质量的逐步提高，网络视频应用将会成为下一代网络 中的主流应用之一 上面提到的这些网络视频应用都依赖于如何保证视频的传输质量。这方面 的研究从9 0 年代开始一直是网络通信和视频处理方面的热点问题；并且随着 网络新技术的发展以及新的多媒体编码算法的研究和应用，还不断出现大量新 问题有待研究。 我们认为互联网的异构性以及缺乏良好的q o s 支持【2 】是网络视频传输的 瓶颈所在 ( 1 ) 互联网的异构性：目前的互联网一个“边缘复杂化”的网络，接入 网络的多样性使得互联网成为一个异构的、极其复杂的网络。a d s l 、宽带以 太网、无线局域网( w i f i ) 、无线移动网络( 3 g ) 等多种网络在链路稳定性、 误码率、带宽等多方面都存在巨大差异。目前的视频传输协议和控制机制难以 浙江大学博十学位论文第1 章绪论 同时应对各种不同的网络条件。其次，互联网的异构性还体现在终端上，手持 设备、p c 终端等在屏幕的分辨率、处理能力等方面相差很大，如何保证不同 的终端都能够获得最佳的视频体验也是一个有待解决的问题。 ( 2 ) 互联网缺乏q o s 支持：i p 协议提供了一种无连接的、基于存储转 发的网络互联方式，简化了核心网络的功能，将网络的复杂性“边缘化”，从 而具有良好的可扩展性。i p 协议提供的是一种尽力服务( b e s te f f o r t ) 模型1 3 1 ， 意味着所有的业务在i p 层都被同样地对待。而对于v o l p 、v i d e os t r e a m i n g 等 业务来说，对传输带宽、延迟和丢包都有着严格的限制，在尽力服务体系结构 下仅通过提供更大的传输带宽来试图解决这一问题也被认为是不可行的【4 】。 目前，视频传输质量保障问题从视频编码和网络传输两个方面都展开了研 究。一方面是研究更适合目前网络传输的“网络友好”的编码机制；另一方面 则研究如何设计更有效的传输协议和控制机制。 由于目前的视频编码框架普遍采用基于运动预测和补偿的变换编码机制， 编码后的视频数据在空间和时问上都存在着很强的依赖关系，一部分数据的丢 失会导致其他数据也无法正确解码。“网络友好”的编码需要提高视频编码的 抗误码能力，引入了错误弹性( e r r o rr e s i l i e n c e ) 编码机制来降低网络丢包给视 频解码带来的损失。错误弹性编码机制包括：帧内宏块编码、数据分离编码( d a t a p a r t i t i o n ) 、冗余s l i c e 编码等等。这些错误弹性编码机制牺牲了部分编码效率 来换取更好的抗误码特性，但是这种编码机制还不能够做到很好的网络自适应 性。 可扩展视频编码技术s v c ( s c a l a b l e 、嚏a e oc o d i n g ) 是在现有的编码框架 上发展起来的一类“网络友好”编码机制，其目标是编码一次，能够适用于多 种网络传输环境。利用可扩展编码机制，发送端和接收端可以根据网络状况、 设备性能来进行协商，决定合适的发送数据和传输策略；接收端收到的数据越 多，其视频质量就越高；反之，也能获得最基本的视频质量。可扩展编码的“可 扩展性”体现在空间分辨率、。时间分辨率和信噪比这几个方面。目前很多可扩 展编码标准，如m p e g 一2 和h 2 6 3 中提出的可扩展编码，只能支持有限等级的 2 浙江大学博士学位论文第l 章绪论 可扩展性。精细粒度可扩展视频编码f g s ( f i n eg r a n u l a r i t ys c a l a b l e ) 则是 m p e g 一4 编码标准中提出的一种可扩展编码算法，f g s 的增强层数据可以在任 意位置截断，仍然保持视频传输语法的正确性，接收端解码器能正常重构并回 放视频。f g s 的这种特性使得它具有更灵活的带宽传输自适应特性，为解决视 频码率和可用带宽之间的矛盾提供了一种有效的方法。 另一方面，视频传输过程中的丢包和传输带宽波动会严重影响视频的传输 质量。设计适合视频传输的错误控制和拥塞控制机制是保证视频传输质量的两 个重要手段。错误控制机制通过重传、加入冗余数据包等手段来降低丢包带来 的视频失真。拥塞控制则通过调整视频的发送速率来响应网络的状况，避免过 度的视频传输导致网络拥塞，进而带来严重的丢包。拥塞控制的另外一个好处 是维护网络的稳定性和公平性。那些不采用任何拥塞控制机制的视频流不监测 网络的状态，只根据自身的需求来获取带宽，往往会导致那些采用拥塞控制的 流，如t c p 传输流，无法竞争到网络带宽资源，严重影响了公平性，并容易 引起网络的不稳定性。 虽然可扩展视频编码为视频传输提供了一种新的编码机制，能够提供更好 的网络友好性，但是网络传输中的丢包、延迟还是会给视频传输的质量保证提 出严峻的挑战。本文针对精细粒度可扩展( f g s ) 视频编码，研究了f g s 视频 流传输中的错误保护与自拥塞控制。 1 2 论文的主要研究内容 本文的主要研究内容是可扩展视频编码的传输质量优化和保障技术。在一 定带宽的丢包信道中，利用m p e g 4f g s 编码的特性，从视频传输的错误控制 和自拥塞控制( 流量整形) 两个方面来展开研究。在这些工作中，充分利用 m p e g 一4f g s 编码提供的精细粒度可扩展特性，设计适合m p e g 一4f g s 视频传 输的错误控制和自拥塞控制机制。 主要研究内容包括如下三个方面： 1 给定带宽下的m p e g 一4f g s 视频传输冗余保护数据分配 浙江大学博士学位论文第l 章绪论 网络丢包是导致视频质量下降的一个重要原因，而由于端到端的延迟限 制，使得通过出错重传机制来恢复丢包变得十分困难。利用前向冗余纠错编码， 通过牺牲部分传输带宽来增强视频传输抗误码性是一种目前普遍采用的方法。 该研究问题的主要难点在于如何在总带宽限定的条件下，在视频数据和冗余数 据之间进行优化的分配，以获得最好的视频质量。 本文针对m p e g 一4f g s 视频编码特性，研究如何利用分层编码来设计优化 的冗余数据分配机制。首先，本文分析了前向冗余纠错编码( f e c ) 的纠错性 能，尤其是在连续丢包情况下的纠错性能；其次，考虑到f g s 中采用位平面 编码机制，其率失真特性不能够用传统的指数模型来刻画，本文研究了 m p e g 4f g s 视频编码的率失真度量模型，利用分段线性插值的方法来计算 其率失真；最后，本文分析了m p e g 一4f g s 的分层编码与数据包传输策略， 结合f e c 冗余数据分配，建立不同分配策略下视频失真的度量模型，并设计 寻优算法来获得最佳的f e c 冗余分配策略。 2 考虑质量均衡的m p e g 4f g s 视频传输冗余保护数据分配 在前面的研究中，f e c 冗余数据的分配策略是以最终的视频平均失真最小 为目标的。研究表明相邻视频帧间的质量波动也是影响用户体验的一个重要因 素，仅仅以平均视频失真最小为目标忽略了视频质量波动带来的影响。 。本文提出考虑质量均衡的m p e g 4f g s 视频传输的冗余数据分配机制，使 得考虑平均视频质量和视频质量波动都能够达到最佳。该问题的难点在于设计 优化算法同时在两个目标上都获得最优。本文将视频质量的波动这个目标函数 先进行化简，并转化为约束，然后再考虑平均视频质量这个目标，设计寻优算 法。 3 m p e g 一4f g s 视频传输的自拥塞控制机制 视频传输的带宽限制通常是由传输路径上的瓶颈链路或是瓶颈路由器来 决定。在使用r s v p 或其他资源预留机制的场景下，该瓶颈路由器会按照每个 4 浙江大学博士学位论文第l 章绪论 传输流执行速率控制和缓冲区管理( p e r - f l o wr a t ec o n t r o la n db u f f e rc o n t r 0 1 ) 一个传输流的瞬时最大传输速率实际上就受到该传输流的预设恒定带宽和瓶 颈路由器上该传输流的缓冲区大小的制约。另一方面，目前的视频编码算法以 及视频场景的变化都会导致视频流具有可变速率的特性。特别的，当视频的场 景发生剧烈的变化或是改变编码类型( p 帧和i 帧) 时，都会带来明显的速率 波动。在网络较拥堵的情况下，这种速率波动很容易造成造成瓶颈链路上的拥 塞，增加端到端的传输延迟，甚至造成瓶颈路由器中的缓冲区溢出，引起丢包。 本文研究视频传输的自拥塞控制，通过在发送端对视频流量进行整形来获 得平稳的传输速率。利用m p e g 4f g s 具有的精细粒度可扩展性，本文研究发 送端的自拥塞控制机制，通过截取合适的增强层数据来平滑发送速率，并进行 发送时隙的调度，使得在端到端的延迟限制下获得平稳的传输流量和接收端最 佳的视频质量。 1 3 论文的主要创新点 论文的创新点主要体现在以下三个方面： ( 1 ) 一种基于待传输f g s 视频的率失真模型的非均等错误保护机制： 考虑到m p e g 4f g s 增强层数据采用位平面编码技术，导致传统的率失真模 型无法准确的刻画出f g s 的率失真特性，论文采用分段线性插值方法来拟合 f g s 增强层视频的率失真曲线，且该模型直接从待传输的视频序列获得。根据 该率一失真模型，定量化计算不同增强层数据包丢失带来的视频失真。以视频 传输失真最小为优化目标，设计非均等的f e c 冗余数据分配算法，为不同的 增强层分配不同强度的f e c 冗余保护，使得在给定带宽的丢包信道情况下， 能够在视频数据和f e c 冗余数据之间取得一个最佳的分配比例。由于采用了 更准确的f g s 率失真模型以及定量化的传输失真分析，论文提出的非均等 f e c 冗余分配策略能够更有效地利用有限带宽资源，获得更好的视频传输质 量。 ( 2 ) 一种考虑质量均衡的f g s 视频的带宽分配机制：在带宽限定的丢包 5 浙江人学博上学位论文第l 章绪论 信道上，在上述以平均视频失真为优化目标的工作基础上，进一步提出考虑减 小视频的质量波动，以平均视频质量和平均视频质量波动这两个指标的最小化 为优化目标，寻找最优化的m p e g 4f g s 增强层数据和f e c 冗余数据的分配。 论文提出一种基于窗口的次优解寻找算法，首先分离f g s 增强层数据的分配 和f e c 冗余数据的分配，根据带宽限制和丢包率，在窗口内的视频帧之间进 行增强层数据分配；然后，再优化每一帧增强层的非均等f e c 保护。这种处 理方法有效地降低了同时求解两个优化目标的计算复杂度。该方法不仅能保证 f g s 视频传输的平均视频质量和上述工作相比保持不变，而且能降低视频帧之 间的质量波动，获得更为平稳的视频质量和更好的用户体验。 ( 3 ) 一种延迟约束的f g s 视频传输的自拥塞控制机制：论文分析了 m p e g 4f g s 编码产生的视频数据的流量不平稳性以及给瓶颈链路带来拥塞 的可能性，利用发送端对视频帧传输的时刻、传输的增强层数据的大小以及传 输时隙等因素进行调度，避免f g s 视频流产生自拥塞现象。论文通过对瓶颈 链路的路由器队列建模、f g s 率失真建模以及端到端的传输延迟分析，在端 到端的延迟限定下，建立发送端的发送策略( 即每帧截取多少f g s 增强层数 据) 和最终视频传输失真之间的数学模型，并以此来设计寻优算法。该方法能 在发送端保持f o s 视频流更平滑的传输速率，从而维持瓶颈链路路由器缓冲 区的平稳性，而且可以保证接收端的视频质量。 1 4 论文的组织方式 论文的组织方式如下： 第一章是绪论，阐述视频可扩展编码技术和视频传输的技术发展和应用情 况，简要分析网络条件，说明论文的选题背景和研究意义。然后，介绍论文的 主要工作，总结论文的主要创新点。 第二章综述了国内外在可扩展视频编码技术方面、视频传输的错误控制和 拥塞控制方面的研究现状，为本文的研究工作建立参考框架。 第三章到第六章介绍本文的主要研究内容和研究成果，其中： 6 浙江大学博士学位论文第l 章绪论 第三章主要介绍如何利用m p e g 4f g s 视频的编码特性，结合f e c 冗余 纠错机制来设计优化的f e c 数据包分配策略，使得视频传输的端到端失真最 小 第四章则基于第三章的研究结果，进一步提出考虑质量均衡的m p e g 4 f g s 视频的冗余带宽分配机制，使得视频质量波动最小，同时尽可能地获得最 佳的平均视频质量。 第五章研究了在具有瓶颈链路的传输路径上如何通过发送端的流量整形 来实现自拥塞控制，利用m p e g 4f g s 的精细可扩展性来进行数据截取，平滑 发送速率，降低由于视频码率波动带来瓶颈链路上的延迟增加 第六章综合第三到五章的主要研究成果，构建物理的网络测试环境来验证 论文提出的方法的有效性和可实用性。 第七章对全文的工作进行总结，指出论文工作的成果以及局限性，并探讨 进一步的研究方向。 7 浙江大学博：仁学位论文第2 章相关技术和国内外研究现状 第2 章相关技术和国内外研究现状 2 1f g s 视频编码技术 2 1 1 可扩展编码以及f g s 编码原理 尽管视频编码算法在近十年内得到了快速的发展，压缩效率越来越高，并 且各种错误弹性( e l l o rr e s l i c e n t ) 视频编码机制也使得视频具有更好的抵抗传 输错误的性能1 1 0 卜【1 2 1 ，但是随着网络视频传输应用的蓬勃发展，现有编码算法 的局限性也越来越凸显。不同的终端对视频分辨率、目标速率具有不同的需求， 而传统的视频编码算法只能生成固定的分辨率和码率；另一方面，这种固定速 率的视频流在网络传输过程中不能够随着网络带宽的波动变化而进行调整，通 常会导致网络拥塞或者不能充分利用网络带宽。可扩展视频编码1 5 】提供了一种 网络自适应的编码机制，一次编码后可以在多种不同的网络环境下使用，具有 更好的灵活性。利用可扩展视频编码的特性进行视频传输的优化已经成为目前 的研究热点之一。 可扩展视频编码的基本思想是在编码的时候采用尽可能高的时空分辨率 和尽可能高的目标码率，但是运行解码器只解码其中的部分数据来获得较低的 分辨率和较低的码率。这种编码机制给网络视频传输带来了很大的灵活性，尤 其是在异构的网络环境中。 早期的视频编码标准如i t u th 2 6 1 1 1 3 1 和i s o i e cm p e g 1 1 1 4 1 中都没有提 供任何关于可扩展编码的机制，这是因为这些标准在制定时都是针对特定应用 的。可扩展视频编码机制是在i s o i e cm p e g 一2 t 1 5 】标准中第一次出现，在 m p e g 2 标准中提出了分层编码的概念，编码的码流中包括基本层和增强层， 增强层的解码需要依赖基本层，能够提供在时间分辨率、空间分辨率以及信噪 比s n r ( s i g n a ln o i s er a t i o ) 三个方面的可扩展性。其编码结构如图2 一l 所示。 然而，m p e g 2 标准中提出的分层编码最多限制在三层，这也使得m p e g 2 编 浙江大学博j 学位论女 2 章目* 挫术自目内外研究现状 码的可扩展性具有一定的局限性 向 品， 2 肇； 舀乇 二，5 查习扯一 田2 - i 可扩展编码的墓奉框架 在1 s o i e c m p e g i 标准re 6 1 中提出了更为灵活的可扩展编码机制，包括针 对时问分辨宰和空间分辨率的一种更通用的可扩展编码框架，以及针对s n r 可扩展的一种精细粒度可扩展编码f g s ( f i n eg r a n u l a r i t ys e a l a