（计算机应用技术专业论文）无线网络视频传输技术与可伸缩视频编码.pdf

摘要 随着无线通信技术的发展，视频通信的需求日益强烈。然而，无线网络固有 的传输特性，给视频传输带来巨大挑战。可伸缩视频编码是目前最有发展前景的、 符合无线网络传输特性的编码方案。本文将可伸缩视频编码和无线网络传输技术 有机结合，采用跨层设计理念，较全面地研究了无线网络视频传输面临的关键问 题。 首先，在h 2 6 4 a v c 可伸缩扩展的框架下，提出了m c t f 的性能改进方法， 包括增加更新操作的约束条件和残差图像的去块滤波操作。在j s v m 0 上的测试 结果表明，当视频中的运动比较剧烈并且出现很多块效应时，改进的m c t f 能 取得很好效果，而且编码效率也有一定程度的提高。 其次，提出了一种分形和小波相结合的混合视频编码算法f e z w 。该算法在 e z w 编码的基础上，采用了小波域的分形预测方法。实验结果表明，f e z w 能 提供可截断性码流；与e z w 相比，在低码率下，f e z w 恢复视频的p s n r 值有 所提高；在丢失相同的数据时，f e z w 的p s n r 值下降速度较e z w 慢，上述特 点非常适合于无线网络中的视频传输。 再次，根据无线网络视频传输的率失真模型，提出了跨层的自适应速率控制 机制c l a r c 。该机制和可伸缩视频编码相结合，利用应用层和网络层的反馈信 息调整视频发送速率。仿真和实验结果均表明，c l a r c 算法能有效区分拥塞丢 包和网络差错丢包：能适应网络带宽的波动：对网络拓扑变化反应敏感；能和 t c p 业务共存。另外，该算法速率控制较平稳，没有剧烈波动，在速率和总体失 真二者间取得了较好的折衷，恢复视频的主、客观质量较好。 然后，应用网络流理论，给出了多数据流拥塞优化路由问题的数学描述，在 d s r 的基础上提出了启发式算法c o d s r 。仿真结果表明，c o d s r 可以提高网 络的端端吞吐率。该算法和应用层的速率控制c l a r c 相结合，能提高f e z w 视 频流的综合传输性能。 最后，基于w r r ，提出了一种视频业务调度算法w r r c s d p s 。该算法和 d c f 协议紧密结合，能充分利用信道状态调度数据包。仿真结果表明， w r r - c s d p s 提高了实时业务的端端吞吐率，降低了端端延迟，延迟抖动和丢包 率，可以在一定程度上保证实时业务的服务质量。 关键词：可伸缩视频编码，视频传输，无线网络，速率控制，调度机制 a b s t r a c t v i d e oa p p l i c a t i o ni sb e c o m i n ga ni m p o r t a n ta p p l i c a t i o nu n d e rt h en e x t - g e n e r a t i o n w i r e l e s sn e t w o r k s h o w e v e r , s u p p o r t i n gv i d e oc o m m u n i c a t i o no v e rw i r e l e s sn e t w o r k s p o s e sm a n yc h a l l e n g e sd u et of l u c t u a t i o n so fw i r e l e s sc h a n n e lc o n d i t i o n s s c a l a b l e v i d e oc o d i n gh a sb e e ns h o w nt ob ec a p a b l eo fc o p i n ge f f e c t i v e l yw i t ht i m e - v a r y i n g w i r e l e s se n v i r o n m e n t i nt h i sd i s s e r t a t i o n ，w ep r o p o s e dac r o s s - l a y e rf r a m e w o r kt o s o l v es c a l a b l ev i d e os t r e a m i n go v e rw i r e l e s sn e t w o r k s t h es c a l a b l ee x t e n s i o no fh 2 6 4 a v ca d o p t sah i e r a r c h i c a lp r e d i c t i o ns t r u c t u r e b a s e do n o p e n l o o pm c t f ( m o t i o n - c o m p e n s a t e dt e m p o r a lf i l t e r i n g ) i nt h i s d i s s e r t a t i o n ，w ep r o p o s e dn e wa l g o r i t h m st oi m p r o v et h ep e r f o r m a n c eo f m c t fu n d e r j s v m 0f r a m e w o r k , i n c l u d i n gu p d a t ec o n s t r a i n t s ，r e s i d u a li m a g ed e b l o c k i n gf i l t e r i n g w ea l s od e s i g n e dan g vf r a c t a lw a v e l e th y b r i dv i d e oc o d e cb a s e do ne z w , c a l l e d f e z w f e z wi n h e r i t st h ee m b e d d e ds t r u c t u r ef r o me z w t h e r e f o r e i t sb i tr a t ec a n b et r u n c a t e dt om e e tt h en e t w o r kb a n d w i d t hr e q u i r e m e n t s o nt h eo t h e rh a n d ，t h e f r a c m lp r e d i c t i o nm e t h o di n c r e a s e si t sp s n ra tl o wb i tr a t e t h i si sa l s ov e r i f i e dv i a s i m u l a t i o n s t oi m p r o v et h eq u a l i t yo f r e c e i v e dv i d e o ，w ep r o p o s e dac r o s s l a y e ra d a p t i v er a t e c o n t r o lm e c h a n i s m ，c l a r c ，w h i c hm a k e sg o o du s eo f1 ) r o u t i n gi n f o r m a t i o nf r o m t h el o w e rn e t w o r kl a y e r , a n d2 ) t h ef r a m el o s sf e e d b a c kf r o mt h ea p p l i c a t i o nl a y e r t h ep r o p o s e ds c h e m et r i e st oa d a p tt h ev i d e oe n c o d e r so u t p u tb i t r a t et oc l o s e l y m i m i ct h ea v a i l a b l en e t w o r kb a n d w i d t h c l a r ci sa l s oc o n g e s t i o n a w a r e ，r o b u s tt o r a n d o me r r o r , a n dc a nc o - e x i s tw i t ho t h e rt c pf l o w si naf r i e n d l ym a n n e r , e x t e n s i v e s i m u l a t i o n sw e r ep e r f o r m e d ，a sw e l la sa c t u a le x p e r i m e n t s ( o no u ro w na dh o cv i d e o s t r e a m i n gt e s t b e d ) w e r ec o n d u c t e dt ov a l i d a t et h ee f f e c t i v e n e s so f o u rs c h e m e f u r t h e r m o r e ，w ei n s t i g a t e dt h ec o n g e s t i o no p t i m i z e dr o u t i n gi nw i r e l e s sa dh o c n e t w o r ka n dp r e s e n t e dac o - d s r ( c o n g e s t i o no p t i m i z e dd s r la l g o r i t h mb a s e do n d s r p r o t o c 0 1 t h ec o d s rs c h e m ec o n s i d e r sb o t hl i n kb a n d w i d t ha n dt h en u m b e ro f f l o w so nt h ep a t hw h e ns e l e c t i n gar o u t e s i m u l a t i o nr e s u l t ss h o wt h a tc o - d s rc a n e f f e c t i v e l yi m p r o v et h en e t w o r kt h r o u g h p u t ，t h eq u a l i t yo ft h er e c e i v e df e z wv i d e o s t r e a m l a s t l y , b a s e do nt h ec l a s s i cw r r ( w e i g h t e dr o u n dr o b i n ) c o n c e p t s ，w e p r o p o s e da ne f f i c i e n tr e a l - t i m et r a f f i c s c h e d u l i n ga l g o r i t h mf o rw l a n o u ra l g o r i t h m i sc o u p l e dc l o s e l yt od c f ( d i s t r i b u t e dc o o r d i n a t ef u n c t i o n ) e x t e n s i v es i m u l a t i o n s w e r ep e r f o r m e dv i at h en s - 2n e t w o r ks i m u l a t o r t h er e s u l t ss h o wt h a to u ra l g o r i t h m c a l le f f e c t i v e l yi m p r o v et h ec h a n n e lu t i l i z a t i o na n dd a t at h r o u g h p u t , w h i l ed e c r e a s i n g t h ea v e r a g ep a c k e td e l a y k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ，v i d e os t r e a m i n g ，w i r e l e s sn e t w o r k s ，r a t e c o n t r o l ，s c h e d u l i n gm e c h a n i s m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文储躲乏擂! 签字隰矽年8 月加 学位论文版权使用授权书 本学位论文作者完全了解鑫洼盘鲎有关保留、使用学位论文的规定。 特授权盘鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索。并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者虢五嚣年 导师躲留突条 签字日期：矽歹年当月 f 日 签字日期：加一z 年矿月哆日 第一章绪论 第一章绪论 无线网络的快速发展，随时随地的视频传输需求日趋强烈。视频流的播放要 求实时性，需要在规定的时间间隔内对视频帧进行解码播放，因此对网络的传输 带宽、端端延迟、延迟抖动、丢包率、误码率等都有较高的要求。然而，无线i p 网络从自身设计上只支持“尽力而为”的传输模式，不提供服务质量保证，并且 网络带宽、延迟等性能实时变化，用户对视频的质量需求不同，接入设备的能力 也于差万别，这些都对无线网络的视频传输提出了新的挑战。 i i 无线网络视频传输面临的问题 无线网络从网络拓扑结构角度可以分为两类：不带基础设施的无线a dh o c 网络和带有基础设施的无线局域网w l a n ( w i r e l e s sl o c a la r e an e t w o r k s ) 。无线 a dh o c 网络的组建不需要借助任何基础设施，通过相对独立的无线节点间的协 作，完成数据包的传输。每个节点即是发送或接收节点，同时又负责数据包的路 由和转发。由于这种网络不依赖基础设施，搭建方便、快捷，因此常应用于战场、 紧急搜救、抢险等场合。在这些紧急情况下，现场的视频信息急需在移动节点( 战 士、搜救队员等) 间实时传输、交流。作为一种灵活的i n t e m e t 接入方式，w l a n 得到了广泛的应用。在不少高档的咖啡厅，机场等都部署了这样的w l a n ，一 般称之为“热点”。在这些场景中，在线视频点播，视频会议等成为主要的娱乐、 工作方式。 但是无线网络固有的传输特性，给视频传输带来了巨大挑战【l j 。 高误码率由于无线信道的固有特性，如路径损耗、阴影衰落、多径衰落， 以及噪声干扰等造成高误码率【2 l ，这种误码往往是随机的。由于目前主流的视频 编码技术都是建立在视频序列帧间预测的基础之上，因此，当前帧中的误码不仅 会影响到该帧的解码质量，随着序列的不断解码，还可能传播到其后的一些帧， 影响后继帧的解码质量。 带宽波动造成无线网络带宽波动的原因，不仅是网络中负载强度的变化， 还可能是无线节点移动导致拓扑结构发生变化而引起的 3 j 。节点之间的距离、移 动的速度都会影响到网络吞吐率。传统的视频编码器一般是在给定码率下，优化 编码效率。这样一来，网络带宽的高波动性给视频传输带来了很大问题。另外， 第一章绪论 当网络中负载高于可用带宽时，会发生拥塞，导致丢包节点移动造成的路由切 换、物理层突发丢包都会引起数据包的丢失。大量的丢包会引起视频流的停滞， 马赛克效应的出现，甚至导致码流不能正确解码。带宽的波动还会引起延迟抖动 的加剧，如果延迟时间太长，数据包到达后，有可能超过播放时间，不得不丢弃。 不但浪费带宽，也会影响视频播放质量。 异构性在多播( m u l t i c a s t ) 的场景中，接收端的接收能力不同，表现在： 接入速率，处理能力，能量受限，图像显示能力等不同。接收端的这种异构性给 视频的多播传输造成很大困难【4 】。 上述问题给无线网络视频传输带来了巨大挑战。一方面，面向无线网络传输 的视频编码技术如雨后春笋般涌现出来。另一方面，无线网络研究人员也致力于 提供视频传输服务质量( o o s ) 保证技术的研发。 1 2 面向传输的视频编码技术 传统的视频编码技术主要面向存储，目标是在给定的码率下，提高编码效率。 如m p e g 1 ，m p e g 2 ，应用于v c d ，d v d 等视频的存储播放。i t u t 的h 2 6 1 ， h 2 6 3 面向低码率、甚低码率的视频传输，主要应用于视频会议。随着网络技术 的发展，对视频编码提出了新的挑战。视频编码m p e g - 4 ，h 2 6 4 a v c 开始考虑 如何适应网络传输。现有的面向传输的视频编码技术主要有：自适应编码、转码、 联播、多描述编码和可伸缩编码【”。 自适应编码( a d a p t i v ec o d i n g ) 自适应视频编码器可以使用码率控制技术 通过改变量化参数或编码的帧率来生成适当速率的码流。对网络带宽变化有一定 的适应性。但只能应用于实时视频传输场合，不适合于编码和传输相独立的应用， 而且码率调整范围受限。 转码( t r a n s c o d i n g ) 它将编码和传输分离，事先离线编码生成一个质量足 够好的视频流文件并将其存放在服务器上。根据网络传输和接收端情况，对该文 件进行部分解码，并采用新的量化参数进行重新编码，有选择地丢弃压缩数据中 不会严重影响视频质量的部分。由于需要部分解码和编码，当用户数量增加时， 会加重服务器负担。另外，再次编码也会造成额外的视频质量损失 联播( s i m u l c a s t ) 联播的基本思想是码流切换。原视频信息进行多次编码， 在服务器上保存不同分辨率、帧率和码率的码流。当网络带宽发生变化时，服务 器会选择合适的码流进行传送。该方案能提供一定的网络带宽自适应性，但同时 也增加了编码的时间、流媒体服务器的存储空间和操作的复杂度。 多描述编码( m u l t i d e s c r i p t i o nc o d e i n g ) 把原始视频编码分解为多个相关 2 第一章绪论 码流，其中任何一个码流都可以独立解码成满足基本接收质量的视频。接收端接 收到的码流越多，恢复的视频质量越好。这是一种典型的容错编码方案，在多径 传输和多播中很有优势巾j 。 可伸缩编码( s c a l a b l ec o d i n g ) 可伸缩编码实质上是将视频信息按照重要 性分解，对分解的各个部分按照其自身的统计特性进行编码。一般它会将视频编 码成一个基本层和一组增强层。基本层中包含满足最小需求的基本信息，可以独 立解码。增强层依赖于基本层，因此基本层在码流中最为重要。增强层顾名思义 是对基本层信息的增强，接收到的增强层越多，视频信息的恢复质量也就越高。 和其它编码方案相比，可伸缩编码为无线网络视频传输提供了一套简单、灵 活的解决方案。它使得码流对网络带宽变化、误码和丢包都有很强的适应性，同 时也简化了解码器端的设计，成为目前视频编码技术研究的热点。在诸多的编码 技术中，可伸缩视频编码在无线网络传输方面独占鳌头，下面进行详细介绍。 1 2 1 可伸缩视频编码技术 视频编码的可伸缩性包括时域可伸缩性、空域可伸缩性，质量( 踟t ) 可伸缩 性以及频率可伸缩性【4 】。时域可伸缩性是指将视频流分解成表示不同帧率的信 息，其中基本层保留最低帧率的信息，随着层数的增加帧率也随之增加，从而用 户能够观赏到更为连贯流畅的画面。空域可伸缩性是指将视频流分解成表示不同 分辨率的信息，其中基本层保留最低分辨率的信息，随着层数的增加分辨率也随 之增加，从而用户能够观赏到更为细腻的画面。质量可伸缩性是指将像素值分解 成不同级别，在基本层每个像素只拥有很小的比特率，因此画面质量粗糙，随着 层数的增加，每个像素的比特率也随之增加，从而能够展现出更为丰富的图像内 容。频率可伸缩性指不同层包含不同的频率信息。基本层包含低频信息，高频信 息放在增强层，随着层数的增加，频率信息也随之增多，从而能够增加画面的清 晰度。 根据可伸缩性粒度大小的不同，可伸缩性又可分为精细粒度的可伸缩性 ( f i n eg r a i ns c a l a b i l i t y , f g s ) 、中等粒度的可伸缩性( m e d i u mg r a i ns c a l a b i l i t y , m g s ) 和粗粒度可伸缩性( c o a r s e g r a i ns c a l a b i l i t y , c g s ) 。增强层的数目越多， 可伸缩性的粒度就越小，反之则越大。 可伸缩视频编码从技术实现上大致可以分为两类：基于小波变换的可伸缩视 频编码和基于分层的视频编码。前者的代表性技术包括微软亚洲研究院提出的 “杠铃式三维提升子带视频编码器( b a r b e l ll i f t i n g ) ”1 7 和m w i e n 等提出的“运 动补偿嵌入式零树块编码器( m c e z b c ) ”【8 】。后者的代表性技术包括h h i 图 像处理小组提出的“h 2 6 4 a v c 的可伸缩扩展”【9 】以及m p e g - 4 的f g s 编码方 第一章绪论 案i l o l 。值得一提的是，这些可伸缩编码方案都采用了基于提升技术的运动补偿时 域滤波m c t f ( m o t i o n c o m p e n s a t e dt e m m lf i l t e r i n g ) 技术。 虽然m c t f 可以实现编码的可伸缩性，然而它的引入加大了编码的复杂性， 复杂性的增加在很大程度上是由更新操作引起的。h 2 6 4 a v c 的可伸缩性扩展已 经被国际电信联盟的联合视频小组采纳，将作为h 2 6 4 a v c ! 的可伸缩扩展加入 到附录s 中。它的主要特点有： 1 分级预测结构 2 分层编码技术，可切换到层间预测 3 兼容h 2 6 4 a v c 的基本层 4 精细质量可扩展，使用渐进精细分片 5 使用并扩展了h 2 6 4 a v c 的n a l 概念 在h 2 6 4 a v c 可伸缩扩展的分级预测结构中，采用了m c t f 架构。本文深 入分析了h 2 6 4 a v c 的可伸缩扩展中的m c t f 技术，对它的更新操作进行了研 究，探索了新的改进方案和残差图像的去块滤波操作。 基于小波变换的可伸缩视频编码技术利用了小波变换的多分辨率分析特性。 除了上面提到的使用三维小波变换的技术外，还有一类是和分形编码相结合的技 术。分形编码在图像编码领域取得了很大成功，但是在视频编码方面的发展却踯 躅不前。分形和小波混合视频编码技术综合了二者的优势，展现了一定的应用前 景【1 2 】 1 3 1 1 4 l ，本文就此领域进行了深入研究，在分析研究现状的基础上，探索了 一种新的分形和小波混合视频编码方法。 1 3 无线网络的视频传输技术 从网络设计角度，无线i p 网络只提供“尽力而为”的服务。为了支持多媒 体业务传输，学者们针对无线网络的传输特点，从不同层面提出了大量的q o s 保证机制。 q o s 信令系统i n s i g n i a 是哥伦比亚大学提出的一种适用于快速建立连接 和快速恢复的带内信令系统【l ”。所谓带内信令系统，是指在该系统中控制信息放 到数据包中一起传送，所以该信令系统具有负载轻、开销小的优点，并能对网络 拓扑和端到端的服务质量情况作出快速反应。由于i n s i g n i a 无法在多种路由约束 或者多条路径之间选择，所以对q o s 的支持是低效的【1 6 1 。 应用层的速率控制机制主要目的是避免拥塞，在当前丢包率下最大化视频 质量。通常采用速率控制和速率整形技术i l7 1 。传输层使用没有重传机制的u d p 协议，在应用层通过调整视频流的速率，适应可用网络带宽的变化，最小化网络 4 第一章绪论 拥塞。速率控制一般会以平稳降低视频质量为代价，需要在“拥塞反应速度”和 “速率的平滑”二者间进行折衷。本文详细介绍了当前支持视频传输的速率控制 的研究进展，在充分考虑无线网络传输特性的情况下，结合自适应视频码流和可 伸缩性码流的特点，研究了一种跨层的自适应速率控制机制。 网络层的q o s 路由机制在此机制下，路径的选择决定于数据流的q o s 需 求和路径的资源可用情况【1 8 1 ，常借助于资源预留实现。王雷掣m 】提出的q o s 多 径源路由q o s m s r 由两部分构成：q o s 路由和多径带宽分离预留。q o s m s r 扩展了m s r 使其支持q o s 路由，提出了多径带宽分离预留的模型，将一个带宽 预留申请分离为多条路径上的多个小的带宽预留申请。然而，由于节点的移动性， 在无线网络中资源预留实际上很难实现。近年来提出的拥塞优化路由【1 9 1 ，实质上 是充分利用网络资源，尽可能减少网络拥塞，进而降低端端延迟，改善接收端视 频质量。本文研究了无线网络中多条视频流的拥塞优化路由的数学模型，在m a c 层链路容量估测的辅助下，探索了一种启发式的实现方案。 m a c 层q o s 调度机制区分业务类型，给视频业务以较高优先级的调度机 制是保证q o s 的重要手段。无线网络中的调度机制一般要考虑到m a c 层差错的 随机性和方位性，以提高网络性能m 】。本文综合分析了现有m a c 层调度机制的 优缺点，在w r r ( w e i g h t e dr o u n dr o b i n ) 的基础上，研究了一种链路状态感知 的调度机制。 跨层设计充分考虑到无线节点移动性对网络性能的影响，近年来提出了跨 层设计的思想 2 1 h 2 5 1 。基本思想是：采用时分方式和空间重用技术，使用物理层 功率控制优化链路层链路容量分配( c a p a c i t ya s s i g n m e m ) ；从优化的链路容量分 配，使用线性( 或非线性) 规划及网络流方法法，建立优化的网络层的流量分配 ( f l o w a s s i g n m e n t ) ，成本函数通常为最小能耗或最小延迟。或几个目标同时优化， 例如优化链路容量分配的同时也优化网络层参数。跨层设计试图在协议栈的各个 层上使用自适应技术调节这些设计参数以达到上述优化目标。代表性研究有斯坦 福大学g o l d s m i t h 教授等提出的跨层优化【2 6 】等。虽然这些研究取得了一定的成果， 但是由于打破了分层设计的理念，缺乏兼容性。另外，所有协议层的自适应会造 成设计的复杂性和较大的协议开销，浪费大量的资源。目前跨层设计还存在争议 1 2 2 。不过，作者认为，根据应用的需求，在不影响整体设计的情况下，适当利用 跨层信息，有助于针对无线网络的特性，提供更好的服务质量。因此，本文的研 究在分层设计的框架下，自始至终贯穿了跨层设计的理念。 第一章绪论 1 4 视频编码和无线网络传输技术的结合 视频编码和网络传输两类技术的独立研究并不能取得很好的效果。近年来， 这两类技术呈现融合趋势，两个领域的研究人员逐步加深合作，兼顾网络本身和 具体视频码流的特点，力图设计出高效的无线网络视频传输技术。 m a o 等根据多描述编码的多个码流相互独立的特点，设计了多径路由技术 m r t p ( 2 7 1 。b a n 等针对h 2 6 4 码流格式设计了容错性打包方法和反馈机制 2 s 】。 g o l d s i m t h 和g i r o d 联合提出的支持实时视频传输的无线a dh o e 网络跨层设计框 架【州，不但研究各个协议层的联合优化，也研究高容错编码方法和考虑网络传输 的r d 模型( r a t ed i s t o r t i o nm o d e l ) 2 9 j 【j 。 视频编码和无线网络传输两类技术相结合，是研究、设计无线网络视频传输 系统的必然趋势，具有重要的研究价值和广阔的应用前景。 1 5 主要研究内容 发送端接收端 图1 1 无线网络视频传输框架 本文将视频编码和网络传输技术有机结合，致力于无线网络( 无线a dh o e 网络和带基站的w l a n ) 中视频传输技术的研究采用跨层设计的理念，提出 了无线网络视频传输的框架，如图i 1 所示。图中给出了通过无线网络相连的发 送端和接收端的协议栈。数据流( 如发送端的左半部和接收端的右半部所示) 遵 从分层设计规范，控制流( 如发送端的右半部和接收端的左半部所示) 采用跨层 设计方法。 在应用层，采用适合无线网络传输的可伸缩视频编码或自适应视频编码。 6 第一章绪论 由于t c p 的重传会导致延迟增加，而实时视频流对延迟很敏感。而且能允许一 定程度的丢包，因此，视频传输通常不采用t c p ，而是使用r t p u d p i p 模式 但是u d p 对丢包、乱序、发送速率等不做任何处理。而r t p ( r e a lt u n ep r o t o c 0 1 ) 也只负责在发送端把应用层数据分包，发送，接收端收到后重新组包传到应用层。 虽然它的伴随协议r t c p ( r e a lt i m ec o n t r o lp r o t o c 0 1 ) 负责统计相关数据，如端 端延迟、延迟抖动等，并反馈到发送端，但是没有规定如何使用这些反馈信息。 因此需要在应用层r t c p 之上增加速率控制，根据r t c p 和网络层的反馈信息， 调整发送速率，进而调整实时视频编码器的目标码率。 传输层使用u d p 协议，不做改动。网络层采用支持视频传输的路由技术， 利用m a c 层提供的链路信息，为视频业务选择、维护满足q o s 需求的路由。另 外，还采用高效的业务调度机制，保证视频业务的优先级，充分利用m a c 层链 路状况，提高调度性能。综上所述，从应用( 视频编码) 到网络( 传输技术) ， 在无线网络视频传输的框架下，各个层面有机结合，共同提高视频传输质量。 本文围绕此框架展开了深入研究。主要内容包括： l 、提出了h 2 6 4 a v c 可伸缩扩展中m c t f 的性能改进方案。现行的可伸 缩视频编码方案大都采用了基于提升方法的运动补偿时域滤波技术。本文在深入 剖析h 2 6 4 a v c 可伸缩扩展中m c t f 实现的基础上，提出了对其更新操作的性 能改进方案，增加了更新操作的约束，并且对残差图像去块滤波后再进行更新操 作。该算法不仅在一定程度上降低了计算复杂度，还提高了视频序列的主、客观 质量。 2 、提出了一种可伸缩视频编码算法：分形和小波相结合的视频编码f e z w ( f r a c t a le z w ) 。本文将嵌入式零树小波编码e z w ( e m b e d d e dz e r o t r e ew a v e l e t ) 和分形编码相结合，在小波域上先进行选择性的帧内或帧间分形预测，然后对剩 余数据进行e z w 编码。该编码器的输出码流支持可伸缩性，适合于无线网络传 输。 3 、提出了跨层的自适应速率控制机制c l a r c ( c r o s sl a y e ra d a p t i v er a t e c o n t r 0 1 ) 。无线a dh o e 网络的可用带宽变数很大，这给有线网络中常用的保证业 务传输q o s 的有效方法( 资源预留、准入控制等) 在无线网络中的实施带来很 大困难，难以满足视频业务的带宽和实时性的需求。本文在视频传输率失真模型 的基础上，提出了跨层自适应速率控制方法。该方法除了利用网络层的反馈信息 外，还根据应用层的拥塞反馈信息，调整视频发送速率。所采用的自适应视频编 码器，和可伸缩视频编码器f e z w ，能提供较精确的输出码流。在适当降低码率 的情况下，有效减少了拥塞丢包的数量，改善了接收端视频的主客观质量。 4 、提出了基于d s r ( d y a n m i cs o u r c e r o u t i n g ) 拥塞优化路由算法c o d s r 第一章绪论 ( c o n g e s t i o n o p t i m i z e d d s r ) 。d s r 只选择最短路径，容易导致负载分布不均 衡，另外，最短路径不一定可用带宽最大本文给出了多视频流的拥塞优化模型， 提出了基于d s r 的启发式路由算法。在d s r 的基础上，加入了路径上视频流的 数目和最大可用带宽的监测，选路时同时考虑跳数和路径上流的数目及最大可用 带宽，最大化视频流的传输速率，最小化网络拥塞。 5 、提出了基于w r r ( w e i g h t e dr o u n dr o b i n ) 的视频业务调度机制 w r r - c s d p s 。区分业务类型的调度机制是保证q o s 的重要手段。本文在w r r 的基础上，结合无线网络的特性，提出了一种支持实时业务的调度算法：信道状 态相关的w r r ( w r r - c s d p s ) 。该算法实现简单，有效避免了队列头部阻塞问 题，提高了信道利用率。实时业务享有较高的优先级，端端吞吐率有较大提高， 端端延迟有所降低，在一定程度上保证了视频业务的服务质量。 1 6 论文结构 本文的组织结构如下：首先介绍在可伸缩视频编码方面的探索工作，第二 章介绍对h 2 6 4 a v c 可伸缩扩展中m c t f 性能的改进，第三章提出分形和小波 相结合的混合视频编码方案，然后结合可伸缩视频编码的特点，本着跨层设计的 思想，着重研究无线网络中不同协议层支持视频传输的控制机制。第四章提出应 用层的速率控制机制。第五章介绍基于d s r 的路由算法c o - d s r 。第六章研究 基于w r r 的调度机制w r r c s d p s 。第七章总结全文，并提出研究展望。 第二章h 。2 6 4 a v c 可伸缩扩展中m c t f 的性能改进 第二章h 2 6 4 a v c 可伸缩扩展中m c t f 的性能改进 2 1 引言 可伸缩视频编码对于可变带宽下的多媒体传输、不同存储容量的媒体存储和 不同分辨率的终端显示都具有重要的意义。可伸缩编码只需一次性编码就能满足 不同带宽、不同分辨率和帧率的需求。 在h 2 6 4 a v c 可伸缩扩展的分级预测结构中，采用了m c t f 架构。本章在 深入剖析h 2 6 4 a v c 可伸缩扩展技术的基础上，提出了其中m c i t 更新操作的 改进算法：增加了更新约束，用于判定一个像素块是否需要进行更新操作；增加 了去块滤波操作，主要目的在于避免因为更新操作而在低通图像中引入块效应， 这样不仅可以改善低通图像的恢复质量，也能在低码率时提高编码效率。 2 1 1m c t f m c t f ( m o t i o n - c o m p e n s a t e dt e m p o r a lf i l t e r i n g ) 。即运动补偿时域滤波【”】。 与传统的运动估计后求预测残差不同，运动补偿时域滤波在像素域的运动估计 后，沿着运动轨迹的方向进行时域一维小波分解，运动轨迹可以由任何块匹配方 法确定。 在没有引入提升小波时，m c t f 中的运动补偿精度很难达到亚像素精度，因 此其编码性能难以与传统的混合编码的性能相匹及，所以一直没有得到广泛应 用。 提升小波是由s w e l d e n s 等提出的构造紧支集双正交小波的一种新方法【3 ”， 称为“第二代小波”。此方法能够将整数映射到整数，实现图像的无损压缩。提 升结构不仅计算复杂度低( 原位计算) ，而且可以嵌入线性甚至非线性变换。基 于提升的小波分解过程由多相分离，预测和更新三个步骤组成。图2 - l 是双通道 滤波器组示例图，其中p 表示预测过程，u 表示更新过程。输入信号瓯经过下 采样和移位下采样，得到偶数序列s ：。和奇数序列岛。，这个过程称为多相分离。 由偶数序列来预测( 参见图中p ) 奇数序列，预测值与奇数序列的差值( 残差图 像) 作为信号的高频分量日。该残差图像经过更新过程( 见图中u ) 对偶数序 列更新得到低频分量l 。合成过程是上述分解过程的逆过程。 第二章h 2 6 4 a v c 可伸缩扩展中m c t f 的性能改进 品一二一岛 ( i ) 分解过程 彻 合成过曩 图2 1 提升小波的分解与合成 下面以h a a r 小波为例。说明视频信号m c t f 的提升分解过程【3 3 1 。设墨明为 一个视频信号，工= ( x ，y ) 7 为其空间坐标。k 为时间坐标，尸为预测算子，u 为 更新算子，瓦和e 分别为高通和低通信号的缩放因子，m ，。为预测时所使用的运 动向量，m 。是更新时所使用的运动向量，是预测时所使用的参考帧，勺。是 更新时所使用的参考帧，h l x , k 表示高通图像( h i g h - p a s sp i c t u r e s ) ，l x , k i 表示 低通图像( 1 0 w - p a s sp i c t u r e s ) 。则h a a r 小波提升表示的预测和更新操作的计算公 式为： 何x ，k 】= 缸工，2 k + l 卜j k ( s i x ，2 k + l 】) i x ，k 】= 4 x ，2 k 】+ ( ，月h ( x ，2 女】)( 2 - 1 ) b m ( s 【x ，2 k + l 】) = s i x + 肼，o ，2 k - 2 r e o 】 u m ，( 薯2 七】) = o 5 h x + m u o ，七+ r u o 】 m c i t 采用了开环架构，因此不会受到错误漂移的影响，所以能够为可伸缩 编码提供一个很好的平台。传统的混合编码采用的是闭环结构，即前一帧的输出 作为下一帧的输入，因此前一帧图像恢复的好坏直接影响到后面图像的恢复质 量，这样误差将会一直延续到下一组图像的开始。这严重影响了整组图像编码的 编码效率，因此传统的闭环结构不太适合于可伸缩编码。 图2 2 为一个3 级的m c t f 分解过程。m c t f 的输入是原始图像组( g r o u po f p i c t u r e s , g o p ) 。通过提升小波的预测过程得到高通图像，通过提升小波的更新 过程得到低通图像。然后我们对低通图像重复这个分解过程直至达到所需要的分 解级数。由于高通和低通图像彼此相关性甚小( m c t f 并非是严格意义上的正交 分解) ，因此对它们分别进行各种独立的可伸缩编码就成为可能。 第二章h 2 6 4 a v c 可伸缩扩展中m c t f 的性能改进 图2 - 2 时域三级小波分解 2 1 2h 2 6 4 a v c 可伸缩扩展中的m c t f 现行的m c t f 一般都是通过提升小波变换来实现的，由于提升小波的天然 可逆性，传统的运动补偿技术能够有效地融入其中，这一点对于m c t f 的实际 应用至关重要。因为运动补偿能够有效去除图像之间的相关性，是决定编码器性 能好坏的关键。特别是提升l g t5 3 小波，它相当于传统意义上的双向预测，因 此能够有效地利用帧间冗余，同时复杂性也不太高。h 2 6 4 3 4 】拥有先进的运动补 偿技术，因此在h 2 6 4 上实现m c t f 会取得很好的效果。 2 1 2 1 预测操作 宏块类型 8 8 类型 1 6 1 61 6 88 1 68 8 口目田田 8 x 8 8 x 4 4 x 8 4 x 4 田圈田圜 图2 - 3h 2 6 4 宏块划分模式 第二章h 2 6 4 a v c 可伸缩扩展中m c t f 的性能改进 由图2 3 可以看出，每个宏块的亮度分量可以有4 种划分方式，即1 6 1 6 、 1 6 8 、8 1 6 、8 8 。如果选择8 8 的划分模式，说明这4 个8 8 块之间的运 动是不一致的，该宏块可能包含很丰富的细节信息。因此为了增强对细节信息的 支持，在h 2 6 4 中对每个8 8 宏块进一步划分，也有4 种方式，即8 8 、8 4 、 4 8 、4 x 4 。这种从宏块划分到亚宏块划分包含很多组合，通常称这种可变块大 小的运动补偿为树形运动补偿。每个色度块也采用与对应亮度块相同的划分机 制，只是每个划分块的分辨率是对应亮度划分块的一半。 帧间编码每个宏块的划分块都会在参考帧中找到对应的参考块。该对应关 系是由运动向量来建立的。正如我们在前面已经提到的。运动向量的准确性会影 响到编码的性能，h 2 6 4 中亮度分量支持i 4 像素精度的运动向量，这样色度分 量就达到了i 8 像素精度。处于亚像素位置的块在原参考帧中是不存在的，运动 补偿时需要通过插值得到。 由于预测是基于宏块的，这样每个残差块之间是不连续的，因此会出现不 连续的块效应。这些残差块会进一步编码和解码，如果将解码的图像直接作为参 考帧，块效应就会传播到下一帧图像中。为避免这种情况发生，h 2 6 4 采用了环 内滤波的方法，即将解码的图像进行去块滤波，只有滤波后的图像才用作下一帧 的参考帧，所以块效应不会传播至下一帧图像之中因此基于宏块预测而导致 的块效应不会或者很少反映在解码的图像之中。环内滤波是h 2 6 4 区别于传统混 合编码最显著的特征之一。 h a a r 分解过程 l g t5 3 分解过程 图2 4h a a r 和l g t 5 1 3 分解过程 可以根据图像的局部特性动态决定采用h a a r 小波还是l g t5 3 小波。采用 h a a r 小波时预测操作就是传统意义上的单向预测，而采用l g t5 3 小波时预测 操作就是传统意义上的双向操作。当图像内容比较连贯一致时，采用拍数更长的 第