（信号与信息处理专业论文）基于roi的可伸缩视频编码及码率控制.pdf

中国科学技术大学硕士学位论文 摘要 摘要 随着互联网的发展和多媒体信息的丰富增长，新一代视频压缩编码和网络传 输技术不断出现并曰益成熟。基于视频内容的交互、灵活的可伸缩的视频流传输、 以及对更好的主观服务质量的追求已经成为重要的研究课题。本论文在对视频主 观质量的评价、h 2 6 4 的编码特性和关键技术以及码率控制和码流分配策略进行 研究的基础上，在基于感兴趣区域的视频可伸缩编码及码率控制的体系和方法方 面开展了具有创新性的研究工作。本论文具体的研究工作和研究成果如下： 首先，本论文对h 2 6 4 视频编码标准的高编码效率和网络友好性进行分析。 在简要说明了h 2 6 4 标准的特性后，重点研究了h 2 6 4 分层结构中网络抽象层和 视频编码层的关键技术以及编解码系统实现，最后对比其他视频编码标准给出性 能分析，证明h2 6 4 具有更高的编码效率、更好的图像质量和更好的网络适应能 力，为本论文后续的研究工作提供了理论依据和验证平台。 其次，本论文提出了改进的h 2 6 4 码率控制算法。为了取得最优化的压缩效 率，确保编码数据在信道成功传输，并在接收端获得最佳的视频质量，率失真优 化和码率控制技术具有重要的地位。本论文首先论述了码率控制的必要性和基本 原理，扼要介绍几种典型的码率控制算法。针对目前h 2 6 4 的码流控制算法在编 码效率和码率分配上的不足之处，在实现率失真最优化的基础上，采用模型参数 更新的方法，实现改进的自适应码率控制策略和码流分配算法。仿真实验结果表 明，与j v t 提案中j v t - h 0 1 4 码率控制算法相比，改进的方法获得较高的p s n r 和主观视觉质量，在相同条件下码率控制更加精确。 最后，本论文实现了基于r o i 的视频可伸缩编码和码率控制策略。可伸缩 性视频编码作为一种有效实用的应用层控制策略，可以适应流化视频在带宽波动 的网络上传输的需要。而图像的感兴趣区域( r o i ，r e g i o no fi n t e r e s t ) 编码技 术很好地解决了压缩比和图像质量之间的矛盾。为了在变化比特率情形下实现最 优化的视频编码流传输，论文引入了基于视觉注意力的主观感知r o i 编码思想， 按照改进的码流分配和码率控制算法，在h 2 6 4 上构建了分层可伸缩编解码系 统，实现了基于r o i 的可伸缩视频编码。仿真实验结果和主观用户评测表明， 与j v t - p 4 2 的r o i 编码方法相比，本论文编码方法在保证感兴趣区域质量的前 提下，编码性能和主观整体视觉效果都明显改进，同时输出码流更加逼近目标比 特率，在较低带宽的场合尤其明显。 关键词：h 2 6 4 ，感兴趣区域，码流分配，码率控制，可伸缩视频编码 中国科学技术大学硕j 二学位论文 a b s t r a c t d u et ot h er a p i dg r o 叭ho fi n t e r n e ta n dt h ea b u n d a n c eo nv i d e oc o n t e n t s ，m a n y n o v e lv i d e oc o d i n ga n ds t r e a m i n gt e c h n i q u e sh a v eb e e np r o p o s e da n dd e v e l o p e d c o n t e n ti n t e r a c t i v ev i d e oc o d i n g ，f l e x i b l ys c a l a b l ev i d e os t r e a m i n g ，a n dt h e r e q u i r e m e n to fb e t t e rs u b j e c t i v es e r v i c eq u a l i t yh a v eb e c a m ei m p o r t a n tr e s e a r c h t o p i c s i nt h i st h e s i s ，t h ea u t h o rp r o p o s e sa ni n n o v a t i v es y s t e ma n dm e t h o do n s c a l a b l ev i d e oc o d i n gb a s e do nr o i ( r e g i o no fi n t e r e s t ) a n dr a t ec o n t r o ls c h e m e ， b a s e do nt h er e s e a r c hw o r k si n c l u d i n gs u b j e c t i v ev i d e oq u a l i t ya s s e s s m e n t ，v i d e o c o d i n gi d e n t i t ya n dp i v o t a lt e c h n i q u eo fh 2 6 4 ，r a t ec o n t r o la n db i ta l l o c a t i o nm e t h o d e t c t h ed e t a i l e dr e s e a r c hw o r k sa r el i s t e da sf o l l o w i n g ： f i r s t l y , h i g hc o d i n ge f f i c i e n c ya n dn e t w o r kf r i e n d l i n e s sr e p r e s e n t a t i o no fh2 6 4 v i d e oc o d i n gs t a n d a r da r ea n a l y z e di nt h i st h e s i sa f t e rb r i e f l yi l l u m i n a t e dt h ei d e n t i t y a n dm e r i t so fh 2 6 4 ，t h ea u t h o rs t r e s s e st h en e wc o d i n gt e c h n o l o g i e so fi t sl a y e r e d e n c o d e rs t r u c t u r e ，w h i c hi s c o m p o s e d o fv c l ( v i d e o c o d i n gl a y e r ) a n d n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) ，a n dt h ei m p l e m e n to fc o d e cs y s t e m l a s t l y ， c o m p a r e dw i t hp r i o rs t a n d a r d s ，t h ej o i n ts t a n d a r dp e r f o r m a n c ei sa n a l y z e dt op r o v e t h a th 2 6 4h a sh i g h e rc o d i n ge f f i c i e n c y ，b e t t e rv i d e oq u a l i t ya n ds t r o n g e rn e t w o r k a d a p t a b i l i t y a l lt h e s ec o n t r i b u t e t ot h el a t t e rr e s e a r c hw i t ht h e o r ys u p p o r ta n d s i m u l a t i o nf r a m e 、v o r k s e c o n d l y , a ni m p r o v e dr a t ec o n t r o ls c h e m eo fh 2 6 4i sd e s c r i b e di nt h i st h e s i s i nt h ef i r s t ，t h en e e da n db a s i cp r i n c i p l eo fr a t ec o n t r o li sd i s c u s s e da n ds o m em a i n r a t ec o n t r o la l g o r i t h m sa r ep r e s e n t e dn e x t ，f o rt h es a k eo fo v e r c o m i n gt h ed r a w b a c k i nc o d i n ge f f i c i e n c ya n db i ta l l o c a t i o no fc u r r e n tm e t h o do fh 2 6 4 t h ea u t h o rp r e s e n t s a na d a p t i v er a t ec o n t r o ls c h e m eo fh 2 6 4b yi m p r o v i n gs c h e m eo fu p d a t i n gp a r a m e t e r o fr a t e d i s t o r t i o nm o d e lt og a i nf r a m et a r g e tb i ta l l o c a t i o na n dr e g u l a t eq u a n t i z a t i o n p a r a m e t e ri nm a c r o b l o c kl a y e ra f t e ra c h i e v e dr d o ( r a t ed i s t o r t i o no p t i m i z a t i o n ) p e r f o r m a n c e t h ee x p e r i m e n t ss h o wt h a t ，c o m p a r e dt oj v t h 0 1 4r a t e c o n t r o l a l g o r i t h m ，t h i si m p r o v e dm e t h o do b t a i n st h eh i g h e rp s n ra n dv i s u a lq u a l i t ya n d c o n t r o l st h er a t em o r ea c c u r a t e l yu n d e rt h es a m ec o n d i t i o n a tl a s t ，t h i st h e s i sa c h i e v e sl a y e r e ds v c ( s c a l a b l ev i d e oc o d i n g ) a n dr a t ec o n t r o l s c h e m eb a s e do nr o im o d e l d u et or e a l i z ea d a p t i v es t r e a m i n gv i d e ot r a n s m i s s i o n u n d e rf l e x i b i l i t yb a n d w i d t hn e t w o r k ，s v ci sa sa ne f f e c t i v em e t h o do na p p l i c a t i o n l e v e l i m a g ec o m p r e s s i o nb a s e dr o ie n c o d i n gt e c h n i q u es o l v e st h ed i l e m m ab e t w e e n i f 中国科学技术丈学硕士学位论文 t h ei m a g eq u a l i t ya n dc o m p r e s s i o nr a t e t h e r e f o r e ，i no r d e rt oa c h i e v eo p t i m a lv i d e o c o d i n gs t r e a mt r a n s m i s s i o nu n d e rv b r ( v a r i a b l eb i tr a t e ) c o n d i t i o n ，ap e r c e p t i v e r o im o d e lb a s e do nv i s u a la t t e n t i o ni si n t r o d u c e da f t e rp r o p o s e da ni m p r o v e dr a t e c o n t r o ls t r a t e g yt op r o c e s sb i ta l l o c a t i o nb a s e do nt h i sm o + d e la c c o r d i n gt or d o t h e o r y ，an e wp e r c e p t u a l l ym o t i v a t e ds v cs c h e m eb a s e do nr o ti s r e a l i z e si nt h i s t h e s i ss i m u l a t i o ne x p e r i m e n t a lr e s u l t sa n ds u b j e c t i v eu s e re v a l u a t i n gi n d i c a t et h a t ， c o m p a r e dt oj v t - p 4 2r 0 1c o d i n gm e t h o di nr o iq u a l i t y , t h ep r o p o s e ds c h e m ei s s u p e r i o rt o i ti nt e r mo fs u b j e c t i v ev i s u a lq u a l i t ya n dc o d i n gp e r f o r m a n c ea n d g u a r a n t e e sr o iq u a l i t ya tt h es a m et i m e o w i n gt oi m p r o v e dr a t ec o n t r o ls c h e m e ，t h e e n c o d e ds t r e a mi sm o r ea c c u r a t et ot a r g e tb i tr a t e ，e s p e c i a l l ya tl o w b a n d w i d t h c o n d i t i o n s k e y w o r d s ：h 2 6 4 ，r e g i o no fi n t e r e s t ，b i ta l l o c a t i o n ，r a t ec o n t r o l ，s c a l a b i l i t yv i d e o c o d i n g i i i 中国科学技术大学硕士学位论文第一章绪论 第一章绪论 1 1 引言 近年来，随着数字通信技术和各种网络技术的迅猛发展以及宽带i n t e m e t 在 全球的迅速普及，多媒体通信越来越成为人们研究的热点，而视频压缩编码技术 则是多媒体通信系统中的一个重要组成部分，它可广泛应用于在视频存储、会议 系统、视频点播、监控系统、远程教学、可视电话等方面，在实际的社会生产 生活中有着巨大的需求。 随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益 显现出来。这就是i t u t 的v c e g 和i s o i e c 的m p e g 共同建立的联合视频组 ( j v t ) g t 定的视频新标准h 2 6 4 所要解决的问题。h 2 6 4 是一个面向多种比特率的 自然视频编码标准，既可阱应用到高码率的h d t v 和数字存储系统，也可以用 于低码率的实时通信系统。虽然h 2 6 4 仍旧采用了基于运动估计、运动补偿和变 换编码的混合编码方法，但是新增加的多种特性和能力获得了巨大的系统增益。 由于其高效的压缩性能和网络友好性，而成为当前多媒体通信中的研究的热点。 通常情况下，视频编码的目标是在给定的比特率下，对视频质量进行优化。 但在网络视频应用系统中，传输是所使用的信道容量在很大范围变化，便不知道 信道的容量，因此无法确定输出码流的速率。传统的视频编码方式不适合网络传 输，原因在于他们的目标是将视频压缩成适合一个或几个固定码率的码流。而理 想视频编码方法应该具有在任意位置截断的特性，并且解码的质量随着码流增加 而提高，面向网络传输的视频编码目标就是将视频压缩成适合一个范围的码流。 与面向存储的视频编码技术不同，互联网中的流化视频服务对视频编码技术 提出了新的挑战。在追求高编码效率的同时，为了适应网络异构性和带宽波动， 面向互联网的流化视频编码需要提供可伸缩的编码码流。精细可伸缩的视频编码 方案的带宽适应性最优，其码流能够很好的适应网络环境下视频服务要求，但是 在无线网络、手持终端设备等低带宽的应用场合，视频传输的服务质量，尤其是 主观感知质量还有待提高。为了使可伸缩编码有更高的灵活性，还需要引入对基 于感兴趣的可伸缩编码方法。 视频流在带宽不一致的网络上传输，为了充分利用提供的网络资源，并保证 用户获得最优的感觉质量，需要引入某种码率控制机制。一方面，视频编码器的 过速率输出会引起业务拥塞，并导致网络阻塞。另一方面，视频编码器输出比特 率无控制的减少，会导致不必要的质量降级及对现存带宽资源的低效利用。需要 采用码率控制技术来调整并控制视频源的输出比特率，以获得在质量和带宽利用 中国科学技术大学硕十学位论文 第一章绪论 上的最佳均衡。 为此，本论文在分析h 2 6 4 视频编码新技术和码率控制策略发展的基础上， 提出了的基于感兴趣区域的可伸缩编码方法，在改进的码率控制算法下实现码流 分配，来实现在限定带宽下最优化的视频编码传输。 1 2 视频编码标准的发展 与许多技术一样，标准化是产业化活动成功的前提，视频编码技术标准化和 国际化是学术界和工业界共同研究开发的基础，也为编码视频的交互和更为广泛 的应用创造了必要的条件。视频编码标准化工作始于上个世纪八十年代初期。最 先由c c i t t ( i n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n ec o n s u l t a t i v ec o m m i t t e e ) 发起， c c i t t 现名为i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r ) 。随后c c i r ( 现为1 t u r ) 、i s o ( i n t e r n a t i o n a lo r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ) 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 也参加了 这项工作。i t u t 相继发布了h 2 6 x 系列标准，而i s o i e c 则推出了m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 系列标准。 针对不同应用需求，i t u t 和i s o i e c 又相继推出了h 2 6 1 、m p e g l 、 m p e g 一2 、h 2 6 3 、m p e g 一4 和h 2 6 4 。i t u t 的h 2 6 x 系列标准主要面向低码率 的实时视频通信，如视频会议和视频电话；i s o i e c 的m p e g 一系列标准主要是 面向视频存储、视频广播和流媒体等应用。表l l 列出了一些主要的视频编码标 准及其应用。 其中，m p e g 编码技术是从h 2 6 1 视频编码技术”1 ( 不含音频编码) 发展而来 的。此外，在1 9 9 9 年1 月公布了m p e g 一4 标准之后，m p e g 组织制定了m p e g 7 “多 媒体内容描述接口”。2 0 0 0 年3 月成立的m p e g 一2 l 工作组还在酝酿制定m p e g 2 1 标准，其核心目标是使数字多媒体信息资源能被大范围的网络和设备透明和增值 地使用。 i t u - t h2 6 x 和i s o i e c 的m p e g x 系列标准都是建立在基于块匹配的混合 编码框架下的，并且有非常类似的结构。它们都是建立在d p c m 和变换编码基 础下的有损编码。m p e g 在t t 2 6 1 视频编码算法的基础上改进、发展，而巨向 后兼容，可处理经h 2 6 1 处理过的数据。此后，两个系列的标准一直也处于互动 的演进过程中。 h 2 6 4 是i t u t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在 代替先前的h 2 6 3 标准。2 0 0 1 年，i s o m p e g 也加入了开发队列，组成了j v t f j o i n t v i d e ot e a m ) 进行联合开发。他们希望制定一个能够比m p e g 4 和h ，2 6 3 表现更出 色的新标准，提供更好的压缩图像质量，并且具备一系列可以支持高质量、低码 中国科学技术大学硕士学位论文 第一章绪论 率压缩的特性。h 2 6 4 在2 0 0 3 年5 月正式批准为国际标准【5 】。 r 2 6 4 是目前最为高效的一个视频压缩标准，它的压缩效率比m p e g 4 和 h 2 6 3 + 提高了近5 0 。在整个框架下，h2 6 4 和先前的标准没有太大差别，都包 含预测、变换、量化和熵编码这几个功能单元。但在每个功能单元的细节下， h 2 6 4 做了很大的变动。更详细的关于h 2 6 4 的内容将在第二章节中具体阐述。 表i 1 视频编码标准及其应用 码率应用 m p e g i 视频 0 8 k b p s 1 5 m b p s v c d c d r o m 3 m b p s l0 m b p sm p m l 数字广播，d v d ， d v h s m p e g 一2 视频 1 6 m b p s 5 0 m b p s m p h l m e p g 标准 5 0 m b p s - 1 0 0 m b p s4 2 2 p h l 专业视频处理 1 0 k b p s c - 3 8 4 k b p ss p l 1 2 3 c e l l a r ，i n t e m e t m p e g 4 视频 1 0 k b p s 2 m k b p sc p l i 2 2 m b p s 3 8 m k b p sm p l 2 1 3 4 交互式电视 5 0 0 m b p s 1 2 0 0 m b p ss t u d i o l 1 2 3 4 视频剪辑 h2 6 1 6 4 k b p s 1 5 m b p s 视频电话( i s d n ) i t u t 标准h 2 6 2与m p e g 2 视频相同 h2 6 31o k b p s 3 8 4 k b p s 视频电话( p s t n ) 1 3 码率控制下的视频流传输 进入二十世纪九十年代后，新的数字媒体载体技术日新月异的发展，使得视 频内容的存储问题己经不是阻碍视频信息广泛应用的主要问题。随着i n t e m e t 的 迅猛发展，网络已经深入人们的日常生活，而多媒体信息，尤其是连续媒体内容 正在迅速地增加，使得视频信息在网络上的应用需求日益广泛、迫切，而视频编 码的目标也就从过去的面向存储转变为面向网络传输。在网络视频应用的初期， 视频内容在网络上传输主要是通过在发送端和接收端建立端对端的连接来实现 的。在这种情况下，视频传输所需的带宽是可知的并且相对稳定。随着互联网视 频服务需求的快速增长，越来越多的视频内容采用数据包广播的力式在互联网上 进行传递。由于i n t e r a c t 网络设计的初衷是为了计算机问的数据通信，因此多媒 体数据，特别是视频流，在网络上的传输还面临着诸多问题。 中国科学拄术大学硕士学位论文第一章绪论 1 3 1 视频流传输技术及其现状 同一般的文件传输不同，压缩视频在网络上是以视频流化( v i d e os t r e a m i n g ) 的方式进行传输的。流化视频通常不采取静态数据的传输方式，不必将全部的媒 体节目视频信息下载到终端设备后再播放，而具有边下载边播放的特点。对于终 端用户而言，在享用视音频服务的同时，无需等待漫长的下载时间，也不必提供 大容量的存储设备，在带宽充足的情况下，可以获得本地播放多媒体文件的效果。 这也使得实时的节目流传输成为可能。 尽管视频流化技术研究己经取得了相当的成果，也推出了相应的实用产品， 然而它在网络实时传输中依然很难提供用户满意的服务质量。除了误码和缺乏服 务质量保证( q o s ，q u a l i t yo fs e r v i c e ) 此类传统的网络传输问题之外，在网络 上传输视频等多媒体信息所面临的最大挑战则是传输带宽的抖动，即相同的终端 不同的时间或者不同的终端相同时间访问互联网时所得到的传输带宽存在很大 的差异。这个问题主要由于网络的异构性所造成。再加上i n t e r n e t 网络并不提供 资源预留一类的协议保护，也不支持多优先级的传输，这样，在网络拥塞时，多 媒体信息传输所得到的有效带宽会陡然降低，从而严重地影响接收到的多媒体信 息的质量。传统的视频编码技术通常希望在给定的某个码率下获得最好的视频质 量，因此其产生的码流很难适应如此复杂的网络带宽波动，不能充分利用信道的 容量。如何在异构的网络环境中高效的传输连续媒体成为产业界和各科学研究机 构密切关注的问题。 为了更好的推动视频流在网络上的应用，低码率编码、容错编码、分层编码、 可伸缩编码成为今年研究的热点。面向互联网的流化视频高效编码技术逐渐成为 诸多国内外从事信息处理和多媒体技术研究的大学、研究院、公司和国际标准化 组织研究开发关注的重要课题。特别的是，我国数字视音频编解码技术标准化工 作组( a v s ) 6 1 的建立有力地推动了我国流化媒体技术的发展。 2 0 0 5 年4 月1 8 同至2 2 日，第7 2 届m p e g 会议在韩国釜山举行。继m p e g 一4 a v c h 2 6 4 的成功工作之后，由m p e g 和v c e g 联合起来的j v t ( j o i nv i d e o t e a m ) 继续合作，起草包括s v c ( 可伸缩视频编码) 、3 d a v ( 三维音视频 编码) 等新的标准部分以及对以前标准的修订和扩展。这也将是今后两年内 m p e g 最重要的任务之一，引起了国内专家的关注。目前可伸缩视频编码( s v c ， s c a l a b l e v i d e oc o d i n g ) 已经成为了视频编码的焦点。 1 3 2 可伸缩性的视频编码 由于网上视频传输技术的发展，现在的视频编码已经不单纯是为了压缩数据 中国科学技术大学硕士学位论文 第一章绪论 量，而是发展成对拥塞控制、差错控制和延迟控制等都有很大帮助的支持服务质 量控制的视频编码算法。目前越来越多视频在网络上传输，而传统的视频编码方 法并不适合这种需要，其根本原因在于传统的视频编码目标在于将视频压缩成一 个或几个固定码率的码流，也就是传统的视频编码是面向存储的。由于网络的异 构性，同时对于传输缺乏q o s 保证，带宽会在一个很大的范围内变化，与此同 时不同的客户端对于接收码流的处理能力也会有所不同，因此面向网络传输的视 频编码目标是将视频压缩成适合码率范围的码流，实现可伸缩的视频编码”j 。 可伸缩性编码( s c a l a b l ec o d i n g ) 是流化视频编码新出现的一种重要的技术， 目前它已经被许多现行的国际压缩标准”1 所接纳。可伸缩视频编码方法将一个视 频内容编码成多个码流，其中一个是基本层码流，通常码率较低，可以独立解码。 其他的码流成为增强层码流，它们需要与基本层码流一起被解码以获得更好的解 码图像效果。它通过增强层码流在传输中取舍来适应带宽抖动。 与面向存储的视频编码技术不同，互联网中的流化视频服务对视频编码技术 提出了新的挑战。在追求高编码效率的同时，为了适应网络异构性和带宽波动， 面向互联网的流化视频编码需要提供可伸缩的编码码流。在进一步提供编码效率 的前提下，这些技术都有良好的发展前景，是网络视频编码技术研究的热点方向。 1 3 3 码流控制的必要性 当我们对视频序列进行编码的时候，每一时间单位所产生的码流的比特数各 不相同，因此在通信信道上( 无论其传输率是恒定还是可变) ，必须在编码器和 信道问放置一个先入先出的缓冲区以平滑输入，同时还需有一个控制系统来进行 必要的控制，这个控制系统就是码率控制，它通过选择一些编码器的参数来对由 于图像变化而引起的码率变化进行调整，防止缓冲区的上溢或下溢，从而使得输 出码流在保证图像质量稳定的条件下，适应有限的信道容量。换句话说，码率控 制策略的目的是，通过对量化参数的自适应选择，使视频编码器在一定视频数据 带宽的限制下能够保证较稳定的码率和帧率以及较小的视频时延。 码率控制就是视频编码策略中最为重要的部分之一，它对编码的图像质量起 到了决定性影响【8 】。码率控制的目的是，通过对量化参数的自适应选择，使视频 编码器在一定视频数据带宽的限制下能够保证较稳定的码率以及较小的视频时 延。 由此可见，码率控制策略的选择对于能否成功地在信道上传输编好的视频 数据起着至关重要的作用。在一些视频编码的国际标准中，无论是h 2 6 x 系列， 还是m p e g 系列，都没有对码率控制模块做具体的规定，因此人们可以根据不 中国科学技术大学硕士学位论文第一章绪硷 同的应用环境，和不同的视频编码协议而采用各种有效的码率控制策略。 1 3 4 基于r o i 的视频编码及流传输 人们在观察图像时，往往只对其中的某个区域感兴趣，并希望这些区域有较 高的分辨率，而对其他区域只要达到基本的视觉要求即可。这时，我们可以对感 兴趣区域进行低压缩比甚至是无损压缩编码以求获得高质量的重建图像，而对其 他区域采用较高压缩率，这就是r o i ( r e g i o no fi n t e r e s t ) 编码技术 9 1 。即在图 像中的感兴趣区域进行无损或近无损压缩，而在其它区域采用有损压缩，从而既 可以获得所期望的高质量的图像信息，又保持了较高的压缩比，很好地解决了压 缩比和图像质量之问的矛盾。 r o i 编码在实际应用中可以实现高度的灵活性，用户可以根据带宽情况以及 所需图像某一区域内容的价值选定感兴趣区域，按自己需求进行处理，然后用户 可以根据不同的质量生成图像，在编码压缩时可以根据具体情况选择有损压缩和 无损压缩的各自区域，也可调节各区域的压缩比。尤其在低比特率视频编码和流 传输的时候，r o i 编码显的尤为重要。 基于r o i 视频编码空间码流分配的基本思路就是，为感兴趣的区域分配更 多的码率，使其有很好的视觉质量，而其他区域则相应的减少分配的码率，因其 误差敏感度较低而对整体视频质量影响较小。这样，在同样的码速率限制下，这 种码率分配方案的编码结果将会比传统的均匀分配码率的结果有更好的主观视 觉质量【”】。 因此，我们引入了加权r o i 模型的思想，结合高编码效率和网络友好性的 h 2 6 4 视频编码特性，在研究分析码率控制算的基础上，提出了基于r o i 的可伸 缩视频编码系统，从而在充分利用信道的容量保证视频主观质量的前提下，有效 地克服了网络带宽的抖动带来的影响，在网络实时传输中依然提供用户满意的服 务质量。 1 4 论文的研究目标和内容 基于上述的视频编码以及流传输技术应用的背景和现状，以及存在的挑战性 的研究问题，本文的研究目标是，研究建立一个基于内容的、可以在低带宽和动 态带宽的网络环境中获得最佳的主观视觉质量的视频编码和流传输系统和方法。 为了达到这些目标，本文首先研究了高编码效率和网络友好性的 i 2 6 4 视频编码 特性和新技术，然后研究了率失真最优化的自适应码率控制算法，针对r o i 编 码建立了加权r o i 的模型后，提出了基于r o i 模型的码率控制和码流分配策略， 6 中国科学技术大学硕士学位论文第一章绪论 重点研究了在h2 6 4 上实现h 2 6 4 的分层可伸缩编码的系统和关键技术实现，最 后介绍了算法对比评测和主观视频评价的标准。 ( 1 ) h 2 6 4 性能特性分析 结合视频编码标准发展，重点研究了h 2 6 4 对于编码效率和网络友好性的分 层编码结构和关键技术，并对比其他标准进行性能分析。 ( 2 ) 基于r o i 的编码的加权r 0 1 模型构建 首先提出了r o i 模型建立过程，针对r o i 编码带来的边界效应而影响主观 整体视觉质量的不足之处，提出了一种梯度带扩展的加权r o i 模型，保证了r o i 到背景的平稳过渡，、止码流更加合理地分配，在较低码率下既保证r o i 的优先 重要等级，又提高了图像的整体质量。 ( 3 ) 基于r o i 模型的码率控制和码流分配改进算法 首先分析了几种经典的码率控制算法，重点研究了j v t 提出的h 2 6 4 的码 率控制算法，针对其需要改进之处，提出了率失真最优化的自适应码率控制算法。 在此基础上，提出了基于加权r o i 模型的码率控制策略和码流分配算法，通过 模型参数更新技术可以更加精确地控制输出码率，尤其在低带宽下实现主观视频 质量提高的前提下，实现变化带限下的自适应可伸缩视频编码。 ( 4 ) 分层可伸缩视频编码系统和实现的关键技术 为了更好实现基于r o i 模型的码率控制，在h ，2 6 4 的架构上提出了分层可 伸缩编码系统，重点研究了多个r o i 重叠处理、改进的增强层编码和预测以及 h 2 6 4 语法改进等关键实现技术。最后用对比仿真试验和主观用户评测给出了改 进算法的性能分析。 1 5 论文组织结构 本文从视频编码和流传输中存在的问题入手，为了在限定带宽下增强视频的 整体主观质量和码流的可伸缩性，首先分析了h 2 6 4 的视频编码标准及其性能特 性和码率控制策略的发展，在总结分析目前研究工作的基础上，提出了梯度带扩 展的改进r o i 模型，并在此模型上提出了分层可伸缩编解码系统，并改进了增 强层的编码和预测策略，在改进的码率控制算法下实现r o i 模型下的码流分配， 实现基于r o i 的可伸缩视频编码和码率控制。 全文共分为五章。 第一章为绪论。首先回顾了视频编码发展历史和背景，然后简要介绍了 h 2 6 4 a v c 视频压缩标准，针对视频流传输中存在的问题，分析了码率控制策略 的和视频流的主观视频质量评价必要性，提出在h 2 6 4 上实现基于r o i 的视频 中国科学技术大学硕士学位论文 第一章绪论 可伸缩编码的方案，最后给出了本文的研究内容。 第二章为h 2 6 4 视频编码标准。本章在简要说明了h 2 6 4 标准的概况和特点 后，重点介绍了h ，2 6 4 中的分层结构及对应的网络抽象层和视频编码层采用的关 键技术，然后给出了h 2 6 4 的编解码系统框架和实现，最后将h 2 6 4 和其他视频 编码标准进行性能对比试验，并给出仿真结果和性能分析。 第三章为h 2 6 4 码率控制的改进。本章首先论述了码率控制的必要性和基本 原理，扼要介绍几种经典的码率控制算法，然后分析了h 2 6 4 的码流特点，基于 此提出了一种针对h 2 6 4 a v c 视频压缩标准采用的码率控制算法。该算法在率 失真最优化实现的基础上，采用改进的参数模型的更新方法，来对帧目标比特值 的码流分配和宏块级量化系数进行调节，得到一个自适应的码率控制算法，最后 给出了对比试验的仿真结果性能分析。 第四章为码率控制下的基于r o i 的视频可伸缩编码。本章首先分析由于带 宽限制和网络波动给视频流传输带来的影响，为了在在目前相关算法研究的基础 上，在h2 6 4 的编解码结构上实现了基于r o i 模型的分层编解码结构，按照率 失真最优化下的改进码率控制策略，提出了基于改进r o i 模型的码率控制算法， 实现了基于r o i 的可伸缩视频编码和码率控制，在限定带宽下实现最优化的视 频编码传输。 第五章为工作总结与展望。总结基于r o i 的感兴趣视频编码和码率控制算 法上的研究工作和改进之处，并对该课题今后进一步的研究方向和改进空间进行 讨论。 中国科学技术大学硕士学位论文第二章 l 2 6 4 视频编码标准研究 第二章h 2 6 4 视频编码标准研究 2 1 h 2 6 4 概述 2 1 1h 2 6 4 总体介绍 h 2 6 4 是由i s o f l e c 与i t u t 组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 带0 定的新一代视频压缩编码标准。 2 0 0 1 年，i s o 的m p e g 组织认识到h2 6 l 潜在的优势，随后i s o 与i t u 开 始组建包括来自i s o f l e cm p e g 与i t u tv c e g 的联合视频组u v t ) ，j v t 的主 要任务就是将h 2 6 l 草案发展为一个国际性标准。 2 0 0 3 年3 月，j v t 提交的草案得到i t u t 的获准，1 0 月得到i s o 批准，从 此正式成为国际标准。在i s o i e c 中该标准命名为a v c ( a d v a n c e d v i d e o c o d i n g ) ， 名为m p e g 一4p a r t1 0 ；在i t u t 中正式命名为h 2 6 4 标准”。 h 2 6 4 标准的目标是具有更高的编码效率、更好的图像质量、更强的时延适 应性、更强的容错能力和更好的网络适应能力，代表了当前业界最先进的视频压 缩技术，且具有以下无可比拟的优越性： ( 1 ) 码率低：和m p e g 2 等压缩技术相比，在同等图像质量下，采用h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 2 1 3 。 ( 2 ) 图像质量高：h 2 6 4 能提供连续、流畅的高质量图像。 ( 3 ) 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包 等错误的必要工具。 ( 4 ) 网络适应性强： l 2 6 4 提供了网络适应层，使得h 2 6 4 的文件能容易 地在不同网络上传输。 目前，h 2 6 l 与h 2 6 3 在视频通信中广泛应用，成熟的产品已经很多。h 2 6 3 与h 2 6 1 相比，增加了若干选项，提供了更灵活的编码方式，压缩效率大大提高， 更适应网络传输。h 2 6 4 标准的推出，是视频编码标准的一次重要进步，它与现 有的m p e g 2 、m p e g 4s p 及h 2 6 3 相比，具有明显的优越性，特别是在编码效 率上的提高，使之能用于许多新的领域。 下图给出了视频编码标准发展的历史和性能的对比，从图2 1 可以看出， h 2 6 4 的编码性能明显优越于以前的编码标准。 中国科学技术大学硕士学位论文 第二章h2 6 4 视频编码标准研究 图2 - i 视频标准发展的历史和性能对比 2 1 2h 2 6 4 的分层结构 制定h 2 6 4 a v c 标准是其目标主要有两个方面：一方面提高压缩性能：另 方面可以方便的应用于目前以及将来的多种网络形式，满足视频技术、广播、流 媒体等多种应用的需要。 所以，视频的各种应用必须通过各种网络传送，这要求一个好的视频方案能 处理各种应用和网络接口。h 2 6 4 a v c 为了解决这个问题，提供了很多灵活性 和客户化特性。h 2 6 4 a v c 的设计方案包含两个层次，视频编码层( v c l ，v i d e o c o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层 主要致力于有效地表示视频内容；网络抽象层格式化v c l 视频表示，提供头部 信息，适合多种传输和存储媒体。其分层结构如图2 2 所示： 图2 - 2h 2 6 4 的分层编解码结构 ( 1 ) 视频编码层( v c l ) ： - 1 0 中国科学技术大学硕士学位论文第二章h2 6 4 视频编码标准研究 h 2 6 4 标准的视频编码层包括基于块的运动补偿混合编码和一些新特性，与 以前的视频编码标准一样，h 2 6 4 没有把前处理和后处理等功能包括在标准中， 这样可以增加标准的灵活性。在视频编码层中，运动补偿的过程不同于先前的标 准，它支持多种块的形状和尺寸，支持小数取样内插滤波，支持小至4 x 4 的块 尺寸和多参考帧图像。运动位移的精度通常为1 4 ，也支持l 8 精度。它除了支 持i 帧、b 帧和p 帧外，还支持两种新的流问转换帧s p 帧和s i 帧。在编码器预 测环路采用了去块效应滤波。 f 2 ) 网络抽象层( n a l ) ： 网络抽象层负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道 的信