（计算机应用技术专业论文）基于低内存消耗查询表的视频压缩码率控制技术.pdf

浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 摘要 在网络多媒体通信中，视频压缩和传输技术起着越来越重要的作用。近些年 来，许多视频压缩国际标准相继被提出，如m p e g 系列标准和h 2 6 x 系列标准， 它们被广泛应用于数字广播电视标准、d v d 压缩标准等。视频经过压缩后数据 量大大减少，降低了在网络传输时的带宽占用，从而可进行有效地传输。 由于视频压缩技术自身的特性，一个视频序列经过压缩编码之后得到的码流 是变码率的。然而，在许多网络视频通信中，这些数据需要通过恒定码率的网络 通道进行传输，以防止可变码率传输造成网络带宽的波动。所以，在视频的编码 端，压缩得到的数据通常需要先存入一个缓存器，然后再以恒定的码率输出到网 络中；在视频的解码端，从网络上收到的数据同样存入一个缓存器，接着以可变 码率输出进行解码。缓存器可能发生上溢或下陷，因此在编码端需要引入码率控 制技术来调整码流，以尽量避免异常发生。 码率控制技术在视频压缩过程中扮演着重要的角色。它被甩来在视频网络传 输时控制和调整编码端输出的码流，以满足网络带宽的要求，同时保证一定的视 频质量。近些年来，许多码率控制算法相继被提出，经典的有面向h 2 6 3 标准中 低时延视频通信的码率控制算法、面向m p e g 4 标准的可分级码率控制算法等。 这些算法大都基于率失真模型，需要进行大量的浮点运算，进而造成计算复杂度 的急剧升高；同时，由于这些模型是基于统计学的假设丽提出，因而在实际应用 中并不一定总是正确。考虑到这些因素，文章提出了一种基于码率查询表的码率 控制算法，新算法的内存消耗很低，引入的数学运算少，但对码率估计和q p 僚 确定都表现出优异的性能。另外，在该新算法中，针对视频压缩中的g o p 编码 模式，还提出了一种不平均的帧比特数分露方法，该方法可以有效地降低视频质 量的波动，尤其是在场景切换或剧烈运动发生时。新算法经过时间和空间上的优 化，可以顺利地应用到面向移动设备的视频编解码器当中。大量的实验结果表明， 新算法提高了视频质量，降低了视频质量的波动，对码率和跳帧现象的发生进行 了有效的控制，并保持了缓存器的稳定性。 关键词：视频压缩，m p e g - 4 ，h 2 6 3 ，码率控制，比特数分配 浙江人学硕士学位论文 基于低内存消耗查询表的视频压缩码率控制技术 a b s 咖c t d e oc o d i n g 锄dt 姗s m i 豁i t c c h l l i q u e sh a v cb e c o m ei m p o n a n ti l im l l l t i i n c d i a c o m m u n i c a t i o no v c rt h cn e t w o r k ht h el 弱tf e wy c a 避m 姐yv i d c oc o m p 咒s s i o n i n t c m a t i o n a ls t 卸d 删s 呲p r 0 炉s e d ，s u c h 褐m p e g 柚dh 2 6 xs t 8 l l d a r d s t h c y 眦 b r o a d l yu s e di nd i g i t a ib m a d c 觞tt vs t 柚d a r d s ，d j g i t a ly i d d i s k v d ) ，e 缸a f 【c r c o m p r c s s i o n ，嘞cs i z c0 fv i d e od a t ai sh | _ g c l yd e c r c 鹅c d 卸dt h en c t w o r kb 卸d w i d t l l u t i l i z a t i o ni sf l i n l l c rf o 虚u o c d t h es p e c i a lt e c b 面q u e su di v i d c 0c o d i gr 龉u l ti nav a r i a b l e b i t - r a t eb i t s t f e 锄 a f t e rc o m p r e 锚i o n u n f o n 哪a t e l y i nv i d 咖m l l n i c a t i o n s ，t h c s cc o m p r c 站c dd a t a a r em i k e l yt ob ed d i v c 糟du s i n gc 0 璐t 锄t - b i l - m t c ( c b r ) c h a n n c l ss oa st oa v o i d t h en e t w o f kn u c t l l a t i o n t h u s ，a f k rv i d e n c o d i n 舀t h cc o m p r c 嚣e dd n aa r ep u ti n t o 觚曲c o d e r b u 触r ，也c nm eo u t p u td a t a 丘锄u l cb u 脏rm d c l “e r e du s i n gc b r c h a n n e l s ；c et l i e d a t aa 坞r c c 宅i v c db yt h cv i d d e c o d c r t h c ya p u ti l l t oa d e c o d c rb u 疵lt h e nt b ed c c d d 盱f c t c h st l i ed a t a 正r o mt l l eb u 伍- rw i t l lav a i i a b kb i t r a t cf o rd e c o d i n g a st h cb 呦d v e r f l o w0 ru n d e r f l o wm a y0 i c c u f m t cc o n h d ia tt h c e n “避e ri sn e c e s s 缸yt o 弛g u l a t et h eb i t s 由；锄，s o 也a l h eb u 矗缸e x o e p 虹o n sc a nb e a v o i d e d i t a t eo o n t r o lp l a y sa ni m p o r t 柚tr o l ci nt h ev i d e oo o d j l l gp r o c e s s i ti si n t r o d l l c c dt 0 r c g i l l a t c 柚d n 删t h c 伽t p u tb i tm t o fv i d s o u d c 皓i nt l i en e 仰0 r kt oa 咖c v ct h c b c s tt r a d e o f fb c t 、) l r nq u a l i t y 柚db 柚d w i d t hu t i l i z a t i o 1 nt h el a s tf b wy c a 璐，m 姐y n t cc o n t r o la 1 9 0 f i t l i m sa 砖p i o p o s c d a a 鹞i ca 1 9 0 r i t h m si n c l u d ct h er a t ec o n t lf o r h 2 6 3l o w d e l a yv i d e oc o m m 硼j 6 凹，t h cs c a l a b l em t cc o n t r o lf o rm p e g 4v i d e 0 ， e t c 1 1 l c s en t cc o n n o la l g 嘣t l l m so f t c nc m p l o yn t e - d i s t o n i 僻d ) m o d e l s ，w h i c h 砸v o l v ec o m p i c xf l 血g - p o i n t 咖p u t a t i 叩s n l i s ，t h cc o m p 嘶n gc o m p l c x j t yi sh i g h f u n l i e n 亿，t h cr - dm o d c l sa o b t a i 玎c du n d e r t h e 够s 岫p l i 0 f u r c cs t a t i s t i 岱， s ot h c ya r en o ta l w a y sc o m di nt h ca c t i l a la p p l i c a t i o n s h io r d 盯t os o i v ct h e p m b l c m s ，m ep a p e rp m p 坶晦an e w r a t cl k - u pt a b l cb 硒e dr 缸cc o m r o la l g o r i t l l i n n cm c m o r y s to ft h ca l g o r i t h mi sl o w 卸do l y m es i m p l ec o m p u t a t i 曲sa r c i n v o l v c d ，w h i l et h eb “e s t i i n a ! t i o n 柚dq pd c t 锄血a t i o no f 也ea l 窜吲t hm s t i l lv e r y w e l l b 龉i d e s ，i nt h ep i o p c 暇e da i g o r i t h m ，a nu n c q u a l 丘锄cb i ta l l o t i o nm e t h o di s p r o p o s c df o rt h eg o pp a n 锄i nv i d c o d i n g 1 1 l i sm c t h o d na c h i e v es m 0 0 t h e f v i d e 0q u a l i t yv a r i a t i o n s ，e s p c c i a l l yw h s c c 耻c h a n g 瞄o rl l i g hm 撕。璐0 c c u r a n c r o p t i l i 勰t i o 璐b o t hi l ls p a 卸d 劬e t l 地俐e da l 剃t l l m nb ci m p l c m t e di n n l ev i d c oc o d e co fm o b i l cd “i c e s 。e x p 吲函e n t a l 揪湖t ss h o wt h t ，t h cp f o p o s e d i i 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 a l g o r i l h i a c l l i e v c sb c n 盯v i d q u a l i t y ，f c “c 髂t l i cq u a l i t yv a i i a t i ，蛆da l s 0r c t a i l l s t h eb i tr a t ep d 0 x i m i t y 锄db l l 施r 聆g l i l a t i o n k e y w o r d s ：v i d c o d i n g ，m p e g 4 ，h 2 6 3 ，m t cc o n 嘲，b i ta l l o c a t i o n 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 1 1 研究背景 第一章绪论 计算枫技术和信息技术的快速发展，使得人们对于信息的获取量也目益增 高。这些获取的信息了包括文字、图形、图像、声音、动画、视频等，它们极大 地丰富了人们的学习、工作和生活。多媒体即是融合这样两个或两个以上信息的 一种人机交互式信息交流和传播媒体【1 】。计算机通过多媒体将人们进一步引入 信息领域，改变了人机交互的方式，并以最直观的方式表达各方面的信息；多媒 体技术大大扩展了计算机应用的范围，开拓了前所未有的应用领域。随着信息空 间走向多维化，人们的思想表述有了一个更加充分的自由空间，多媒体技术为这 种自由提供了一种多维空间的交互能力，它必将引起信息社会的划时代革命。 视觉是人类获取信息最为重要的途径。在多媒体的信息中，人类通过视觉获 取的信息占全部获取信息的6 0 【2 】。图像与视频作为信息最要的载体之一，已 经广泛深入到人们的日常生活当中，人们不再仅仅满足于文字和声音，还希望看 到生动鲜活的画面与场景。绝大多数的娱乐活动，如电视、电影、v c d 、d v d 、 v o d 、视频游戏等，学习和工作需要的如视频会议、可视电话、多媒体邮件、 视频检索等，都需要对图像和视频信号进行处理。因此，图像和视频信息的处理 是多媒体的重要组成部分，其技术发展的速度也很大程度上影响着多媒体技术的 发展。 在多媒体技术发展的同时，以互联网为代表的新技术革命正在深刻地改变着 人们的生活。随着人们对互联网内容需求和多媒体数据需求的多样化日益增长， 再加之宽带网络的发展，人们越来越希望通过网络获取连续的媒体内容。目前迅 速发展的三代( 3 g ) 无线通信系统以提供高速接入和多媒体服务为特征，高速 的宽带接入技术使得无线网络和多媒体通信结合成为可能。互联网和无线网的发 展不再是孤立的，跨越网络局限，在任何地点和时间自由地传递多媒体信息将成 为现实。网络视频的应用正在随着网络技术的发展而悄然兴起【3 】。 在网络视频应用中，原始的视频数据如果直接在网络上进行传输，会占用极 大的带宽，不利于瞬络传输，所以需要引入视频压缩技术，在传输前将视频进行 压缩。在网络中传输的压缩视频数据称为视频流。接收端接收到视频流后，通过 解压缩还原得到视频数据，并用于播放或存储等。目前流行的视频压缩标准有 m p e g 系列标准、h 2 6 x 系列标准，以及我国拥有自主知识产权的越，s 标准等。 视频压缩及其网络传输都是十分复杂的过程。如何保证压缩后的视频数据能 浙江大学硕士学位论文 基于低内存消耗查询表的视频压缩码率控制技术 在复杂的网络中进行传输，并顺利提供给接收端，已经成为了网络视频应用的关 键问题。 1 2 研究的意义与目的 目前，面向网络传输的视频压缩技术主要存在如下问题需要解决： 1 )视频数据的高效压缩 网络上视频信息的内容与形式十分丰富，人们可以通过网络视频来进行电视 节目观看、视频游戏、视频节目点播等娱乐活动；也可以获取各种新闻、天气预 报、广告等信息；此外，视频会议、视频电话、远程视频教育、医疗等应用也为 人们的生活和工作带来了极大的方便。这些应用都需要通过网络传输大量且不同 的视频数据，这对视频压缩技术提出了很高的要求，如何根据网络传输的特点提 出更加高效的压缩技术已成为需要解决的重要问题。 适应通信子网的异构特性 通信子网的异构特性，使得网络带宽的波动和传输错误在所难免。在该种网 络中进行传输，视频压缩要保证压缩后的数据能在不同带宽要求的情况下进行传 输，同时也要保证一定的视频质量。此外，为了降低传输错误带来对视频质量的 影响，视频压缩还需要具有一定的错误控制技术( e r f o fc o n t r 0 1 ) ，这也是保证网 络视频服务质量的重要前提。 3 1适应接收方的异构特性 视频数据的接收方设备多种多样，有线的或是无线的，宽带的或是窄带的， 高分辨率的或是低分辨率的，强处理能力的或是低处理能力的等等，这些设备的 不同特点要求视频压缩技术具有视频质量、计算复杂度、分辨率等可伸缩性，以 满足不同的设备要求。 总之，上述问题使得视频压缩技术从以往面向存储转到了面向网络传输，不 仅要满足传统高压缩效率的要求，而且还要视频压缩具有一定的可伸缩性，以达 到不同的计算复杂度、分辨率等，同时，还需要满足网络传输中的带宽和错误控 制等要求。这些对网络视频应用都带来了巨大的挑战，同时也展示了广阔的应用 前景【3 】。 本文针对视频数据在网络实时传输中的带宽要求，着重研究了视频压缩过程 中的码率控制技术。视频压缩后产生的码流码率如果过高，则会加重网络的传输 压力，造成网络阻塞；但如果码流在产生的过程中码率发生降低，则会降低视频 图像的质量，并造成对网络带宽的不充分利用。所以，研究如何进行码率控制以 满足网络传输的带宽要求，并在高效利用网络资源的同时，保证一定的视频图像 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 的质量，将具有十分重要的意义。 传统的基于率失真数学模型的码率控制算法在计算复杂度，码率估计精确度 等方面都存在一些缺点，因而需要提出更加有效的算法来解决这些不足之处，本 文所做的研究即是对码率控制新算法的一种探索。 1 3 论文的组织 文章后续章节的组织结构如下： 第二章：首先阐述了视频压缩的过程及其若干关键技术，同时，介绍了当今 流行的一些视频压缩国际标准。接着，引入了视频压缩过程中的码率控制技术， 指出了码率控制的目的、技术原理和分类。最后介绍了若干已有的码率控制算法： 面向h 2 6 3 标准中低时延视频通信的算法、面向m p e g 4 标准可分级的算法等。 第三章：提出了一种基于低内存消耗查询表的码率控制新算法。按层次结构 来分，可将码率控制算法分成帧层( 缸m cl a y c r ) 和宏块层( m a c m b l o c kl a y e r ) 的码率控制。新算法也通过这两层来进行详细描述。此外，还特别针对移动设备 上的应用，将所提出的新算法进行时间和空间上的优化。最后，总结了新算法的 整体流程。 第四章：对第三章提出的码率控制新算法进行性能测试。测试包含了三部分： 针对低时延模式、g o p 模式以及新算法在移动设备上优化后的测试。实验结果 表明，新算法在控制码率和跳帧、提高视频质量上都表现出优异的性能。 第五章：搭建了一个基于p 2 p 的分布式视频监控系统，本文所提出的码率 控制新算法在该系统中得到应用，并取得了很好的实际效果。 第六章：对全文的工作进行了总结，并对接下来的研究工作进行了展望。 最后是本文的参考文献、致谢等。 3 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 第二章视频压缩中的码率控制技术 视频压缩是一个很复杂的过程，包含了诸多压缩和控制算法，码率控制技术 就是其中很重要的一部分。本章首先描述了视频压缩的过程及其关键技术，并介 绍了一些流行的视频压缩国际标准。在此之后引入了码率控制技术，该项技术在 视频压缩数据的网络传输中占有很重要的作用，本章详细描述了码率控制技术的 引入目的，技术原理及分类，并在介绍若干基于率失真模型的经典码率控制算法 的同时，指出了它们存在的不足之处，从而为对现有算法进行改进提供了可能性。 2 1 视频压缩概述 2 1 1 视频压缩的过程及其若干关键技术 在保证一定视频质量的前提下，视频压缩的主要目标是达到一个极高的压缩 比，以适应于各种应用，如视频存储，视频通信等。而要达到一个极高的压缩比， 常见的无损压缩算法( 如霍夫曼编码等) 显然已经不能满足要求，所以在上世纪 九十年代以来发布的主要视频压缩国际标准，除了无损压缩技术的应用，也采用 了一些有损压缩技术以提高压缩比，即视频压缩会带有一定的数据损失，但对视 频质量不会产生很大的影响。 这些视频压缩国际标准大都是基于相类似的模型进行设计，主要使用的技术 包括了： 1 )运动估计( 咖t i 衄c s t i m a t i 帆) 和运动补偿( m 嘶皿o m n p 踊t i ) ：这两项 技术充分利用了视频序列空间上的相关性进行压缩编码。如图2 1 所示，相 邻帧间的图像相关性极大，如果在压缩编码中充分利用这种相关性，将会 大大提高压缩比。有关这两项技术的介绍可参阅【4 】、【5 】和【6 】，此处省略。 ( a ) 囤z 1f o m a nq c i f 序列中相邻帧图像 ( a ) 第7 5 帧( b ) 第7 6 帧 4 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 2 ) 离散余弦变换( d i s c 托l c s i n ct 瑚s f o 地) 、量化( q u 如t i z a t i o ) 、熵编码 ( e n t r o p yc o d i n g ) 等：其中的量化部分属于有损压缩算法；离散余弦变换 ( 简称d c t 变换) 虽然在理论上属于无损压缩，但是在实际应用中，由于 计算机精度的限制，也会在变换时带来数据损失( 最新的h 2 “标准采用 了一种改进的d c t 变换算法，叫做整型d c r 变换( i m e r g e rd c t ) 【7 】，该 种d c t 变换能有效避免在实际应用中的数据损失) ；熵编码属于无损编码， 由于在这里面采用了可变长编码( v a i i a b l c l e g t h c o d i n g ) ，如霍夫曼编码等， 所以最终导致压缩后的码流是变码率的。这些技术的详细执行过程可参阅 文献【4 】、f 5 】和f 8 1 。 3 )针对不同的应用，视频压缩过程中还会采用其他一些技术，如可分级编码 技术( s c a l a b l e “d c oc o d i n g ) 、码率控制( 碍t cc o n h d l ) 、容错控制( e d f r c s i l i c n c c ) 等。在后续的章节中会详细讲述码率控制技术；可分级编码技术 可参阅文献【9 】、【1 0 1 、【1 1 1 和【1 2 1 ；差错控制技术可参阅文献【1 3 l 、【1 q 、【1 5 】 和【1 6 】。 常见的视频编码和解码流程如图2 2 和图2 3 所示。 视频编码流程 视频编码流程包括了两个数据流程：从左到右的编码流程和从右到左的重构 流程。 编码数据流程 1 ) 将输入的当前视频帧e 划分成一个个宏块( 1 6 1 6 像素大小) ； 2 ) 将当前帧e 和参考帧只。比较，采用运动估计算法找出参考帧e 。中和当 前宏块最匹配的宏块，算出两个宏块之间的位置偏移即运动矢量 ( m o t i o v c d 0 r ) ： 3 )基于选择出的运动矢量 ，在参考帧e 一，上进行运动补偿，得到预测宏 块p ； 4 )将原始宏块减去预测宏块p ，得到残差宏块d ； 5 )对残差宏块d 进行d c t 变换，d 被分割成8 8 甚至更小的4 4 块，每个 小块分别进行d c t 变换，得到玎系数i 6 1再将d c t 系数进行量化，得到量化后的数据集z ； 7 )将盖进行扫描重排序( z i g - z a g 扫描方式) ，并进行行程编码( m n l e v c l c o d i n g ) ； 5 浙江火学硕士学位论文基于低内存消耗查询表的视频压缩码率控带技术 最后，量化后的数据加上运动矢量和相关头信息， 二进制码流。 重构数据流程 1 )将量化后的数据集z 进行反量化和反d c t 变换， 于量化的过程是有损的，故d 和d 存在差别) ； 通过熵编码形成最终的 重建出残差宏块d ( 由 2 )将残差宏块j d 加上预测宏块p ，产生出最终的重建宏块，所有的重建宏块 就组成了最终的重建帧只。，该重建帧将会当作下一帧e ，的参考帧来使用。 敷螺漉 幽2 2 视频编码流程 视频解码流程 1 )压缩后的二进制码流通过熵编码解码后可得到每一个宏块的系数信息，运 动矢量和相关头信息； 2 ) 通过行程编码和扫描重排序( 反z i g z a g 扫描方式) ，产生出数据集石； 3 )将x 进行反量化和反d c t 变换，得到残差宏块d ； 4 ) 利用宏块的运动矢量在参考帧e ，上进行运动补偿，得到预测宏块j p ； 5 )将残差宏块d 加上预测宏块p ，产生出最终的重建宏块，所有的重建宏块 就组成了最终的重建帧e ，该重建帧将用于显示播放，同时也会当作下一 帧的参考帧来使用。 图2 3 视频解码流程 6 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控带技术 2 1 2 当前流行的视频压缩国际标准 上世纪九十年代以来，一系列视频压缩国际标准的制定极大地促进了视频压 缩和通信技术的发展。视频压缩标准的制定主要是由国际标准化组织 ( m e m a t i o n a ls t 柚d 盯d i z a t i 0 i 攀i z a t i o n ，简称i s 0 ) 和国际电信联盟 ( h t e m a t i o n a lt c l e c o m m u n i c 砒i o nu i o n ，简称h - u ) 完成的。由l s o 和i e c ( i n t e m a t i 衄a le l c c 咖t e c h n i c a ic c 吼l i l i s s i 叩，国际电工委员会) 共同委员会中的 m p e g 组织( m o v i n gp i c t i 鹋e 】【p c ng m u p ) 制定的标准主要针对视频数据的存储、 广播电视和视频流的网络传输的应用，标准以m p e g x 命名( 如m p e g 1 【1 7 】、 m p e g 2 【1 8 】、m p e g 叫1 9 】、m p e g 7 【2 0 】等) ；而由r r u 组织制定的标准主要针 对实时视频通讯的应用，如视频会议和可视电话等，他们以h 2 6 x 命名( 如 h 2 6 1 【2 1 】、h 2 6 3 【2 2 】【2 3 】f 2 4 】、h 2 6 4 f 2 5 】等) 。各种视频压缩标准都是根据在不 同应用中人们对视频数据的特定要求而制定的，并会随着人们的需求而不断地向 前发展。下面简单介绍一下m p e g 系列标准、h 2 6 x 系列标准，以及我国拥有自 主知识产权的a v s 标准【2 6 】。 m p e g 系列标准 面向数字存储的运动图像及其伴音的压缩编码标准m p e g 1 m p e g 1 标准的主要任务是让具有一定质量的图像( 包括伴随的声啻) 数据 成为计算机数据的一种，并且和已有的数据( 如文字、绘图等数据) 在计算机内 兼容。所有这些数据必须在现有的计算机网络和广播电视等通信网络中兼容传 输。m p e g 1 标准有3 个组成部分：m p e g 视频、m p e g 音频、m p e g 系统，涉 及了视频压缩、音频压缩及多种压缩数据流的复合和同步问题。m p e g 1 标准适 用于传输1 5 m b p s 数据传输率的数字存储媒体活动图像及其伴音，其基本算法对 于3 6 0 2 8 8 分辨率，每秒2 4 。3 0 帧的运动图像有很好的效果。此外，该标准自 身的特点使得其可以用于不同大小和宽度比的图像，也可以用在工作速率范围很 大的信道和设备上。 广播系统压缩编码标准m p e g 2 m p e g 2 标准可分为八个部分：系统部分、视频部分、音频部分、符合测试 部分、数字存储器体命令与控制部分、非向后兼容的音频部分、1 0 比特视 频部分( 现已停止) 、实时接口部分。 m p e g 2 视频压缩标准按图像的分辨率可分成低级( 1 0 wl e v d ) 、主级( m a i n l e v e l ) 、高级1 4 4 0 ( h i g h 1 4 柏l c v e l ) 和高级( h i g hl e v e l ) 。按所使用的编码工具 集合分成5 个“类”：简单类( 如p l cp m 6 l c ) 、主类 h 2 6 x 系列标准 h 2 6 l 标准描述 h 2 6 1 是r r u t 组织为在综合业务数字网( i s d n ) 上开展双向声像业务( 如 可视电话、视频会议等) 而制定的，速率为6 4 k b p s 的整数倍。h 2 6 1 只支持c i f 和q c i f 两种图像格式，每帧图像可分成图像层( 劬m cl a y e r ) 、宏块组层 ( g r o u p o f _ b l o c l 【l a y 盯) 、宏块层( m 虻m b k kl a y c r ) 、像块层( b l o c kl a y c r ) 来处 理。h 2 6 1 是最早的运动图像编码标准，它详细制定了视频编码的各个部分，包 括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相 8 浙江大学硕士学位论文 基于低内存消耗查询表的视频压缩码率控制技术 适配的速率控制等部分。 h 2 6 3 标准 h 2 6 3 是r r u t 为窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上 发展起来的，其标准输入图像格式可以是s q c 、q c 球、c i f 、4 c 原或者1 6 c i f 的彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿，并增 加了4 种有效的压缩编码模式。 无限制的运动矢量模式允许运动矢量指向图像以外的区域；基于句法的算术 编码模式使用算术编码代替霍夫曼编码，可在信噪比和重建图像质量相同的情况 下降低码率：先进的预测模式允许一个宏块中4 个8 x8 亮度块各对应一个运动 矢量，从而提高了预测精度，两个色度块的运动矢量则取这4 个亮度块运动矢量 的平均值；运动补偿时，使用重叠的块运动补偿，8 8 亮度块的每个像素的补 偿值由3 个预测值加权平均得到。使用该模式可以产生显著的编码增益，特别是 采用重叠的块运动补偿，会减少块效应，提高主观质量。 h 2 6 3 标准之后，u - t 又陆续制定了h 2 6 3 + ，h 2 6 3 + + 等改进版本，最终， 和m p e g 4 标准一起演化成h 2 6 4 标准。 h 2 6 4 标准 h 2 6 4 是由i s o c 与r r u _ t 组成的联合视频组( j v t ) 制定的新一代视频 压缩编码标准。在i s o m c 中该标准命名为a v c ( a d v 卸c c d d e oc o d j n g ) ，作 为m p e ( ；- 4 标准的第l o 个部分；在r r u t 中正式命名为h 2 6 4 标准。h 2 “的 主要优点如下： 1 )在拥有相同的重建图像质量下，h 2 6 4 可比h 2 6 3 + 和m p e g _ 4 ( s p ) 减小 5 0 码率； 2 )对信道时延的适应性较强，既可工作于低时延通信模式以满足实时业务， 如会议电视等；又可工作于无时延限制的场合，如视频存储等； 3 )提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的 处理，提高解码器的差错恢复能力； 4 )在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级， 以适应不同复杂度的应用。 h 2 “标准还采用了许多先进的技术，如统一的可变长符号编码，高精度、 多模式的位移估计，基于4 4 块的整数变换、分层的编码语法等。这些技术使 得h 2 6 4 算法具有很的高编码效率。h 2 6 4 的码流结构网络适应性强，增加了差 错恢复能力，能够很好地适应口和无线网络的应用。 我国的a v s 视频压缩标准 9 浙江火学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 数字音视频编解码技术标准工作组( a u d i o d e oc o d i n gs t 柚d a f do w s ) w 洲k g r o u p0 fc h i n a ) ，由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立。 该工作组的主要任务是：面向我国的信息产业需求，联合国内企业和科研机构， 制( 修) 订数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音 视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度 激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应 用。a 恪是我国具有自主知识产权的第二代信源编码标准，它的性能相当于h 2 6 4 标准，具有高压缩率，高视频质量的特点。 2 2 码率控制概述 2 2 1 码率控制的目的 在视频的实时通信中，压缩后的视频码流需要在一个复杂且有不f 霹带宽要求 的网络上进行传输。为了在任何时候都能最高效地利用网络资源，并且保证相对 较高的视频图像的质量，需要在视频通信中引入码率控制机制【2 7 】【2 8 】。如果视 频编码后产生的码流码率过高，则会加重网络的传输压力，造成网络阻塞；另一 方面，如果码流在产生的过程中码率发生降低，则会降低视频图像的质量，并造 成对网络带宽的不充分利用。因此，需要在视频压缩过程中引入码率控制，用来 在视频网络传输时控制和调接编码端输出的码流，满足网络带宽的要求，同时保 证一定的视频质量【2 9 】。 目前，通过常见的视频压缩标准压缩产生的码流都是变码率的。主要的原因 如下： 1 1视频压缩技术利用了视频在空间上和时间上大量的相关性来进行压缩。压 缩的效率( 压缩比) 主要取决于这些相关信息量的多少，相关信息量越多， 能达到的压缩比也越高。这也导致了最后产生的码率大小会随着时间而发 生变化。例如，当前帧中的某些宏块如果代表了连续帧中的某个不变的图 像块( 时间相关性大) ，那之后得到的残差块包含的信息将会很少甚至没有， 这样的宏块在编码过程中将不会继续编码打入码流，而会直接跳过。如果 运动比较剧烈，某些宏块如果在运动估计中的参考帧中找不到合适的参考 宏块( 时间相关性小) ，那么最后得到的残差块包含的信息就多，经过d c t 变换、量化和熵编码后，打入码流的数据量也相对较多。 2 1为了提高压缩率，在视频压缩过程中采用了可变长编码，如霍夫曼编码， 这也是导致最终码率变化的原因之一。表2 1 【3 0 】中显示了在h 2 6 3 标准中 1 0 以定长和变长编码的视频信息。我们可以发现，主要的编码信息，如d c t 系数，运动矢量信息都采用了可交长编码。因此，最终产生的码流大小也 会随之变化。 表2 1h 2 6 3 中以定长和变长编码的视频信息 c o d e s l a 3 嘲阵v a f i 曲ki 曲g l hf ；x e di 棚甜h p i c l u f e日i fs 卯蛳 e s l l f f 蹄肿 r 堋量，d f 汹p s c 2 2 ke c s1 2 2 p s r u f d 时r f s 5 i ，l 孽t r 8 k 丁r b 3 q “删f w f j i np q u a n t s - s 泖5 湘d b o u a n t f 2 l 抽i ，i 妇f r n f f w p t y p e f l 3 kc p m g m “po r口“s m 所删 g s t u f b l o c k s m a c r o b l o c k h h 们f 吖h l f n t l o l l m t bloct口fr c o 啦c i t n l s t t x c e 纠l h t r n 口c f m 蚋 m c b p c m o d b 。c b p y m v d - m v d 2 4 m v d b t c o e f f “k p s b i ( 2 l s m 阳p e i 1 ) p s p a r e s 1 s t m 、如w l i 蛐f i 脚ig b s c1 17 l t ，d r 出霸，憎 g nf s i 4 f 卅衍i 甜f f w g s b i1 2 kg f i d1 2 i q 埘h f 湎f i 棚g q u a n rf s l s ps k t 4 妇m f 5 舢“l v c o d l k c b p b “ q m f m m d q u a n t f 2 s i e p s i ：e d ff 删s 叫i n t r a d cf 8 ，m d c r c o t 蒋c i e n b 然而，在绝大多数的实时网络视频通信中，视频压缩后的变码率码流需要通 过所要求的恒定码率的网络通道进行传输，以防止可变码率传输造成网络带宽的 波动。所以，在视频的编码端和解码端，分别引入了一个缓存器，用于缓解码率 变化对网络带宽带来的波动。 图五4 编解码端缓存器的作用 1 1 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 如图2 ，4 所示，原始视频序列经过视频编码器压缩编码后输出变码率码流， 然后存入缓存器，缓存器再将这些数据以恒定码率的码流输出到网络中。在接收 方，网络上收到的码流存入接收方的缓存器中，最后以变码率码流输出给视频解 码器，解码后即得到用于显示的视频序列了。 为了保证网络传输码率的恒定，编码端和解码端的缓存器应尽量避免上溢 ( 0 v e m o w ) 或下陷( 蚰d c m o w ) 的情况。这时候，就需要引入码率控制技术对 码流进行控制，在保证传输不发生异常的同时，尽量提高视频质量和减少质量的 波动。 2 2 2 码率控制的技术原理和分类 任何尝试对码率进行控制的方法都会引入这么一个问题：如何在压缩效率和 质量之间做出权衡。降低码流的码率会导致视频质量也随之降低。在2 1 节中提 到的基于d c t 变换的视频压缩过程中，主要有如下四种控制码率的方式。 1 )调整帧率( 丘a m cr a l e ) 。帧率即每秒所编码的视频帧数。在其他编码参数不 变的情况下，帧率越低，码率也就越低。基于调整帧率的码率控制着重在 利用时间相关性而不是空阀相关性，使用这种方法的前提条件是，相邻帧 之间的时间相关性较大，帧率的降低对视频质量不会带来很大的影响。 2 )只编码视频图像空间中的部分。如8 8 块做完d c t 变换后，大部分的能 量集中在左上角的位置，所以如果需要降低码率，可以只对左上角的2 x 2 块或4 4 块进行编码，其余的由于大部分为零系数，所以不编码对视频质 量不会有什么影响。 3 )调节量化参数( q u 皿t i z a t i 呻p a f 锄e t c r ( q p ) ) 。量化的过程是一个有损压缩 的过程。q p 值越大( 小) ，所得到的数据量就越小( 大) 。相应的视频质量 也越低( 高) 。调节的q p 可以指代整个视频帧的q p ，或者是每个宏块的 q p 。调节前者的计算复杂度低，准确度也较低；调节后者的计算复杂度相 对较高，当然准确度也随之升高。该种方式简单易行，而且使用于各种应 用。 4 1调节运动估计中模式选择( m o d cd e c i s i d n ) 的阀值。模式选择即决定当前宏 块以何种模式进行编码，如跳跃编码( 幽pm o d e ) 、帧内编码( i n t r am o d e ) 、 帧间编码( i n t c r m o d e ) 等模式。采用帧间或是跳跃编码( 即不编码) 模式， 则最后需要编码的数据量就相对较少，而采用帧内编码模式将会产生较多 的数据量。运动估计之后得到的宏块绝对误差和s a d ( s 岫o fa b s o l u t c d j 疏r c n c c ) 可以间接反应出宏块的空间复杂度。当s a d 小于某个阀值时， 浙江大学硕士学位论文 基于低内存消耗查询表的视频压缩码率控制技术 该宏块就不进行编码；当s a d 大于某个阀值时，则采用帧内编码。可以通 过调节阀值的大小来影响编码模式。此外，帧间编码模式中还包含了以不 同大小块分割编码的模式，如1 6 1 6 、8 8 、甚至是4 4 的帧间编码，同 样，可以通过设置适当的阀值以影响这些编码模式，达到改变码流大小的 目的。 目前的许多码率控制算法大都基于调节q p 来进行的，因为该种方式比较简 单，对码率的控制效果也十分突出。在视频编码过程中，它所处的位置如图2 5 所示。由于q p 只在量化的时候用到( h 2 6 4 标准除外) ，所以在量化之前傲码率 控制并得出合适的q p 就可以了。 输入 输出 图2 5 基于调节0 p 的码率控制在视频编码流程中的位置 本文侧重考虑实时码率控制算法，比较经典的如面向h 2 6 3 标准中低对延视 频通信的码率控制、面向m p e g 4 标准的可分级码率控制等，它们都是根据q p 与码流大小以及视频质量的概率统计学关系而构建出率失真模型( n t e d i s t o n i 加 m o d c l ) 来控制码率。2 3 节将对这些算法做出介绍。 2 3 经典的码率控制算法 2 3 1 面向h 2 6 3 标准中低时延视频通信的码率控制算法 h 2 6 3 标准中提供了面向低时延视频通信的模式。在文献【3 1 】中给出了一种 面向此种模式的鸹荤控制算法，该算法也被后来的h 2 6 3 测试模型1 m n 8 f 3 2 1 和 浙江大学硕士学位论文基于低内存消耗查询表的视频压缩码率控制技术 m p e 0 - 4 的验证模型v m 8 【3 3 】所采用，称之为“t m n 8 码率控制算法”。因为需 要尽量减少时间延迟，所以视频序列的编码方式采用头一个l 帧，后续帧均为p 帧的方式，以避免i 帧过多带来更多的时间延时。该算法只考虑p 帧，根据率失 真模型决定出每个宏块的q p 值，达到对码率的精确控制。算法分成帧层( 劬m e l a y c r ) 的控制和宏块层( m a 啪b h kl a y e r ) 的控制两部分来描述。帧层的控制主 要是为当前帧分配一个合适的目标比特数和进行跳帧控制，宏块层根据分配的目 标比特数计算出每个宏块的q p 值。 帧层的码率控制 在编码当前p 帧之前，需要先对编码端的缓存器存储量进行更新，更新 公式如下： 彤一m 趿( + 一叫，o ) 公式2 1 其中， 占一： 编码前一帧所用的比特数； ，： 更新前的缓存器存储量： r ： 网络通道的码率； f ：编码的帧率。 如果超过了一个预先定义的缓存器上溢阀值m ，编码器将会采用跳帧的 方式直到缓存器的存储量小于 f 为止。对于每个被跳过的帧，缓存器的存储量 会减少剐，比特数。m 的值越大，所带