（信号与信息处理专业论文）h264视频编码中率失真控制的研究和优化.pdf

南京邮电学院0 1 级硕士学位论文 2 0 0 4 年4 月 摘要 h 2 6 4 视频编码标准是最新的编码标准，是由i t u t 视频编码专家组和 i s o i e c 运动图像专家组共同制定完成的。h 2 6 4 标准的主要目的就是提高对视 频的压缩性能，并满足更广泛的应用。它的压缩比与以往的标准相比，在相同图 像质量的情况下，提高5 0 的压缩比，其应用范围也覆盖了视频会议、数字存储 媒体、数字广播电视、计算机网络和通信等领域的应用。h 2 6 4 对于视频编码技 术的发展方向及广泛应用都具有特别重要的意义。 本文的研究重点是h 2 6 4 对视频编码技术的研究及其率失真控制在其中的 实现。首先简要介绍了h 2 6 4 标准的发展进程、与以往标准的比较和它自身的关 键技术。之后在此基础上介绍了率失真控制技术，及其它在编码中的实现，及其 对帧内和帧间的预测模式的确定进行优化，提高一定的编码效率。重点集中在率 失真控制在h 2 6 4 视频编码中的实现及其对预测模式确定所做的优化工作。 在实现方案上，采用j m 6 1 e 版本的h 2 6 4 编码器的参考软件，在p c 机上 对其实现，并对其代码进行优化，提高编码速度，并将图像质量进行权衡。主要 工作是对h2 6 4 视频编码的研究，率失真在编码器中的实现的研究，及其对原代 码所做的部分优化，对编码效率或者性能上的改进，并进行了比较。最后对所做 工作进行了回顾和总结，并提出对未来的工作提出了一定的展望。 关键词：i t 2 6 4 率失真控制拉格朗日因子预测模式 塑皇i 坐! 竺! 塑! 丝堡圭兰堕丝壅 一一! ! ! ! 兰! 旦 a b s t r a c t h 2 6 4i sn e w e s tv i d e o c o d i n gs t a n d a r do ft h ei t u - tv i d e oc o d i n ge x p e r t s g r o u pa n dt h ei s o i e cm o v i n gp i c t u r ee x p e r tg r o u p t h em a i ng o a l so ft h eh 2 6 4 s t a n d a r d i z a t i o ne f f o r th a v eb e e ne n h a n c e dc o m p r e s s i o np e r f o r m a n c ea n dh a v em o r e f l e x i b l ea p p l i c a t i o n c o m p a r e dt oo t h e rv i d e oc o d i n gs t a n d a r d s ，i th a se n h a n c e d5 0 c o d i n gp e r f o r m a n c ei n t h es a m ei m a g eq u a l i t y ，a n di t s a p p l i c a t i o nc o v e r sv i d e o c o n f e r e n c i n g ，d i g i t a ls t o r a g em e d i a ，d i g i t a lt e l e v i s i o nb r o a d c a s t i n g ，i n t e m e ts t r e a m i n g a n dc o m m u n i c a t i o n h 2 6 4w i l lm a k er a t h e rg r e a ts i g n i f i c a n c eo nd e v e l o p m e n tt r e n d a n db r o a d a p p l i c a t i o n o f v i d e o c o d i n gt e c h n o l o g y t h i st h e s i sa i m sa tr e s e a r c h i n go nh 2 6 4k e y t e c h n o l o g yo f v i d e oc o d i n ga n di t s r a t ed i s t o r t i o nc o n t r o li m p l e m e n t a t i o n f i r s to fa l l ，w em a k eas i m p l ep r e s e n t a t i o n a b o u th ，2 6 4 s d e v e l o p m e n t ，i t sc o m p a r e w i t ho t h e r s t a n d a r d s ，a n d i t s e l f k e y t e c h n o l o g y t h e nw ei n t r o d u c et h et e c h n o l o g yo fr a t e d i s t o r t i o nc o n t r o la n di t s i m p l e m e n t a t i o ni nh 2 6 4c o d i n ga n di t si m p r o v e m e n t t oh 2 6 4c o d i n gp e r f o r m a n c e ， a n dt h eo p t i m i z a t i o no ni n t r aa n di n t e rp r e d i c t i o nm o d e s d e c i s i o n t h ee m p h a s i si s t h ei m p l e m e n t a t i o na n df u n c t i o no fr a t ed i s t o r t i o ni nh 2 6 4v i d e oc o d i n ga n dt h e o p t i m i z a t i o no n m o d e sd e c i s i o n f u r t h e r m o r e ，w ea d o p tj m 6 1 ee d i t i o nr e f e r e n c es o f t w a r ea sh 2 6 4c o d e r ，a n d r e a l i z ei ti np e r s o n a lc o m p u t e r ，t h e no p t i m i z ei tt oi m p r o v et h ec o d i n ge f f i c i e n c y ，a n d w e i g h tt h ei m a g eq u a l i t y t h em a i nw o r ki st h er e s e a r c ho nh 2 6 4s t a n d a r da n d r a t e d i s t o r t i o n ，a n dt h eo p t i m i z a t i o no f t h ep r o g r a m m i n gc o d e ，a n dt h ec o m p a r eo f r e s u l t s f i n a l l y t h es u m m a r i z a t i o ni sm a k e na b o u tt h ew o r k ，a n df u t u r ed i r e c t i o na n d e m p h a s i so f r e s e a r c ha r e p u tf o r w a r ds i m u l t a n e o u s l y k e y w o r d s ：h 2 6 4 ，r a t e d i s t o r t i o nc o n t r o l ，l a g r a n g e m u l t i p l i e r p r e d i c t i o nm o d e 南京邮电学院学位论文独创性声明 v 1 r 6 2 8 8 7 一 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：避日期：塑堡蚓 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部势理。 研究生签名：塑塑导师签名：粒日期：珥 量! 塑堕兰堕1 1 墼堡圭堂些堡塞 ! ! 塑笙! 旦 第一章绪论 1 1 h 2 6 4 视频编码标准的介绍 h 2 6 4 a v c 是最新的国际视频编码标准。它是i t u t 的v c e g ( v i d e oc o d i n e x p e a sg r o u p ) 和i s o i e c 的m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 联合成立的 “联合视频组”( j v t ：j o i n t v i d e o t e a m ) 共同制定的新建议。早在1 9 9 8 年，v c e g 就提出了叫做h 2 6 l 编码建议，它的目标是与现在的视频编码标准相比，在相同 的图像质量下，压缩比提高一倍，并且能够满足更广泛的应用。1 9 9 9 年1 0 月这 一标准的第一份草案被采纳。2 0 0 1 年1 1 月，v c e g 和m p e g 联合组成了一个联 合视频小组j v t ，来共同制定这一最新的视频编码标准。这个组织的目标就是： 研究新的视频编码算法，其目标是在性能上要比以往制定的最好的标准提高很 多。联合视频小组于2 0 0 3 年5 月在日内瓦举行的j v t 第8 次会议上通过了最后 的视频编码标准草案。由于这个标准是由两个不同的组织共同制定的，因此这一 新标准有两个不同的名称：在i t u t 中，它的名字n uh 2 6 4 ；而在i s o i e c 中， 它被称为m p e g 一4 的第1 0 部分：高级视频编码( a v c ：a d v a n c e dv i d e o c o d i n g ) 。 h 2 6 4 的提出是为了满足f = | 益增长的对高压缩比运动图像要求的不同应用 要求，例如：可视电话( 固定或移动) 、实时视频会议系统、因特网的视频传输， 有线电视视频广播，多媒体信息存储等等，能够适应现在和未来的网络发展的要 求，能够在现在和未来的网络和广播信道中传输和接收。h 2 6 4 采用了新的编码 技术，使得它具有比以往标准优越的压缩性能和网络友好性，能够满足日益增长 的视频应用的要求。 l ，2h 2 6 4 与其他视频编码标准的比较 1 2 1h 2 6 1 与h 2 6 3 建议 h 2 6 1 是最早出现的视频编码建议，它的输出码率是p 6 4 k b i t s ( p 为0 到 3 1 的整数) ，当p 6 时，可以传输清晰度较好的图像，适合于电视会议等应用。 h 2 6 1 主要是应用于i s d n 的会议电视和可视电话。采用的算法结合了可减少时 南京邮电学院0 l 级硐- i 学位论文 2 0 0 4 年4 月 间冗余的帧间预测和可减少空间冗余的d c t 的混合编码方法。 h 2 6 3 建议是低码率图像压缩标准，支持码率小于6 4 k b i “s 的应用，但实质 上h 2 6 3 以及后来的h 2 6 3 + 和h 。2 6 3 + + 发展成支持全码率应用的建议，可支 持众多的图像格式，如s - q c i f ( s u b q u a r t e rc o m m o ni n t e r m e d i a r yf o r m a t ) 、q c i f 、 c i f 、4 c i f 甚至1 6 c i f 等。 h 2 6 3 在h 2 6 1 建议的基础上做了重要改进：采用了半像素精度的运动矢量 的搜索，取消了h 2 6 1 建议中的环路滤波器，增加了非限制运动矢量、基于语法 的算术编码、先进预测模式和p b 帧编码等四个高级选项，从而达到了进一步降 低码率和提高编码质量的目的。r h 2 6 3 + 和h 2 6 3 + + 是在h 2 6 3 的基础上增加了更多的编码可选项，在语法上 与h 2 6 3 兼容，编码效率有很大的提高，适用范围也更大。值得注意的是， h 2 6 3 “十+ 中既增加了一些改进编码效率的选项，同时也增加了提高抗误码性能 的选项，将适应信道的问题也纳入了信源编码中加以考虑。 1 2 2m p e g 1 2 和m p e g 4 标准 m p e g 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量的图 像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g 一1 标准视频编码部 分的基本算法和h 2 6 1 h 2 6 3 相似，采用运动补偿技术减少帧间冗余度，二维 d c t 变换去除空间相关性，量化后的d c t 系数进行v l c ( v a r i a b l el e n g t h c o d i n g ) 的游程编码，每个数据块的直流分量( d c ) 进行预测差分编码。m p e g 一1 中的图像类型共分四种：帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧 ( d ) 。d 帧的图像中只含直流分量，是为播出中的“快放”等功能而设计的。 m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如 它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分“帧” 和“场”；引入了编码的可分级技术，如空间可分级性、时间可分级性和信噪比 可分级性等。 近年推出的m p e g 一4 标准既能够支持低码率的视频应用，也能够支持广播级 的视频应用。与其他压缩标准相比，m p e g 4 标准中引入了视听对象 ( a v o ：a u d i o v i s u a lo b j e c t ) 的概念。引入基于视听对象的编码，大大提高了视 南京邮i u 学院0 1 级碗上学位论文 2 0 0 4 年4 月 频通信的交互能力和编码效率。m p e g 一4 中还采用了一些新的技术，诸如：形状 编码和自适应d c t ( s a d c t ) 技术以支持任意形状视频对象编码；基于内容的可 分级性操作：在其音、视频表示规范中考虑了信道特性；提供了传输多媒体集成 框架( d m l f ：d e l i v e r ym u l t i m e d i ai n t e r g r a t i o nf r a m e w o r k ) 应用接口等。但是 m p e g 一4 的核心视频编解码器也是和h 2 6 3 相类似的。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步取而 代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无所适从。m p e g 系列标准从针对存储媒体应用发展到传输媒体应用，其核心视频编码算法的基本 框架是和h 2 6 1 一致的。其中引人注目的m p e g 4 的“基于对象的编码”部分由 于尚有技术障碍，目前还难以普遍应用。而在此基础上发展起来的新的视频编码 建议h 2 6 4 克服了两者的弱点，引入了新的编码方式，面向实际应用，必将成为 一个实用的最优的建议和标准。 1 2 3h 2 6 4 与以往标准的比较 h 2 6 4 在深入利用现有的编码标准的基础之上，在编码上又采用了多项新的 技术，这些技术的采用对h 2 6 4 的编码性能有很大的提高。h 2 6 4 的主要功能目 标如下： 高压缩效率：在类似的编码器优化条件下，与h 2 6 3 + 或m p e g 一4s i m p l e p rc ) f i l e 相比，h 2 6 4 在大多数码率情况下最多可以节省5 0 的码率。 高质量的编码效果：i i 2 6 4 能在几乎所有码率情况下具有更高的编码质量， 包括低码率，并且在编码器中采用复杂可分级设计，在图像质量和编码处理之问 可分级，以适应高和低复杂性的应用。 自适应延时约束：h 2 6 4 可以工作在低时延模式进行实时通信应用，同时也 支持无时延要求的应用，对不同的业务灵活地采用相应的时延限制。比如视频存 储，基于视频服务器的流媒体应用等。 容错性：h 2 6 4 提供在分组网络情况下的丢包处理和易误码的无线通信中的 比特错误处理机制，增强解码器的差错恢复能力。 提高网络适应性：这个特性是从设计理念上把视频编码和传输分开，采用“网 络友好( h i e t w o r kf r i e n d l i n e s s ) 的结构和语法，形成两个层次：视频编码层 旦塞塑璺兰堕! ! 堡堡! ：兰些笙兰 ! ! 些竺! 旦 ( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) 。 v c l 主要提供核心的高质量的视频压缩；n a l 则是针对具体的网络传输环境把压 缩数据进行传输封装。这样更利于封装打包和信息优先级控制，以适应不同的网 络应用。 1 3 h 2 6 4 中的关键技术 l2 6 4 与以往的标准( h 2 6 1 ，h 2 6 3 ，m p e g 一1 ，m p e g 一4 等) 类似，也是基于块 的混合编码。它的基本算法也是通过帧间预测和运动补偿等技术来消除图像间的 时域冗余，通过变换编码技术来消除频域冗余。整个编码过程也主要是经过如下 功能模块：预测、变换、量化和熵编码。模块的基本功能没有发生根本的变化， 主要是在每一个功能模块的细节上发生了重要的变化，这些变化也就构成了 h 2 6 4 的关键技术。下面将从h 2 6 4 中引入的几个重要的关键技术做一简要介绍。 其中包括：帧内预测、运动估计、变换量化和熵编码。在第四章和第五章中我们 对帧内预测和运动估计要作介绍，故在这里只介绍其它几项关键技术。 1 3 1 变换和量化 1 3 1 1 变换 图像编码中通常采用d c t 变换来消除空域冗余。直接采用d c t 的定义进 行变换，会带来两个问题：一个是需要进行浮点数操作，从而造成系统设计上的 复杂性；另一个是由于变换核都是无理数，而有限精度的浮点数不可能精确到无 理数，再加上浮点数的运算可能会引入舍入误差，这就使得在具体实现时会导致 编解码的失配( m i s m a t c h ) ，即反变换的输出结果和正变换的输入不一样。为了 克服这些问题，h 2 6 4 采用整数d c t 变换，使得变换操作仅用整数加减和移位 操作就可以完成，这样既降低了设计复杂度，又避免了编解码的失配( m i s m a t c h ) 。 在h 2 6 4 中使用了三种变换方式：对47 4 4 块残余差值的变换，对4 4 亮 度直流系数变换，对2 2 色度直流系数变换，如图1 1 所示。 4 4 的亮度d c 系数变换标号为一l ，2 2 的色度d c 系数变换标号为1 6 、 1 7 ，其它的4 x 4 残差7 a c 系数变换标号为o 一2 5 ，标号一1 到2 5 是变换时的次序。 4 南京邮电学院0 1 级顾士学位论文 2 0 0 4 年4 月 当宏块的编码在1 6 1 6 帧内模式下，此时整个1 6 1 6 块的亮度分量是由 相邻像素点预测得到的。宏块的1 6 个4 x 4 块的直流分量组成一个4 4 的直流 系数矩阵x d ，这个矩阵的变换采用的是离散哈达码变换( d i s c r e t eh a d a m a r d t r a n s f o r m ：d h t ) 。 一个宏块中，每种色度分量都有4 个4 x 4 的块。每个4 x 4 的块都做4 4 的残留变换。变换后所有4 4 块的直流系数组成一个2 2 的块w d 要在量化前 做一次离散哈达码变换。 x 2d c a 0 】6 1 6 的亮度块分成4 4 的块4 4 的色度块 图1 1 亮度和色度块的d c t 变换 在h 2 6 4 中采用4 x 4 的变换与以往标准中8 8 的d c t 变换相比减少了方 块效应，1 6 一b i t s 的整数运算和移位运算避免了复杂的浮点运算和除法运算。同时 对直流系数又经过哈达马变换进一步减少了图像中的空域冗余，提高了压缩比。 1 3 1 2 量化 h 2 6 4 采用了分级量化，支持从o 5 1 的5 2 个量化步长( q u a n t i z e rs t e p ) ， 用量化参数( q u a n t i z a t i o n p a r a m e t e r ) 来索引量化步长，量化步长用q s f 印表示 量化参数用q p 表示，q 。f 印与q p 的关系如表1 - l 所示： 南京邮电学院0 1 级颂士学位论文 2 0 0 4 年4 月 表1 1 量化步氏q 5 卸与量化参数q e 的关系 q p o12 34567891 0l l q s t e p 06 2 506 8 7 508 12 508 7 5 l11 2 5l2 5 l3 7 51 6 2 5 l7 5222 5 q p l8 3 2 4 24 85 1 q s t e p 52 08 01 6 02 2 4 从表中可以看出q p 每增加6 ，q ，r 印增加一倍，也就是q p 每增加1 ，o 。f 甲 增加1 2 5 。这是一个非线性的指数关系，提高了码率控制能力。 1 3 2 熵编码 在h 2 6 4 的熵编码中可以采用通用可变长度编码( u v l c ：u n i v e r s a l v a r i a b l e l e n g t hc o d i n g ) 和基于内容的自适应算术编码( c a b a c ：c o n t e x t a d a p t i v e b i n a r y a r i t h m e t i cc o d i n g ) ，在性能上c a b a c 比u v l c 有4 3 2 的提高5 1 。 1 3 2 1 通用可变长度编码( u v l c ) 在h ，2 6 4 的编码中，当采用u v l c 时，冗余块数据( r e s i d u a lb l o c kd a t a ) 使用基于内容的自适应的可变长度编码，其他变长编码单元使用指数葛洛姆编码 方式( e x p g o l o m bc o d e s ) 。 采用葛洛姆编码的码表设计结构非常有规则，用相同的码表可以对不同的 对象进行编码，而解码器也很容易地识别码字的前缀，所以u v l c 在发生比特错 误时能快速获得重同步。指数葛洛姆码表结构如图卜2 所示： 1 0l x o 001 x x n 0001o 2x lo o 图卜2 指数葛洛姆码表结构 其中，0 0 ，0 是码字前缀，4 9 , g n x 。的值为0 或者“l ”，用i n f 0 表示 6 南京邮电学院0 【级硕士学位论文 2 0 0 4 年4 月 携带信息的区域，即i n f 0 = x 。x 。x 。，其中i n f 0 的长度为n 比特。在码表 中，第一个码字“l ”既没有码字前缀也没有信息码i n f o ，第二个码字有一个码 字前缀和一个信息码i n f o 域，依此类推，每一个码字的长度2 n + l 比特，其中 i n f o 域的长度n 和信息码i n f o 由长度标号c o d e n u m 来确定，表示为n = l o g2 ( c o d e n u m + 1 ) ，i n f o = c o d e n u m + l 一2 ”，下面给出一个简单的码表，如表卜2 。 表卜2 葛洛姆简单码表 c o d en u mc o d e w o r d 01 1o l o 20 1 1 30 0 1 0 0 40 0 1 0 1 5 0 0 1 1 0 例如，c o d e r l u i n 为5 ，则n = 2 ，i n f 0 = 2 ( 十进制) = 1 0 ( - - - 5 1 t $ 4 ) ，则码字为0 0 1 1 0 。 1 3 2 2 基于内容的白适应算术编码( c a b a c ) c a b a c 与u v l c 相比，具有一下3 个明显特点 5 】： ( 1 )内容模型提供编码符号概率分布的估计。利用适当的内容模式，在编码当 前符号时，根据已编码的临近符号的概率统计，在不同的概率模型间转换， 充分利用符号问的冗余。 ( 2 ) 算术编码可以给每一个符号的字母分配非整数的比特，因此符号可以接近 它的熵率被编码。如果选择了高效的概率模型，符号概率常常大于o 5 ， 这时分数比特就比u v l c 的整数( 至少l 比特) 比特高效的多。 ( 3 )自适应的算术编码可以使编码器自适应采用动态的符号概率统计。例如， 运动矢量的概率统计随空间、时间的不同，或序列、比特率的不同可以发 生巨大的变化。因此自适应模型可以充分利用已编码符号的概率累计，使 南京邮电学院0 l 级硕士学位论文 算术编码更好地适应当前符号的概率，提高编码效率。 如图1 3 所示，h 2 6 4 的自适应算术编码主要有以下几个步骤： ( 1 ) 内容建模：使基本概率模型能适应随视频帧而改变的统计特性。内容建模 提供了编码符号的条件概率估计，并利用合适的内容模型来去除符号间的 相关性。 ( 2 ) 二值化：c a b a c 使用二进制的算术编码，这就意味着编码器只对0 或者1 的二进制数进行编码。二值化过程就是把非二进制的符号( 比如变换系数， 运动矢量) 变成二进制的符号。 ( 3 ) 算术编码：根据选择的概率模式对输入二进制符号编码。 ( 4 ) 概率估计更新：被选择的内容模型将根据当前输入二进制符号更新。例如， 如果当前的符号是“1 ”，则“1 ”的概率将被增加 d 丑由 图1 - 3 自适应算术编码器模型 1 3 3 其它技术 h 2 6 4 中引入了环路滤波器技术，它对所有宏块按扫描顺序进行有条件的滤 波，可以减少宏块的边缘效应。消除块效应滤波器( d e b l o c k i n gf i l t e r ) 应用在反 变换后，宏块重构前。根据宏块中每一个块的位置和量化参数的不同，对每一条 块边界设置不同的滤波强度，自适应的调整滤波效果。它能够有效地改善解码图 像的主观视觉质量。滤波后的图像也可以作为参考图像。 在h ，2 6 4 中还引入了s ps l i c e ，它的引入最初起源于文献【6 】，它的主要目的 是用于不同码流的切换( s w i t c h ) ，此外也可以用于码流的随即访问、快进快退 和错误恢复。这里所说的不同码流是只在不同比特率限制下对同一信源进行编码 南京i | | i jf 乜学院0 i 级硕上学位论文 2 0 0 4 年4 月 所产生的码流。设切换前传输码流中的最后一帧为a ，切换后的目标码流第一帧 为b ( 假设为p 帧) ，由于b 的参考帧不存在，所以直接切换显然会导致很大的 失真，而且这种失真还会向后传递。种简单的解决方法就是传输帧内编码的b ， 但一般i 帧的数据量很大，这种方法会造成传输码率的陡然增加。根据前面的假 设，由于是对同一信源进行编码，尽管比特率不同，但切换前后的两帧必然存在 相当大的相关性，所以编码器可以将a 作为b 的参考帧，对b 进行帧间预测， 预测误差就是s ps l i c e ，然后通过传递s ps l i c e 完成码流的切换。与常规的p 帧 不同的是，生成s ps l i c e 所进行的预测是在a 和b 的变换域中进行。s ps l i c e 要 求切换后b 的图像应和直接传送的目标码流时一样。显然，如果切换的目标是 毫不相关的另一码流，s ps l i c e 就不适用了。 总之，在h 2 6 4 中引入了多项新的编码技术，使得它的性能比以往的任何 标准都有了很大的提高。但在采用新的编码技术的同时，不可避免地将多种编码 模式引入到视频编码器，每一个编码模式对编码的影响是不一样的，如何将这些 编码模式综合考虑、择优选用，使得最终的编码结果为相对最好的，这就成了 h 2 6 4 视频编码器中至关重要的一项技术。为此，在h 2 6 4 的编解码器实现中引 入了率失真控制技术来解决专业问题。本文将围绕率失真控制在h 2 6 4 中的应用 和实现，及其对帧内预测模式和帧间分割模式的确定所做的优化工作进行介绍。 第二章介绍r d 控制在h 2 6 4 中的应用；第三章介绍r d 控制中的参数确定；第 四章介绍帧内编码中的r d 控制及优化，主要是帧内预测模式的选取和确定：第 五章介绍帧闻预测模式选取的研究；第六章中对所作的工作做了一个总结，并对 未来的工作做了展望。 9 南京邮电学院0 1 级硕卜学位论文 2 0 0 4 年4 月 第二章r d 控制在h 2 6 4 中的应用 2 1 概述 率失真的理论从信息论的角度来讲，在信源给定，且又具体定义了失真函 数以后，我们总希望在满足一定失真的情况下，使信源必须传输给收信者的信息 传输率r 尽可能的小，或者在满足一定的传输速率r 的情况下，使失真d 尽可 能的小。在视频编码的过程中，我们就是要努力使得编码所得到的压缩信源，在 满足一定的失真的情况下，图像的压缩比更高，那样在传输的时候就使传输速率 尽可能的低。 在视频编码的过程中，视频编码算法和编码参数的选择影响编码的比特率 和解码的视频图像质量，也影响视频编解码器的计算复杂度。编码参数、比特率 和视频图像质量之间的关系变化依赖于视频序列的特性，例如：视频的细节多或 者细节少，视频的复杂运动或者简单运动等。对于不同的图像序列，其编码参数 的选择、最终的比特率和解码的图像质量是不同的。为了能够获得所要求的最佳 压缩性能( 即高的压缩比或者好的图像质量或者二者之间的一个权衡) ，对视频 编码过程的控制是非常重要的，它使得最后的编码结果能够在传输环境和处理能 力允许的范围内达到最优。 率失真优化编解码器的目的是在传输比特率限制的范围内使图像质量最 优，显然，最好的优化性能是以很高的计算量( 有时难以实现) 为代价来获得的。 刘于比特率控制的实际算法可以根据这种算法如何接近最适宜的性能来判断。有 许多可以选择的速率控制算法存在。一般来说，效果越好的算法，越是能够获得 优秀的率失真性能，但通常是以增加计算复杂度为代价的。因此，如何在不增加 熏建图像降质( 或轻微增加图像的降质) 条件下降低率失真控制的计算复杂度就 成了一个广泛关注的问题。本文的就是在保证编码性能没有明显降低的情况下， 降低率失真控制的计算复杂度。一种速率控制算法经过认真地选择和执行，能够 对视频编解码器的性能产生很大的区别。 仅仅使用软件实现的编解码器，并且在运算环境的计算能力有限的条件下 进行视频编解码，那么计算的复杂度是视频编解码器实现要考虑的一个重要的因 素。在许多的应用领域，因为可提供的输入信源或者所给的比特率都会限制图像 o 南京邮电学院叭级硕士学位论文 2 0 0 4 年4 月 的质量，例如，当图像质量的运动量很大，需要相对多的比特数，如果传输信道 有速率的限制，那么只有牺牲图像质量来保证图像的正常传输。这也就导致了速 率、计算复杂度和图像失真之间是相互依赖的。种好的算法被要求能够联合控 制比特率和计算复杂度，同时使图像的失真最小。速率与失真之间的关系也就是 图像的压缩比与失真之间的关系。 2 2 率失真控制的重要性 一个实际的视频编解码器，在一定的环境下，它的操作会受到一定的限制。 其中最重要的一个限制就是输出的码率，也就是视频编解码器被允许以什么样的 速率输出数据。一个视频数据信源通常以一个稳定不变的比特率( 即每秒钟的比 特数不变) 输出数据，并且这个视频编码器将这一不变的高速率的信源数据进行 压缩处理，产生一个被压缩过的数据流，以一个被降低的速率输出。在视频编码 中压缩比依赖于很多因素。它们包括： l 、编码算法：例如，帧内或帧间的编码方式，前向或者后向的预测方向， 整数或半像素的运动补偿精度，d c t 或小波变换的算法等等。 2 、视频序列的类型：通常包括许多的空间细节或者快速运动或者二者兼备 的视频序列经过压缩处理，所产生的比特数比包括更少的空间细节或者 运动简单的视频序列所产生的比特数要多。 3 、编码参数的选择：例如，量化步长的选择，宏块的分割模式的选择，运 动矢量搜索范围的确定，插入i 帧的数量等等。 下面给出了一个比特数统计的轮廓曲线。视频序列采用的是f o r m a n q c i f 序 列，是在h2 6 4 编解码器j m 6 1 e 版本上进行的比特数统计。图2 1 是在只采用i 帧的情况的编码的比特数统计，类似于每一帧采用j p e g 编码，每一帧独立编码， 从图中我们可以看出，每一帧的比特数没有重大变化，一些小的变化是因为在这 1 0 帧序列中帧内的空间内容上的变化引起的。图2 2 是在只有第一帧为i 帧，其 余为p 帧的情况下，p 帧为单向预测利用图像序列间的时间相关性，从数据来看 p 帧的压缩比是i 帧的9 倍左右，并且p 帧之间有很小的变化，这些变化是由于 细节和运动引起的。对这个序列又采用i 、p 、b 帧的情况进行统计，如图2 - 3 所示，i 帧之后是p 、b 帧，其顺序为i b p b p b p ，b 帧采用双向预测，进一 南京邮电学院o l 级硕士学位论文 2 0 0 4 年4 月 步利用了图像序列间的时间相关性，从图中看出b 帧给出了最好的压缩性能， 但在相同的帧类型间数据变化不大。这些例子的目的是为了说明编码算法的选择 和视频序列的内容对图像的压缩比的影响，也影响最终解码的图像质量。 2 5 0 0 0 2 0 0 0 0 8 1 5 0 0 0 差 墼1 0 0 0 0 i - 5 0 0 0 0 2 5 0 0 0 2 0 0 0 0 1 5 0 0 0 1 0 0 0 0 5 0 0 0 o 4567891 0 f r a m en u m b e r 图2 - 1 只采用i 帧的编码比特数统计 o123456789 1 0 f r a m en u m b e r 图2 - 2 采用i 帧和p 帧的编码比特数统计 1 2 一菪一mem差羔耍。卜 南京邮电学院0 1 级硕士学位论文 2 0 0 4 年4 月 2 5 0 0 0 2 0 0 0 0 1 5 0 0 0 1 0 0 0 0 5 0 0 0 0 012345678g1 0 f r a m en u m b e r 图2 - 3 采用i 、p 、b 帧的编码比特数统计 2 3 率失真的性能 视频编解码器的率失真的性能提供了在一定编码比特率范围内对图像质量 的一种衡量。对于一个所给的比特率，测量其失真。取不同的比特率，获得不同 的失真，重复操作可获得一一组关于比特率和失真之间的数据，获得率失真曲线。 编码器率失真的性能可能被许多因素所影响，包括如下： 1 、视频内容 在同样的编码条件下，不同的被编码的视频内容将会对率失真性能产生重 要的影u 向。图2 - 4 比较了两个不同的视频序列s i l e n c e q c i f 和f o r m a n q c i f 在相同的 编码条件下的率失真性能。数据的统计是采用h 2 6 4 编解码，在不同量化参数 q p = 2 6 ，2 8 ，3 0 ，3 2 ，3 4 ，3 6 ) 条件下，对编码结果进行了速率统计，绘出率失真曲 线。 f o i t r l a n 序列的运动量比较大，包含许多的运动和细节，而s i l e n c e 是运动量 相对少的头肩像序列，因此f o r m a n 序列比s i l e n c e 序列更难压缩。在同样的量化 步长下，f o r m a n 序列与s i l e n c e 序列相比趋向于具有更高的比特率和更高的失真。 从统计数据绘出的曲线来看，率失真的曲线的形状是相同的，都是随着速率的增 堕重些里兰盟璺丝主鲨苎 ! ! 些兰! 星 加信噪比也随着提高，但从图中可以看出，在相同的编码的速率下两个序列问的 信噪比是非常不同的，也就是失真是非常不同的，运动量相对较小的s i l e n c e 序 列具有更高的信噪比。这也就是说明不同的视频内容之间具有不同的率失真性 能。 4 2 4 1 4 0 3 9 占 蓍3 8 磊 d - 3 7 3 6 3 5 3 4 4 06 08 01 0 01 2 01 4 01 6 01 8 02 0 02 2 0 r a t e ( k b p s ) 图2 - 4s i l e n c e 序列与f ：o r r n a n 序列的r d 曲线比较 2 、编码参数 在一个编码实现的过程中需要面对很多编码参数的选择。在基于d c t 的编 码器中，许多的编码参数影响编码后的比特率，除了上面提到的量化步长q 。， 还包括其他的许多参数，尤其在h 2 6 4 中包括更多的编码参数的选择。例如，一 个有效的运动估计算法，在运动补偿之后得到一个具有小数据量的差值图像，并 且因此产生一个低的比特率；帧内编码宏块通常比帧间编码宏块需要更多的比特 数，在编码的过程中i 帧刷新的帧数间隔既会影响图像的压缩比，也会影响图像 的质量：半像素运动补偿比整数像素补偿产生更低的比特率，在h 2 6 4 中更是出 现了1 4 像素和1 ，8 像素的精度选择：在以往的标准中只是利用图像序列中时间 上的相关性，在h 2 6 4 中引入利用图像中的空间相关性，即帧内预测的引入。因 此编码参数的选择非常重要，它对不同序列的率失真性能产生不同的影响。 1 4 南京邮电学院0 l 级硕士学位论文 2 0 0 4 年4 月 3 、编码算法 图像压缩的每一种标准都有自己的压缩算法，不同的压缩算法产生不同的 编码比特率，每一种标准都为了满足一定的应用，他们一个共同的目的就是在保 证图像质量的前提下尽可能的提高图像的压缩比，例如h 2 6 1 、h 2 6 3 、m p e g 2 、 m p e g 4 、h 2 6 4 等。不同的压缩算法会产生不同的数据量，也会产生不同的信噪 比，那么也就是产生不同的率失真性能，因此编码方式的选择也是影响率失真性 能的一个因素。 2 4 率失真的优化 在通信工程中，编码的比特率与图像失真之间的权衡通常是率失真问题的一 个例子。在一个有损通信系统中，要解决的难点就是在获得目标数据速率的条件 下使失真最小。这个问题可以表示如式( 2 1 ) ，即在保持比特率r 不超过最大的比 特率r 的条件下，使失真最小。 m i n d ) s t r r 。( 2 1 ) 速率的条件限制可以通过选择最适宜的编码参数来获得最好的图像质量( 即最小 失真) ，并且不超过目标比特率。这个过程如下： 1 、用一组特定的编码参数( 包括量化步长、m b 模式的选择等等) 对视频序列 编码，并且测量编码获得的比特率和被解码的图像质量( 即失真) ，这样就获 得了速率r 与失真d 之间的关系和一个r d 操作点( o p e r a t i o n p o i n t ) 。 2 、重复编码过程，使用不同的编码参数组合来获得另外的r - d 点。 3 、编码参数间进一步组合，重复操作( 当然参数的组合将非常的多) 。 在率失真优化中要求失真的测量，然而，人眼的感觉很难用数量来表示， 因为人眼的视觉系统非常复杂，不易理解。在实际的比较中通常采用一些失真模 型来测量。例如，s s d ( t h es u mo fs q u a r e dd i f f e r e n c e ：差值平方和) 、m s e ( m e a n s q u a r e de r r o r ：均方差) 、p s n r ( p e a ks i g n a l - t o n o i s er a t i o ：峰值信噪比) 、s a d ( t h e s u m o f a b s o l u t ed i f f e r e n c e s ：绝对差之a n ) 。 s s d ( f ，g ) = e i f ( s ) 一o ( s ) 1 2 ( 2 2 ) 堕业皇兰垦旦塑里竖堡笙塞 ! ! 坚兰! 旦 艘一2 南册舻，g ) ( 2 3 ) 删品一( f ，g ) = 1 0 1 0 9 , o 面五( 2 丽5 5 ) 丽2 d b ( 2 4 ) s a d 。= i f ( s ) 一g ( j ) i( 2 5 ) 其中a 为所编码图像的像素数，f 、g 分别为原始图像和预测恢复的图像。 d 图2 - 6 率失真( r - d ) 的操作点 图2 - 6 给出了这些r d 操作点组成的图，这个图只是一个参考示意图，并没 有用具体数据表示，每一个点表示在一组特定的编码参数条件下得到的平均比特 率和失真。从图中可以看到，那些点在最靠近曲线的地方的是具有更好的率失真 性能的，因此有“坏”的和“好”的率失真点。这个曲线是下凸的，这就告诉我 们在目标速率r 条件下，最小的失真d 出现在这个下凸曲线上。率失真优化 的主要目的就是找到一组编码参数的组合能够使r d 操作点尽可能的接近这条 最优曲线。找到这个位置，并且因此获得最优的性能的方法之一就是通过使用拉 格朗f