（信号与信息处理专业论文）h264码率控制技术研究.pdf

摘要 摘要 数字视频压缩技术是当今多媒体信息处理技术中的一个研究重点与热点。 在过去的近二十年中，先后出现多种不同的视频编码标准。h 2 6 4 a v c 是由国 际电信联盟( i t u t ) 和国际标准化组织( i s o ，i e c ) 共同制定出的新一代视频 编码标准。h 2 “标准采用了一系列的新技术，显著地提高了编码的效率，并 已成为近年来最为高效的视频压缩标准。为了在限定的网络带宽、延时和缓存 下获得较好的图像质量，必须采用适当的策略来控制编码器，将编码器的码率 输出控制在一定的范围之内，码率控制技术随之成为视频编码的关键技术之一。 由于h 2 6 4 的编码算法与以往的视频编码标准有些不同，因此它的码率控制相 对复杂一些。 论文深入分析了码率控制的基本原理，讨论了视频编码中产生码率波动的 原因，以及影响码率大小的参数，介绍并总结了目前主流视频编码标准的算法 和码率模型。在现有的 l 2 6 4 码率控制技术研究成果的基础之上，提出了一种 新的基于预测激励和时空相关的h 2 6 4 码率控制算法( p s - s t r 算法) ，该算法 有效地克服了现有的h 2 6 4 码率控制算法在运算量和预测精确度上的不足。实 验结果表明，与现有的经典算法相比，p s s t r 算法能够对视频图像复杂度的变 化趋势做出更加准确的预测，并合理分配编码比特数，使编码后码流的码率更 接近目标码率，同时信噪比也有相当程度的提高。针对m a d 预测存在误差而 影响码率控制效果的问题，以及量化参数由于取整保持不变而带来的比特分配 不能很好地反映视频图像复杂度的问题，作者还提出了通过自由基调整比特分 配的改进方案，以及通过修改率失真优化的k 。d c 来更精细地控制码率的改进方 案，从而对p s s t r 算法做了进一步的改进。实验结果表明，改进的p s s n t 算 法较原算法在实际码率与目标码率的接近程度和信噪比度量上都有较明显的提 高，而且码率变化曲线更为平缓。 关键字：视频编码h 2 6 4 ，a v c 码率控制 a b s 仃a c t a b s t r a c t v i d e oc o m p r e s s i o nt c c h n o l o g yi so n eo fn l e 锄p h a so f s e a r c hi nm u l t i m e d i a 面茁d n n a l i o np r o c e s s i n gt e c b i l 0 1 0 霉卧h l 也ep a s tt w od e c a d e s ，辩v e r a l “d e oc o d i l l g s t a n d a r d se m e r g e d h 2 6 4 a v c “d e oc o d i n gs t a n 捌w a sd e v e l o p e di o h t l yb y i t u ta 1 1 di s 0 i e c e m p l o y i i l gan 岫b e ro f n e wt e c h i l i q l l c s ，h 2 6 4 ，a v ci sc a p a b l e o fa l l l a n c i i l gc o d i n ge m c i 衄c y 目e a n y ，趾dh 嬲b e e nn o m i n a t e dt ob et l l em o s t e m c i e mv i d e 0c o d i n gs 协n d a r di i lr e c e n ty e a r s 硒ar e s i l l t t b 越l l i e v eb e t t e ri m a g e q u a l i t yu n d c rt h ec h 锄e lb 姐d w i d t t l ，t i m e 1 a p s e 弛db u f r e rl i m i t a t i o i l ，a p p r o p r i a t e s 眦t e g i e sm u s tb ea d o p t e dt oc o n 订0 1t h er a t eo f e n c o d e r so u t p u ti m oac e r t a i l lm g e t h e r e f o r e ，m t ec o m r o lh a sb e c o m eo n eo ft h ek e yt e c h i l i q u e so f 啊d e oc o d i l l g h o w e v e r t h ec o d i n ga l g o r i l m0 fh 2 6 4i sd i 丘b r e m 丘d mt h ef o r n l e rv i d e oc o d i l l g s t a i l d a r d s 。t h e r e f o r ci t sr a t ec o n 廿o li sc o m p 删i 、，c l ym o r ec o m p l i c a t e d i nt h i sd i s s e r t a t i o n t h et 1 1 e o r yo fr a t ec o m m li sa 1 1 猷y z e d ，t h er e 嬲o n s 趴d p a i 狮e t e r st h a tc o u l dc a u s e 也er a t ev a r i a n c ea r ed i s c u s s e d t h ea l g o r i m m sa n d r a t e d i s t o r t i o n ( r d ) m o d e lo fs e v e r a lv i d e oc o d i n gs t a n d 甜d s 盯ea l s or e v i e w e da n d s u n l r ：【l a r i z e d o n 世l cb a s i so fe 】【i s t i n gr e s e a r c ha c l l i e v e m e m so fh 2 6 4r n ec o n ”o l t c c l l l l 0 1 0 9 y ，an e wh 2 6 4m t ec o n 订o la l g o r i t l l m ，p r e d i c t i o n 幽i l l a t i o nb a s e d 锄d s p e t i n 壕r c l a t e dh 2 6 4 馏：t ec o n t r o la l g o r i t l l i n ( p s s t ra l g o r i t l l m ) ，i sp r o p o s e d t h en e w l yp r o p o s e da l 鲥也me 丘b c t i v e l yo v e r c o m e st h el i i l l i 枷o no fe x i 鲥曲g a l g o r i m m si nc a l c u l a t i o nc o s ta n dp r e d i c t i o np r c c i s i o n t h ee x p e r i m e m a lr e s u l t s i l l l l s 仃a t et l 哦c o m p a r c dw i m 也ee x i s t i l l gc l a s s i ca l g o r i t h r n s ，p s s t ra l g 鲥t l l l ni s c a p a b l eo fp r e d i c t i n g 也ev a r i a n c e 仃e n do fv i d e oc o m p l e x i 够m o r ep r e c i s e l ya i l d p e r f b m i n gam o r ce 丘b c t i v eb i ta l l o c a ：c i o n c o n s e q u e m l y ，t l l eb “r a t e 蚯e re n c o d i n g i sc l o s c rt 0 也eo b i e c t i v eo n e 锄dt h ep s n ri sa l s oa l l l a i l c e d b ed e a da g a i l l s ts o m e p r o b l e m sc a u s e db ym a dp f e d i c t i o na n db i ta l l o c a t i o n 锕oi m p r o v e ds c h 锄e s ，b i t a 1 1 0 c a t i o ns c h c m e 锄p l o y i n g 丹e e - l | n i ta n df i n er a t ec o n 仃o ls c h e m e 咖p l o y i l l g p a r a n l e t e rk o d cm o d i f i c a l j o i l ，a r e a l s o p r o p o 辩d 矗”p s s n 己a l g o r i t l l i n t h e e x p e r i m e m a lr e s u l t si n d i c a t et l l a tb ya d o p t i n gt h ei m p r o v e dp s s t ra l g o r i t t l 】咀 t l l e a c t u a lr a 土ei se v e nm u c hc l o s e rt ot h eo b i e c t i v er a t ea n d 也ep s n ri sa l s oi n c r c a s e d t h er a t ec u r v ei sm u c hm o r en a t 、i t hl e s sv a f i a n c e k e yw d s ：d e oc o d i n 舀h 2 6 4 ，a v c ，r 丑t ec o 曲r o l 图目录 图目录 图1 1 影响视频编码的几个关键因素6 图2 1 压缩码流中的码率波动( s t e f a n 儡伊e g 乞。仅采用帧内预测) 8 图2 2 压缩码流中的码率波动( c s t 毋i a r d 鹏2 6 3 ) 9 图2 3g o p 中的码率变化图9 图2 - 4 码率控制原理图1 0 图2 5 典型的r d 曲线。1 1 图2 6 实际的r - d 曲线。1 2 图3 - lh 2 6 4 码率控制的框架图2 l 图3 - 2 预测窗口大小与预测误差关系图 图3 - 3p s s t r 算法流程示意图2 7 图3 4 两种算法编码比特数和y p s n r 的比较( n i m a n 序列，目标码率3 2 k b p s ) 3 3 图3 5 两种算法编码比特数和y p s n r 的比较( f o r e m 序列，目标码率4 8 k b p s ) 3 3 图3 - 6 两种算法编码比特数和y p s n r 的比较( f o r 锄a n 序列，目标码率6 4 k b p s ) 3 3 图3 - 7 两种方法编码比特数和y p s n r 的比较( c 唧h o n e 序列，目标码率4 8 k b p s ) 3 5 图4 1 改进的p s s t r 算法基本单元层的码率控制流程图4 7 图4 - 2 三种方法编码比特数和y p s n r 的比较( c a r p h o m 序列，目标码率4 8 k b p s ) 4 8 图4 - 3 三种方法编码比特数和y p s n r 的比较( f o 嘞序列，目标码率4 8 k b p s ) 4 8 v 表目录 表目录 表3 - 1 参数 、如和如的取值2 8 表3 - 2j 二g 0 1 2 和p s - s t r 算法在第一组实验中的结果比较3 2 表3 3 1 0 1 2 和p s s t r 算法在第二组实验中的结果比较3 4 表4 1b p p m a x k b 和图像尺寸的关系3 7 表4 - 2 改进的p s s t r 算法的实验结果4 7 表4 _ 3j m l o 1 模型的编码时间列表4 8 v i 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名：l ，主 叫年；月6 日 指导教师签名：越 神年3 月日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体己经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均己在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：! 亟壹 1 伽7 年；月6 日 第一章绪论 1 1 引言 第一章绪论 2 1 世纪是一个数字信息时代，数字信息化几乎涉及到世界的各个角落，改 变了人类的生活和工作方式。信息技术的发展，使人们的学习和交流打破了过 去的时空界限，为人类能力的提高和发挥带来了新的空间。以多媒体和网络为 依托的信息技术已成为拓展人类能力的创造性工具。随着多媒体业务的不断拓 展，多媒体技术己成为工业界和学术界的一个研究热点。同时，随着超大规模 集成电路技术、数字信号处理技术、双通道v r a m 和网络技术的飞速发展【l j ， 数字视频压缩算法和视频处理器结构得到了有效的改进，这使得多媒体技术的 实际应用成为可能。 多媒体信息内容丰富，包括文字、声音、图像、图形和视频等数据，其自 身所具有的信息容量大以及表达能力强等显著优势，使得它代替单一的语音通 信模式已经成为不可阻挡的趋势。多媒体信息本身作为数字信号，具有易于远 距离传输和存储的特点，而且没有积累失真，数字化信息可被高品质地还原。 视频信息是多媒体信息中最重要的信息类型之一，它具有直观、形象、准确、 高效以及应用广泛等特点，但其庞大的数据量对通信系统中有限的带宽和存储 空间提出了严峻的挑战。以现在最广泛使用的d v d 为例，输入视频格式为d 1 ， 帧率为3 0 审s ，色差格式为4 ：2 ：2 ，则视频数据码率为7 2 0 4 8 0 1 6 3 0 = 1 6 5 9 m b p s ，d v d 光盘容量为4 7 g b ，仅能存储长度为2 2 6 4 秒的节目。同时， 现有的通信和存储设备一般也不足以承受视频信息几十甚至上百兆的码率。因 此，如何压缩视频数据量已经成为多媒体技术发展中的关键问题之一，它是降 低传输和存储成本、缓解网络带宽、降低存储空间以及计算机处理能力限制的 一个重要手段。 作为一个专门的研究领域，数字视频压缩编码技术发展到今天已经有3 0 余 年的历史，但它真正走向成功应用的标志是2 0 世纪8 0 年代末的h 2 6 1 国际视 频编码标准【2 】的提出。而随着视频编码和处理算法研究的进展，针对不同应用 需求，i s o i e c 和i t u t 又相继发布了m p e g 1 【3 j 、m p e g 2 【4 j 、h 2 6 3 例、m p e g _ 4 州 和h 2 6 4 ( m p e g - 4p a r t1 0 ) 【7 j 等标准。近年来，视频编码应用得到了蓬勃发展， 这主要受益于压缩算法的深入研究、处理器能力的大幅度提高、基于主观感觉 的失真衡量方法的引入、各种视频编码标准的建立以及网络、计算机、通信技 术的不断进步嘲。 随着视频编码技术的不断发展，其在数字电视广播、数字视频存储、视频 点播、会议电视、可视电话，远程医疗等各种场合下都得到了广泛应用。而在 实际的视频应用场合中，传输带宽和延时都是有限的，如何在给定的带宽和时 延下实时传输数据，并保证良好和稳定的接受端质量是一个关键问题。目前的 视频编码标准，其编码的码流具有变码率的特性。如果在编码过程中编码参数 保持不变，编码不同帧消耗的比特数会有显著不同。显然，这种码率无限制的 第一章绪论 码流对于给定带宽和时延的网络传输是十分不利的，它可能导致视频通信系统 的瘫痪。因此码率控制已成为视频编码技术中的重要研究内容之一。m p e g 1 、 m p e g 2 、h - 2 6 3 、m p e g _ 4 等视频编码标准都对码率控制技术进行了广泛的研 究，h 2 6 4 也不例外。本文将对h 2 6 4 码率控制的原理和算法进行深入分析， 并提出了一种新的h 2 6 4 码率控制算法及其改进方案。 1 。2 视频编码的基本原理 未经压缩的数字视频图像含有大量的数据冗余，研究表明，这种数据冗余 可主要划分为三类：由于图像在时域和空域上具有很强相关性【9 j 而形成的统计冗 余；由于人眼视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 对亮度和色度的不同心理 反应【lo j 而形成的心理视觉冗余；由于平均编码长度和信源熵之间偏型u 】而造成 的熵冗余。此外，对于某些特殊类型的图像而言，还可能存在结构冗余和知识 冗余等其它形式的数据冗余。数字视频图像的冗余程度越高，其可压缩程度也 就越高。视频信号中冗余的消除方法以及有效地、可靠地信息传输、存储和处 理的实现是视频编码技术的主要研究问题。 按照压缩后的数据是否能够完全还原成原始数据，信源编码可分为无损编 码和有损编码。采用无损编码可以精确地恢复原始数据。s h a n n o n 第一定理指 出了无损编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极 限1 1 2 j 。无损编码的常用方法有h u m n a i l 编码、游程编码( r 吼一l e n g t l lc o d i n g ， r l c ) 等。但无损编码的压缩比通常比较低，大约在2 ：1 左右蝎j ，这远远不能达 到实际应用中对视频压缩比的要求。不同于无损编码，有损编码采用折衷的方 法，以保真度的降低来换取压缩比的增加，以适用于对视频压缩比有不同要求 的实际应用场合。有损编码和无损编码的一个主要区别是前者采用了量化器， 而后者没有。量化是一种多对一的映射，因此，引入量化器不可避免地存在着 失真。目前有损编码主要采用了空间采样、时空预测、变换、量化和熵编码等 技术以有效地消除各种数据冗余【”j 。目前，m c d p c m 厂r ( m o t i o n c o m p e n 鼢t i o n d i 虢r e r n i a lp l l l s ec o d m gm o d u l a t i 0 玎厂r r a n s f o m ) 是一种主流的有 损编码方案，大部分视频压缩标准都采用这种方式进行编码，它们除使用r l c 、 h u m n 锄编码或算术编码消除编码冗余外，还使用m c d p c m 编码消除视频信 号的时域冗余，并使用变换消除空域冗余。 基于图像相邻像素之间具有较强相关性这一事实，在d p c m 中，每个像素 的当前值根据以前己知的邻域中的像素值进行预测。因此在编码中传输的不是 像素取样值本身，而是取样值的预测值和实际值之间的偏差。由于d p c m 可以 提供一个中等程度的压缩1 0 】，而且实现相对简单，己被多种视频编码标准采纳 用以消除视频信号的时域相关性【2 ，3 ，t 5 ，1 4 ，15 1 。 变换编码已有二十多年的研究历史，己被证明是一种高效的图像压缩方法， 同时也是迄今为止所有有损编码国际标准的基础。变换编码可以有效地消除图 像数据之间的空间相关性。基本的变换编码是把图像分割成块，逐块进行二维 正交变换、量化，最后对量化后的系数进行编码。常见的变换有d f t 、d c t 、 h a d a m a r d 和h 町变换。其中，在相邻像素间的相关系数逼近l 时，d c t 有类 似于j ( k a r h 眦l o v c vt r a n s f o r n l ) 的特性l j 6 j ，通过变换结果恢复出的图像 2 第一章绪论 与原图像在统计学意义上最接近。使用d c t 能够轻松地获得2 5 ：1 的较高压缩 比，同时又能保证图像的视觉效果没有显著的下降1 0 l 。因此，除了h 2 6 4 采用 整数变换外，其它所有视频编码标准都是采用d c t 【2 j ，4 ，5 1 4 ，15 1 。 1 3 数字视频编码标准 目前，图像编码和视频编码已成为一个广泛研究的课题，它的应用遍及各 行各业，已经从纯学术研究转变为高度的商业行为。不断增长的商业需求进一 步推动着标准的形成，各种国际视频编码标准的推出，使不同来源的图像和视 频可以在不同的硬件平台上处理、在不同的存储设备上存储、在不同的通信网 络上传输。目前从事视频压缩标准制定的国际组织主要有国际电信联盟i t u - t 的视频编码专家组v c e g ( d e oc o d i n ge x p e ng r o u p ) 和国际标准化组织 i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t i l r ee x p e ng r o u p ) 。两个标准化 组织基于不同的应用需求，采用近似的压缩编码技术，分别制定了h 2 6 x 和 m p e g - x 系列视频压缩标准。其中，i t u t 针对可视会议等应用分别制定了 h 2 6 l ，h 2 6 2 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6 l ，h 2 6 4 a v c ：i s 0 i e c 相继 制定了m p e g 1 ，m p e g 2 ，m p e g 4 。以上国际压缩标准尽管应用领域不同， 但是均采用了预测编码结合变换量化的混合编码模式。两大视频标准化组织于 1 9 9 2 年联合提出的m p e g 2 h 2 6 2 是现有最成功的国际视频压缩标准，2 0 0 2 年 又再次联手推出了h 2 6 4 a v c ，即m p e g - 4 第1 0 部分。下面将简要介绍几个主 要的视频编码国际标准。 h 2 6 1 【2 】的全称为d e oc o d e cf o ra u d i o v i s l l a ls e n ，i c e sa tp 。6 4 k b p s ，1 9 9 1 年，被正式批准为国际标准。h 2 6 1 是第一个获得广泛应用的视频编码标准， 主要用于i s d l n ( h t e g r a t e ds e r “c e s d i g i t a l n e 铆o r k ) 上以“。p ( k b p s ) ，p = 1 ，3 0 的 速率开展视频会议和视频电话业务。当p 时，只能传输清晰度不太高的图像， 可应用于电视电话；当炉6 时，可以传输清晰度较好的图像，适用于电视会议 等。h 2 6 1 采用运动补偿( m 舐o nc o m p e i l s a t i o n ) 消除视频信号的时域冗余， 采用二维离散余弦变换消除视频信号的空间冗余，并有帧间编码和帧内编码两 种编码方式。若帧间预测效率较低，则帧内编码方式将被激活，输入信号直接 进行d c t 变换。 i s 伽e c1 1 1 7 2 ( m p e g 1 【3 】) 标准于1 9 9 1 年起草，1 9 9 2 年正式成为国际标 准。m p e g - 1 标准制定的目标码率是1 2 m b p s ，是为只读c d r o m 光盘的视频 存储和播放所制定的，对于c i f ( 3 5 2 2 8 8 ) 格式图像可以达到实时播放。 m p e g - 1 和h 2 6 1 非常相似，也采用运动补偿和二维d c t 变换。不同之处是加 入了一些新技术，如双向预测和半像素运动补偿，提高了预测精度和运动补偿 的有效性。在m p e g 1 标准中，图像预测可以分为帧内预测、前向帧间预测、 双向帧间预测和直接预测四种类型。m p e g 1 主要应用于存储性质的应用，它 能够满足特定的存储需求，如随机访问、快进、快退等。同时，它的设计具有 通用性，它被设计成一个工具集，用户可根据应用选择工具。另外，标准仅定 义了解码器和码流语法，这给开发商很大的灵活度来优化自己的编码器。正式 m p e g - l 的这种在设计上的通用性和开发上的灵活性，使得它获得了巨大的成 功。 第一章绪论 i s o i e c1 3 8 1 8 ( m p e g 2 ) 草案于1 9 9 4 年公布，次年m p e g 2 h 成为国际 标准。m p e g - 2 的视频编码部分就是h 2 6 2 ，该标准主要针对数字视频广播d v b ( d i g i t a l d e ob r o a d c a s t ) 、高清晰度电视h d l v ( h i 曲d i g i t a lt e l e v i s i o n ) 和数 字光盘d v d ( d i g i t a l d e od i s c a r d ) 等4 9 m b p s 运动图像的编码。和m p e g 一1 一样，m p e g 2 仍然是本着通用和灵活的原则进行设计的。事实上，m p e g - 2 是m p e g 1 的一个超集，它后向兼容m p e g - l ，并在m p e g - 1 基础上，加入了 一些额外的功能，如支持隔行视频和码流分级。与h 2 6 1 视频标准相比， m p e g - 2 h 2 6 2 开始使用半像素精度的运动矢量搜索，引入了“帧”和“场”的编码 方法，支持可分级性技术( 包括空间可分级性、时间可分级性和信噪比可分级 性等) 。但对于大多数应用来说，没有必要实现m p e g 2 的所有语法，为此， m p e g 2 引入了档次( p r o f i l e ) 的概念定义功能，引入了等级( l e v e l ) 的概念 限制码流参数。这样以不同“档次”和“等级”设计的解码器能够对相同或者较低 档次的数据解码。其中一个主要的档次和等级组合是m p & m l ( m a 缸p r o f i l e & m a i nl e v e l ) 。m p e g 2 与m p e g - 1 相比有着更为广泛的应用，如有线电视、a r m 视频服务、卫星和地面电视广播等。 h 2 6 3 h 1 在1 9 9 5 年完成，1 9 9 6 年成为国际标准。h 2 6 3 是为低码率视频压 缩提供的新标准，目的是支持码率小于6 4 k b p s 的应用。尽管与h 2 6 1 的结构相 似，但h 2 6 3 在性能上有了显著提高。实验表明：在相同的主观质量下，h 2 6 3 的编码码率仅为h 2 6 l 的一半1 1 7 j 。h 2 6 3 性能的提高归功于优化的编码技术和 高级可选编码模式。与h 2 6 1 相比，h 2 6 3 采用半像索精度的运动矢量搜索， 使用更优的宏块编址和量化编码，增加了非限制运动矢量，提出了基于语法的 算术编码、先进预测模式和p b 帧编码等多个高级选项，从而达到了进一步降 低码率和提高编码质量的目的。h 2 6 3 在增加编码效率的同时，增强了抗误码 的差错隐藏性能，将信道传输性能问题在信源编码中加以综合考虑。h 2 6 3 + 和 h 2 6 3 + + 扩充了h 2 6 3 的编码可选项，进一步提高了编码效率并拓展了适用范 围，同时支持s o c i f 等多种图像格式。 m p e g 4 l l 卅是i s o i e c 盯c 1 s c 2 9 脚g 1 1m p e g 工作组自1 9 9 3 年开始的一 项标准化活动。它的目标是面向更低码率，获得比现有技术更高的压缩效率。 在1 9 9 4 年意识到不能获得比现有h 2 6 3 和h 2 6 3 + 更多提高后，m p e g 工作组 决定扩大m p e g 4 的研究目标，并更加深入地研究音视频领域的发展趋势。特 别是通信、计算机和电视电影娱乐三个独立传统行业的融合。这份研究推断 m p e g 4 提供的服务必须面向未来的应用，并不受现有标准制约。m p e g - 4 第 一版于1 9 9 8 年1 0 月完成，第2 版在1 9 9 9 年1 2 月发布。m p e g - 4 的正式名称 为i s o i e c1 4 4 9 6 ( 音视频对象通用编码) ，这个名称表明了m p e g - 4 的两个重 要特征：第一，它是一个通用标准，适用的码率范围很大，可在不同图像格式、 图像分辨率、帧率、通信网络、输入素材等情况下获得较好的效果；第二，它 使用基于对象的表示方式，场景都按对象方式表示、编码和处理，这是区别于 已有基于块编码标准的重要特征。除传统的基于块的m c d p c m d c t 技术外， m p e g _ 4 还采纳了最新的第2 代编码中基于对象的编码技术和基于模型的编码 技术。这种引入了视听对象a v o ( a u d i o - s u a lo b i e c t ) 的编码模式能够有效提 高视频通信的交互能力和编码效率。m p e g 4 的8 个新功能可以归为3 类：基 于内容的交互( 基于内容多媒体数据访问功能，基于内容处理和流编辑，混合 自然和人工视频编码，改进的随机访问) 、压缩( 更高压缩效率，并存多数据流 4 第一章绪论 编码) 和有效访问( 差错环境中鲁棒性，基于内容分级) 。 l 2 6 4 【7 j 是r r u t 在1 9 9 9 年开始开发的一种新的极低码率视频编码标准， 旨在代替先前的h 2 6 3 标准。2 0 0 1 年，i s 0m p e g 也加入了开发队列，组成了 t ( j o h n d e ot e 锄) 进行联合开发。经过工业界和学术界3 年多的努力， 2 0 0 3 年5 月h 2 6 4 被正式批准为国际标准。从整体框架上看，h 2 6 4 与先前的 标准并无太大差别，也包含预测、变换、量化和熵编码等功能单元。但为了在 相同的编码框架下实现更高的视频压缩编码性能和更广泛的适用性，h 2 “在 每个功能单元的细节上，都进行了较大的改动。例如，h 2 6 4 在运动估值时可 采用不同大小的块，采用1 “、1 8 像素精度的运动估计，可进行多参考帧选择， 使用环路滤波器等。h 2 6 4 在变换时使用4 4 整数变换，而不是传统的8 8 d c t ； 在熵编码时使用统一变长码u v l c ( u 1 1 i v e r s a lv a r i a b l el e n g t l lc o d e s ) 或基于内 容自适应的二进制算术编码c a b a c ( c o n t e x t - b 鹊e da d 印t i 、吧b i n a r ya r i t l l r n e t i c c o d i n g ) 。由于采用了这些新技术，与以往其它标准相比，h 2 6 4 的编码效率得 到了显著的提高( 其压缩效率比m p e g - 4 和h 2 6 3 + 提高了近5 0 ) ，并使它成 为近年来最为高效的一个视频压缩标准【l8 ，”j 。 h 2 6 4 标准针对不同的应用，给出了三种档次和1 5 2 个不同的水平，每 种档次和水平侧重于不同的应用场合，各自的编码工具也不相同。其中基本档 次( b a s e l i n cp r o f i l e ) 的h 2 6 4 标准是为视频会议和视频电话等实时视频通讯应 用设计的，它实现了任意片断( s 1 i c e ) 排序和冗余片断处理等错误恢复功能。 针对广播应用而开发的h 2 6 4 主要档次( m a i np r o f i l e ) 使用与基本档次无关的 视频工具，例如在预测模式中支持双向预测的b 帧图像、加权预测以及自适应 帧场编码和c a b a c 熵编码算法。扩展层档次( e x t 朗d e dp r o f i l e ) 的h 2 6 4 协 议类主要面向无线视频流服务和移动流媒体。在这些应用中，由于无线信道带 宽有限，存在多径干涉和各种干扰，错误发生的几率比传统有线传输数据丢包 率高出很多。而扩展层档次将为基本档次设计的错误恢复功能提高到一个新的 水平，提供了更完善、更有针对性的错误隐藏方法。 1 4 视频编码中的码率控制 视频编码的目的是保证视频传输和存储的有效性和可靠性，这就要求编码 能够尽可能压缩视频数据量满足带宽和存储空间的约束。实际上，视频编码除 了受带宽和存储空间等条件的限制外，还受到其它因素的影响，如编码延时、 失真度( 质量) 、编码复杂度和容错性能等( 如图1 1 所示) 。其中，对视频编 码系统影响较大的两个因素是码率和复杂度。而这些因素之间往往存在着关联， 例如：容错性提高时，必然会在码流中植入一些冗余，从而导致码率的上升； 编码码率降低时，系统的失真度也相应增加，最终表现为视频质量的下降。 对于交互式视频通信或实时视频应用，视频的编码和解码必须在给定的时 间间隔内完成，而视频编码的计算量又非常大，这就要求视频编码和解码算法 的计算复杂度不能够超出处理器的处理能力。因此，有效降低视频编码计算量 是此类应用中需要解决的首要问题。在有限的带宽和存储空间的限制下，无任 何码率约束的码流既不利于系统的正常工作，也不利于带宽和存储空间的管理。 延时是系统设计时所应考虑的另一项重要指标，延时波动过大，会使用户明显 第一章绪论 感到服务质量的下降。码率和延时这两方面的问题需要依赖码率控制来解决， 而如何控制码率以有效地管理带宽，同时尽可能的降低视频编码复杂度成为了 系统设计的一个重要问题。 失真 码率带宽 延时 容错性能编码复杂度 图1 - 1 影响视频编码的几个关键因素 就m c d p c m d c t 视频编码算法来说，由于编码中传输的不是像素值本身 而是取样预测值和实际值之间的偏差，并且在经过d c t 变换和量化后细节较少 的块将产生大量的零系数，因此其码流具有与生俱来的变码率特性。如果在压 缩过程中编码参数保持不变，不同帧之间消耗的比特数就会存在显著差异。由 于实际网络的带宽和存储介质的容量限制，这种对码率无任何约束的码流对视 频通信系统造成的影响是灾难性的，是无法保证系统的正常运行的【1 w 。 码率控制有两种模式，恒定码率c b r ( c o n s 掘mb i t - r a t c ) 模式和可变码率 v b r ( i a b l eb i t - r a _ t e ) 模式。在恒定码率工作模式下，编码过程中的码率基 本保持不变；在可变码率工作模式下，码率可随场景变化而在一定范围内波动。 也就是说，相对于恒定码率，可变码率能够提供更加稳定的视频质量。 码率控制大多利用缓冲机制的平滑，通过调整量化参数q p 来实现。受解 码缓冲区大小和延时的影响，编码时除了对码率进行控制外，还要防止由于缓 冲区产生溢出而引起的视频质量下降。许多研究机构和科研工作者在码率控制 方面开展了大量研究工作，也取得了一些成果。t m 5 四j 将码率控制分为二个步 骤：目标比特分配、基于缓冲区饱和度的码率控制和自适应量化。然而t m 5 算 法是建立在视频源信号为平稳随机过程的基础上，它存在场景切换适应性和缓 冲区一致性的问题。这些问题导致1 m 5 算法在场景切换时的码率波动较大，而 且当缓冲区不同步的时候缓冲区可能会溢出。n 8 2 l 】和v 1 v 1 8 【6 】则将码率控制 分别建立在码率一量化曲线为二阶抛物线模型和对数模型的基础上。h e 瞄j 通过 量化后d c t 系数的非零值比例和码率之间的统计关系建立p 域码率失真模型。 t e i x e i r a 等人田j 、w e s t e 娃l l l 【等人j 和s e t l l u 均m a i l 等人【2 5 】提出了基于r q 模型的 多通道码率控制算法。然而这种算法的编码效率太低，需要对同一视频序列进 行多次编码和分析。 由于h 2 6 4 的编码算法与以往的标准有些不同，因此它的码率控制相对困 难。这主要是因为h 2 6 4 采用了率失真优化模式判别，宏块的编码模式与量化 参数的选取相关。为了给各宏块选择合适的量化模式，必须首先给出一个q p 。 然而，为了控制码率，q p 的计算一般要根据编码模式判别后得到的帧内预测或 6 第一章绪论 帧间预测的结果来决定。因此，以往的很多经典码率控制算法在h 2 6 4 中并不 适用【2 6 川。l e i 等人【2 s 】指出视频编码系数在变换量化后非零值的个数与编码后 的码率之间存在着线性关系，并由此提出了一种较为简单的线性模型，但这种 模型要求对编码系数进行变换处理。j v t 提案中所提出的码率控制算法 t - g 0 1 2 将一帧划分成若干基本单元，在r - d 模式判别前对当前基本单元的 平均绝对差值( m e a n a b s o l u t ed i 彘r e n c e ，m a d ) 进行线性预测，运用m p e g - 4 中使用的二次r q 模型计算q p ，并用此q p 来进行模式选择和编码例。这种 方法的缺点是m a d 的预测精确度不够，往往导致实际码率与目标码率有较大 的出入。另外，这种方法每一次预测后模型都需要更新，当选择较大预测窗口 时，运算量较大。现有码率控制算法性能各不相同，但都有不足之处：一些算 法的控制过于复杂，在用于实时编码时往往难以达到要求；一些算法的模型过 于简单，难以有效地控制码率。 1 5 本文的主要工作及内容安排 本文从h 2 6 4 编码的特点出发，对其码率控制技术进行了深入的研究，并 给出一种基于预测激励和时空相关的分层次的h 2 6 4 码率控制算法及其改进方 案。论文共分为五章： 第一章为绪论，简要回顾了视频编码发展历史和背景，介绍了h 2 6 4 a v c 视频压缩标准相关基本问题，系统阐述了码率控制技术的现有研究成果。 第二章介绍了码率控制的基本原理和率失真理论，系统分析了压缩码流中 码率产生波动的原因，影响码率变化的编码参数，视频码流的模型和经典视频 编码的模型。 第三章根据 l 2 “的码流特点，提出一种新的基于预测激励和时空相关的 分层次的h 2 6 4 码率控制算法( p s s t r 算法) ，并从理论上分析了该算法的正 确有效性及先进性。在这一章的最后给出了实验仿真结果，并结合现有的h 2 6 4 码率控制算法进行了比较和分析。 第四章针对缓冲区管理和率失真优化的模式选择问题提出了p s s t r 算法 的改进方案，并通过实验说明了改进方案的正确有效性。 第五章是对全文内容的总结，并对今后可能的研究方向进行了展望。 7 第二章码率控制的基本原理及算法分析 第二章码率控制的基本原理及算法分析 2 1 引言 就m c d p c m d c t 视频编码算法而言，其码流具有与生俱来的变码率特性。 如果在压缩过程中编码参数保持不变，不同帧之间消耗的比特数则会有显著不 同。显然，这种对码率毫无限制的码流对于网络传输和存储是十分不利的，它将 对视频通信系统造成巨大影响，甚至可能引起整个系统的瘫痪。 现在主要的国际视频编码标准( m p e g 1 、m p e g 2 、m p e g 4 、h 2 6 1 和h 2 6 3 ) 均采用d c t 消除视频图像的空间相关性。图像数据( 在使用时域预测时，图像 数据为原始帧和预测帧之间的残差) 被分割成大小相等的块，并逐块实施d c t 和量化。由于细节较少或不包含细节的块将产生较少的非零系数，而细节较多的 块将产生较多的非零系数，因此，块复杂程度的不同导致了同一帧中不同块所需 的编码比特数有较大差异。若仅考虑帧内编码，编码每一帧所需的比特数将随着 场景复杂程度的变化而变化，复杂场景所需的比特数远大于简单场景。而在同一 场景中，码率变化一般相对较小。图2 1 为采用m p e g 2 帧内编码时的码率变化 曲线，在编码期间，所有编码参数均保持不变。不难看出，在开始时由于处于同 一场景中，码率变化较小，而到1 6 0 帧左右时，由于场景切换、变化，码率急剧 减少。2 5 0 帧以后，由于图像变化加快，码率急剧增大。 图2 - 1 压缩码流中的码率波动( s i e f a n ，m p e g - 2 ，仅采用帧内预测) 运动预测是导致压缩码流中码率波动的另一个原因。当采用时域运动预测 时，编码数据主要包括运动矢量和残差系数。m c d p c m d c t 编码中的运动估 值