（信息与通信工程专业论文）面向h264视频编码的码率控制策略.pdf

塑鲨堡主兰竺堕壅望璺2 2 7 l s 摘要 在h 2 6 4 视频编码过程中，码率控制直接影响着码流带宽和图象质量。本文 对h 2 6 4 视频码流的特点、码率影响因素以及率失真模型进行了分析和研究，并 针对不同的应用提出了三种改进的码率控制算法：恒定码率控制算法、采用单次 编码的可变码率控制算法和采用二次编码的可变码率控制算法。 首先，本文详细分析了恒定码率控制的特点以及相关要点，讨论了h 2 6 4 中 与码率控制密切相关的两个问题一一r d 0 技术以及整数变换与量化，然后针对 h 2 6 4 的码流特点，提出了一种改进的恒定码率控制算法。算法通过已编码帧的 信息，在d c t 域预测当前编码帧的复杂度，然后在g o p 层、帧层两个层次上进行 控制，并对场景切换进行检测和处理。该算法不仅具有较好的控制效果，而且复 杂度低，实现简单，适用于实时视频信号处理。 其次，本文论述了采用单次编码的可变码率控制的优点、特性以及关键点， 提出了一种改进的面向h 2 6 4 的单次编码可变码率控制算法。算法在r d 模型的 基础上，基于图象d c t 域复杂度预测信息，分配目标比特，调节量化因子实现 v b r 编码，并对场景切换进行了检测和处理。该v b r 算法不仅可以有效地进行码 率控制，对场景切换有很强的适应性，能提供较为稳定的视频质量，而且算法复 杂度低，可较好地集成到实时编码系统中。 最后，本文分析了采用二次编码的可变码率控制的原理、特性及应用，提出 了一种面向h 2 6 4 的二次编码可变码率控制算法。在第一次编码中，采用c b r 控制方法收集序列的编码统计信息，如图象复杂度，p s n r ，宏块编码类型分布 等。借助于这些信息，就可以分析出序列中的场景切换和码率失真模型等。在第 二次编码中，根据已获知的r d 模型精确地分配比特和控制量化参数，达到满 足v b r 的码率和缓冲区约束的目的。实验表明，该算法不仅能够保证总体比特 预算和缓冲区约束，而且能够获得非常稳定的视频质量。该v b r 算法适用于对时 间性要求比较宽松的数字视频存储应用。 关键词：h 2 6 4 ，码率控制，c b r ，v b r ，率失真模型，场景切换检测 浙江大学硕士学位论文 a b s t r a c t r a t ec o n 订o lh 船ad i r c c ti m p a c to nt h eb a n d 晰d ma n dp i c t l l r eq 砌畸o f 1 e c o d c d 讥d e od a t a ，t h ef e a t t l r e so fh _ 2 6 4v i d e ob i ts t r e a ma n dt 1 1 ep r o b l e m sa s s o c i a t e d 州1m t ec o n 扭d la r ei n t e f l s i v e l ya n a l ) ，z e da n ds t u d i e d t h r e e 蛔p r o v e dr a t ec o n t r o l a l g 耐m m sa r ep r o p o s c df o rd i 圩e r e i l ta p p l i c a t i o n s ：as i n g l e _ p 船sc o n s t a tb i t r a t c ( c b r ) r a t ec o n 胁la l g o r i t h n l ，as i n g l e - p 船sv a r i a b l eb i t 蹦e ( v b r ) r a t ec o n 仃o l a l g o 蒯姗锄dat 、o - p 骶sv a 血b l eb i tm t e ( v b r ) r a t ec o n 廿0 la l g o 枷m f i 硎y ，l ef b 帆雌so fs i i l g l e - p a s sc b r r a c ec o n 仃0 1a r ed e t a i l e d l ya i l a l y z e d ，锄d t w op o i m so fh 2 6 4 一r d ot e c h n o l o g y i n t e g e rt r a n s f b m 趾dq u 姐t i z a t i o nw l l i c h h i g l l l yr e l a t e w i t l lr a t ec o n t r o la r ed i s c u s s e d t h e nw ep m p o da ni m p r o v e d s i n 酉e - p a s sc b r r a t ec o n t r 0 1a l g 础t l l i na c c o r d i n gt o 血ef b a t t so fh 2 6 4v i d e ob i t s 雠锄i nt 1 1 i sa l g o 甜峨w ee s t i i i l a t em ec o m p l e x i t ) ro fc u r r e n tp i 咖r ci nd c t d o m a i nb a s e do nt 1 1 ei i 血衄a t i o no fc o d e dp i c t l l r e s ，t h e nc o n 廿0 1t h eb i tr a t ei 1 1g o p a n dp i c t i l r el a y e r s s c e n ec m sa r ed e t c c t e da n d p r o c e s s e d t l l i sa l g o r i m mn o to i l l yh a s a l la c c u m t ec o n h d le 圩e c t ，b ma l s oh a sl o wc o m p l e x i 够a i l dm a k e si t 印p l i c a b l et o r e a l m m ev i d e oc o 血g s e c o n d l y ， w ed i s c u s st 1 1 e a d v a n 协g e s ， c h 蹦璩t e r i s t i c sa n dk e yp o i n t so f s i n g l e p a s sv b r r a t cc o 曲d l ，a n dt 1 1 e np r o p o s e da ni m p m v e da l g o 础瑚b a s e do n r dm o d e l ，t h ea l g o r i m ma 1 1 0 c a t e st a 喀e tb i ta n dd e t c m 访eq 瑚m i z a t i o np a r a m c t c r a c c o r d i n gt o 恤p r e d i c t e dc o m p l e x 时o fc 眦e n tp i c t u r ei nd c td o m a j n s c e n ec u t s a r ed e t e c t e da n dp r o c e s s e d t h ep r o p o s e da l g o r i m mc 锄w c l la d a p tt os c e n ec u t sa n d i m p l e m e mas m o o t l lq u a n t i 诅t i v ev i d e oq u a l i t y a d d i t i o m l l y ，i t sl o wc o m p u 协t i o n a l c o m p l e x i t yma ：k e s “印p l i ca _ b l ct or e a l - t i m ev i d e oc o d i n 粤 t 咖l y ，屯a i l a l y z e dt l l et l l e o 职c h 蹦l c t e r i s t i c sa n da p p l i c a t i o n so ft w o p a s s v b rr a t ec o n 仃d la i l dp r o p o s e da na l g o r i t h mf o rh 2 6 4 i nm ef i r s tp a s s ，c b r c o d i n g i se m p l o y e dt og a t l l e rt l l ee n c o d i n gs 诅t i s t i c so f 廿1 ei n p u ts e q u e n c e s o nm eb a s i so f t h eo b t a i n e ds t a t i s t i c si n f o n n a t i o n ，s u c ha se n c o d i n gc o m p l e x 咄p s n rm a c r o b l o c k d i s t r i b u t i o n so fe a c hc o d m g t y p ea n de t c ，a l lo m i n ep r o c e s s i n gi s 印p l i e do nt h e s e da _ t at od e t e c ts c e n ec u t s ，a c c u r a t e l ya l l o c a t et a r g e tb i t sa n dd e t e 删n ee a c h 疗l i i l e s q u a m i z a t i o np a r a m e t e rb a s e do nr a t e d i s t o r t i o nm o d e l ，t l l e nm es e c o n dp a s sc o d i n gi s p e r f b h n c d s 曲u l a t i o nr e s u l t ss h o wt h a tt l l ep r o p o s e da l g o r j t l l mc a nn o to n l ym e e tm c 酉o b a lb “b u d g e ta 1 1 d b u 圩e rc o n f o n l l a i l c e ，b u ta l s or e s l l l ti nac o n s t a n tp i c t u r eq u a l 咄 i i 浙江大学硕士学位论文 1 1 l i sv b ra l g o r i t h mi sc 印a b l eo f w o 越n gw e l li nd i g i t a lv i d e os t o r a g e 印p l i c 撕o n s - k e y - o r d s ：h 2 6 4 ， r a t ec o n t r 0 1 ，c b r ，v b r ， r dm o d e l ，s c e n ec u td e t e c t i n g i i i 浙江大学硕士学位论文 插图清单 图1 1 各种编码标准比特率失真对比结果 图1 2 码率控制示意图 图1 3 典型的丑d 曲线 图2 1 恒定码率下解码缓冲区状态曲线 图2 2h 2 “，a v c 中量化参数q p 与量化阶数q s t 印关系曲线 图2 3c b r 控制算法流程图 图2 4 场景切换时g o p 重组示意图 图2 5t 2 6 4 与本文码率控制算法的p s n r 曲线比较 图2 6t 2 6 4 与本文码率控制算法的q p 曲线比较 图3 1 每帧图象编码比特数曲线图 图3 2 可变码率下解码缓冲区状态图 图3 3 单次编码v b r 算法流程图 图3 4j m l o 1 与本文码率控制算法的p s n r 曲线比较一 图3 5j m lo 1 与本文码率控制算法的q p 曲线比较 图3 6 单次编码v b r 控制算法缓冲区状态曲线 图4 1 二次编码系统原理图 图4 2 二次编码v b r 算法流程图 图4 _ 3 第二次编码动态调整g o p 结构示意图 图4 4 第二次编码目标比特分配修正流程图 图4 5 三种算法的p s n r 曲线比较 图4 6 三种算法的q p 曲线比较 图4 7 二次编码v b r 控制算法缓冲区状态曲线 v i o o“挖h”砣拍凹如弘”弘虬舵钳骺鹕如乳 浙江大学硕士学位论文 表格清单 表2 1t 2 6 4 与本文码率控制算法的性能比较一p s n r 2 4 表2 2t 2 6 4 与本文码率控制算法的性能比较一q p 2 4 表3 1 、，2 、f 3 的设置3 5 表3 _ 2j m l o 1 与本文码率控制算法的性能比较一p s n r 3 9 表3 3j m l o 1 与本文码率控制算法的性能比较一q p 3 9 表4 1 三种算法性能比较一p s n r 5 2 表4 2 三种算法性能比较一q p 5 2 v i i 浙江大学硕士学位论文 第一章绪论 本章简要回顾了视频编码及其码率控制算法的发展历史和背景，系统分析了 视频编码码率控制的原理、率失真理论与模型以及研究现状，最后给出全文结构 安排。 1 1 引言 科学技术的发展使人类社会进入了信息时代。信息技术的发展，使人们的 学习和交流打破了过去的时空界限，为人类能力提高和发挥带来了新的空间。视 觉是人类获取信息最为重要的途径，外部世界丰富多彩的信息大部分是通过视觉 感知的。据统计，人类通过视觉获取的信息占全部获取信息的6 0 。随着计算 机、数字通信、多媒体和网络技术的发展，信息也在急剧地膨胀。图象和视频作 为信息最重要的载体之一，已经深入了人们的生活。人们不再满足于文字及声音， 还希望看到生动的画面和场景。个人用户对多媒体业务的需求不断增长，使得多 媒体不再局限于文本、语音和图片，视频图像将为用户提供功能更强大、更完善 的服务。 近年来，低速率视频传输的应用前景日益为人们所认识，如通过p s t n 网络 传输可视电话、无线移动网上的各种视频业务，以及互联网上的多媒体电子邮件、 电子报纸、视频检索等。 与语音、图片等媒体形式不同，数字视频本身数据量巨大，对存储器、通信 信道以及处理器等都提出了相当高的要求。因此，视频数据的高效压缩意义重大， 是降低存储成本，缓解网络带宽，突破存储空间和处理器主频限制的关键技术。 码率控制( r a t ec o n t r 0 1 ) 是视频压缩编码过程中的重要环节。它贯穿整个 视频编码过程，其有效性不仅影响到码流的码率稳定，还将影响到整个视频序列 的图象质量。码率控制有效与否，在很大程度上取决于率失真模型( r dm o d e l ) 的准确性及码率控制算法的适应力。同以往的m p e g x 和h 2 6 x 编码标准一样， h2 6 4 的率失真模型及码率控制算法也没有一个统一的模式。这是因为码率控制 与具体的应用需求紧密相关，不同的应用目标对码率控制的准确性、复杂性、实 时性、控制灵活性、存储器资源占用量以及可控范围等方面有着迥然不同的限制 和要求。 通过以上的分析可以看出，视频编码有非常广阔的应用前景，而码率控制 在编码中具有举足轻重的地位，并且针对不同应用其控制策略具有很强的灵活性 和发挥余地。因此，视频编码的码率控制策略具有重要的研究和应用价值。 浙江大学硕士学位论文 1 2 常用的视频压缩标准 视频的编码技术是多媒体视频通信中的核心技术之一，随着图像编码理论和 数字技术的逐渐成熟，图象编码技术标准化工作取得了极大进展。目前从事视频 压缩标准制定的国际组织主要有国际电信联盟i t u - t 的视频编码专家组v c e g ( d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织i s o ，l e c 的运动图像专家组 m p e g ( m o t i o np i c t u 怕e x p e r tg r o u p ) 。两个标准化组织基于不同的应用需求， 采用近似的压缩编码技术，分别制定了h 2 6 x 和m p e g _ x 系列视频压缩标准。 这些标准算法融合了各种性能优良的编码方法，代表了目前视频编码的发展水 平。视频编码的标准化对数字电视、视频通信、多媒体计算机等的发展具有十分 重要的意义。只有通过建立国际标准，才能带动集成电路的大规模生产，从而降 低成本，并解决不同厂商产品的通用性问题。下面简单介绍一下h 2 6 x 和 m p e g x 系列视频压缩标准。 国际标准化组织i s 伽e c 的运动图象专家组m p e g 一直致力于运动图象及其 伴音编码标准化的工作，并制定了一系列关于活动图象的国际标准。 夺m p e g - 1 【l s o ，1 9 9 1 】 m p e g 1 制定于1 9 9 3 年，可对c i f 标准分辨率( 对于n t s c 制为3 5 2 2 4 0 ， 对p a l 制为3 5 2 2 8 8 ) 的图象进行压缩，传输速率为1 5 m b p s ，最高可达4 5 m b p s ，每秒播放3 0 帧。m p e g - 1 的应用领域有c d - r o m 、v i d e o c d 等，在网 络上也可用m p e g 1 实现视频传输，例如视频点播( v o d ) 。 m p e g 1 采用运动补偿和二维d c t 变换，量化后的d c t 系数进行变长编码， 同时每个数据块的直流分量d c 进行预测差分编码。在m p e g - 1 标准中，图像 预测类型可以分为四种情况：帧内预测、前向帧间预测、双向帧问预测和直接预 测。 夺 m p e g 2 ，h 2 6 2 i s o ，19 9 5 】 i s 0 ，i e c 、i t u - t 两大视频标准化组织于1 9 9 2 年联合提出的m p e g 一2 ，h 2 6 2 ( 注；m p e g - 2 的视频编码部分就是h 2 6 2 ) 是现有最成功的国际视频压缩标准。 m p e g 2 标准是在m p e g 1 标准基础上的迸一步扩展和改进，主要针对数字视 频广播、高清晰度电视等制定的4 9 m b p s 运动图象及其伴音的编码标准， m p e g 2 是数字电视机顶盒与d v d 等产品的基础。 m p e g 一2 系统要求与m p e g 一1 系统向下兼容，因此其语法的最大特点在于 兼容性好并可扩展 钟，2 0 0 0 。m p e g 一2 的目标与m p e g - 1 相同，仍然是提高 压缩比，改善音、视频质量，采用的核心技术还是分块d c t 和帧间运动补偿预 浙江大学硕士学位论文 测技术。m p e g 一2 视频允许数据速率高达1 0 0 m b p s ，支持隔行扫描视频格式和 许多高级性能。考虑到视频信号隔行扫描的特点，m p e g 一2 专门设置了“按帧编 码”和“按场编码”两种模式，并相应地对运动补偿和d c t 方法进行了扩展， 从而显著提高了压缩编码的效率。考虑到标准的通用型，增大了重要的参数值， 允许有更大的画面格式、比特率和运动矢量长度。 夺m p e g _ 4 i s 0 ，1 9 9 8 】 m p e g - 4 是i s o 仃e cj t c l s c 2 9 ，w g l lm p e g 工作组自1 9 9 3 年开始的一项标 准化活动。它的目标是面向更低码率，获得比现有技术更高的压缩效率。在1 9 9 4 年意识到不能获得比现有h 2 6 3 和h 2 6 3 + 更多的提高后，m p e g 工作组决定扩 大m p e g _ 4 的研究目标，并更加深入地研究音视频领域的发展趋势。特别是通 信、计算机和电视电影娱乐3 个独立传统行业的融合。这份研究推断m p e g 4 提供的服务必须面向未来的应用，并不受现有标准制约。 m p e g - 4 是一个通用的多媒体标准，可以高效地表示多种不同地数据类型， 包括：码率范围极大的视音频数据、音乐、语音、文本、图象以及三维对象等。 为了支持众多的多媒体应用，m p e g 4 增添了许多新的功能，可划分为三大类， 包括：基于内容的交互功能、数据压缩编码、通用存取功能等。 与其他标准相比，m p e g 4 标准中引入了视听对象a 、，o ( a u d i o - 、，i s u a l o b j e c i ) 的概念，这种编码模式能有效提高视频通信的交互能力和编码效率。 m p e g 4 还采用了诸如形状编码和自适应d c t 技术以支持任意形状视频对象的 编码，以及基于内容的可分级性操作。 1 2 2h 2 6 x 系列 i t u t 的h 2 6 x 系列标准主要面向低码率的实时视频通信，如视频会议和视 频电话。下面简要介绍一下h 2 6 x 系列标准。 夺h 2 6 1 1 1 u ，1 9 9 3 】 h 2 6 1 是i t u t 针对可视电话和会议电视、窄带i s d n 等要求实时编码和低 延时应用提出的一个编码标准 i t u ，1 9 9 3 。该标准包含的比特数为p 6 4 k b p s ， p 是整数，取值范围为1 3 0 。 l 2 6 l 要求输入图象的格式满足c i f ( c o m m o n i m e m e d i a t cf o m a t ) 格式或q c i f ( q u a n e rc i f ) 格式。它采用运动补偿( m o t i o n c o m p e n s a t i o n ) 消除视频信号的时域冗余及采用离散余弦变换消除视频信号的空 间冗余。它有两种编码方式：帧间编码和帧内编码。若帧问预测效率降低，后一 种方式将被激活，输入信号直接进行d c t 变换。 夺 l 2 6 3 i t u ，1 9 9 6 】 h 2 6 3 完成于1 9 9 5 年，1 9 9 6 年成为国际标准。它的主要目标是为低于6 4 k b p s 的低码率应用开发视频编码标准。h 2 6 3 是在h 2 6 1 的基础上改进而形成的，它 浙江大学硕士学位论文 的主要改进包括：半象素精度的运动补偿、不受限的运动矢量、基于句法 ( s y n t a x - b a s e d ) 的算术编码代替霍夫曼编码、先进的预测模式、p b 帧模式等， 其中后四个为可选项。h 2 6 3 + i t u ，1 9 9 8 和h 2 6 3 + + 扩充了h 2 6 3 的编码可 选项，提高了编码效率，适用范围更大，同时支持s q c l f 等多种图像格式。h 2 6 3 在增加编码效率的同时，增强了抗误码的差错隐藏性能，将信道传输性能问题在 信源编码中加以综合考虑。 夺 h 2 6 4 a v c 【i s o ，2 0 0 2 h 2 6 4 是i t u t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在代 替先前的h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了j v t ( j o i m v i d e o t e 锄) 共同致力于h 2 6 4 建议也即m p e g 4 第1 0 部分“高级视频编码算法” 的开发工作。 在整个框架上，h 2 6 4 和先前的标准没有太大差别，都包含预测、变换、量 化和熵编码这几个功能单元。但在每个功能单元的细节上，h 2 6 4 做了很大的变 动。h 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考 帧选择。变换时使用4 4 整数变换而不是传统的8 8 d c t ；在熵编码时使用统 一变长码u v l c ( u i l i v e r s a l v a r i a b l e l e n g mc o d e s ) 或基于内容自适应的二进制算术 编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m c t i cc o d i i l g ) 。 h 2 6 4 删、，c 标准针对不同的应用，给出了三种档次，分别为：基本档次 ( b a s e m ep r o f e ) 、主要档次( m a i np r o f i l e ) 、扩展层档次( e ) c t e n d e dp 嗍l e ) ， 每种档次侧重于不同的应用场合，各自的编码工具也不相同。在保证相同图像质 量的情况下，h 2 刚，a 、，c 比h 2 6 3 、m p e g - 4 、m p e g 2 的压缩效率至少高一倍， 图1 1 给出了四种标准的率失真对比结果。 图1 1 各种编码标准比特率失真对比结果【r i c h a r d s o n ，2 0 0 3 】 浙江大学硕士学位论文 1 3 视频编码码率控制概述 本节将概要描述视频编码码率控制的基本原理、率失真理论及模型、码率影 响因素以及码率控制的研究现状等。 1 3 1 码率控制基本原理 无论是m p e g x 系列还是h 2 6 x 系列视频编码标准，基本上都采用d c t ( 离 散余弦) 变换、运动补偿编码和变长熵编码。由于对于不同类型的帧( i 帧、p 帧、b 帧) 采用的编码方式不同，使得各帧图象编码后产生的比特数也不一样。 根据传输速率，信道可以分为两大类：可变速率信道( v b r ) 和恒定速率信道 ( c b r ) 【l 8 l 【妇a i l ，l9 9 8 。无论编码后的码率通过何种信道传输，视频编码器 生成的码率都不能直接送到信道上传输，否则会造成信道的拥挤、空闲等，这将 大大降低信道的利用率。 为了使编码后的码率速率能和信道速率相匹配，在视频通信中，已编码的比 特在通过网络传送到解码器前，首先被放置进缓冲区中。缓冲区的容量越大，码 率将能更好她适应信道速率，重建图象的质量也会越高：但同时也会给解码端带 来更大的时延。在实时视频通信中，常常需要做到端对端的时延非常小，这就要 求缓冲区应尽可能得小。缓冲区的容量和时延的要求构成了一对矛盾。码率控制 的目的就是为了解决这一矛盾，即在系统端对端的失真尽可能小的情况下，满足 时延的要求并使得缓冲区不发生上溢或下溢。 输入 图1 2 码率控制示意图 图1 2 为码率控制原理图。码率控制器负责收集码率、延时和缓冲区状态等 信息并调节编码参数，使得性能指标维持在给定水平上。码率控制中的性能指标 有码率、缓冲延时、缓冲区状态等。在视频编码过程中，决定输出码率比特数的 直接因素为d c t 变换后系数的量化参数q p 。因此码率控制的基本方法就是根据 信道速率和缓冲区状态来调整量化参数q p 。 浙江大学硕士学位论文 1 3 2 率失真( r - d ) 理论与模型 率失真理论旨在描述编码失真度( d i s t o r t i o n ，重构误差) 和编码数据速率的关 系。该理论建立在图象是连续的基础上，在有限数据速率下，由于存在量化误差， 必然存在失真【s a w 1 9 9 9 】。尽管率失真理论没有给出最优编码器，但它还是给出 了容许失真条件下信息压缩允许的下界。 当使用有损编码方法时，重构图象g b ，y ) 和原始图象，( 五_ y ) 存在差别。一般 地，失真度d 函数形式可以根据需要任意选取，例如平方代价函数、绝对代价 函数等【周，1 9 9 3 】。在图象编码中，d 常用均方差形式表示： d = e 抄g ，y ) 一g g ，y ) 】2 ( 1 1 ) 当d 0 时，编码对应于无损压缩，输入码率应大于或等于信源熵h c 砷；若 口一为最大容许失真，则相应码率下限为r ( 4 。) 。典型的率失真曲线r - d 如图 1 3 所示。r ( d 叼为d + 的凸递减函数。 r ( d ) 鼢 州d 1 0 d+d d 图1 3 典型的r - d 曲线周，1 9 9 3 1 码率控制的核心问题在于率失真( r 。d ) 模型的建立，并以此为基础建立的 各种r - q ( q ：量化参数) 模型，而算法的性能将直接取决于该模型。在视频编 码过程中，r 、d 两个参数和q 都存在着对应关系。利用这些对应关系，我们可 以建立出各种模型。这些模型都是建立在经验数据基础之上，其准确性关系到编 码能否在给定的失真和码率条件下对编码比特数做出正确的预测；另外模型形式 的简单性也非常重要。 接下来简要介绍几种不同形式的经验模型，包括：一阶线性模型、二阶抛物 线模型、p 域线性模型、指数模型等。 6 浙江大学硕士学位论文 夺一阶线性模型 r ( q 尸) = ，刍 其中胄( q 俨) 是量化步长为q p 时所需的编码比特数 鲥d 或肘陋计算；c q p 是一个模型参数a 二阶抛物线模型 r ) = 等+ 等 ( 1 2 ) s 为编码复杂度，可用 其中，j 口和j 2 为模型参数；s 为用s a d 表示的编码复杂度。 p 域线性模型 ( 1 3 ) h e 叫e ，2 0 0 1 发现随着量化步长的增长，量化后系数的零值比例p 随之单调 变大。这就是说原先r q 的关系可以重新被映射为r - p 关系。研究发现r - p 满 足下述关系： r ( p ) = 口( 1 一p ) ( 1 4 ) 其中口为常量。 夺指数模型 b a i b a i ，2 0 0 1 】发现：在高码率应用中，当量化补偿比较小时，二阶模型会产 生较大的估计偏差，这时指数模型更能表示r - q 之间的关系： 胄( q p ) = c b 扩1 0 ) e x p _ c o 旷2 g ) q p 】 ( 1 5 ) 1 - 3 3 码率控制算法的发展与研究现状 h 2 6 4 是在已有的视频压缩编码标准的基础上发展起来的，与这些标准有着 密切的联系，其码率控制也不是一个孤立存在的课题，所以本节将综合介绍视频 压缩码率控制算法的发展与研究现状。 码率控制是一种面向应用的控制技术，不同应用需求的码率控制模型和算法 不尽相同。m p e g 一1 ，m p e g 2 ，m p e g 4 ， l 2 6 1 ， l 2 6 3 ，h 2 6 4 等压缩标准都 是根据不同的应用目的而提出的，针对这些视频压缩标准，出现了一批码率控制 方面的研究成果，如基于h _ 2 6 1 和h 2 6 3 视频会议的码率控制，基于m p e g 一1 和m p e g 2 媒体存储系统的码率控制，基于m p e g 1 和m p e g - 2 实时传输系统 浙江大学硕士学位论文 的码率控制，以及基于m p e g 一4 视频对象编码的码率控制。 在m p e g 2 中，量化参数q p 是影响码率和图象质量的关键参数。在大多数 实际编码中，o p 是根据虚拟缓冲器的当前存储量和目标比特率来选择的，由于 m p e g - 2 最主要的应用是数字视频广播，理想情况下应该具有固定的g o p 结构， 即在一个g o p 中p 帧距离和i 帧距离应该是固定的，这意味着在m p e g - 2 中码 率控制算法不能依靠改变编码过程中的时间参数来控制缓冲器，而只能依靠改变 q p 。m p e g - 2 的t m 5 【i s 0 ，1 9 9 3 】是一个经典的码率控制算法。它将码率控制分 为三个步骤：目标比特分配、基于缓冲区饱和度的码率控制和自适应量化。但 1 m 5 算法是建立在视频源信号为平稳随机过程的基础上，它存在场景切换适应 性和缓冲区一致性问题。 m p e g 4 支持任意形状的视频对象编码，所以码率控制过程中必须考虑形状 编码所产生的数量可观的形状信息比特数。在m p e g 4 中，码率控制的灵活性 有所增加，每个视频对象可以用不同的帧率编码。另外，附加的形状失真门限也 可以作为码率控制参数。码率控制算法将权衡这些编码参数来有效地编码每个视 频对象同时把缓冲器的饱和度维持在一个合适的范围内。m p e g 一4 的v m 8 码率 控制【i s o ，1 9 9 9 利用低运动视频序列编码中相邻帧之间相关程度较高的特点，用 已编码帧的r - d 关系来预测待编码帧的特性，具有较好的控制效果。但是值得 指出的是，当视频序列中出现场景切换时，相邻帧之间的相关性将大大降低，这 往往会导致算法性能的下降。 h 2 6 3 中的t m n 8 【黜b a s ，1 9 9 9 】包含两个步骤，一是在帧层目标比特分配，另 一个是在宏块层的自适应量化。与v m 8 相比，t m n 8 可更精确地控制目标码率， 保持缓冲区的稳定性。但t m n 8 最初是针对h 2 6 3 中p 帧模型设计的，该模型 对i 帧来说过于粗略。然而，在实际视频编码应用中，由于提高码流的抗差错能 力和灵活回放的需要，不可避免地采用内部编码模式 h e ，2 0 0 l 】。因而，n n 8 在实际应用中具有一定的局限性。另外， l 2 6 3 允许可变跳帧，并且由码率控制 算法来决定合适的空间与时间编码参数。 h 2 6 4 的码率控制比其它标准更加困难。因为在码率控制算法以及率失真优 化( m t ec o n n d lo p t i i l l i z a t i o n ，r d 0 ) 中都使用了量化参数( q u 枷z a _ d o n p a r 锄e t e r ， o p ) ，这导致了在进行码率控制时出现了有名的“鸡和蛋”的问题( 在下文中有 具体分析) 。m a 较早地提出了一种h 2 6 4 的码率控制算法 m a ，2 0 0 2 a ，采用t m 5 模型，分为比特分配、第一次率失真优化、计算量化参数和再次进行率失真优化 四步，只是在计算宏块活动性时，用帧内预测或运动补偿后的s a d 代替以前的 宏块方差，结果更为准确；m a 于2 0 0 3 年又提出了一种自适应的码率控制算法【m a ， 2 0 0 3 b 1 ，引入了基本单元的概念，分为g o p 层、帧层和基本单元层三个层次的 控制算法。x u 提出了一种高效率的h 2 6 4 码率控制算法【x u ，2 0 0 4 】，分为帧层 和宏块层的控制，实际产生的比特率较为稳定，而且接近目标比特率，复杂度较 低，并且只进行了一次率失真优化。 浙江大学硕士学位论文 1 4 全文结构安捧 本文以h 2 6 4 视频编码的码率控制策略为研究对象，对恒定码率控制、单次 编码可变码率控制以及二次编码可变码率控制这三方面问题进行了深入研究和 分析，并且针对不同应用，分别提出了相应的算法。 全文共分为五章。 第一章为绪论。简要回顾了视频编码及其码率控制算法的发展历史和背景， 系统分析了视频编码码率控制的原理、率失真理论与模型以及研究现状，并给出 了本文的研究内容。 第二章为h 2 6 4 恒定码率控制策略。首先论述了恒定码率控制的应用范围、 缓冲区约束，然后分析了h 2 6 4 码流特点，最后基于此提出了改进的一种低复杂 度的c b r 码率控制算法。该算法复杂度低，实现简单，适用于实时视频信号处理。 第三章为h 2 6 4 单次编码可变码率控制策略。本章首先论述了可变码率控制 算法的优点、特性、要点，然后根据h 2 6 4 码流特点，提出了一种改进的低复杂 度的v b r 算法。 第四章为h 2 6 4 二次编码可变码率控制策略。本章首先论述了采用二次编码 的可变码率控制算法的原理、特性及应用，然后根据h 2 6 4 码流特点，提出了一 种h 2 6 4 二次编码v b r 控制算法。该v b r 算法适用于对时间性要求比较宽松的数 字视频存储应用。 第五章总结全文，并展望了进一步的研究工作。 9 浙江大学硕士学位论文 第二章h 2 6 4 恒定码率控制策略 本章首先论述了恒定码率控制的应用范围、缓冲区约束，然后分析了h 2 6 4 码流特点，最后基于此提出了一种面向h 2 6 4 a v c 视频压缩标准的低复杂度的 c b r 控制算法。 2 1 引言 按照码率大小是否可变划分，码率控制大致可分为两类：恒定码率( c b r ) 和可 变码率( 、r b r ) 控制，它们是一对经典码率控制概念。本章主要讨论恒定码率控制。 恒定比特率就是无论当前图象内容如何变化都使用同样的码率。它的特色在 于保持输出比特率的恒定，同时尽最大可能保持主观质量( 网络不能承受比特率 变化) ；v b r 码率控制的特色在于保持视频序列图象质量的稳定，同时在规定的 范围内( 次严格) 约束输出比特率，尤其是根据码率的平均值和峰值。容易看出， 可变码率编码更经济也更合乎逻辑。但是c b r 适用于要求恒定码率传输数据的场 合，而且录像文件大小在编码前可以预测。恒定码率控制的主要应用有： v c d ( d e oc o m p a c td i s k ) 存储 普通c d 的存储容量为6 5 0 m b ，采用m p e g 1 编码，以恒定码率编码，视频 编码码率为1 1 5 m b p s ，加上音频信息，总计约1 5 m b p s ，播放时间5 7 分钟左右。 i s d n ( i n t e g r a t es e r 、，i c ed i g i t a ln e t w o f k ) i s d n 提供的传输业务工作在6 4 k b p s 倍数上，n 6 4 k b p s ，n _ 0 ，1 ，3 0 。 数字电视广播 地面和卫星数字电视广播需要工作在恒定码率模式。对于m p e g 一2 数字电 视，它的码率范围在5 m b p s 1 0 m b p s 之间【雕l e y ，1 9 9 7 】。 2 2 r 解码缓冲区约束 为了能够在现实的信道上传输，需要引入缓冲区缓存视频码流数据。因此视 频编码算法必须提供一个有效的缓冲区管理策略，确保缓冲区不会发生上溢和下 溢。编码器通过码率控制算法，调整生成的视频码流满足既定的缓冲区管理策略； 同时在码率控制算法中使用自适应量化方法，确保压缩视频的质量。 一般的，缓冲区管理策略都是建立在一个假想的解码器模型上，该解码器模 型直接和编码器的输出相连接，缓冲区管理策略通过控制编码视频数据流移入和 移出解码器缓冲区的时间以保证解码器模型的数据缓冲区不发生上溢和下溢。 c b r 缓冲区的大小一定要设置合理。 1 0 浙江大学硕士学位论文 设解码缓冲区的大小为民。，最为第n 帧图象移出前解码缓冲区的状态，屯 为第n 帧图象的大小，r 为码率，五为第”帧的显示时间，吃。为缓冲区的初始 状态。对于c b r ，缓冲区状态可用下列递推公式计算： 蜀= 。 ( 2 1 ) b + 。= 最+ r 一吒( 2 2 ) 将以上的两个递推公式展开，可以得到： 最+ ，= 吃。+ ( r l 一6 1 ) ( 2 3 ) j - l 为防止缓冲区上溢，必须保证： 最+ 1 民。 ( 2 4 ) 根据式( 2 1 ) 、( 2 2 ) 、( 2 3 ) 、( 2 4 ) 可以推得既必须满足下式： 阮m a x 玩+ 玩。一吃。，o ( 2 5 ) 假定所有的帧都被解码，当解码器解码图象n 时，它必须全部都在缓冲区内， 也就是满足下式： 最乩( 2 6 ) 综合式( 2 5 ) 与( 2 6 ) ，可以得出，要满足c b r 缓冲区上溢和下溢保护，对于 所有n ，必须满足： m a ) 【 e + 。一，o 吮e ( 2 7 ) 图2 1 为c b r 解码缓冲区模型。解码器在矗时刻开始解码第一帧，以后每 隔t 检测一次缓冲区。茸表示第n 帧移出缓冲区后的状态。 浙江大学硕士学位论文 图2 1 恒定码率下解码缓冲区状态曲线 2 3h 2 斛川v c 的两个关键问题 h - 2 6 4 ，a v c 编码器所采用的r d 0 技术以及整数变换与量化都与码率控制密 切相关，为此本文分别在2 3 1 ，2 3 _ 2 小节对这两个技术进行简单介绍。 2 3 1r d o r d 0 用于为每个帧内编码或帧间编码块选择最优的编码模式，其中对于帧 间编码块还包括选择最优的运动向量，以及多帧预测时最优的参考帧选择等。 首先对于帧间预测块的每种模式进行运动估计时，选择使下式值最小的运动 向量m v 作为该模式的最优运动向量： d ( s ，c ( m v ) ) + 五啪删r ( p 埘v ，m v ) ( 2 8 ) 其中，s 为源图象中象素的灰度值，c ( m v ) 为参考象素的灰度值，d ( s ，c ( 坍v ) 1 为 源图象与参考图象间的s a ( t ) d 值，s a r d ( s u mo f a b s 0 1 u t et r a i l s f o 姗d i 雎r c n c e ) 为s a d ( s u mo fa b s 0 1 u t ed i 髓嗽1 c e ) 经过哈德马变换后系数的绝对值和。 月( p 聊，珊v ) 为编码运动向量所用的比特数，其中_ 。为拉格朗