（通信与信息系统专业论文）运动矢量差的cabac二进制化方法研究.pdf

摘要 摘要 h 2 6 4 a v c 中支持两种熵编码方法，分别是基于上下关系的自适应变长编码 ( c o n t e x ta d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下关系的自适应二进 制算术编码( c o n t e x ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。其中，c a b a c 是一种高效的熵编码方法，相比于c a v l c ，能够显著提高h 2 6 4 a v c 的编码效率。 c a b a c 主要可分为二进制化、上下关系模型选择和二进制算术编码三个部分。其 中，二进制化过程是影响其编码性能的关键环节。 在c a b a c 编码的非纹理信息中，运动矢量差( m o t i o nv e c t o rd i f f e r e n c e ，m v d ) 所占的比例较高，因此对该语法元素的编码进行研究有利于提高整体编码效率。 目前h 2 6 钆w c 采用统一的二进制化参数对m v d 进行u e g k 二进制化。实验统 计结果发现，在对1 2 8 0 7 2 0 分辨率的视频序列进行编码时，在不同的量化参数 ( q u a n t i z a t i o n p a r a m e t e r , q p ) 下，m v d 的概率分布有较大不同。采用统一的二进 制化参数，忽略了不同q p 下m v d 概率分布的差别，不能很好地反映m v d 的真 实概率。基于此，本文提出在不同q p 下编码时，m v d 应采用不同的参数进行u g e k 二进制化。实验结果表明，相比于h 。2 6 4 a v c 中二进制化方法，论文所选参数得 到的预测编码帧( p 帧) 编码比特数减小，编码效率有一定提高。基于相同的原理， 对预测差值等其他语法元素的二进制化参数进行调整应同样可以提高编码效率。 关键词：c a b a c 运动矢量差二进制化h 2 6 4 a v c a b s t r a c t a b s t r a c t mh 2 6 4 a v c ，t w om e t h o d so fe n t r o p yc o d i n gr r ea d o p t e d ，c o n t e x ta d a p t i v e v a r i a b l e l e n g t hc o d i n g ( c a v l c ) a n dc o n t e x ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) c a b a ci sah i g h l ye f f i c i e n te n t r o p yc o d i n gm e t h o d c o m p a r i n gt oc a v l c ， c a b a cc a ns i g n i f i c a n t l yi m p r o v et h ec o d i n ge f f i c i e n c yo fh 2 6 4 a v c c a b a cc a r lb e d i v i d e di n t ot h r e ep a r t s ，b i n a r i z a t i o n ，c o n t e x tm o d e l i n ga n db i n a r ya r i t h m e t i cc o d i n g c o d i n gt h em o t i o nv e c t o rd i f f e r e n c e ( m v d ) i nc a b a co c c u p yal a r g ep a r to fb i t s f o rm v di nh 2 6 4 a v c ，u e g kb i n a r i z a t i o ni se m p l o y e dw i t hu n i f i e db i n a r y p a r a m e t e r s a c t u a l l y ，t h em v dp r o b a b i l i t yd i s t r i b u t i o ni sd i f f e r e n tu n d e rd i f f e r e n t q u a n t i z a t i o np a r a m e t e r ( q p ) t h ec u r r e n tb i n a r i z a t i o ns c h e m ei nh 2 6 4 a v cn e g l e c t s t h e d i f f e r e n c eb e t w e e nt h ep r o b a b i l i t yd i s t r i b u t i o n , c a r ln o tp r o v i d eag o o d a p p r o x i m a t i o no ft h et r u ep r o b a b i l i t yd i s t r i b u t i o no fm v d m o t i v a t e db yt h i sf e a t u r e ， d i f f e r e n ts e t so fp a r a m e t e r sf o rm v d su e g kb i n a r i z a t i o nu n d e rd i f f e r e n to pi s p r o p o s e di nt h i sd i s s e r t a t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h eb i t s f o rp r e d i c t i v e c o d i n gf r a m e s ( p - f r a m e ) c a nb ed e c r e a s e db yu s i n gt h ep r o p o s e ds c h e m ea n d t h ec o d i n g e f f i c i e n c y c a l lb es l i g h t l yi m p r o v e d b a s e do nt h es a i ：r l e p r i n c i p l e ，a d j u s t i n gt h e b i n a d z a t i o np a r a m e t e r sf o rr e s i d u a le ta ls h o u l di m p r o v et h ec o d i n ge f f i c i e n c yt o o k e y w o r d s ： c a b a cm o n t i o nv e c t o rd i f f e r e n c eb i n a r i z a t i o nh 2 6 4 a v c 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：叠盍蛊 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本人签名： 导师签名： 第一章绪论 第一章绪论 1 1 引言 随着社会的进步与发展，沟通的个性化，多样化与便捷性越来越受到人们的 重视，传统的通信手段已经无法满足现代人的需求，对多媒体通信的需求日益增 加。多媒体会议、远程医疗、远程教育、交互式电视与视频点播( v o d ) 、可视电 话、视频监控、虚拟现实等应用中展现了广阔的应用前景。由于现在各种技术， 如计算机技术、现代通信技术、微电子技术、网络技术和信息处理技术的不断发 展，特别是i n t e r n e t 和个人无线移动通信的飞速发展，多媒体通信的相关技术己成 为当今通信领域的研究重点和热点。 处于其核心地位的多媒体信息尤其是图像、视频等信息的处理、编码以及通 信，已经成为信息与通信工程学科的前沿领域和热门课题。这其中，对视觉信息 的需求占据了大约7 5 以上，它能给人们以直观、生动的形象反映，也正因此， 图像视频的处理与传输更受到人们越来越广泛的关注。但数字视频巨大的数据量 成为制约多媒体发展的瓶颈，数字视频中存在大量的冗余( 如空间冗余、时间冗 余、结构冗余、熵冗余等) ，视频数据的压缩的主要目的就是通过采用各种有效的 编码方法最大程度的去除这些冗余信息，压缩视频数据量。 在视频压缩领域，在短短十多年之内，各种压缩算法标准推陈出新，不断涌 现。从用于i s d n 视频会议的i t u 标准h 2 6 1 标准，到用于在模拟电话线路传输 视频会议和连接到因特网的桌面和移动终端的h 2 6 3 标准；从用于在c d r o m 上存 储电影以及其它消费视频应用系统的m p e g 1 标准，到用于广播和d v d 数字视频 存储的m p e g 2 标准，再到应用于因特网视频、交互式视频、专业视频、二维和 三维计算机图形以及移动视频通信的基于对象的m p e g - 4 标准，用于内容管理( 如 数字图书馆) 的基于内容检索的m p e g - 7 标准，到更加有效地提高视频编码效率和 对网络适配能力的h 2 6 l ( h 2 6 4 a v c ) 标准，前进的步伐还在不断的继续。 1 2 课题背景 近年来，人们希望看到表征自然景物的数字视频更加清晰，更加真实。3 d 视 频，多视点视频，任意视点视频，高分辨率视频和超高分辨率视频成为未来视频 发展的趋势。其中，高分辨率及超高分辨率视频，由于可以给人们带来更清晰的 视觉效果，已经逐渐成为下代视频的研究重点。 高清晰度视频就意味着更大的视频数据量，重点研究针对高分辨率视频的高 效编码压缩方法，改进已有的编码算法压缩视频，提高编解码效率。针对高分辨 2 运动矢量差的c a b a c 二进制化方法研究 率视频编码的新一代视频编码标准应运而生。其中，主要有m p e g 提出的高性能 视频编码( h i g h - p e r f o r m a n c ev i d e oc o d i n g ，h v c ) 。目前v c e g 与m p e g 合作， 共同致力于高分辨率视频编码的标准化研究工作。 h 2 6 4 a v c 支持两种熵编码方法，基于上下关系的自适应变长码( c o n t e x t a d a p t i v e a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下关系的自适应二进制算术编 码( c o n t e x ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。其中，c a b a c 是一种 高效的熵编码方法，相比于c a v l c ，能够显著提高h 2 c 的编码效率。c a b a c 通过采用上下文模型选择和自适应二进制算术等技术，c a b a c 获得了良好的自适 应性，充分利用了视频信息间的相关性，大大降低了视频间的冗余。同时c a b a c 对二进制算术编码和概率估计采用了低复杂度设计，使得c a b a c 无论是软件还 是硬件实现都得到有效应用。 1 3 主要工作与章节安排 本论文在详细分析了c a b a c 编码过程的基础上，研究了运动矢量差( m o t i o n v e c t o rd i f f e r e n c e ，m v d ) 在不同概率分布下二进制化参数的选择方法。 论文共分四章，各章节安排如下： 第二章介绍h 2 6 4 视频编码标准。详细分析了h 2 6 4 视频编解码框架，总结 了h 2 6 4 中编解码设计的新特点。 第三章详细介绍了基于上下关系的自适应二进制算术编码( c a b a c ) 熵编码 算法原理。c a b a c 主要可分为三个部分：二进制化，上下关系模型选择和二进制 算术编码。详细介绍并总结了二迸制化的各种方案及其优缺点；h 2 6 4 a v c 语法 元素及语法元素各比特的上下关系模型选择机制；二进制算术编码过程中的区间 划分，概率更新，重归一化与进位处理等技术，以及h - 2 6 4 a v c 为降低c a b a c 复杂度所做的优化。 第四章详细介绍了运动矢量差( m v d ) 的c a b a c 编码过程，具体介绍了运 动矢量差的上下关系模型选择机制与u e g k 二进制化过程。统计分析了典型 1 2 8 0 x 7 2 0 序列在不同q p 下编码的m v d 概率分布特性。提出应不同概率分布的情 况下c a b a c 编码中的u e g k 二迸制化参数选取进行相应调整的方法。在此基础 上制定实验方案，对u e g k 二进制化过程中的s 和k 进行实验测试对比。最终给 出1 2 8 0 x 7 2 0 序列在不同q p 下编码的最优 s ，k 】组合，并得出实验结论。 第二章i - i 2 6 4 a v c 视频编码标准 第二章h 2 6 4 a v c 视频编码标准 2 1h 2 6 4 a v c 标准简介 i t u t 一直致力于推进视频压缩编码标准的发展与制定。继h 2 6 3 标准制定发 布之后，在不断加强和完善h 2 6 3 性能，推出h 2 6 3 + 和h 2 6 3 + + 的同时，还启动 了另一个研究项目h 2 6 l ，目标是制定一个新的数字视频编码标准，使其具有更高 的编码效率和更好的网络适应性。h 2 6 4 a v c 是目前最新的国际视频编码标准， 除了历来视频编码标准均一直孜孜以求的高编码效率和高重建质量外，给人留下 最深刻印象的是其回归简单的原则，以及对网络的亲和性【1 j 。 其制定过程可追溯到1 9 9 8 年1 月，当时，这个项目是由视频编码专家组( v c e g i t u ts g l 6q 6 ) 负责开发。2 0 0 1 年1 2 月，运动图像专家组( m p e g ) 也加入 进来，成立了联合视频小组( j o i n tv i d e ot e a m ：t ) ，共同完成标准的制订工作。 2 0 0 3 年3 月，标准的最终草案公布，被i t u t 接纳，称为h 2 6 4 建议；被i s o f l e c 批准，称为先进视频编码a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第 十部分，编号为i s o i e c1 4 4 9 6 1 0 ，一般简称为h 2 6 4 a v c 视频编码标准 3 1 。 图2 1 给出一个典型的视频编码解码系统流程图，h 2 6 4 斛c 编码的标准化 范围如图2 1 所示，和以前的i t u t 和m p e g 所制定的编码标准一样，只有视频 的解码部分被标准化。通过影响和限制比特流和语法，定义视频解码过程的语法 单元，所有符合标准的解码器的视频码流，都可以由标准解码器解码。标准的这 种范围限制，最大可能地提高了使用各种最适合的压缩编码方式进行性能优化的 自由度。 图2 1 视频编码标准化范围 h 2 6 4 作为最新的视频编码标准，同以往已经发布的视频标准不同，h 2 6 4 在 结构上分为两层( 如图2 2 所示) ：个是规定视频编码算法的视频编码层( v i d e o c o d i n gl a y e r , v c l ) ，另一个是规定网络传输规范的网络抽象层( n e t w o r ka d a p t l a y e r , n a l ) 。视频编码层的主要任务是运用各种高效方法对视频数据进行压缩编 码：网络适配层则根据网络的特性对数据进行封装打包，使其适合于网络传输。 4运动矢量差的c a b a c 二进制化方法研究 压缩效率方面，在相同的重建视频质量的前提下，h 2 “与h 2 6 3 + 和m p e g - 4 a s p 标准相比，可以节约5 0 的比特率。压缩效率的翻倍，使其仅用一半的编码 量就能得到同样清晰的画面。h 2 6 4 采用“回归基本”的简洁设计，不需对众多的 选项进行设计，就能获得比h 2 6 3 + + 好得多的压缩性能。同时在解码器端采用分级 设计，在视频重建质量和解码复杂度之间权衡，可以适应各种解码能力设备对压 缩效率的需求。 h 2 6 4 标准引入的网络适配层烈a l ) ，专为网络传输设计，使得h 。2 6 4 编码视 频流能适应在不同网络中的进行视频传输。引入了面向p 包的编码机制，使其码 流结构网络适应性更强，增强了差错恢复能力，加强了对误码和丢包的处理，提 高了抗误码的能力，能够很好地适应d 和无线网络的应用。在网络适应能力方面， 相比其他标准有了显著提高，具有非常好的网络亲和性。 图2 2h 2 6 4 的结构和传输环境 2 2h 2 6 4 a v c 编解码器 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编了码的视频 比特流的句法，和该比特流的解码方法。h 2 6 4 和以前的标准( 如h 2 6 1 、h 2 6 3 、 m p e g 1 、m p e g - 4 ) 中的编解码器功能块的组成并没有什么区别，都是定义编码 第二章h 2 6 4 a v c 视频编码标准 码流的语法以及对码流解码的方法【2 】【3 】。实际应用中，只要遵从h 2 6 4 标准，其编 解码器必然包含图2 3 及图2 4 中各个基本的功能模块。 2 2 1h 2 6 4 几w c 编码器 编码器采用的仍是变换和预测的混合编码法i l 】。编码器主要包含两个路径：前 向编码路径和重构路径。在前向编码路径中，待编码的输入帧或场图像以宏块为 单位进行帧内或者帧间模式编码。每个当前被编码宏块与其预测宏块p 相减得到 当前宏块的预测残差d n 。d n 经过变换和量化后，产生一组量化后的变换系数x 。 对变换系数x 再进行熵编码，然后与解码该宏块所需要的其他信息( 例如宏块的预 测模式、量化步长、运动矢量信息等) 一起形成压缩的比特流，可用于存储或者经 网络抽象层烈a l ) 处理后传输。 而当前宏块的预测宏块p 是基于重构得到的。当采用帧内预测模式时，尸由当 前帧中已编码宏块的重构宏块u f n 得到。采用帧间模式时，j p 由一个或者多个参 考图像通过运动补偿预测得到。为了提高预测精度，进而提高压缩率，参考图像 可在过去或未来( 指显示次序上) 已编码而且已经解码重建和滤波的帧中选择。 如上所述，为了提供预测用的参考图像，编码器必须有重建图像的功能，即 我们这里所提到的重构路径。量化变换系数x 经过前向路径的反过程，经反量化、 反变换后得到d n 的一个重建值d 挎，预测值p 加上d 刀生成当前编码宏块的重构 宏块材f 锄。经环路滤波器滤波后生成当前帧的参考图像。 2 2 2h 2 6 4 a v c 解码器 图2 3h 2 6 4 编码器 解码同编码端重构的原理相同，完全按照编码器重构路径对压缩后的h 2 6 4 压缩比特流进行解码重建，这样保证了解码端与编码端数据处理的一致性。如图 2 4 所示。 6 运动矢量差的c a b a c 二进制化方法研究 图2 4 h 2 6 4 解码器 2 3h 2 6 4 a v c 视频编码新技术 h 2 6 4 的编解码框架与h 2 6 1 、h 2 6 3 及m p e g 1 2 4 基本一致，均是基于混合 编码，以运动矢量表示图像序列各帧的运动内容，用前面已解码的帧对其进行运 动估计与补偿，或使用帧内预测技术，所得的图像参考值经过变换、量化、熵编 码等处理。但与以前的视频编码标准相比，不只是数据压缩率提高了很多，码流 的抗误码性，以及网络亲和性等都得到了很大的提高。新标准这些性能的提升， 在于各个部分的技术方案的改进及新算法的应用。h 2 6 4 中采用了多种新的编码以 及容错策略等技术产生的效果【3 j 。下面逐一介绍相对于以前的视频编码标准，h 2 6 4 具有的新技术及其特点。 2 3 i 预测方法的改进： 采用更小块并且块大小可变的运动补偿：h 2 6 4 标准与已往的标准相比， 在运动补偿块的大小和形状的选择上更为灵活多变。宏块可以进一步划分为 1 6 x 1 6 、1 6 8 、8 1 6 、8 8 、8 x 4 、4 x 8 、4 x 4 等子块。这样划分之后，可以更 精确的对图像的运动内容进行预测补偿。 四分之一像素精度运动补偿：以前大多数的标准最多只能支持半像素精度 的运动补偿，h 2 6 4 支持四分之一像素精度的运动补偿，使得运动补偿更为精确。 此项技术最早在m p e g - 4 第二部分采用，h 2 6 4 标准采用一维6 阶f i r 滤波器，可 以精确地得到四分之一像素的位置，同时相比于m p e g - 4 ，其实现的复杂度大大降 低。 运动矢量可越过图像边界：在m p e g 2 及以前的标准中，运动矢量只能指 向先前已解码的参考图像内。h 2 6 4 采用了h 2 6 3 中的图像边界外延技术，其运动 矢量可以指向超出图像边界的点。 多参考帧运动补偿：在m p e g - 2 及以前的编码方案中，预测图像f 称为尸帧) 的预测只允许采用前一帧图像。h 2 6 4 扩展了h 2 6 3 + + 中的参考帧选择技术，编码 器可以在已解码并且存储在解码器中的大量的图像中选择参考帧，找到最佳匹配 第二章h 2 6 4 a v c 视频编码标准 块，达到高效编码的目的。同时，h 2 6 4 中对双向预测参考帧的选择也做了扩展， 不再局限于只能从当前编码帧的前一i 或p 帧和后一i 或p 帧中进行双向运动补偿。 去除图像显示顺序与参考图像顺序间的耦合性：在以前的标准中，运动补 偿的参考帧使用严重依赖于图像播放的顺序。h 2 6 4 标准解除了此项限制，只要存 储器容量足够大，不影响解码的实现，允许编码器灵活的选择参考图像和图像播 放的顺序。在接触这项限制的同时，也消除了由于采用双向预测编码而带来的延 时。 b 帧可用作参考帧：在以前的标准中，双向预测编码帧不能用作预测视频 序列中其它图像的参考帧。在h 2 6 4 中，b 帧可以用作其他图像的参考帧。在很多 情况下，通过这种方法，增加了参考图像选择的范围，可以选出与待编码图像更 相似的某一幅图像作为参考帧。 加权预测：h 2 6 4 中允许编码器对运动补偿预测信号进行加权处理。采用 加权预测后，使得预测更加精确，编码效益得到很大的提高，尤其是针对包含淡 入淡出效果的图像。当然这种方法也可以针对其他不同的目的进行灵活的使用。 改进的“s k i p 和“d i r e c t ”模式：在以前的标准中，已编码图像中模式为 “s k i p 的图像区域内的场景内容不能运动。这对包含全局运动的图像是不合适的， h 2 6 4 允许对“s k i p 区域进行运动推理。对双向预测编码区域( bs l i c e s ) ，h 2 6 4 采用改进的运动推理方法，即“d i r e c t ”模式的运动补偿，进一步改善了h 2 6 3 + 和 m p e g - 4v i s u a l 中“d i r e c t 预测的设计。 帧内编码中进行空间预测：在当前编码图像中采用帧内编码的区域，对先 前已解码的部分进行边界外插，将解码区域边缘的象素用于帧内编码区域的空间 预测。这一技术增强了预测图像的质量，并可由邻近区域中非帧内编码的图像对 当前图像进行预测。 环路去方块滤波：基于块的视频编码会产生所谓的块效应，这主要是源于 解码中的预测编码和残差编码阶段。自适应去方块滤波是一种人们熟知的一种提 高重建图像质量的方法，如果设计得当，视频图像的主观和客观质量都会有提高。 h 2 6 4 中的环路滤波是在运动补偿预测环路中提出的，因而也可应用于帧间预测， 进而提高它预测其它图像的能力。 2 3 2 变换和编码方法的改进 以上介绍的为提高编码增益，预测方法的改进，下面介绍其他提高编码增益 的方法，改进的变换和编码方法。 小块变换：以前所有主要的视频编码标准都使用大小为8 x 8 的块进行变换， 而h 2 6 4 主要采用的是4 x 4 的变换。这使得编码器可以通过采用以上所述的方法， 运动矢量差的c a b a c 二进制化方法研究 更好的表示局部信息，有效减少了振铃( r i n g i n g ) 效应。 分级块变换：在大多数情况下，使用4 x 4 的小块变换效果非常好。但有一 些信号的之间有很强的相关性，这种情况下就可以使用更长的基函数进行变换。 h 2 6 4 标准对这种情况的处理有两种方法：一是对频率较低的色度信号，通过使用 分级变换来扩充有效的块大小，色度信号用8 x 8 的块进行变换；二是允许编码器 在帧内编码时选择特殊的编码类型，对频率较低的亮度信号的变换长度扩展到 1 6 x 1 6 的块大小，与色度信号的处理方法类似。 短整型字长的变换：以前标准的编解码器对变换部分的处理较为复杂，要 完成变换的计算需要采用3 2 比特，而h 2 6 4 中仅用1 6 比特就可完成相关的计算。 精确匹配的逆变换：在以前的视频编码标准中，由于不能得到精确匹配的 理想的逆变换，用于表示视频信息的变换通常只是限定在误差允许的范围内。这 样，不同的解码器解码所得的视频图像有细微的差别，在编码器与解码器之间的 视频信号产生所谓的“漂移”，降低了视频质量。h 2 6 4 中采用的是与4 4d c t 特征类似的可分离的整数变换代替传统的8 x 8d c t 交换，避免了浮点运算误差， 因为其逆变换也被定义为精确的整数运算，有效了避免了逆变换不匹配的问题。 算术熵编码：h 2 6 4 包含了一种先进的熵编码方法算术编码。算术编码 作为h 2 6 3 的可选项出现过，h 2 6 4 中更为有效地利用了这一技术，提出了功能非 常强大的熵编码算法c a b a c ( 基于上下关系的自适应二进制算术熵编码) 。 c a b a c 编码根据上下关系统计信息，实时建立待编码符号的概率模型，降低了 码字冗余，提高了编码效率。 上下关系自适应的熵编码：h 2 6 4 中的包含两种熵编码方法，分别是 c a v l c ( 基于上下关系的自适应变长编码) 和c a b a c ，它们都可以根据实际编码视 频信息，自适应的进行熵编码压缩，充分利用信息之间的相关性，进而达到提高 编码效率的目的。 2 3 3 抗误码丢包及增强网络适配性的设计与改进 h 2 6 4 不止有很高的压缩率，同时还有很好的抗误码性和利于网络传输的特 性，下面介绍抗误码丢包以及增强在不同网络环境下操作灵活性的设计与改进 参数集结构：参数集主要为提高头信息的鲁棒性和高效安全性而设计。在 以前的标准中，关键信息丢失了几个比特( 比如序列的头信息或图像的头信息) ，可 能会严重影响解码过程。在h 2 6 4 中对这些关键信息用更为灵活的方法单独处理。 n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。h 2 6 4 不像以前的视频标准，强制使用系统特定的比特流接口，根据特定的 网络，其n a l 单元语法结构可以定义适合当前网络的方法来传送视频内容。 第二章h 2 6 4 a v c 视频编码标准 9 灵活的片大小：与m p e g 2 中定义的严格的s l i c e 结构不同，h 2 6 4 中的 s l i c e 大小与早些的m p e g - 1 一样是非常灵活的。一个视频图像可以编码成一个或 更多的片，每片包含整数个宏块。使各编码片之间保持相互独立，某片的预测不 能以其他片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其他的 片中，有效的限制了误码的传输和扩散。 灵活的宏块顺序( f m o ) ：h 2 6 4 提出了一种将图像划分成被称为s l i c e 组的 方法，s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效地使用灵活 的宏块顺序，可以利用s l i c e 组中各s l i c e 的空间相关性，有效的弥补数据传输出错 带来的影响，增强数据抗误码的鲁棒性。 任意的s l i c e 顺序( a s o ) ：因为h 2 6 4 中编码图像的每一个s l i c e 基本都可 以与图像中的其他s l i c e 独立地进行解码，所以在h ，2 6 4 的设计中，可以以任意顺 序发送或接收图像中的s l i c e 。这样设计可以有效改善实时应用场景中端到端的延 时，尤其是乱序发送的网络( 如口网络) 。 冗余图像：为增强数据抗误码的鲁棒性，h 2 6 4 中允许编码器发送图像某 些区域的冗余信息，这样当主要数据部分在传输过程中丢失时，仍可以通过传输 的冗余数据表示数据丢失那部分图像的信息。 数据分割：在表示视频内容时，某些编码信息比别的信息具有更高的重要 性或更有价值( 如运动矢量或其它预测信息) ，h 2 6 4 中引入数据分割，允许每个s l i c e 中的语法元素，可以按语法元素的分类及不同的重要性，最多分为三个不同的部 分进行传输( a 、b 、c 类分割) 。相当于对不同重要性的数据提供不等保护，有效 的提高了码流的抗误码能力。 s p s i 同步切换帧：s p s i 帧是h 2 6 4 中两种新的图像类型，通过使用s p s i 帧，可以在解码端做到与其他解码器正在生成的视频流精确同步，而无需为了让 所有解码器同步，而各传送一个i 帧造成效率的下降。这可使得解码器可以在以不 同数据传输速率的视频内容间进行切换，以及从数据丢失和数据错误中恢复，并 且能够使用t r i c k 模式等场所( 如快进、快退等) 。 2 4h 2 6 4 a v c 的熵编码技术 h 2 6 4 a v c 支持两种熵编码方法，分别为基于上下关系的自适应变长编码 ( c o n t e x ta d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和自适应二进制算术编码 ( c o n t e x ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g c a b a c ) 。h 2 6 4 a v c 中的这两种熵 编码与以前视频编码标准使用的传统的统计编码技术相比有了明显改进。 h 2 6 4 a v c 中对于s l i c e 头信息及更高层语法元素使用e x p g o l o m b 编码，这是一 种没有自适应能力的可变长编码( v a r i a b l el e n g t hc o d i n g ，v l c ) 。对于s l i c e 层及 l o 运动矢量差的c a b a c 二进制化方法研究 更低层的语法元素，如果是残差数据，则使用c a b a c 或c a v l c 这两种熵编码方 式，具体选择哪种方式，由e n t r o p yc , o d i n g _ m o d e f l a g 决定，这个参数在图像参数 集中给出；如果不是残差数据，则采用e x p - g o l o m b 码或c a b a c 编码，视编码器 的设置而定【5 j 。 c a v l c ：v l c 的基本思想就是对出现频率大的符号使用较短的码字，而出现 频率小的符号采用较长的码字，这样可以使得平均码长最小。在c a v l c 中，h 2 6 4 设计了若干v l c 码表，不同的码表对应不同的概率模型。利用相邻已编码符号所 提供的相关性，为所要编码的符号选择合适的v l c 码表，这样就可以大大降低符 号间的冗余度，提高编码效率。但也有一个局限，码长只能是整数，最短的码字 也至少需要1 个比特来编码。尤其当符号出现的概率大于0 5 的时候，该符号的信 息量小于l ，仍使用1 个比特来编码造成浪费。而且，由于每个码字的长度必须是 整数，在各个符号出现概率比较接近的情况下编码效率会有一定的下刚。 c a b a c ：算术编码是一种更加高效的熵编码方法，每个符号所对应的码长可 以不是整数。将输入的一组信源符号映射为一串比特流。c a b a c 中由于对每一个 符号的编码都与以前编码的结果有关，所以它考虑的是信源符号序列整体的概率 特性，而不是单个符号的概率特性。因而它能够更大程度地逼近信源的极限一熵， 从而降低码率。c a b a c 通过采用上下文模型选择和自适应二进制算术等技术，获 得良好的自适应性。视频信息间的相关性得到充分利用，大大降低了视频间的冗 余。在c a b a c 中，每编码一个二进制符号，编码器就会自动根据己编码符号提 供的信息，调整对信源概率模型的估计，随后的二进制符号就在这个更新了的概 率模型基础上进行编码。这样的编码器不需要信源统计特性的先验知识，在编码 过程中完成的概率估计与信源符号的实际统计特性相符，有效的提高了编码效率。 相比于c a v l c ，c a b a c 能减少5 1 5 的码率1 3 j 。同时c a b a c 对二进制算术编 码和概率估计采用了低复杂度设计，使得c a b a c 无论是软件还是硬件实现都得 到有效应用。c a b a c 的具体编码过程和降低复杂度的设计见第三章。 第三章基于上下关系的自适应二进制算术熵编码( c a b a c ) 1 1 第三章基于上下关系的自适应二进制算术熵编码( c a b a c ) 3 1 基于上下关系的自适应二进制算术熵编码简介 h 2 6 4 a v c 标准中采用了两种熵编码方法，基于上下关系的自适应变长编码 ( c a v l c ) 和基于上下关系的自适应二进制算术编码( c a b a c ) 。当图像参数集 ( p i c t u r ep a r a m e t e rs e t s ，p p s ) 中的标志e n t r o p y _ c o d i n g _ m o d ef l a g 为1 时， h 2 6 4 a v c 采用c a b a c 的熵编码方法对语法元素进行编解码 7 1 。c a b a c 通过采 用如下几种技术，获得了良好的压缩性能：( a ) 根据每个元素的上下关系为每个 语法元素选择概率模型；( b ) 根据编码符号的局部统计特性自适应进行概率估计； ( c ) 采用算术编码而不是变长编码。把上下关系模型选择加入到自适应二进制算 术编码技术中，使得c a b a c 得到了高度的自适应性和冗余度的降低。而且， c a b a c 的框架结构中也为二进制算术编码和概率估计提供了复杂度非常低的算 法，非常适合于高效的硬件和软件实现。对用于广播表现特定内容的测试序列， 在可接受的视频质量( 3 0 到3 8 d b ) 基础上，采用c a b a c ，比特速率可以节省9 到1 4 1 4 1 。h 2 6 4 a v c 中采用c a b a c 编码一个语法元素的基本流程框图如图3 1 所示【4 】 上下文模型更新 孽掣二- 7 - 篝掣商二进制值冈 广叫二进制化卜一1 上r 一厂 建模i上下文模茹l 编码器广 以 0 、 f ： ，、 、 j 旁路编码器| 一牛1 = j ，厶- 耋一- “j 士 流 图3 1c a b a c 编码方框图 由图3 1 可知，对一个语法元素进行c a b a c 编码最多需要三个步骤： a ) 二进制化( b i n a r i z a t i o n ) ； b ) 上下关系模型选择( c o n t e x tm o d e l i n g ) ； c ) 二进制算术编码( b i n a r y a r i t h m e t i cc o d i n g ) 。 首先，如果给定的是一个非二进制的语法元素，按照一定的规则将它唯一地 映射成二进制序列，在此称为b i ns t r i n g 。如果给定的语法元素就是二进制序列， 这一步可以省略，如图3 1 所示。二进制化后的语法元素，依据所采用的编码模式， 进行后续的处理。 二进制算术编码有两种模式【4 】：常规编码模式( r e g u l a rc o d i n gm o d e ) 和旁路 1 2 运动矢量差的c a b a c 二进制化方法研究 编码模式( b y p 弱sc o d i n gm o d e ) 。在常规编码模式中，对于给定的二进制符号b m ， 首先要进行上下关系模型选择，根据先前已编码的语法元素或b m ，为每个b m 选 定一个概率模型。选定上下关系模型之后，b m 和选定的模型一起进入到常规编码 引擎，进行二进制算术编码，并完成随后的概率更新。 为了提高整个编解码过程的速度，c a b a c 还提供了一种简化的编码模式，即 旁路编码模式。这种模式不需为编码符号b i n 选定上下关系模型，如图3 1 右下方 的开关所示1 4 】。 3 2 1 二进制化的意义 3 2 二进制化 为在视频编码中有效地应用上下关系模型选择和自适应算术编码，需满足以 下两个条件： a ) 快速并且准确地完成条件概率的估计； b ) 完成每个元素的概率估计和算术编码的计算复杂度必须保持最小，有效适 应高速输入。 为了满足以上需求，c a b a c 引入了二进制化预处理过程来减小待编码语法元 素符号集的大小，对于给定的语法元素，用一个唯一的二元码字代替。二进制化 就是把非二进制的语法元素映射成若干位的二进制字符串。这样处理后，有利于 建模和算术编码的实现。 二进制化后，只需对二进制化后的字符串b ms t r i n g 运用二进制算术编码，而 不需对原先的m 元信源字母表( m 2 ) 进行m 元算术编码操作。对于m 2 ，自适应 m 元算术编码是一个运算复杂的操作，对于每个符号的编码需要至少两次乘法运 算，概率刷新也需要通过相当复杂的操作来实现。与此形成鲜明对比的是，二进 制算术编码更快速，并且可以做到没有乘法运算。这是为c a b a c 专门设计的二 进制算术编码器，本文3 4 节详细介绍。 其最重要的优点是，二进制化可以使上下关系模型选择更加灵活。一般来说， 对于出现频率高的二迸制串，可以运用条件概率模型。对于出现频率低的二进制 串，则使用典型的联合0 阶概率模型来表示【9 】。在以前的上下关系模型选择中，建 模对象通常拥有一个很大的字母表，要在较短的时间间隔内完成对大量条件概率 的估计，往往不能获得足够的样本，可知所得的概率估计值也是不可靠的。二进 制化后，允许在子符号集上进行上下关系模型选择，可以通过采用高阶条件概率 模型，有效地避免这种效应。 第三章基于上下关系的自适应二进制算术熵编码( c a b a c )1 3 3 2 2 四种基本二进制化方案 二进制化是进行c a b a c 编码的重要前提，h 2 6 4 a v c 中提供了四种基本的二 进制化方案7 】： a ) 一元二进制化( u ，u n a r yb i n a r i z a t i o n ) b ) 截断一元二进制化( t u ，t r u n c a t e du n a r yb i n a r i z a t i o n ) c ) k 阶指数哥伦布二进制化( e g kk t ho r d e re x p - g o l o m bb i n a r i z a t i o n ) d ) 固定长度二进制化( f l ，f i x e d l e n g t hb i n a r i z a t i o n ) 。 此外，还有对这四种基本类型进行级联组合，构成不同的级联二进制化方案。 除了这些结构化的方法外，还定义了五种特殊的，非结构化二叉树用于对宏块类 型，亚宏块类型等语法元素的二进制化。下面对四种基本的二进制化方案进行介 绍。 a ) 一元二进制化( u ，u n a r yb i n a r i z a t i o n ) 一元二进制化简称u 二迸制化，生成的码字叫一元码( u n a r yc o d e ) 。对于给 定的无符号整数值为x 0 ，x 所对应c a b a c 一元码比特串的长度为x + l ，包含x 个l ，结尾再加上一个终止比特0 。如式( 3 1 ) 所示：一 u ( x ) = u 出0 x o 式( 3 1 ) r 个l 表3 1 是u 变换的码表，b i n i d x 是编码后各比特的序号。 表3 1u 二进制化码表 语法元素值 二进制序列 00 110 211o 3l1 l o 411 1 1 o 5 l ll l 1 0 b i n l d xo1234 5 u 二进制化的优点是算法简单，没有复杂的计算，最后码字的形式也比较简 单。对于编码器来说，生成方便；丽对