（计算机系统结构专业论文）vc1解码算法研究及其dsp移植与优化.pdf

摘要 v c 1 是2 0 0 3 年微软在w m v 9 ( w i n d o w sm e d i av i d e o9 ) 基础上提出的视频压缩 技术，2 0 0 6 年4 月，s m p t e 正式颁布了v c 1 视频编码标准，并随后发布了解码 算法的参考模型。v c 1 整合了m p e g 及h 2 6 4 的优点，压缩率与h 2 6 4 接近，复 杂度却只有h 2 6 4 的约5 0 。v c 1 在高分辨率影片压缩的应用上，尤其是对特效 电影有很杰出的效能表现。 d m 6 4 2 是t i 公司开发研制的一款专门面向多媒体应用的高性能专用数字信号 处理芯片，d m 6 4 2 在c 6 4 x 内核的基础上增加了很多外围设备和接口，因而在实 际工作中的应用更为广泛和简便。d m 6 4 2 是实现视频实时编解码的理想平台之一。 本论文首先分析了视频压缩标准关键技术以及解码算法体系结构，然后在p c 机上对v c 1 解码算法进行了全局优化和局部优化，最后将优化后的v c 1 解码器 移植到d s p 平台上，并进行了基于d s p 平台的优化工作。本论文中所作的优化工 作对实现解码器的进一步实时工作，打下了良好的基础。 关键词：v c 一1 解码器；d m 6 4 2 ；d s p 分类号： a b s t r a c t v c - 1v i d e oc o m p r e s s i o ns t a n d a r dw a sa n n o u i l c e db ym i c r o s o f tc o r p o r a t i o ni n 2 0 0 3b a s e do nw m v 9 ( w i n d o w sm e d i av i d e o9 ) s m p t eh a sa c c e p t e dv c 1 勰t h e v i d e os t a n d a r di na p r i l2 0 0 6 a n dt h e np u b l i s h e dt h er e f e r e n c em o d e lo fv c 1d e c o d e r w h i c hi s o p e ns o u r c e t h ev c - 1v i d e oc o m p r e s s i o ni n t e g r a t e sm p e ga n dh 2 6 4 t e c h n o l o g i e st o a c h i e v en e a r l y c o d i n ge m c i e n t 勰h 2 6 4b u tw i t hm u c hl o w e r c o m p l e x i t y v c 一1h a so u t s t a n d i n gp e r f o r m a n c ei nh i 曲一r e s o l u t i o nv i d e oc o m p r e s s i o n a p p l i c a t i o n s ，e s p e c i a l l yf o rs p e c i a le f f e c t sf i l m s d m 6 4 2i sas p e c i a l i z e dh i 曲- p e r f o r m a n c e - o r i e n t e dd i g i t a ls i g n a lp r o c e s s i n gc h i p s w h i c hi sd e v e l o p e db yt i i tm a i n l yu s e df o rm u l t i m e d i aa p p l i c a t i o n s b e s i d e sc 6 4 x c o r e ，d m 6 4 2h a sal o to fp e r i p h e r a ld e v i c e sa n di n t e r f a c e s ，w h i c hm a d ew i d e ra n d s i m p l e ri np r a c t i c a lw o r k i t so n eo ft h ei d e a lp l a t f o r m st oa c h i e v er e a l - t i m ev i d e o s o l u t i o n i nt h i st h e s i s w es t u d i e dt h ea r c h i t e c t u r eo fv c 一1d e c o d e ra l g o r i t h ma n dt h ek e y t e c h n o l o g i e s t h e nw ew e n to p t i m i z a t i o no fv c - ld e c o d e ro np c a f t e rt h a t ，w em a d e i m p l e m e n t a t i o na n do p t i m i z a t i o no fv c 一1d e c o d e ri nd m 6 4 2 t h eo p t i m i z a t i o nw o r k i nt h et h e s i sl a y sa g o o df o u n d a t i o nf o rt h ea c h i e v e m e n to fr e a l t i m ed e c o d e r k e y w o r d s ：v c - ld e c o d e r ；d m 6 4 2 ；d s p c l a s s n o ： 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 歹另衲 导师签名： 豕一认 l 签字日期：钞。莎年伽石1 7 1签字日期：少眄年歹月日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者躲歹刍确 签字同期：加。歹年厂月多日 致谢 首先感谢我的导师罗四维教授。本论文的工作是在我的导师罗四维教授的悉 心指导下完成的，罗四维教授在学生研究方向上的引导、启迪及教诲，都给予了 学生很大的帮助和影响。罗四维教授悉心指导我们完成了实验室的科研工作，在 学习上和生活上都给予了我们很大的关心和帮助。罗四维教授对于我的科研工作 和论文提出了许多的宝贵意见，使我明晰了自己的研究方向。在此对两年来罗四 维老师对我的关心和指导致上最大的敬意与感谢。 感谢竞业达公司的张爱军老师、徐兴建工程师、王金柱工程师、安尼瓦尔工 程师的指导与关照，使我的论文内容更加的完整与充实。 同时也要特别感谢黄华、訾磊老师对我提出的问题进行耐心细致的解答，感 谢两位老师的指导及照顾。感谢学长汪盟、王爱兵对我的指导及照顾，还要感谢 姜园园、彭云亚、宗锐、王慧、林杰、门喜娟、杨麟儿、蔡海燕、黄之光、李修 林、王哲同学平日地帮忙与照顾，在实验室工作及撰写论文期间对我论文的研究 工作给予了热情帮助，不管在生活上、求学上、互相勉励，让我的硕士生涯更加 丰富，在此向他们表达我的感激之情。 最后，衷心感谢我的父母、妹妹及男友的关怀与勉励，他们的理解和支持使 我能够在学校顺利完成我的学业。 1 引言 1 1 国内外现状 二十一世纪是多媒体声音影像通讯的高科技时代，随着视频压缩技术的进步， 以及d s p 芯片速度的大幅度提升【l 】，推进了视频与多媒体通讯传输的结合，使多 媒体应用系统成本大量下降。数字视频的相关产品，可以提供互动式的医疗、娱 乐、教育以及文化服务，大大改善现有的生活模式。有线及无线网络的风行，加 上网络上各种应用服务的不断研发，使网络电话、视频电话、小型化及无线化多 媒体通讯【2 】与娱乐成为一种趋势。 2 0 0 3 年，微软以其在w m v 9 ( w i n d o w sm e d i av i d e o9 ) 基础上开发的视频压缩 技术向美国的电影电视工程师协会( s o c i e t yo fm o t i o np i c t u r ea n dt e l e v i s i o n e n g i n e e r s ，以下简称s m p t e ) 提出公开标准化的申请，并以v c 1 ( v i d e oc o d e c1 1 作为此新标准的命名，2 0 0 4 年1 2 月正式定案，直到2 0 0 6 年4 月，s m p t e 才正式 颁布了v c 1 视频编码标准，被命名为s m p t e4 2 1 m ，为该格式在下一代d v d 中 的应用铺平了道路。 v c 1 标准的图像压缩采用8 比特，4 ：2 ：0 的格式，系统方案采用基于块的运动 补偿和空间变换技术，这与目前广泛使用的m p e g 系列标准非常相似【3 】。广泛的 讲，该类标准都是利用二维运动矢量实现块的运动补偿，寻找当前块在参考帧中 同样大小的最佳匹配块，然后计算匹配块与实际块的差值，形成残差块，最终将 这些残差的图像数据进行空间变换、量化和熵编码【5 1 。对于解码器而言，将完成对 变换系数的熵解码、反量化、以及反变换，然后将恢复的残差数据添加到解码运 动补偿预测中，最终重构原始图倒酬。v c 1 解码器的简化流程图如下所示： 一、 + ： ， 图1 1v c 1 解码器简化流科图 f i g u r el - 1s i m p l ef l o wc h a r to f v c - 1d e c o d e r 与以前的视频编码标准相比，v c 1 具有下列创新点： ( 1 ) 自适应分块变换； ( 2 ) 采用1 6 位精度实现变换处理； ( 3 ) 均匀和非均匀量化； ( 4 ) 环路滤波； ( 5 ) 重叠平滑。 该标准采用了一系列先进的视频压缩编码技术，包括了变换、预测、熵编码 等各个方面，从而提高了压缩效率，显示出比以往的标准m p e g 一2 、m p e g 4 的优 势，同时与国际标准h 2 6 4 的性能相当。 t m s 3 2 0 d m 6 4 2 是基于c 6 0 0 0 d s p 家族中的c 6 4 xc p u ，主要是针对数字媒体 处理领域应用的一款高性能媒体处理器，他是在c 6 4 x 核的基础上，整合了众多的 外围设备与接口于一体。包括3 个独立可配置的视频端口：视频输入、视频输出 和传输流接口。这些视频端口能支持b t6 5 6 视频输入输出、支持1 0 b 的数字高 清晰电视( h d t v ) 的y c 和r g b 输入和输出以及m p e g 2 传输流输入等。1 个 1 0 1 0 0m b s 自适应的以太网m a c ( e m a c ) i z l ；1 个能支持标准音频接口模式的多 通道音频串行接e i ( m c a s p ) ；1 个支持6 6m h z 时钟频率3 2b 的p c i 2 2 规范总线 接口；2 个多通道有缓存的串e l ( m c b s p s ) 、用户可配置的1 6 3 2 b 的主机接i z ( h p i ) 以及其他外设。为了满足视频和图像处理的需要，d m 6 4 2 将v e l o c it i t m 体系结 构和高级超长指令字( v l i w ) 结构二者完美结合，使得d s p 能够在一个指令周期并 行执行8 条指令：工作主频从6 0 0 m h z 到1 1 g h z ；其处理能力从4 8 0 0 , - - 8 8 0 0m i p s ， 堪称业界最快的d s p 。因此，他是视频图像处理与多媒体应用最为理想的硬件平 台，具有广阔的应用前景。 数字视频产品需求近些年出现猛增。主流应用包括视频通信、安全监控与工 业自动化，而最热门的要算娱乐应用，如d v d 、h d t v 、卫星电视、高清( h d ) 机 顶盒、因特网视频流、数码相机与h d 摄像机、视频光盘库、高端显示器( l c d 、 等离子显示器、d l p ) 以及个人摄像机等。众多精彩的新应用目前也处于设计或前 期部署中，例如针对家庭与手持设备及地面卫星标准( d v b t 、d v b h 、d m b ) 的 高清d v d ( 蓝光h d d v d ) 和数字视频广播、高清视频电话、数码相机以及i p 机顶 合 旺。 随着通信技术和信号处理技术的发展人们对多媒体信号的需求越来越多，要 求的质量也越来越高，如何在现有的技术水平和硬件条件下实现合理、优化、实 时的多媒体通讯终端设备和产品一直是近年来信号处理领域和相关公司关注的话 题。多媒体通讯终端平台的实现一方面需要有适合网络或者无线通信的视频通信 协议，另一方面需要有快速的、稳定的处理器作为多媒体处理的硬件平台。只有 两者的结合才能产生高效的多媒体通讯设备。 最新的编解码技术( h 2 6 4 a v c 与v c 1 ) 代表着第三代视频压缩技术。v c 1 编 解码技术利用如可编程d s p 与a s i c 等低成本i c 的处理能力，以达到极高的压缩 比，成为一种趋势。不过，为具体应用选择正确的编解码器并优化以实现实时处 理仍然是一项巨大的挑战。最佳的设计必须权衡压缩效率及可用的计算能力。此 外，如何在计算能力有限的情况下获得最佳压缩效率也是一门学问。 1 2 本论文研究和解决的问题 编解码技术在过去十年中不断改进，最新的编解码技术( h 2 6 4 a v c 与v c 1 ) 代表着第三代视频压缩技术。为具体应用选择正确的编解码器并优化及实施仍然 是一项巨大的挑战，最佳的设计必须权衡压缩效率及可用的计算能力。本文探讨 了压缩能力与复杂性之间的权衡，以实现实时的、优化的v c 1 解码器。 视频压缩编码的实现主要有三种可能途径： ( 1 ) 基于p c 的纯软件实现； ( 2 ) 纯硬件实现； ( 3 ) 软硬件相结合实现。 随着视频压缩标准的不断发展与完善，算法的运算量和复杂度也就随之而提 升，v c 1 视频压缩编码算法也不例外。用基于p c 的纯软件的方法来实现v c 1 实时解压缩非常困难，尤其对于高分辨率的图像来说几乎是不可能的。同时，就 纯硬件实现来说，虽然通过设计制作高性能的专业视频处理芯片的方法来完成视 频编解码一度在视频压缩系统中占据了主导地位，但专用的视频处理芯片固有的 灵活性差和高成本缺点却极大地限制了该方法的普及。而通用的数字信号处理器 d s p ，由于其高度可编程性超强的数据吞吐能力和运算速度，使产品能够迅速应用 新算法快速地进行产品升级等优点，使得以d s p 为核心处理器的软硬件相结合的 方法成为了目前国际上和国内实现视频压缩标准实时编解码的一种可行有效的途 径。 本课题的目的就是通过利用t it m s 3 2 0d m 6 4 2 高性能d s p 和视频压缩标准 v c 1 的解码算法软硬件相结合的方法来实现v c 1 实时解码算法。关键在于解码 速度的提高，难度在于提高编码速度的同时又要能保证v c 1 解码器良好的解码性 能，不能单纯为了实现实时解码而牺牲太多的图像质量或任意降低解码效率。具 体而言就是在充分研究v c 1 解码算法的基础上，在保持良好的图像质量和编码效 率的同时，通过提出新的快速有效的改进算法和采用各种代码优化方法来减小 v c 1 解码算法的运算量，提高解码速度，最终实现以t m s 3 2 0d m 6 4 2d s p 为平 台的实时v c 1 解码器。 我们可以通过d s p 的集成开发环境c o d ec o m p o s e rs t u d i o ( c c s ) 实现解码器的 移植与优化。c c s 有自己的a n s ic 编译器和优化器，并有自己的语法规则和定义， 所以在d s p 上实现v c 1 的算法要把p c 机上c 语言编写的v c 1 解码器代码进行 改动，使其完全符合d s p 上的规则。这些改动包括程序结构和数据结构上的优化， 以提高运算速度。 p c 机上的代码移植入d s p 中后由于较少考虑存储器空间等因素并不总是可以 达到实时解码的要求，所以需要d s p 优化。对d s p 代码的优化共分为三个层次【7 】： 项目级优化、c 程序级优化、汇编程序级优化。 ( 1 ) 项目级优化：主要是通过选择c c s 提供的编译优化参数，根据h 2 6 4 系 统的要求进行优化，通过不断地对各个参数( m w ，一p m ，0 3 ，m t 等) 的选 择、搭配、调整，改善循环、多重循环体的性能，进行软件流水，从而提 高软件的并行性。 ( 2 ) c 程序级优化：主要是针对采用的d s p 的具体特点进行代码的功能精简、 数据结构的优化、循环的优化、代码的并行化处理。 ( 3 ) 汇编程序级优化。汇编级的优化包括两部分：采用线性汇编语言进行优化 和直接用汇编语言进行优化。 优化的工作重点在c 程序级优化，去除应用中不需要的层级及其相应功能， 去除掉s n r 计算【8 】、帧率及其他辅助信息的程序模块。函数及数据映射区域的调 整，把经常用的数据存储在片内存储器中，频繁调用的程序尽可能映射在相邻或 相近的存储区域等等，最终达到实时解码的目的。 综上所述，本文的研究重点如下： ( 1 ) v c 1 熵编码与熵解码研究； ( 2 ) v c 1 量化与反量化研究； ( 3 ) v c 1 适应性块大小变换与反变换研究： ( 4 ) v c 1 帧内预测与帧间预测研究； ( 5 ) v c 1 动态补偿算法研究； ( 6 ) v c 1 去方块效应方法：环路滤波与重叠平滑化； ( 7 ) d m 6 4 2 硬件体系结构与使用方法研究； ( 8 ) d m 6 4 2 存储器结构研究c a c h e 优化方法； ( 9 ) v c 1 解码器算法在c c s 上编译通过需要做的工作方法； ( 1 0 ) c c s ( c o d ec o m p o s e rs t u d i o ) 编译器特性研究，并应用于v c 1 解码算法优 化； ( 11 ) d m 6 4 2 特有指令集于v c 1 解码算法上的应用，以优化解码器； 4 ( 1 2 ) 如何优化v c - 1 解码器工程： ( 1 3 ) 如何提升v c l 解码器效能。 1 3 论文结构安排 本文将主要从如下三个方面简要讲述： ( 1 ) 视频压缩算法：h 2 6 4 、a v s 、m p e g 2 以及视频压缩技术中的最新标准 v c 1 ( 又名w m v 9 ) 等，专注于v c 1 原因是v c 1 是最新的视频压缩标准， v c 1 是由微软公司在2 0 0 3 年发表的自主开发的动态影像压缩技术，其压 缩技术整合了m p e g 及h 2 6 4 之优点压缩率逼近h 2 6 4 ，但确有复杂度更 低的优点，复杂度约只有h 2 6 4 的5 0 。 ( 2 ) d s p ：包括t m s 3 2 0 c 6 0 0 0 系列芯片的系统结构、指令集等，限于资源原 因，本文主要讲述d m 6 4 2 芯片。同时包括d s p 的集成开发环境c o d e c o m p o s e rs t u d i o ( c c s ) 的用法，以及基于c c s 的工程开发，项目级优化和 c 语言级的优化等。 ( 3 ) 结合( 1 ) 和( 2 ) ，展开视频解码器在d s p 上实现与优化的一些知识，为后面 的实践打下基础。 本文具体内容安排如下： 第二章首先分析了v c 1 视频压缩标准解码算法流程和各个关键技术，然后将 v c 1 与其他视频压缩标准如h 2 6 4 a v c 等进行性能对比。 第三章首先介绍d s p 芯片d m 6 4 2 体系结构及指令集特点，然后分析了d m 6 4 2 作为v c 1 解码支撑平台的性能特点。 第四章进行v c 1 解码算法在p c 上的优化，其中首先分析了v c 1 解码算法 流程，然后对其进行全局优化和局部流程优化，就全局优化来说，从程序结构和 数据结构两个方面展开工作；就局部优化来说，按照d s ps i m d 的特点，从程序 结构上优化了运动补偿b i c u b i c 内插算法程序实现方式；依据线形代数中矩阵转换 的方法，优化了8 8 反向转换公式，降低复杂度。这一章的工作为后面v c 一1 算 法移植打下了良好的基础。 接下来第五章进行v c 1 解码器在d s p 上的移植以及基于d s p 平台的优化。 d s p 移植分编译通过和软件方针实现两部分，每部分中都有相应的工作。d s p 优 化按照标准d s p 优化方法：项目级优化、c 语言级优化、汇编级优化，同时结合 v c 1 解码算法特性，对v c 1 解码算法参考模型进行了大量灵活的优化的工作， 取得了明显的效果。 2v c 一1 视频压缩标准概述 2 1v c 1 解码算法结构和框架 v c 1 的编码流程与m p e g 及h 2 6 4 很相似，都是将空间中与时间上人眼所无 法感知的部分加以编码，达到压缩的效果。v c 1 标准能够支持小尺寸、低码率图 像压缩应用( 1 6 0 x1 2 0 ，1 0 k b p s ) ，也能够支持大尺寸、高码率图像压缩应用( 1 2 8 0 7 2 0 1 9 2 0 1 0 8 0 ，4m b p s 8 m b p s ) ，对于一些要求更高质量的数字高清母版图 像它还能够提供更高的压缩码率。 v c 1 标准中共包括3 个类，分别是简单类、主类和高级类，这里的类是指标 准中某些特定编码工具、语法和算法的集合，在每个类中还包括不同的级，用于 表示不同的参数集合，如比特率、缓冲区大小等，更高的级意味中需要更快的处 理速度和更多的内存。三个档次的应用如下表： 表( 一) v c 1 和h 2 6 4 类型及应用【3 】 t a b l e ( 1 ) t y p ea n da p p l i c a t i o no f v c 1a n dh 2 6 4 【3 l v c 1h 2 6 4 ，a v c 应用 简单级( s i m p l e )基本级( b a s e l i n e ) 移动设备、视频会议、网络流媒体 主级( m a m )主级( m m n ) 采用逐行方式发布的j “播级质量应用( 电 视、数码相机等) 高级( a a v a n e e )高级( h i g h )采用逐行或隔行发布的j ，播级应用( 电视、 数码相机等) 简单类主要是用于低比特率的互联网流媒体和低复杂度图像压缩应用，如手 机、个人数字助理( p d a ) 中的视频播放等，该类包括2 个级。 主类是为满足高码率的互联网传输应用，如流媒体电影、电视或视频点播等， 该类包括3 个级。 高级类用于支持广播电视等高质量的视频压缩，如数字电视、h dd v d 及 h d t v 等，它是唯一一个支持隔行内容的类，并且该类还定义了一些特殊的语法 元素用以能够在目前一些通用的广播系统( 如m p e g 2t s ) q b 传输v c 1 压缩的视频 内容，该类包括5 个级别。 7 = 匕塞交适厶堂亟堂僮诠塞 输入_ 变换：_ 量匕；一熵编? ： 秘弩警p 。鲥予 牛i 一反警换_ 1 去块效应气：i 鍪塞*me ，!，一 纂婴 | + 变换 妒 量化争熵编码熵编码黔反量化反变换陟+ 秘圭块效应 编6 马 i 1 _j r一一一 f 一 通道 运动估计运动矢量 矗 窜葶警 黔运动补偿轸j + 瑚反变换喇反铸化 重 构 帧盘块效应嘣 编码祥蚂 幽2 1v c 1 编解码基本框图 f i g u r e2 1a r c h i t e c t u r eo fv c - 1c o d e ra n dd e c o d e r 图2 2 v c 1 解码流程图 f i g u r e2 - 2f l o wo f v c 一1d e c o d e r 图2 1 是v c 1 编解码基本框图，它涵盖了标准中用于提高编码性能的各个关 键技术点。v c 1 标准的图像压缩采用8 比特，4 ：2 ：0 的格式，系统方案采用基于块 的运动补偿和空间变换技术，这与目前广泛使用的m p e g 系列标准非常相似。广 泛的讲，该类标准都是利用二维运动矢量实现块的运动补偿，寻找当前块在参考 帧中同样大小的最佳匹配块，然后计算匹配块与实际块的差值，形成残差块，最 终将这些残差的图像数据进行空i 白j 变换、量化和熵编码。对于解码器而言，将完 成对变换系数的熵解码、反量化、以及反变换，然后将恢复的残差数据添加到解 码运动补偿预测中，最终重构原始图像。从图2 2v c 1 解码流程图中可以看出v c 1 也是以方块( b l o c k ) 作为编码的基本单元，将整张图像分割成许多1 6 1 6 的宏块， 接下来对于宏块可以有两种编码模式，一种是不是用参考图像的画面内编码( i n t r a m o d e ) ，另一种是利用画面间预测技术来进行编码的画面间编码模式，如此可消除 影像间的相似性而得到残差块，再将残差块进行空间变换以及量化来驱除视觉冗 余，最后再经过熵编码来输出压缩编码过的位元流。v c 1 的图像种类有四种，其 中i p bf r a m e 与m p e g 4 有相同的定义，而新增的b if r a m e 是一种特殊的bf r a m e ， 内部所有的块都是以i n t r a 模式来编码，b if r a m e 和bf r a m e 一样无法作伪其他图 像的参考预测图像，通常在场景变化时会用到b if r a m e 。 由于本文解码器的目标时移动多媒体设备，所以本文将主要研究v c 1s i m p l e p r o f i l e 的结构和特点以及其解码实现。v c 1s i m p l ep r o f i l e 的编码架构与m p e g 2 很相似，是由序y f j ( s e q u e n c e ) 、帧( f r a m e ) 、块集( s l i c e ) 、宏块( m a c r ob l o c k ) 、块( b l o c k ) 依序组成，但是v c 1 采用了许多先进的技术来提高图像压缩的率失真性能和主观 视觉特性，接下来我们依据v c 1 解码器流程图就v c 1 解码的各个模块分别进行 详细阐述。 2 1 1熵解码 熵解码是熵编码的相反流程，熵编码的输入有两类，第一类输入为语法元素，1 包括区块头资料、移动向量等，第二类输入为量化剩余系数。熵解码的输入为经 过压缩后的位元串。如下图： 经过压缩后 的位元串 语法元素，包括区块头资 料、运动矢量、块标识、块量 化参数、宏块编码模式标识等 -卜 量化剩余系数 图2 - 3v c - 1 熵解码示恿图 f i g u r e2 - 3s k e t c hm a po f v c - ie n t r o p yd e c o d i n g v c 1 的熵编码采用简单的变长编码方案，针对不同的输入数据采用三种处理 方案： ( 1 ) 语法元素如块头资料、运动矢量格式、块的编码模式、块标识、块量化参 数等，这些参数通过一个或数个位元即可表达，所以v c 1 使用位元影射 方式来表示这些参数，即比特平面编码； 9 ( 2 ) 运动矢量与编码块的模板信息使用各自的编码表来编码； ( 3 ) 针对量化剩余系数，v c 1 使用简单的可变长度码，同时提供多个编码表 以得到不同数值等级的转换系数，编码表的选择依据帧层次的量化参数来 决定。在帧层次之间进行调整选择合适的编码表虽然提高了压缩效率，但 同时增加了编码器的复杂度，两者之间是矛盾的。因此，为简化起见，v c 1 只允许在帧间层次使用不同的编码表，之后在一张图像中的每个块都使用 相同的编码表。 v c 1 熵解码将依据特定的语法规则将经过压缩后的位元串解码得到语法元 素，但是由于上面所述熵编码使用不同编码表，熵解码时如何找到适当的编码表 可以作为后序研究的课题。 v c - l 的熵编码采用非等长编码( v a r i a b l el e n g t hc o d i n g ， v l c ) 的方法。在编 码端会自动按照目前帧层次中的量化参数，来决定使用高动态表或低动态表，进 而对已经经过量化、直流交流预测的系数进行非等长编码，其中v c 1 熵解码器 在处理直流、交流系数时分别适用不同的编码表。 经过扫描之后的数据，无论是运动矢量，编码块的模版信息，还是量化剩余 系数，都需要一些v l c 编码表来解码，v l c 编码表大致有下列的几种【4 j ： ( 1 ) 交错式图像编码块模版的运动矢量非等长码表( i n t e r l a c ep i c t u r e sm v b l o c kp a t t e r nv l c t a b l e s ) ( 2 ) 交错式c b p c y 的非等长码表( i n t e r l a c ec b p c yv l ct a b l e s ) ( 3 ) 交错式运动矢量表( i n t e r l a c em vt a b l e s ) ( 4 ) 交错式图像的宏块模版表( i n t e r l a c ep i c t u r e sm bm o d et a b l e s ) ( 5 ) 直流差值表( d cd i f f e r e n t i a lt a b l e s ) ( 6 ) 交流转换系数值表( t r a n s f o r ma c c o e f f i c i e n t st a b l e s ) ( 7 ) 锯齿式扫描表( z i g z a gt a b l e s ) ( 8 ) 差值运动矢量表( m vd i f f e r e n t i a lt a b l e s ) v c 1 适用v l c 的方法进行熵编码，之所以可以达到很高的压缩效率，主要 原因是以下几点： ( 1 ) 依据不同帧层级的量化系数来决定使用不同的编码表，这一点在上面变长 编码方案针对不同的输入数据( 3 ) 中有较详细的论述； ( 2 ) 经过预测、转换、量化后的系数，大部分都是0 ，可增加编码效率； ( 3 ) 低频系数的强度值通常大于高频系数； ( 4 ) 一个块内非零系数的数目，通常与邻近块内非零系数数目由关联。 一般来说解码的方法只是编码方法的反向操作，解码端会一直扫描串流中的 二进制码，直到一组二进制码可以直接对应到不同编码表中的某一组r u n 、l e n g t h 、 l o l a s tf l a g ，这样重建出在编码端部分块的差值系数，循环下去直到整个块都可以使 用非等长解码( v a r i a b l el e n g t hd e c o d i n g , v l d ) 来完成解码的工作。 2 1 2 反向量化 量化与反量化过程是编解码器中影响率失真性能的关键步骤，良好的量化与 反量化设计，将使编码解码器达到更好的压缩效能。在v c 1 解码的流程图中， 熵解码之后的量化剩余系数是由6 个8 8 块剩余系数所组成，这些8 8 块剩余 系数会与同画面预测( d c 与a c 的预测) 作加法运算之后，得到反向量化的输入， 如下图： 熵解码之后的量 化剩余系数+ d c a c 预测 转换剩余系数矩阵 图2 - 4 反向量化示意图 f i g u r e2 - 4s k e t c hm a p o fd c q u a n t i z a t i o n 虽然v c 1v l c 块转换时使用不同的码表，但是量化规则可使用于所有转换 后的系数。v c 1 所使用的量化规则与m p e g 标准相似，都是属于纯量量化，d c 系数的反量化较为简单，只需要根据码流传送来的量化索引值找到量化阶数，然 后与量化系数相乘，就得到变换系数。a c 系数的反量化提供了两种纯量量化方式： 均匀量化( u n i f o r mq u a n t i z a t i o n ) 与非均匀量化( n o n u n i f o r mq u a n t i z a t i o n ) 。 o 囡图囵卜 图2 5 均匀量化示意图 f i g u r e2 - 5s k e t c hm a po fu n i f o r mq u a n t i z a t i o n 均匀量化表示其量化区间大小都相同，如图2 5 。在小步长情况下( 高码率时) ， 采用均匀量化器。均匀反量化公式如下： t 口= 勺d o u b l e e q a n t ( 2 1 ) 2 囵曩圆圈， 图2 - 6 非均匀量化示意图 f i g u r e2 - 6s k e t c hm a po f n o n - u n i f o r mq u a n t i z a t i o n 非均匀量化标识其量化区间不全相同，如图2 - 6 。除了被量化为0 ( d e a d z o n e l 的量化区问较大之外，其他的量化区间都相同。这样可以使更多的系数被量化为o ， 这使得v c 1 编码时能够在接下来的熵编码中节省下更多的位元数。大步长情况下 ( 即低码率时) ，选用非均匀量化以提高压缩性能。非均匀量化公式如下： 0 = c u d o u b l e e q a n t + s i g n ( c , j ) q u a n t s c a l e ( 2 2 ) 均匀与非均匀量化公式中c 矩阵为8 8 量化剩余系数矩阵，t 矩阵为8 x 8 转 换剩余系数矩阵。例外情况是，当快为i - s l i c e 时，8 8 块量化剩余系数的左上角 c o o ，使用下面的反量化公式： t o o = c d c s t e p s i z e( 2 3 ) 由均匀量化和非均匀量化公式可蹄纳出反向量化步骤的基本公式为： t = ( c i l x 彳) 4 ( 2 1 3 ) 其中f 】= 4 ，3 ，2 ，l ，0 ) ，g = 0 ，1 ，2 ，3 ，4 ) 。r n d 为r o u n d i n g c o n t r o lv a l u e ，用以控制四舍五入。在i 帧中r n d = i ，在p 帧中为0 1 区间内的任 意值。 根据b i l i n e a r 内插算法公式，点a 、b 、c 、d 、e - - p 、q 、r 可由整数点推导得 到各小数点的计算公式如下： a = ( 3 a + d + 2r n d ) 2 b = ( a + d + 1r n d ) 1 1 7 ( 2 1 4 ) ( 2 。1 5 ) c = ( a + 3 d + 2r n d ) 2 d = ( 3 a + b + 2r n d ) 2 e = ( 9 a + 3 b + c + 3 d + 8i u d ) 4 f = ( 3 a + b + c + 3 d + 4r n d ) 3 g = ( 3 a + b + 3 c + 9 d + 8r n d ) 4 h = ( a + b + 1 r n d ) 1 i = ( 3 a + 3 b + c + d + 4r n d ) 3 j = ( a + b + c + d + 2r n d ) 2 k = ( a + b + 3 c + 3 d + 4r n d ) 3 1 1 = ( a + 3 b + 2r n d ) 2 p = ( 3 a + 9 b + 3 c + d + 8r n d ) 4 q = ( a + 3 b + 3 c + d + 4r n d ) 3 r = ( a + 3 b + 9 c + d + 8r n d ) 4 ( 2 1 6 ) ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) ( 2 2 8 ) v c 1 对于彩度的内插只限使用b i l i n e a r 方式。 然后是b i c u b i c 内插算法分为一维和二维，一维有水平与垂直方向，二维是先 垂直后水平方向。如图2 1 5 所示： r o a c n g o t k l 。 。b 。m abc e f 一 。e。f 。g i 。j 。k p q t n n 一i j 一 。l 。n 图2 1 5b i c u b i c 插值算法示意图 f i g u r e2 15s k e t c hm a p o fb i c u b i e 1 8 d d h n h 图中a 、b 、c 、d 、e 、f 、g 、h 、i 、j 、k 、l 分别代表整数点，a 、b 、c 、d 、 e 、f 、g 、h 、i 、j 、k 、1 1 、p 、q 、r 分别代表小数点的形态。a 、b 、c 以一维水平 b i c u b i c 内插方式推导，d 、h 、n 以一维垂直b i c u b i e 内插方式推导，其他小数点以 二维b i c u b i c 内插方式推导。 小数点a 、b 、c 以一维水平b i c u b i c 内插方式推导说明： 针对c 、d 、e 、f 四个整数点，若d 为0 点，e 为l 点，a 为1 4 点，b 为l 2 点，c 为3 4 点，水平b i c u b i c 内插公式为： 1 4 占( ( 一4 c + 5 3 x d + 1 8 x e - 3 x f ) + 3 2 - r n d ) 6 1 2 占( ( 一i x c + 9 x d + 9 x e - l x f ) + 8 一r n d ) 4 3 4 占( ( 一3 x c + 1 8 x d + 5 3 x e 一4 x f ) + 3 2 一r n d ) 6 小数点d 、h 、1 1 以一维垂直b i c u b i c 内插方式推导说明： 对于垂直线k 、h 、d 、a ，若h 为0 点，d 为1 点，其1 4 点n ，1 2 点 h ，3 4 点d 的公式与一维水平b i c u b i c 内插公式类似，不同的是r n d 以1 一r n d 取代，即一维垂直b i c u b i c 内插公式为： 1 4 占“4 c + 5 3 x d + 1 8 xe 一3 x f ) + 3 2 1 + e j v d ) 6 1 2 占( ( 一l x c + 9 x d + 9 x e - l x f ) + 8 - l + r n d ) 4 3 4 占( ( 一3 x c + 1 8 x d + 5 3 x e - 4 x f ) + 3 2 - l + r n d ) 6 二维的b i c u b i c 内插公式： 二维b i c u b i c 内插方式是按照先垂直后水平方式，其步骤为： a ) 按照一维b i c u b i c 垂直内插公式，假设其值为s ， h 、s = ( s + 2 s h i f f v - 1 一l + r n d ) s h i t t y v ， 7 c ) 按照一维b i c u b i c 水平内插方式，假设其值为s ， ms = ( s + 6 4 ) 7 。 在图2 1 5 中，求q = ( i 2 ，1 1 4 ) 的值，步骤如下： a )由整数点k 、h 、d 、a 的值，按照一维b i c u b i c 垂直内插公式( 1 1 4 点： ( ( - - 4 x c + 5 3 x d + 1 8 x e 一3 x f ) + 3 2 一i + r n d ) 6 ) 求得n ：( 0 ，1 4 ) 点 的值，假设其值为s n ， b ) s n = s ，代入s ( s + 2 s h i f t v - 1 - 1 + r n d ) s h i f t y ，1 1 埘s h i f t v ：3 ，求 得s 。= ( s 。+ 2 2 _ 1 + r n d ) 3 ，s 。为图2 1 5 中小数点n 点的值， c )由整数点r 、c 、g 、t 的值，同样按照一维b i c u b i c 垂直内插公式( 1 t 4 点：( ( - 4 x c + 5 3 x d + 18 x e 一3 x f ) + 3 2 1 + r n d ) 6 ) 求得月r ( 0 ， 1 4 ) 点的值，假设其值为6 n 。， d ) s l l ! ：s ，4 2 a s = ( s + 2 s h i f t v - 1 - 1 + r n d ) s h i f l v ，s h i f t y ：3 ，求得 s n = ( sn + 2 2 1 + r n d ) 3 ，s n 为图2 1 5 中小数点靠点的值， 1 9 e )同理由b 、e 、i 、l 求得以”的值，由m 、f 、j 、n 求得以的值， f ) 得到n 、玎、刀