（通信与信息系统专业论文）h264avc视频编码算法研究及在dm642上的实现.pdf

摘要 h 2 6 4 标准是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动 图像专家组) 共同组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 开发的标准，也称 为m p e g - 4p a r t1 0 ，或“先进视频编码( a v c ) ”。在相同的重建图像质量下，h 2 6 4 可以比h 2 6 3 节省5 0 左右的码率。因其更高的压缩比、更好的i p 和无线网络 信道的适应性，它在数字视频通信和存储领域得到越来越广泛的应用。 本文首先介绍了视频编码技术的发展和基本原理；接着介绍了h 2 6 4 视频编 码标准的原理和编码器的结构，并且在此基础上提出了一种利用整数变换实现快 速帧内编码的新算法；接着给出了d m 6 4 2 数字信号处理器的特点、结构和接口， 参照h 2 6 4 标准的校验模型程序j m ，对编码器做了适当的裁减，使用标准c 完成 了h 2 6 4b a s e l i n ep r o f i l e 编码器的功能；根据d m 6 4 2 的特点，增加了与视频数据 的接口，使程序能够在d s p 运行，接着对部分程序分别进行了算法、程序的优化， 以提高编码器在d s p 上的编码速度。在d m 6 4 27 平台上的实验和仿真结果表明， 经过优化后编码器的性能和效率都有了一定的提高。 关键词：h 2 6 4 ；a v c ；视频压缩；d m 6 4 2 a b s t r a c t h 2 5 4s t a n d a r di sd e v e l o p e db yt h ej o i n tv i d e ot e a m ，ac o l l a b o r a t i v ee f f o r to f b o t h v c e ga n dm p e gm a k i n gi tp o s s i b l et op u b l i s ht h ef i n a ls t a n d a r du n d e rt h ej o i n to f i s o i e c ( a sm p e g - 4p a r t1 0o ra d v a n c e dv i d e oc o d e c la n di t u t ( a s r e c o m m e n d a t i o nh 2 6 4 ) u n d e rt h es a m eq u a l i t yo ft h er e c o n s t r u c t e di m a g e ，i fh 2 6 4 s t a n d a r di sa d o p t e d a b o u t5 0 b i tr a t e sc a nb es a v e di nc o m p a r i s o nw i t ht h a ti fh 2 6 3 i sa p p l i e d i nv i e wo fi t so u t s t a n d i n gc o m p r e s s i o np e r f o r m a n c ea n dr o b u s t n e s st oi pa n d w i r e l e s sn e t w o r k , i th a sb e e nu s e di n m a n yf i e l d s ，s u c h a st h e d i g i t a l v i d e o c o m m u n i c a t i o na n dd i g i t a lv i d e os t o r a g e i nt h i st h e s i s ，t h ed e v e l o p m e n ta n dp r i n c i p l eo ft h ev i d e oc o d ea r ei n t r o d u c e da t f i r s t t h e nt h ec h a r a c t e ra n ds t r e u c t u r eo ft h eh 。2 6 4 | 斟cs t a n d a r d 、sd e s c r i b e d f u r t h e r m o r e ，4n o v e lf a s ta l g o r i t h mf o ri n c ap r e d i c t i o ni sp r o p o s e db yv i r t u eo ft h e i n t e g e rt r a n s f o r m s e c o n d l y , t h ef e a t u r ea n di n t e r f a c eo fd m 6 4 2d i g i t a ls i g n a lp r o c e s s o r ( d s p ) a r eg i v e n f i n a l l y , b yr e f e r r i n gt o t h et e s t i n gm o d e lp r o g r a mj m ，s o m e m o d i f i c a t i o nh a sb e e nd o n ea n da ne n c o d e ri m p l i e dw i mb a s e l i n ep r o f i l eo fh 2 6 4i s d e s i g n e dw i ma n s ic b a s e do nt h i se n c o d e lt h ei n t e r f a c eo ft h ev i d e od a t ai s d e v e l o p e da c c o r d i n gt ot h ef e a t u r eo fd m 6 4 2 ，w h i c hm a d et h es o f te n c o d e re x e c u t et h e v i d e oc o m p r e s s i o ni n r e a lh a r d w a r ep l a t f o r m t l 、e nt h eo p t i m i z a t i o no nt h ea l g o r i t h m a n dp r o g r a ma r ec a r r i e do u tr e s p e c t i v e l yi no r d e rt oi m p r o v et h es p e e do ft h eh 2 6 4 e n c o d e r e x p e r i m e n t a lr e s u l t sv e d f yt h ee n c o d e rh a s ab e t t e rp e r f o r m a n c ea f t e r o p t i m i z a t i o n k e y w o r d ：h 2 6 4 a v cv i d e oc o m p r e s s i o nd m 6 4 2 创新性声明 本人声明所呈交的沦文赴哉个人在导师指导f 进行的研究一1 一作及取得的研究 成果。尽我所知，除了文中加以标注和致谢。p 所罗列的内容以外，论文中小包含 其他人已经发表或撰写过的研究成果：也不包含为获得两安电子科技大学或其它 教育机构的学位或证书而使用过i l d - 料。与我i 亓j 工作的同志对本研究所做的任 何贡献均已在论文叶 做厂明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担训相关责任。 本人签名：菝煎窒 h 期 趔经! 宜 关丁论文使用授权的说明 本人究全r 解西安i 乜r 科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学何期间论文r 作的知2 权单位属西安电 ：科技大学。水人保证毕业 离校后，发表论文或使用论义工作成果时署名即位仍为西安电子科技大学。学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公斫j 论文的全部或 部分内容，町以允许采用影印、缩印或其它复制于段保存论文。( 保密的论文在解 密后遵守此规定) 本人签名：蕴型堡f 1 期丝垡臼 导州j 签名 第一章绪论 第一章绪论 1 1 研究课题背景 1 ) 课题来源 本课题来源于“十五”二一一项目“智能信息处理技术与信息科学计算方法” 中的子课题之一“图像视频无线传输系统”。随着社会信息化进程的不断深入，信 息处理技术在促进经济发展、巩固国防、推动社会进步等方面显得曰益重要。课 题希望通过智能信息技术的研究和应用，推动经济和社会发展、解决重大科技问 题、提供理论基础和技术储备并形成自主的知识产权，紧紧抓住国民经济发展中 具有共性、基础性、关键性和前瞻性的科学问题，力争通过科研工作，获得科学 和技术上的突破。为充分发挥科学技术作为第一生产力的作用做出突出贡献。 视觉是人类获取信息最为重要的途径，外部世晃丰富多彩的信息大部分是通 过视觉感知的。据统计，人类通过视觉获取的信息占全部获取信息的6 0 。随着 计算机、数字通信、多媒体和网络技术的发展，所要处理、存储和传输的信息量 也不断增加。所以视频信息处理技术，尤其是视频压缩技术也是本课题的重点研 究领域之一。在许多应用领域，如视频会议系统、h d t v 、网络流媒体、无线通信 移动终端及视频监控系统等都需要更先进的压缩技术以实现对大量视频数据的实 时传输和数字存储。 。 “图像视频无线传输系统”分为信源和信道两部分，本文的工作主要是设计 信源压缩部分。先进的压缩技术往往需要很强的计算能力，数字信号处理器适于 完成大规模的计算任务。所以本文的设计任务主要是使用数字信号处理器完成视 频信息的编解码。 2 ) 研究意义 h 2 6 4 标准是i t u - t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动 图像专家组) 共同组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 开发的标准，也称 为m p e g 一4p a r t1 0 ，“先进视频编码( a v c ) 9 9 0 在相同的重建图像质量下，h 2 6 4 可以比h 2 6 3 节省5 0 左右的码率。因其更高的压缩比、更好的i p 和无线网络 信道的适应性，它在数字视频通信和存储领域得到越来越广泛的应用。 h 2 6 4 的应用前景非常广阔，而且支持多种网络，其高效的编码性能可满足多 种应用的需求。目前主要应用在以下领域：数字电视广播、视频数据存储、视频 流服务和移动视频业务等。 在以上的应用领域中，考虑到本方案的具体技术指标和实现平台，其更适于 在i n t e m e t 网络视频电话中使用。随着技术的完善和技术指标的提高，还可以应用 2 h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 于手机视频服务和家用数字摄像机等方面的应用。 1 2 国内外相关的研究进展 1 ) 国外发展概况 在今天的i n t e m e t ，对多媒体服务的需求呈现快速增长的趋势。h 2 6 4 a v c 编 码标准成为在多媒体信息服务( m m s ) 、包交换流服务( p s s ) 和会话应用方面最有竞 争力的候选标准。国际上对h 2 6 4 标准的研究热点主要集中在，更高效的编码工 具，快速算法的提出，无线信道下的抗误码传输以及低功耗的编解码芯片的设计 等方面。 2 ) 国内发展概况 国内的研究主要集中在运动估计快速算法的设计，清华大学e & e 学院的 z h i b a oc h e n 提出了一系列的f a s tm e 方法i 儿i 【1 2 】。另外一部分公司在d s p 芯片上 实现h 2 6 4 的编解码器，例如闻亭公司使用d m 6 4 2 芯片在2 0 0 4 年的设计成功了 基于i p 的视频电话系统1 2 3 1 。 3 ) 预计今后发展趋势 随着无线网络技术的进步以及v l s i 设计能力的提高，无线信道下的抗误码传 输以及低功耗的编解码芯片的设计应会成为焦点。 1 3 本文的内容 本文的主要工作是以j m 6 1 的h 2 6 4 a v c 验证代码为基础，分析了h 2 6 4 a v c 编码器的采用的主要技术的原理。根据这些原理，设计实现一个基于b a s e l i n e p r o f i l e 的软件编码器，针对d m 6 4 2 平台，程序进行了优化设计，并将它下载到实 验板上运行，并给出了实验结果。 本文的内容安排如下：第一章绪论部分主要介绍研究背景与研究进展；第二 章中简要介绍了视频编码技术已有的研究成果和基本原理；第三章详细阐述了 h 2 6 4 a v c 压缩标准的原理和结构；第四章剖析了软件代码的流程和数据结构， 还介绍了针对硬件d s p 中的优化步骤和具体方法；第五章是编码器在软硬件平台 上的仿真结果，给出了它的性能参数；第六章对本文的工作进行小结，并提出下 一步工作的方向。 第二章视频编解码技术概述 第二章视频编解码技术概述 2 1 视频编码技术的发展 随着社会的发展科技的进步，视频信息的应用领域和范围越来越广，包括视 频会议、，远程医疗、远程监控、基于网络的流媒体的传播和播放、娱乐等。数字 视频及图像存储和传输业务的需求随之大幅度增加，相比较其它类型的信息如文 本和数据，视频图像的数据量巨大，其通信和存储需要占用更多的带宽和存储器 及处理器等资源。为了实现在网络带宽、存储空间和处理器主频受限的条件下数 字视频及图像存储和传输业务更好的实施，必须对视频数据进行大量压缩。因此， 提出和制定了许多满足这些要求的视频压缩编码标准。由联合视频小组( t ) 制 定的i s om p e g 4p a r t1 0o f m p e g 4 或称为i t u th 2 6 4 ( 以下简称h 2 6 4 标准) 正 是其中一种。国际标准化组织( i s o ) 和国际电信联盟( i t u ) 分别陆续制定了多 个图像、视频编码的标准。下面简单介绍这两个组织制定的几种视频压缩编码的 标准。 2 1 1i s 0 i e c 编码标准“j 1 2 l m p e g x 系列标准是由国际标准化组织( i s o ) 运动图像专家组 1 0 1 ( m p e g ) 制定，侧重应用于媒体业务( 视频存储、视频广播、流媒体等) 。 m p e g - i 标准制定的目标码率为1 2 m b i t s ，其对于c i f ( c o m m o ni n t e r m e d i a t e f o r m a t ，中间公共格式) ( 3 5 2 * 2 8 8 ) 格式图像可以达到实时播放。该标准是为只读 c d r o m 光盘的视频存储和播放所制定的，主要应用于v c d 业务。m p e g 一2 是 i t u t 与m p e g 共同完成的标准( i t u t 称这个标准为h 2 6 2 ) ，主要针对数字 视频广播( d v b ) 、高清晰度电视( h d t v ) 和d v d 等制定，是目标码率为4 9 m b i t s 的运动图像及其伴音的编码标准。m p e g 4 是新一代的编码标准，其中提出了许多 新的编码思想，其核心思想是面向对象编码，能够支持更高压缩效率与应用范围。 这种编码标准部分借鉴h 2 6 3 标准。其编码系统是开放的，可随时加入新的有效 的算法模块。 2 1 2i t u - t 编码标准”l 1 2 1 h 2 6 x 系列是由国际电信联盟( i t u t ) 视频编码专家组v c e g ( v i d e oc o d i n g e x p o r tg r o u p ) 制定，该系列侧重于实时视频通信( 会议电话、可视电话) 。该系 列现有h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 标准。 h 2 6 1 是第一个实用视频编码标准，于1 9 9 0 年制定，它是针对低比特率应用 场合的一种编码标准，主要应用于双向视频通信。h 2 6 1 采用的算法主要是帧间预 测和二维d c t 变换的混合编码方法，该标准持帧间编码和帧内编码，当帧内预测 效率低时直接采用d c t 变换。后来许多编码标准都是在h 2 6 1 基础上的发展和改 进。h 2 6 2 由i t u t 和i s o i e c 联合开发，相当于m p e g 2 。目前，其已广泛的应 用于d v d 、数字电视、数字广播等领域。h 2 6 3 是针对低码率视频压缩提出的新 标准，其目的是为了支持码率低于6 4 k b i t s 的应用，目前已成为视频会议的主要标 准。h 2 6 3 + 和h 2 6 3 + + 是h 2 6 3 的改进版。 h 2 6 4 a v c 是i t u t 与i s o i e c 共同成立的联合视频组t ( j o i n t v i d e o t e a m ) 共同制定的新标准。也称为m p e g - 4v i s u a lp a r t l 0 。该标准仍采用预测结合变换的 h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 混合编码方案。但引入了许多新的编码技术和工具，使其编码效率比其它标准有 明显提高。在相同的图像重建质量f 比h 2 6 3 节约5 0 的码率。图2 1 给出了视频 编码标准的发展过程。 固田e 正瑁 m p e g m p e g x 系列 m p e g - lm p e g l 4 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 2 2 0 0 4 图2 1 视频编码标准发展历程 2 2 视频编码中使用的主要技术 视频原始图像中存在大量的各种信息冗余，如视觉冗余、空间冗余、时间冗 余、熵冗余等。科学家研究发现人眼视觉系统对色差信号不敏感对亮度信号敏感 这种特点，所以图像中的色度信号存在视觉冗余。在许多情况下视频图像的大部 分区域信号变化缓慢，特别是背景部分几乎不变。一帧图像内相邻像素、相邻行 之间的强相关性表明存在有一定的空间冗余。临近的两帧或多帧图像之间一般表 现出比较相近的特点，因此存在有一定的时间冗余。平均编码长度和信源熵之间 的偏差，造成熵冗余。视频编码就是要去除视频信息中的冗余，以达到数据压缩 的目的。视频图像的空间冗余一般通过离散余弦变换( d i s c r e t ec o s i n e t r a n s f o r l n ，d c t ) 、离散小波变换( d i s c r e t ew a v e l e t t r a n s f 0 1 - 1 1 1 。d w t ) 等变换来去除， 而视频图像的时间冗余通常使用运动估计和运动补偿来消除。熵编码则用来去除 熵冗余。下面介绍目前的视频压缩国际标准主要采用的几种消除冗余的技术。 2 2 1 运动估计和补偿1 1 j 1 2 j 1 运动估计和补偿的基本概念 在帧间预测编码中，由于活动图像邻近帧中的景物存在着一定的相关性。因 此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像 中的位置，并得出两者之间的空间位置的相对偏移量。得到的相对偏移量就是通 常所指的运动矢量，得到运动矢量的过程即为运动估计。被选定的最匹配块作为 当前帧该块的预测块并且其被当前块减去从而形成一残差块( 也称为预测误差) 此即为运动补偿。 把运动矢量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端 按照运动矢量指明的位置，从已经解码的邻近参考帧图像中找到相应的块或宏块， 和预测误差相加后就重构了当前帧中的该块或宏块。 通过运动估计和补偿可以去除帧问冗余度，使视频传输的比特数大为减少， 因此，运动估计是视频压缩处理系统中的一个重要组成部分。这种基于块的运动 估计和补偿技术目前是比较流行的，主要原因是它相对简单易于计算处理，非常 第二章视频编解码技术概述 5 适合矩形视频帧结构和基于块的图像变换( 例如d c t 变换) ，并且它为许多视频 序列提供相当有效的时间模型。但它也存在一些缺点，例如真实的目标很少会有 整齐干净的边缘来匹配矩形的边缘，帧与帧之间的同一目标常常移动非整数像素 位置并且很多类的目标运动是很难用基于块的方法来作运动补偿的( 例如可变形 的目标，旋转和弯曲，像烟云这种复杂的运动) 。尽管有这些缺点，基于块的运动 估计补偿仍然被所有当前的视频编码标准作为基本的时间模型所采用。 2 运动估计的方法 一般的运动估计方法如下：设r 时刻的帧图像为当前帧厂( x ，y ) ，t 时刻的帧图 像为参考帧厂，( x ，y ) ，参考帧在时间上可以超前或者滞后于当前帧，如图2 2 所示。 当t t 时称之为前向运动估计。当在参考帧t 中 搜索到当前帧f 中的块的最佳匹配时，可以得到相应的运动场d ( x ；t ，a f l ，即可得 到当前帧的运动矢量。 i 一一一一一一一一一一一一一一一一一一一一一一一 i 时间t + f 圜7 睁 ，气一 i 参考帧 ： l 一j 图2 2前向和后向运动估计 在一系列重要的视频编码标准( m p e g 一1 2 4 和h 2 6 1 3 4 ) 中，都是以一帧中 的一个1 6 1 6 像素区域作为运动估计和补偿预测的最基本的单位，此区域也被称 为宏块。一个宏块的运动估计就是在一个参考帧中找到一个1 6 x1 6 采样区域，它 与当前宏块最匹配。参考帧就是之前对当前帧的前帧或后帧进行编码而得到的帧。 在参考帧中以当前宏块所在位置为中心的周围区域进行搜索，搜索到的1 6 x 1 6 区 域按照匹配准则计算得到最小值的作为最佳匹配，从而得到运动矢量m v 。 匹配准则的定义与运算复杂度和编码效率都是直接相关的，最小平均绝对值 误差( m a d ) 准则等效于常用的绝对差值和( s a d ) 准则，其性能很好，而且对 硬件的要求相对简单，因而得到了最广泛的应用。 纠j d ( j l f 矿) = 协( x ，l f 矿) 一z ( x ) l n 一，、 宏块的运动补偿是把当前宏块减去从参考帧中选出的最佳匹配区域从而得到 一个残差宏块，把该残差宏块进行编码并与描述最佳匹配区域相对与当前宏块位 置变化的运动矢量。在编码器中，残差被编码并被解码，解码后的残差加到匹配 区域形成重构的宏块并作为参考帧存储起来，作为后面的运动补偿预测的参考帧 使用。编码器之所以必须要用解码后的残差来重构宏块作为后续帧的运动补偿预 测参考帧，而不是直接引用当前宏块作为参考帧是因为要保证编码器和解码器要 用一致的参考帧来作运动估计。 基本的运动估计和运动补偿有一些不同的方式。参考帧可以是时间顺序上的 前帧、后帧或是前几帧的复合预测帧。当用一个时间顺序上的后帧作为参考帧， 则它必须在当前帧之前被编码( 即这些帧必须不按顺序进行编码) 。还有当当前帧 6 h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 和参考帧有显著的差异变化时，不使用运动补偿也可有效的对宏块进行编码，所 以编码器可以为每一个宏块选择使用帧内模式( 即不用运动补偿进行编码) 或帧 问模式( 即用运动补偿进行编码) 。 3 亚像素位置的内插 帧间编码宏块中的每一个块或亚宏块分割区域都是根据参考帧中的同尺寸的 区域预测得到的，它们之间的关系用运动矢量来表示。 由于自然物体运动具有连续性，相邻两帧之闯的块的运动矢量不是以整像素 为基本单位的，可能真正的运动位移量是以1 4 像素或者甚至1 8 像素等亚像素作 为单位的。 对于视频场景中j 下在移动的对象是很少会在沿着1 6 1 6 像素的边沿移动的， 因此使用规格可变的宏块来作运动估计和补偿是更有效的。还有当目标移动到帧 和帧之间的整像素位之间的位置( 也称为亚像素位置) 时，通过在搜索最佳匹配 位置之前把参考帧插入到亚像素位置可得到更好的预测。一个视频序列当采用1 4 像素精度相对于1 2 像素精度的编码效率有明显的提高，但是1 8 像素精度相对于 1 4 像素精度的编码效率除了在高码率情况外并没有明显的提高，而且i 8 像素精 度的内插公式更为复杂，因此在 l 2 6 4 的制定过程中，1 8 像素精度的运动矢量模 型逐渐被取消，而只采用1 4 像素精度的运动矢量模型。 4 运动搜索算法 匹配误差函数可以用各种优化方法进行最小化，因此开发出了一些高效的运 动搜索算法，下面简单介绍几种主要的算法。 ( 1 ) 全搜索算法 对当前帧的个给定块确定最优位移矢量，用全局搜索算法方法如下进行： 在个预先定义的搜索区域内，把它与参考帧中所有的候选块进行比较，并且寻 找具有最小匹配误差的一个。这两个块之间的位移就是所估计的m v ，当然其计算 量是极大的。 ( 2 ) 快速搜索算法 快速搜索算法就是利用视频中运动向量的分布特性，只搜索一部分候选向量， 或用下采样方法减少图像的分辨率，这两种方法都能极大的减少运动估计的运算 量。虽然快速算法只能得到次最佳的匹配结采( 一般都能保持相当的搜索精度) ， 但在减少运算量方面效果显著。其种类也很多有：二维对数搜索法、三步搜索法、 钻石搜索模型( d i a m o n ds e a r c hs t r a t e g y ) 【4 】、适用于h 2 6 4 的基于自适应搜索范围 的快速运动估计算法等等。 2 2 2 变换和量化【i 】【2 】l 习 1 变换 对于图像或编解码器中变换阶段的目的是要把图像数据或( c o d e 即编解码器 中) 运动补偿后得到的残差数据转换到另外一种域( 变换域) 。有一些原则来决定 选择何种变换。第一，变换应尽可能去除数据的相关性并对其压缩( 即被变换的 数据的最大能量应集中位较小的数值) 。第二，该变换必须是可逆的。第三，该变 换应当易于计算处理。( 即需要低的存储量，有限的精度算法，少量的算法计算量 等。) 。有许多变换方法为图像和视频压缩而提出，最流行的变换方法分为两类： 基于块的变换和基于图像的变换。基于块的变换方法包括k a r h u n e n l o e v e t r a n s f o r m ( k l t l s i n g u l a rv a l u ed e e o m p o s i t i o n ( s v d ) 和一直流行的d i s c r e t ec o s i n e t r a n s f o r m ( d c n 。每一种变换方法都是对图像的n n 的块或块的残差采样为变换 第二章视频编解码技术概述 7 对象的，因此是以块为单位来处理图像。块变换对存储需求低并且很适合基于块 的运动补偿残差的压缩，但是它面临块效应问题( 即块的边缘带来的问题) 。基于 图像的变换方法是对一幅完整的图像或一帧( 或图像大的区域称为片) 为单位进 行变换。最流行的变换方法是d i s e r e tw a v e l e tt r a n s f o r m ( d w t ) 。用d w t 对图像的 进行变换虽和基于块的变换方法不同但也是对图像进行压缩，只是它对存储的需 求更高( 因为是以整幅图像或片作为单位处理) 并且不如用基于块的运动补偿适 用。d c t 和d w t 变换都是m p e g 一4 的特色，在h 2 6 4 中使用的是可变的d c t 变 换。在第三章将详细讲h 2 6 4 中的变换原理。这里只介绍一下最常用的d c t 变换。 对一个n n 的采样块( 预测后的图像采样或残差值) 构成的矩阵x 进行 d c t ( 即离散余弦变换) 变换，得到矩阵y ( 即n x n 块的参数矩阵) 。d c t 及它的 逆变换i d c t 的功能，用术语表示即为转换矩阵4 。对于一个n x n 的采样块的前 向d c t ( i l pf d c t ) 变换公式如下h ： y = a x a 7 ( 2 3 ) 逆d c t ( i d c t ) 变换公式： x = a 7 y a 这里x 是一个采样矩阵，】，是参数矩阵， 为： 佗- 4 ) 4 是n x n 变换矩阵。矩阵爿的组成元素 铲c ，c 。s 萼浮其中q = 肛们，g = 尽堋。：呻 公式( 2 3 ) 、( 2 4 ) 的加法和的表示公式如下： t 户cc ，箩1 箩1x o s 鱼兰迹 k 2 xc，善0萋x，cos警1 0 小萋1 笔c x c 0 ，bc o s 鼍产x 。= ，bc o s 型磊掣 = 0 0 1 c o s ! ! 1 2 苎1 2 c o s ! ! 1 2 兰1 2 ( 2 6 ) ( 2 7 ) 2 量化 量化器把一个拥有值石的信号( 该值在一定范围内的) 转换成拥有令一个值 y 的被量化的信号( 该值在一个更简单的值域范围内) 。因为量化值的范围很小所 以描述量化信号所用的比特数比描述信号原值比特数少很多。标量量化器把输入 信号的一个采样转换成一个量化值，矢量量化器是把一组输入采样转换成一组量 化值。 量化一般都是有损的( 即不可逆) ，从得到的量化后的值有些是无法准确恢复 成原始信号值，只能得到原始值接近值。因为有些原始值经过量化后得到的是原 值的相近值，而其被量化失去的值无法再被精确恢复。 视频图像压缩编解码器中的量化通常由两部份组成：编码器中一个前向量化器 ( 叼) 和解码器中的一个“逆向量化器”( 坦) 。下面介绍一种普通的通用量化 器： f o = r o u n d ( 壹 刚， 这里q p 是一个量化步长。量化后的输出值以q p 为统一间隔。被恢复的量化值是 以q p 为步长的值。如果选择量化步长值较大，那么量化后的值域会很小，因此压 缩率就提高了，但量化恢复的值与原始值不是非常接近。如果选择量化步长值较 h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 小，量化恢复值将和原始值非常接近但较大的量化值范围将降低压缩率。 量化可用于去除图像完成d c t 或小波等变换后那些接近零的不重要的参数。 图像视频编码器中的i j i 向量化器被设计成把不重要的参数量化成零同时保留重要 非零参数的简化值。前向量化器的输出是一个典型的被量化参数的稀疏矩阵，该 矩阵的值大部分是零。 2 2 3 熵编码 利用信源的统计特性进行码率压缩的编码方式称为熵编码，也称为统计编码。 这里分别介绍一下视频编码常用的变长编码( 也称为哈夫曼编码) 和算术编码的 基本原理。 1 变长编码 变长编码是有哈夫曼于1 9 5 2 年提出。该方法是对出现概率大的符号分配短字 长的二进制码，对出现概率小的符号分配长字长的二进制码，得到符号平均码长 最短的码。实施步骤如下： ( 1 ) 将信息符号按其出现概率从大到小排列： ( 2 ) 将两个最小概率组成一组，划成两个分支域，并标以0 和l ；再把2 个 分支域合并成1 个支域，标以两个概率之和； ( 3 ) 依次类推，直到概率之和等于1 0 ： ( 4 ) 找出概率和1 0 到各信息符号的路径，记下各路径从右到左各分支域的o 和l ，即得到信息符号相应的码字。 在实际中，利用硬件实现时，出现概率的值不可能精确到小数后多少位，而 最小存储单元为l b i t ，会引起概率匹配不准确及编码效率的下降。 2 算术编码 算术编码和哈夫曼编码不同，不采用一个码字代表一个输入信息符号的办法， 而是用一个浮点数来代替一串输入符号。经算术编码后输出一个小于1 ，大于或等 于0 的浮点数，在解码端再进行正确、唯一的编码，恢复原符号序列。 2 3h 2 6 4 a v c 编码技术概述【1 】 2 1 h 2 6 4 并不明确地规定一个编码器如何实现，而是规定了视频比特流的句法， 和该比特流的解码方法，因此各种编解码器可在此框架下能够互通，在实现上具 有较大的灵活性。h 2 6 4 编码器和解码器的功能组成分别如图2 4 和图2 5 所示【2 j 。 由图2 4 和图2 5 可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g - l 、 m p e g 4 ) 中的编解码器功能块的组成并没有什么区别，主要的不同在于各功能块 的细节。由于视频的内容时刻在变化，有时大面积平坦，有时空阳j 细节很多。由 于内容多便，因此就必须采用相应的自适应的技术措施；信道在环境恶劣下是多 变的，例如互联网，有时畅通，有时阻塞；又如无线网络其衰落有时严重有时很 小，这些都要求采用相应的自适应方法来对抗这种信道畸变带来的不良影响。这 两方面的多变带来了自适应压缩技术的复杂性。h 2 6 4 就是利用实现的复杂性获得 压缩性能的明显改善。 第二章视频编解码技术概述 图2 4h 2 6 4 编码器 图2 5h 2 6 4 解码器 9 1 h 2 6 4 编码器 h 2 6 4 编码器采用的是变换和预测的混合编码法。在图2 4 中，输入的帧或场 e 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 如果采用帧内预测编码，其预测值p r e d ( 图中用p 表示) 是由当前片中已编 码的参考图像经运动补偿( m c ) 后得出的，其中参考图像用巧表示。为了提高预 测精度，从而提高压缩比，实际的参考图像可在过去或未来( 指显示次序上) 己 编码解码重建和滤波的帧中进行选择。 预测值p r e d 和当前块相减后，产生一个残差块e ，经块变换、量化后产生 一组量化后的变换系数工，再经熵编码，与解码所需的一些信息( 如预测模式量 化参数、运动矢量等) 一起组成一个压缩后的码流，经过n a l ( 网络自适应层) 供传输和存储用。 编码器的重建图像的功能是为了提供进一步预测用的参考图像。因此必须使 残差图像经反量化、反变换后得到的以与预测值p 相加，得到印：( 未经滤波的 帧) 。为了去除编码解码环路中产生的噪音，提高参考帧的图像质量，从而提高压 l o h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 缩图像性能，设置了一个环路滤波器，滤波后的输出f 即为重建图像，可用作参 考图像。 2 h 2 6 4 解码器 由图2 4 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。在图 2 5 中，经熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到残差 e 。利用从该比特流中解码出的头信息，解码器就产生一个预测块p r e d ，它和 编码器中的原始p r e d 是相同的。当该解码器产生的p r e d 与残差厦相加后，就 产生u f ，再经滤波后，最后就得到重建的g ，这个c 就是最后的解码输出图像。 2 4 本章小节 h 2 6 4 是两大国际组织i t u 和i s o i e c 首次联合研究并制定的一个面向未来 i p 和无线环境下的视频压缩标准，其在视频压缩效率方面比目前所有的视频压缩 标准都要高，而且算法结构上的分层处理使它能适应不同的传输环境，提高传输 效率。h 2 6 4 作为一个新的视频编解码标准，采用了成熟的技术，在追求更高的 编码效率和简洁的表达形式的同时，也提供了良好的视频质量，是当前最高效的 视频压缩方法。这些优点必将使其在视频通信领域得到广泛的应用。本章简要介 绍了 l 2 6 4 标准发展的背景及功能目标和编解码器的结构及基本框架，为后继章 节中该标准的进一步探讨和研究作了有利的铺垫。 第三章h 2 6 4 a v c 视频编码原理概述 第三章h 2 6 4 a v c 视频编码原理f 1 1 【2 】 3 1h 2 6 4 a v c 编码器结构 详细讨论h 2 6 4 编码器结构之前，这里先介绍一些必须了解的重要的相关名词 概念。首先是场和帧的概念。视频的一场或一帧可用来产生一个编码图像。通常， 视频帧可分成两种类型：连续或隔行视频帧。在电视中，为减少大面积闪烁现象， 把一帧分成两个隔行的场，这时场内邻行之间的时间相关性较强，而帧内邻近行 空间相关性较强，因此活动量较小或静止的图像宜采用帧编码方式，对活动量较 大的运动图像则宜采用场编码方式。接下来是宏块和片的概念。一个编码图像通 常划分成若干个宏块，每个宏块由一个1 6 1 6 亮度像素和附加的一个8 8 c b 和 一个8 8 c r 彩色像素块组成。每个图像中，若干宏块被排列成片的形式。 1 片只包含i 宏块，p 片可包含p 和i 宏块。i 宏块利用从当前片中已解码的像 素作为参考进行帧内预测( 不能取其他片中的已解码像素作为参考进行帧内预 测) 。p 宏块利用前面已编码的图像像素作为参考进行帧问预测，一个帧间编码的 宏块可进一步分割：即分成1 6 x1 6 、1 6 x 8 、8 1 6 、8 x 8 、8 4 、4 8 、4 4 亮 度像素块以及附带的色度块。 3 1 1 编码框架 h 2 6 4 的编码框架规定了三种，每个档次支持一组特定的编码功能，并支持一 类特定的应用。 ( 1 ) 基本档次即b a s e l i n e ：利用i 片和p 片支持帧内和帧间编码，支持基于 上下文的自适应变长编码( c a v l c ) 。主要用于可视电话、会议电视、无线通信等 实时视频通信。 ( 2 ) 主要档次即m a i n ：支持隔行视频，采用b 片的帧间编码和采用加权预 测的帧内编码；支持基于上下文的自适应算术编码( c a b a c ) 。主要用于数字广播 电视与数字视频存储。 ( 3 ) 扩展档次即e x t e n d e d ：支持码流之间有效的切换( s p 和s i 片) 、改进误 码性能( 数据分割) ，但不支持隔行视频和c a b a c ，主要应用于流媒体中。 各个档次具有不同的功能，扩展档次包括了基本档次的所有功能，而不能包 括主要档次的全部功能。每一档次设置不同的参数( 如取样速率、图像尺寸、编 目比特率等) ，得到对应的编解码器性能的不同级。 3 1 2 视频格式 目前有三种彩色电视制式，由于不同国家采用不同的制式，为了国际上国家 1 2 h 2 6 4 a v c 视频编码算法研究及在d m 6 4 2 上的实现 之间视频通信互通，往往采用一种公共中间格式( c i e c o m m o ni n t e r m e d i a t e f o r m a t ) ，无论何种彩色电视制式，发送方先把自己国家的彩色电视制式转换成c i f 格式经过编码传输后再由c i f 格式转换成接受方彩色电视制式。c i f 对应的视频帧 格式如表3 1 【1 】，我们实现的编码器主要对c i f 或q c i f 大小的视频进行压缩。 表3 1 视频帧格式 格 式亮度清晰度 q c i f 1 4 4 * 1 7 6 c i f2 8 8 * 3 5 2 人类视觉系统对亮度比色度更敏感，因此可以把亮度信息从彩色信息中分离 出来，并使之具有更高的清晰度。彩色信息的清晰度较低，可显著压缩其带宽， 实现视频压缩的一部分。这样对人的感觉并没有什么不同。 彩色视频又有三种不同的取样格式如图3 1 所示。 叠叠奄国qo oo oo ooo 口oo q qqo簟 o ooo oo o 叠国叠奄o oo ooooo oo 簟q 奄q簟。簟oo oo ooo ( a ) 4 ：4 ：4 取样( b ) 4 ：2 ：2 取样 口0o 。0 0 。0 0 ooo ooo 0yoc rc b( c ) 4 ：2 ：0 1 投样 图3 1彩色电视取样格式 在这三种格式中，4 ：2 ：0 的彩色分量最少，对人的色彩感觉而言，它比其它两 种更适合进行数字压缩。h 2 6 4 支持4 ：2 ：0 的连续或隔行视频的编解码，缺省使用 4 ：2 ：0 格式。 3 1 3 编码数据格式 h 2 6 4 为了得到高的视频压缩比和良好的网络适应性能。因此，h 2 6 4 的功能 分为两层：视频编码层( v c l ) 和网络提取层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 。 v c l 数据即编码处理后的输出，它表示被压缩编码后的视频数据序列。在v c l 数 据传输或存储之前，这些编码的v c l 数据，先被映射或封装进n a l 单元中。 每个n a l 单元包括一个原始字节序列负荷( r b s p ) 、对应于视频编码数据的 n a l 头信息。n a l 单元序列的结构如图3 2 【l 】所示。 ln a l 头r b s p n a l ：头 r b s p n a l 头r b s p i 图3 2n a l 单元序列 第三章h 2 6 4 a v c 视频编码原理概述 1 3 3 1 4 参考帧 为了提高预测精度，h 2 6 4 编码器可从一组前面或后面已编码的图像帧中选出 与当前最匹配的图像作为帧间编码的参考帧。这样做虽然使复杂度大为增加，但 可使匹配后的预测精度得到改进。h 2 6 4 中最多可从1 5 个参考帧中进行选择，选 出最佳的匹配图像。 3 1 5 编码片和片组 编码片简称码片，一幅视频图像可编码成一个或更多个片，每片包含整数个 宏块( m b ，m a c r ob l o c k ) ，即每片至少一个m b ，最多时每片包含整个图像的宏块。 即一幅图像中每片的宏块数不一定固定。 设立码片的目的是为了限制误码的扩散和传输，所以应使编码片相互间保持 独立。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差 才不会传播到其它片中去。 编码片共有5 种不同的类型，i 片、p 片、b 片、s p 片、s i 片。片的句法结构 如图3 3 i l j 所示。其中，片头规定了片的类型、该片属于哪幅图像、有关的参考图 像等；片的数据包含一系列的编码m b ，和或跳编码( 不编码) 数据。 图3 3 码片的结构 3 1 6 宏块 每个宏块由一个1 6 x1 6 亮度