（微电子学与固体电子学专业论文）h264帧间编码算法的研究及其visi设计.pdf

摘要 论文题目：h 2 6 4 帧间编码算法的研究及其v l s i 设计 学科名称：微电子学与固体电子学 研究生：寇立康 指导教师：余宁梅教授 摘要 签名： 签名： h 。2 6 4 作为目前已有效率最高的视频编码压缩算法，其在视频压缩领域有着极为广阔的 应用前景，本文正是在研究h 2 6 4 的帧间算法的基础上进行h 2 6 4 关键模块的a s i c 设计。 视频压缩过程中帧问压缩所起作用相对于帧内压缩优势是极为明显的，文章首先对帧间 模式选择算法进行了深入的研究，并在算法级提出了两种快速模式选择算法，一种是基于提 前终止策略的h 2 6 4 快速模式选择算法，另一种是基于模式分类和纹理分析的快速帧间模式 选择算法。实验证明，文章中提出的两种快速模式选择算法是两种高效的的低复杂度的帧间 模式选择算法。第一种算法在平均输出比特率增加1 7 7 的情况下，p s n r ( 峰值信噪比) 平均提高了0 0 3 3 d b ，编码时间降低了2 5 7 7 。第二种快速算法在平均比特率增加1 4 8 以 及p s n r 轻微损失0 0 4 3 d b 的情况下，编码时间平均降低6 0 2 5 。 目前主流的视频压缩算法无不将运动估计及运动补偿作为降低帧间冗余度的核心算法。 论文首先对h 2 6 4 中双向运动估计模块的处理机制进行深入的剖析( 参考j m l 6 1 ) ，最后应 用v e r i l o g 硬件描述语言设计出整像素双向运动估计模块，在线亚像素插值模块，亚像素匹 配模块，实现基于a s i c 的双向运动估计硬件加速的目的。 关键词：h 2 6 4 ；帧间模式选择；双向运动估计；a s i c 西安理工大学硕士学位论文 t h e s i s ：r e s e a r c ha n dv l s ii m p l e m e n t a t i o no fi n t e rp r e d i c t i o na l g o r i t h mo n t h eh 2 6 4v i d e oc o d i n gs t a n d a r d s u b j e c t ：m i e r o e l e c t r o n i c sa n ds o l i de l e c t r o n i c s s t u d e n t ： k o u l i k a n g t u t o r ：p r o f e s s o ry un i n g m e i a b s t r a c t 一 s t g n a t u r e ： 一 s t g n a t u r e ： a tp r e s e n t ，h 2 6 4i st h em o s te f f i c i e n tv i d e oc o d i n gc o m p r e s s i o na l g o r i t h m i nt h ef i e l do f v i d e oc o m p r e s s i o n ，i th a sav e r yb r o a da p p l i c a t i o np r e s p e c t f i r s t l y , t h i sa r t i c l es t u d yt h ei n t e r a l g o r i t h m ，a n dt h e np r o p o s e da s i ci m p l e m e n t a t i o nf o rs o m ek e y m o d u l e w h e nv i d e oc o m p r e s s i o n ，t h ee f f e c to fi n t e rc o d i n gr e l a t i v et oi n t r ac o d i n gi sv e r yo b v i o u s f i r s t l y , t h i sa r t i c l er e s e a r c h e dt h ei n t e rm o d es e l e c t i o na l g o r i t h md e e p l y a n dp r o p o s e dt w of a s t m o d es e l e c t i o na ta l g o r i t h ml e v e l o n ei st h ef a s tm o d ed e c i s i o na l g o r i t h mb a s e do ne a r l y t e r m i n a t i o ns t r a t e g y , a n o t h e ri st h ef a s tm o d es e l e c t i o na l g o r i t h mb a s e do i lm o d ec l a s s i f i c a t i o na n d t e x t u r ea n a l y s i s ，e x p e r i m e n t a lr e s u l t ss h o wt h e s et w of a s ta l g o r i t h mb o t ha r ee f f i c i e n t ，l o w c o m p l e x i t y f o rt h ef i r s ta l g o r i t h m ，i nc a s eo f t h ea v e r a g eb i tt a t ei n c r e a s e db y1 7 7 ，p s n r ( p e a k s i g n a lt on o i s er a t i o ) i n c r e a s e db yo 0 3 3 d b ，t h ee n c o d i n gt i m er e d u c e db y 2 5 7 7 f o rt h es e c o n d a l g o r i t h m i nc a s eo ft h ea v e r a g eb i t r a t ei n c r e a s e db y1 4 8 a n dt h ep s n r r e d u c e db y0 0 4 3 d b s l i g h t l y , t h ee n c o d i n gt i m er e d u c e db y6 0 2 5 a v e r a g e l y ， c u r r e n t l y , a 1 1t h em a i n s t r e a mv i d e oc o m p r e s s i o ns t a n d a r dt a k em o t i o ne s t i m a t i o na n dm o t i o n c o m p e n s a t i o na s t h ec o r ea l g o r i t h mt or e d u c et h ei n t e rf r a m er e d u n d a n c y f i r s t l y , t h ea r t i c l e a n a l y s e dt h ep r o c e s s i n gm e c h a n i s m so fm o t i o ne s t i m a t i o nm o d u l ei nd e t a i l ( r e f e rt o j m l 6 1 、 f i n a l l y , u s i n gv e r i l o gh a r d w a r ed e s c r i p t i o nl a n g u a g ed e s i g n e d b i - d i r e c t i o n a lf u l l - p i x e lm o t i o n e s t i m a t i o nm o d u l e o n 1 i n es u b p i x e li n t e r p o l a t i o nm o d u l ea n ds u b - p i x e lm a t c h i n gm o d u l e w h i c h a c h i e v et h eg o a lo fh a r d w a r ea c c e l e r a t i o no fb i d i r e c t i o n a lm o t i o ne s t i m a t i o n k e yw o r d ：h 2 6 4 ，i n t e rm o d ed e c i s i o n ，b i d i r e c t i o n a lm o t i o n - e s t i m a t i o n ，a s i c 2 7 忱 纠。俨坛吖 “ n 彳 么托卜 目录 目录 摘要。i a b s t r a c t i i 1 绪论。l 1 1 课题背景1 1 2 视频编码标准的简介2 1 2 1h2 6 1 2 7 - 2 2 心一1 2 1 2 3 麟- 2 3 1 2 4m2 6 3 3 1 2 5m p e g - 4 3 1 3 研究现状4 1 4 论文研究内容一5 1 5 论文组织结构5 2h 。2 6 4 视频编码原理6 2 1 视频编码框架6 2 2 帧内编码算法7 2 2 1 舫内1 6 x 1 6 亮度两泓7 2 2 2 帧内4 x 4 亮度顽测9 2 23 色度8 x 8 块预测模式1 l 2 3 帧问编码1 1 2 - 3 1 可变块大小的预测方式1 l 2 3 2 运动精度一1 3 2 4 双向预测1 4 2 5 运动矢量的预测一1 5 2 曩7 空，司域顽溉1 5 2 5 2 时间域丽测1 7 a ，前帧对应块直接预测1 7 b ，临近参考帧比例预测1 7 2 6h 2 6 4 其他核心算法18 2 a1 整数变换与量化1 8 2 6 2 熵编码1 8 2 7 本章小结1 9 3 帧问快速模式选择算法的研究2 0 3 1 模式选择2 0 3 1 1 运动估汁2 2 3 i 2 最佳参考航2 2 3 1 3 模式厅继择2 2 3 2 快速模式选择算法研究意义2 3 3 3 基于提前终止策略的h 2 6 4 快速模式选择算法2 4 3 3 1 分析一2 4 1 h 西安理工大学硕士学位论文 3 3 2 早停止策略分析一万 3 3 2 1 残差一致性检测2 5 3 。3 2 2 空间一致性一2 6 3 3 3 算弦勰2 7 3 3 4 算i 法性能一2 8 3 。4 基于纹理的h 2 6 4 快速帧间模式筛选算法2 8 3 4 1 帧司模式分级2 9 3 4 2 三种纹理分析祝觎3 0 a 投影( p r o j e c tio n ) 3 0 b 相邻列( 行) 变化幅度31 cx 特征矩阵3l 3 4 3 算i 法勰3 2 3 4 4 实驻结果3 4 3 5 本章小结3 4 4 帧间双向运动估计v i si 结构设计3 6 4 1 双向运动估计介绍3 6 4 1 1 整像素双句运动估计3 6 4 1 2 亚像素双句运动估计3 9 4 1 3 亚像素插值数据保征4 1 4 2 总体结构设计4 3 4 3 整像素双向运动模块4 3 4 3 1 存贮一4 3 4 3 2 溪取刎4 4 4 4 3 计算一4 6 4 4 亚像素双向运动估计4 8 4 4 1 半像素插值4 8 4 4 2 半像素匹配5 0 4 4 3 四分之一像素插值5 2 4 4 4 四分之一匹配5 3 4 5 本章小结5 4 5 工作总结与展望5 5 5 1 总结5 5 5 2 展望5 5 j 2 疋i 射5 6 参考文献5 7 l v 绪论 1 绪论 1 1 课题背景 在人类的历史长河里，我们的人类先后趟过了石器时代，青铜时代，铁器时代，蒸汽 时代、电气时代，而现在的我们正幸运地处在信息的时代! 上世纪4 0 末5 0 年代初以电子 信息业为标志的第三次科技革命的开启预示着人类新历史纪元的开始，这种趋势直到现在 还在持续。尤其计算机技术，通信技术，电子技术等新兴技术的长足发展更是促进着第三 次革命的延续。在我们这个充满信息的世界里，各种各样的信息形式给我们传递着地球每 个角落的变化。从纽约道琼斯指数的变化，到欧洲五大联赛的最新动态；从中东的动荡局 势，到南美生机勃勃的热带雨林景象；从北极光的绚丽多彩，再到南极企鹅的憨态可掬。 世界四面八方的信息通过各种新式被我们获取。这些信息可能来自交谈，报纸，杂志，电 视，因特网等，但是从总量上来说，人类获取这些信息的7 0 左右来自多媒体。视频作 为多媒体技术的重要组成部分，其包含的信息量是非常巨大的。 自从1 9 8 5 年电影的诞生至今，视频给人类的生活生产带来了巨大的影响。如果没有 视频技术的发展，远在地球另一边的你不会看到精彩的世界杯，更难以想象阿姆斯特朗在 月球上留下的那个不普通的脚印。但是就像马克思主义哲学告诉我们的那样，事物都是矛 盾结合的有机体。虽然视频带给我们的是丰富多彩的信息，但是视频的巨大信息量又制约 着视频信息的传输存储。以q c i f 格式的视频为例，其一帧图像的信息量为 1 7 6 x 1 4 4 x 1 5 x 8 = 3 0 4 1 2 8 ( b i t s ) = 3 0 4 ( k b i t s ) = 0 3 m b i t s ，实时传输时这种格式的视频一秒钟的数 据量是0 3 x 3 0 - 9 m b i t s ，似乎不是想象中的那样庞大。我们再来计算f u l l h d 标准的视频。 同样一幅此类的视频帧的数据量为1 9 2 0 x 1 0 8 0 x l ，5 x 8 = 2 4 8 8 3 2 0 0 b i t s = 2 4 m b 诬s ，实时传输一 秒按3 0 帧计算，其数据量为2 4 x 3 0 = 7 2 0 m b i t s s ，每秒6 0 帧的数据量达到惊人的 1 4 4 0 m b i t s s ，这样巨大的数据量不管是存储还是传输都是一个艰巨的任务。所以，要进 行视频应用，首要的任务就是进行视频压缩。 视频压缩，即将原始数字视频经过一定的变换处理，用处理后的极小数据量来表示原 始的视频信息的过程。用这些较小的数据可以完全地或者近似于完全地回复原始视频信 息。大量学者，组织在视频压缩算法标准的道路上付出了艰辛的劳动，国际上主要有两大 阵营进行视频压缩标准的制定，一个是国际电信联盟( 盯u ) ，另一个是国际标准化组织 ( i s o ) ，具体的系列标准将在后续章节里进行较为详细的介绍。正是由于视频压缩标准 的推陈出新，视频压缩阵营的不断壮大得以丰富了人们的生活。视频压缩应用范围也从单 一走向多样化。从早期的安防系统的视频监控，视频存储，电视电话会议，到后来的视频 节目点播，网络流媒体，手机电视等。 西安理工大学硕士学位论文 1 2 视频编码标准的简介 经过几十年的技术发展，视频压缩在通信，流媒体，数字电视等领域有着广泛的应用， 并且数字视频技术的发展已经从各自为营的发展模式走向了国际标准化的道路，其中国际 电信联盟( i t u ) 与国际标准化组织( i s o i e c ) 成为最为权威的视频标准的制定者与发 布者。i t u t ( i t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 中文全称是国际电信联盟远 程通信标准化组织，在国际电联内部其主要负责通信相关标准的制定。i s o i e cj t c l 国 际标准化组织和国际电工委员会第一联合技术组是另外一支进行国际视频编码标准制定 的主力军。基于各自的视频标准应用方向，两者分别提出了两个系列的视频编码标准， h 2 6 x 和m p e g x 。h 2 6 x 主要应用于实时通信领域，如视频会议，可视电话，视频直播 等。m p e g x 系列标准主要应用于视频存储，网络流媒体，数字电视等领域。以下我们将 以各种视频编码标准出现的时间先后顺序对它们进行扼要介绍。 1 - 2 1 h 2 6 1 h 2 6 1 1 j 是1 9 9 0 年由i t u t 提出的第一代视频编码标准的最早代表。比特率为 p x 6 4 k f f s ，p 是一个可变参数，取值范围为l 3 0 。其设计目的在于视频信号在综合数字业 务网( i s d n ，i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上的可靠传输。h 2 61 支持的视频源 格式为亮度分辨率是c i f ( 3 5 2 x 2 8 8 ) 和q c i f ( 1 7 4 x 1 4 4 ) ，色度采样采用4 ：2 ：0 的格式进行 采样，即两个色度分量的采样格式为8 8 x 7 2 。可以说h 2 6 1 是一个先驱性的标准，其采用 的混合编码框架为以后的视频编码标准的制定提供了基本的框架。h 2 6 1 以宏块为单位进 行编码操作，帧间采用运动估计运动补偿减小视频序列间的时问冗余度，帧内采用离散余 弦变换降低空间数据冗余度，量化，z 嘻z a g 扫描和熵编码技术更进一步降低数据量。 1 2 2m p e q - 1 m p e g l 是由隶属于i s o i e c 的m p e g ( m o v i n gp i c t u r ee x p e l sg r o u p ) 组织制定的 第一部音视频编码标准，1 9 9 0 年压缩算法完成，到1 9 9 2 年m p e g 。1 被正式批准为国际视 频编码标准。它是因为c d 光碟存储技术的需要而发展起来的一种视频压缩算法。 m p e g 1 的音频部分由三层组成，分别是m p e g 1l a y e r l ，m p e g ，l a y e r 2 以及 m p e g l a y e r 3 ，其中m p e g l a y e r 3 就是为我们所熟悉的m p 3 音频格式。m p e g l 视 频算法主要采用有以下技术：可变的图像尺寸、i 帧编码、p 帧编码、b 帧编码、多参考 帧运动补偿、1 2 像素精度的运动估计、量化矩阵、g o f ( g r o u po ff r a m e ) 结构、s l i c e 结构等。m p e g 1 不足之处在于不够高的压缩比，及大的存储量。 绪论 1 9 9 2 年，m p e g 一2 正式发布，设计目标是工业标准级别的图像质量，要求的传输码 率在3 - 1 0 m b i t s s e c 之间，在n t s c 制式下分辨率可达7 2 0 x 4 8 6 。m p e g 2 具有区间可调 压缩比的特性，以适应不同图像质量要求，不同存储空间大小和不同带宽的各种情况。 m p e g 一2 的码流是分层产生的，共有六个层次分别是：图像序列层、图像组( g o p ) 、 图像、宏块条、宏块、块。同时m p e g 2 是一种分等级的视频编码标准，按照视频源 每帧图像的分辨率不同分为4 个不同等级( 1 e v e l ) ：l o w l e v e l 、m a i n l e v e l 、h i g h 1 4 4 0 l e v e l 、 h i g h l e v e l ；按所选用的编码工具集合的不同又分为5 类( p r o f i l e ) ：s i m p l e p r o f i l e 、 m a i n p r o f i l e 、s n r s c a l a b l e p r o f i l e 、s p a t i a l l y s c a l a b l e p r o f i l e 、h i g h p r o f i l e ；不同级和不 同类的组合共有2 0 种模式，在这2 0 种组合模式中，目前只有1 1 种获得通过。 m p e g 2 的主要技术环节有：a ，基于8 x 8 块的余弦变换( d c t ) 洳，符合视觉系统 的量化器；c ，z i g z a g 扫描；d ，游程编码；e ，采用霍夫曼编码的熵编码机制；f ，码率可 控信道缓存；g ，双向运动估计； 1 2 4h 2 6 3 基于以前的视频压缩编码标准，1 9 9 5 年i t u t 制定了全新的视频编码标准h 2 6 3 【2 j 。 相对于之前的h 2 6 1 ，h 2 6 3 的各方面性能有了很大的提高。1 9 9 8 年又推出了h 2 6 3 + 还有 2 0 0 0 年推出的h 2 6 3 + + ，这些都是在h 2 6 3 的基础上增加新功能。相比较于以前的h 2 6 1 ， h 2 6 3 在以下几方面进行了改进： ( 1 ) 采用半像素的运动补偿技术，h 2 6 1 则为整像素精度及循环滤波。 ( 2 ) h 2 6 3 数据码流中的某些层次是可以丢弃的，这使得h 2 6 3 编解码器具有更低的码 率及就错能力。 ( 3 ) h 2 6 3 包含四个可选项，提高了编码性能。 ( 4 ) 采用与m p e g 相似的p b 帧预测方式，提高了压缩率。 ( 5 ) 无限制的运动矢量，和基于语法的算术编码。 ( 6 ) 支持更加广泛的视频源格式，s q c i f ，q c i f ，c i f ，4 c i f ，1 6 c i f 。 1 2 5 帅e g _ 4 1 9 9 9 年，i s o i e c 通过了新一代基于“视听对象 的编码标准m p e g 4 【3 1 。m p e g 一4 不仅重视音视频在低比特率下的编码，也同时重视多媒体系统的交互性与灵活性，这一改 进也是基于m p e g 4 首次引入a v 对象( a u d i o v i d e oo b j e c t s ) 的概念。基于a v 对象的 编码方式有利于控制和操作对象，通过码率控制机制，对观众感兴趣的区域分配较多的比 西安理工大学硕士学位论文 特数，提高显示细节，对其他区域则分配比较低的比特数进行编码。 m p e g 4 主要包括系统、视频和音频三部分。系统包括：压缩层、同步层、传输层； 音频部分又分为自然声音编码和合成声音编码，下面较为详细的介绍下m p e g 一4 的视频 部分。 m p e g 4 视频编码部分同时支持对自然视觉对象与合成对象的编码，在这些视觉对象 中既有二维的又有三维的以及人脸部表情的动画。m p e g 一4 标准相对于m p e g 一1 ，m p e g - 2 的压缩能力提高了数十倍有余，这是因为相对于m p e g 1 ，2 ，m p e g - 4 引入了更加丰富的 编码工具，这其中包括：d c 系数的预测，a c 系数的预测，交替水平扫描，三维v l c ， 四种类型的无约束运动矢量，子图形，基于八参数运动模型的全局运动补偿，四分之一精 度运动补偿，基于视频对象形状、运动和纹理三种信息的v o p 编码等。最后m p e g 一4 通 过相应的档次和级别以满足不同的应用要求，这里就不再详述。 1 3 研究现状 众所周知，在当前的视频压缩行业，h 2 6 4 以其极高的数据压缩比特性成为行业中最 具影响力的标准。其优秀的压缩性能使得h 2 6 4 在同等的视频质量下所需要的码流为 h 2 6 3 的5 0 左右。同等视频质量下，压缩效率是m p e g 4 的1 5 倍。但是，在我们津津 乐道于这些可观数字的同时，我们必须为此付出巨大的代价，这就是h 2 6 4 的极高运算量 和复杂度。这也为h 2 6 4 编码器的实时应用带来了巨大挑战。以目前国内外研究现状来看 实现u 2 6 4 编码功能的方案大主要有三个方面。 1 ，d s p + a r m 4 】【5 】【6 】 以软件方式来实现h 2 6 4 实时编码功能，在目前比较主流。同时各科研院校投入比较 多的是基于d s p 开发平台的实现方案。采用数字信号处理器和嵌入式系统芯片作为硬件平 台的u 2 6 4 编码器的实现，其特点是开发周期短，可配置性强，具有很强的灵活性。d s p 采用多总线的哈佛结构，并具有特定指令集，对于h 2 6 4 这种高度复杂度的算法具有很强 的处理能力。如t 工公司推出的基于达芬奇技术的新型t m s 3 2 0 d m 3 6 4 数字视频处理器可支 持多种视频格式，满足网络带宽限制的特点，可是开发成本降低2 5 。 2 ，i p ( i n t e l e c t u a lp r o p e r t y ) 核 由于d s p 技术往往会导致功耗过大，另外一种方式基于i p 核的编解码器则具有较低 的功耗，在消费电子领域有着广泛的应用。例如，可编程逻辑生产厂商x i l i n x 与i p 供应 商4 i 2 i 共同发布的基于f p g a 单片式高清晰度u 2 6 4 编码器。还有支持a r m 平台的i p 核， 如t e c h n o m a t h e m a tic a l 的u 2 6 4 一b p ，u 2 6 4 一m p 等。能提供u 2 6 4 编解码i p 核的厂家主 要有4 i 2 i ，i n d i g o v i s i o n ，c h i p s & m e d i a ，i n n o v a t i v e ，s e m i c o n d u c t o r s ，a t e m e ，国内 有创意电子，中心联合，4 i 2 i ，c h i p s & m e d i a 都能提供全系列h 2 6 4 编解码核。 3 ，基于a s i c 编解码器【7 】【8 】【9 】 4 绪论 全定制的a s i c 视频编解码芯片运行速度快，生产成本低，在视频编码领域占有越来 越重的位置。有些视频编解码视频还集成有r i s c ，c p u ，a r m 核等，这样有有效地结合 了各方面的长处，提高了编解码芯片的性能。 目前具有h 2 6 4 编解码芯片设计能力的国外公司有b r o a d c o m ，c o n e x a n t ，s i g m a d e s i g n s ，h a n t r o ，s t m i c r o e l e c t r o n i c s ，n e o m a g i c ，n v i d i a ，a t i ，c h i p s & m e d i a ，o p i x e l ， f u j i t s u ，国内企业有海思半导体，富翰微电子。这些企业中大部分推出的是解码器，而国 外的o p i x e l 的o l 2 0 x 系列芯片，富士通的m b 8 6 h 5 0 和m b 8 6 h 5 1 ，国内海思半导体的 h i 3 5 1 0 同时具有编解码功能。 基于a s i c 的编解码芯片设计方案的缺点是灵活性差。芯片一旦成型，如果需要添加 新的功能，则不得不花费较长时间，大大增加开发成本。 1 4 论文研究内容 本文首先针对h 2 6 4 算法进行比较深入的研究学习，尤其对帧间模式选择算法及运动 估计算法迸行了深入的研究。算法级别上针对h 2 6 4 模式选择的高复杂度，论文提出了两 种快速的模式选择算法基于提前终止策略的h 2 6 4 快速模式选择算法和基于纹理的 h 2 6 4 快速帧问模式选择算法。在前期算法有一定深入研究的基础上，针对h 2 6 4 帧问部 分运动估计运算单元的高度调用性，高数据处理量来设计专门的硬件加速模块【1 0 , i l l 。h 2 6 4 里的运动估计模块可分为单向运动估计模块和双向运动估计模块，本论文硬件设计部分着 重介绍双向运动估计硬件加速电路的设计。 1 5 论文组织结构 第一章为绪论部分，着重阐明了课题的研究背景及其现实意义，并对各种视频编码标 准进行简要介绍，最后在分析了目前相关课题的国内外研究现状的基础上，阐明了本文的 研究内容。 第二章详细介绍h 2 6 4 视频编码原理及帧间模式选择过程。 第三章在深入研究h 2 6 4 算法的基础上，论文创新性地提出了两种快速模式选择方 法，并对两种快速方法进行了深入的介绍。 第四章分析h 2 6 4 帧间双向运动估计详细过程，设计满足一定要求的硬件加速模块。 第五章总结与展望。 t t 2 6 4 视频编码原理 2i - i 2 6 4 视频编码原理 j v t ( j o i n tv i d e ot e a m ) 提出的最新的视频编码标准h 2 6 4 1 2 】比起以前提出的m p e g 和h 2 6 3 ，性能有了更大的提升，被命名为a v c ( a d v a n c e d v i d e oc o d i n g ) 名至实归。他的 出现推进了视频实时通信，网络流媒体，高清电视( h d t v ) 的快速应用与普及。尤其h d t v 的普及将彻底摒弃过去的模拟电视技术，给用户提供全新高质量的视听享受。就连目前的两 大显示芯片制造巨头n v i d i a 和a t i 都以支持h 2 6 4 硬件解码加速为一大卖点。有关h 2 6 4 详细结构，本章将进行深入的分析。 2 1 视频编码框架 本质上，h 2 6 4 标准并不规定编解码器的具体实现方法，而只是规定了编码比特流的结 构，即句法及其解码方式。但编码器的基本框架确是符合一定的现代编码思想的，与以前视 频算法基本框架基本相同。 图2 - 1h 2 6 4 编码框架l 1 3 j f i g2 - 1c o d i n gf r a m e w o r ko fh 2 6 4 编码器中i n p u tf r a m e 表示当前编码帧，编码之前先进行划分，将编码帧从左至右，由上到 下划分成1 6 x 1 6 ( p i x e l s ) 像素块，将1 6 x 1 6 像素块称为宏块( m a c r o b l o c k ) ，编码器以宏块 为单位进行编码。r e ff r a m e 是参考帧，帧间编码时，编码宏块在参考帧的一定区域内进行 搜索匹配，找到最匹配宏块，相减得到残差数据。m e ( m o t i o ne s t i m m i o n ) 属于帧间编码部 分，也是帧间编码的核心部分，经过运动估计得到运动运动矢量，运动矢量经过熵编码部件 成为h 2 6 4 码流的一部分。熵编码之前残差数据块还要进行变换量化，变换量化是达到数据 压缩的主要模块。不管是帧内编码帧还是帧间编码帧最后都要进行解码重建，重建帧将作为 6 西安理工大学硕士学位论文 后续帧间编码帧的参考帧。重构完成后要进行滤波处理，即d e b l o c k 功能部分，去除重构帧 的方块效应。最终得到的重构帧即图2 1 中的r e c f r a m e 图像。 上边只是根据h 2 6 4 的编码框架对其编码过程进行原理上的阐述，h 2 6 4 编码器远不如 上边所叙述的这么简单，正是由于h 2 6 4 引入了复杂的编码算法才使得其表现出出众的编码 性能。 2 2 帧内编码算法 在h 2 6 4 中，无论是i ，或者b p 帧，每一宏块都要经历这帧内编码方式的测试，最终 在帧内或者帧间方式中进行选择。帧内编码，顾名思义编码所需要的的数据都是来自当前编 码图像。帧内编码方式是利用空间相关性来去除数据空间冗余已达到压缩数据的目的。具体 来说h 2 6 4 帧内编码方式分为基于1 6 x 1 6 的预测，基于4 x 4 的预测，i p c m 模式。 2 2 1 帧内16 x 16 亮度预测 将一个亮度宏块作为一个整体进行帧内预测，h 2 6 4 提供四种预测方式，分别是模式0 垂直( v e r t i c a l ) 预测，模式1 水平( h o r i z o n t a l ) 预测，模式2 均值( d c ) 预测，模式3 平 面( p l a n e ) 预测，图2 2 给出了四种预测模式的概念图。 2d c 1h o r i z o n t a l 图2 - 21 6 x 1 6 四种帧内预测模式 f i g2 - 2f o u ri n c ap r e d i c t i o nm o d e sf o r16 x 16 3p l a n e 7 h 2 6 4 视频编码原理 如图所示四种预测模式的具体说明如下。 垂直预测模式：利用当前宏块上方已解码宏块与当前宏块相邻的一行像素垂直推出当前宏块 的预测块 水平预测模式：利用当前宏块左边相邻宏块的相邻列像素水平推导出当前宏块的预测块数 据。 d c 预测模式：由编码宏块左边上边宏块与当前编码宏块相邻的像素列，像素行像素之和平 均值来替代编码宏块中的个像素值，得到预测块。 平面预测方式：利用“p l a n e ”函数以及左边、上边相邻像素线性推导出编码宏块相应位置上 的像素值，得到预测块。 下面举一实例具体说明1 6 x 1 6 块的预测过程。 1 r ，d 、 式2 4 表示双向预测的计算方式，p r e d o ( i ，) 表示一个方向上的预测数据，p r e d l ( i ，) 表示 另一个方向上的预测数据，经过平均得到最终的预测数据。运动补偿残差通过当前块与预测 块相减得到。 1 4 图2 1 4l i s t o ，l i s t l 参考图像 f i 9 2 14l i s t o ，l i s tlr e f e r e n c ei m a g e 西安理工大学硕士学位论文 图2 - 1 5 双向预测块 f i 9 2 15b i d i r e c t i o np r e d i c t i o nb l o c k 图2 1 4 是前后参考帧里的最佳参考模块，经过式2 4 的加权平均得到图2 1 5 预测块。 2 5 运动矢量的预测 h 2 6 4 中每个运动矢量都要参与编码，2 - 3 小节中已经