（微电子学与固体电子学专业论文）h264帧内预测算法的研究及其vlsi设计.pdf

摘要 i illilllli l l l l l l li l lii i i ii l l l li il y 2 1 2 8 4 6 3 论文题目：h 2 6 4 帧内预测算法的研究及其v l s i 设计 学科名称：微电子学与固体电子学 研究生：何凯 签名： 鱼i 也 指导教师：余宁梅教授签名： 金i 迅 摘要 目前h 2 6 4 视频编码技术在视频压缩领域应用最为广泛，也代表了当今最先进的视频编 码技术。本研究是对h 2 6 4 帧内预测模式选择的算法进行研究的基础上对其中关键模块进行 a s i c 设计。 帧内预测技术是以消除空问冗余来实现压缩的技术，本文首先对帧内预测的模式选择算 法进行研究。如果在帧内预测模式选择中全部采用全搜索算法，将产生很高的计算复杂度。 本文研究了针对h 2 6 4 帧内预测进行基于边缘方向矢量的快速算法及其优化，从而达到代替 全搜索算法降低计算复杂度的目的。优化算法用c 语言实现后，在h 2 6 4 的j m l 6 1 校验模 型中进行实验比较。最终的实验结果表明：与全搜索算法相比，快速算法降低了3 0 左右的 编码时间，计算复杂度大幅降低的同时峰值信噪比几乎不变。 帧内预测的硬件设计是课题组的视频处理器设计的一部分，以降低通用处理器运算量为 主要目的。以全搜索算法为对象，采用s a t d 代价模型进行硬件结构设计，用v e r il o gh d l 语言实现各模块，实现基于a s i c 的硬件加速的目的。 关键词：h 2 6 4 帧内预测边缘矢量峰值信噪比a s i c 西安理工大学硕士学位论文 t h e s i s ：r e s e a r c ha n dv l s ii m p l e m e n t a t i o no fi n t r ap r e d i c t i o na l g o r i t h mo n t h eh 2 6 4v i d e oc o d i n gs t a n d a r d s u b j e c t ：m i c r o e l e c t r o n i c sa n ds o l i de l e c t r o n i c s s t u d e n t ：h e k a i t u t o r ：p r o f e s s o ry un i n g m e i a b s t r a c t s i g n a t u r e ：比妨： s i g n a t u r e ：m m a tp r e s e n t h 2 6 4i st h em o s tw i d e l yu s e dv i d e oc o d i n gc o m p r e s s i o na l g o r i t h mi nt h ef i e l d o fv i d e oc o m p r e s s i o n ，a l s or e p r e s e n t st h em o s ta d v a n c e dv i d e oc o d i n gt e c h n i q u e s f i r s t l y , t h i s a r t i c l er e s e a r c h e dt h eh 2 6 4i n t r ap r e d i c t i o nm o d es e l e c t i o na l g o r i t h m ，o nt h eb a s i so fw h i c h p r o p o s e da s i cd e s i g nf o rt h ek e ym o d u l e s i n t r ap r e d i c t i o ni st h et e c h n o l o g yw h i c hr e d u c e st h e s p a t i a lr e d u n d a n c yt oi m p r o v e c o m p r e s s i o ne f f i c i e n c yo fv i d e oe n c o d i n g f i r s t l y , t h i sa r t i c l er e s e a r c h e dt h ei n t r ap r e d i c t i o nm o d e s e l e c t i o na l g o r i t h m i ff u l ls e a r c hi su s e df o ra l li n t r ap r e d i c t i o nm o d ea l g o r i t h m ，r e s u l t i n gi nh i g h c o m p u t a t i o n a lc o m p l e x i t y i nt h i sp a p e r , t h er e s e a r c hf o c u s i n go nt h ei n t r ap r e d i c t i o nf a s t a l g o r i t h mf o rt h ee d g ed i r e c t i o nv e c t o ra n dt h eo p t i m i z a t i o no fi t ，i n s t e a do ff u l ls e a r c ha l g o r i t h m t oa c h i e v et h ec o m p u t a t i o n a lc o m p l e x i t yo ft h ep u r p o s eo fr e d u c i n g f r a m ep a r t sf o rt h e o p t i m i z a t i o na l g o r i t h m ，a n dc o m p l e t e dt h eo p t i m i z a t i o n o ft h ec l a n g u a g ea n db r o u g h t o p t i m i z a t i o ni nh 2 6 4j m 16 1c h e c kt h em o d e le x p e r i m e n t a l l y t h er e s u l t ss h o w e dt h a t ：c o m p a r e d w i t ht h ef u l ls e a r c ha l g o r i t h m ，f a s ta l g o r i t h mr e d u c e st h ee n c o d i n gt i m ea b o u t3 0 ，w h i l et h e p s n ri sa l m o s tc o n s t a n t t h eh a r d w a r ed e s i g no ft h ei n t r ap r e d i c t o ni st h ep a r to ft h ev i d e op r o c e s s o rd e s i g ni n r e s e a r c hg r o u pt or e d u c et h eg e n e r a lp u r p o s ep r o c e s s o r f o rt h ef u l ls e a r c ha l g o r i t h m ，t h ed e s i g n a d o p t ss a t dc o s tm o d e l ，u s i n gv e r i l o gh d ll a n g u a g ed e s i g n e dt h em o d u l e s ，w h i c ha c h i e v et h e g o a lo fh a r d w a r ea c c e l e r a t i o n k e yw o r d s ：h 2 6 4 a v ci n t r ap r e d i c t i o ne d g ev e c t o rp s n ra s i c 2 目录 目录 1绪论1 1 1 研究背景1 1 2视频编码技术的研究现状1 1 3论文研究内容4 1 4 论文组织结构4 2h 2 6 4 视频编码标准的原理及技术特点5 2 1h 2 6 4 的基本框架5 2 1 1 编解码器框图5 2 1 2h 2 6 4 的分层结构7 2 1 3h 2 6 4 的档次和级8 2 2 帧内预测编码8 2 2 1帧内预测原理及流程8 2 2 2 几种帧内预测模式9 2 2 34 4 亮度块帧内预测1 0 2 2 41 6 1 6 亮度块帧内预测1 6 2 2 58 8 亮度块帧内预测1 8 2 2 68 8 色度块帧内预测1 8 2 3h 2 6 4 其他主要算法1 9 2 3 1 帧间预测编码1 9 2 3 2 整数d c t 变换与量化1 9 2 3 3 熵编码2 0 2 4 本章小结2 1 3h 2 6 4 帧内预测模式选择优化算法的研究2 2 3 1h 2 6 4 的代价函数模型2 2 3 1 1s a ( t ) d 代价函数模型2 2 3 1 2r d o 代价函数模型2 3 3 2 帧内预测算法优化2 3 3 2 1基于r d o 模型的帧内全搜索算法2 3 3 2 2 快速帧内预测算法2 4 3 2 3 基于边缘矢量的帧内优化算法的原理2 5 3 2 4 基于边缘矢量的帧内优化算法的流程2 6 3 2 5 基于边缘矢量的帧内优化算法的实现及思考2 7 3 3 本章小结3 2 4h 2 6 4 帧内预测模式选择的v l s i 设计3 3 1 西安理工大学硕士学位论文 2 4 1 帧内预测模式选择的结构设计3 3 4 2i n t r a 4 x 4 模式设计3 4 4 3i n t r a 8 x 8 模式4 5 4 4i n t r a l 6 x 1 6 模式4 7 4 5 本章小结4 8 5结束语4 9 致谢5 0 参考文献5 1 绪论 1 绪论 1 1 研究背景 随着时代发展，科学技术日新月异，9 0 年代初期人们憧憬的信息高速公路已经变成了 现实。硬件设施的支持下人们对于信息的需求，早己不满足于文字，声音，而生动、直观、 形象的视频资讯正大量的出现在教育、娱乐、科技、商务等各个领域。为了满足视频资讯的 存储、传输和观看，视频处理技术飞速发展并获得了广泛的关注。 人们在享受视频资讯带来的越来越生动便捷的体验的同时，也要面临视频图像在数字化 后数据容量庞大，在传输、存储及处理的过程中遇到许多不易克服的困难。以一帧c i f 图像 为例，其信息量大于9 0 0 k b i t ，如要实时传输则2 2 m b i t 秒，1 g b 硬盘也不过存储6 分钟视 频。假如图像是1 0 8 0 p 全高清，其存储所需容量之大将更为惊人，对其进行实时传输的带宽 要求则不可想象。因此在视频会议，可视电话，视频监控，数字电视等要求视频信息实时传 输的领域，视频图像数据量大的问题更加凸显。 视频压缩即是将原始数字视频经过一系列的变换处理，用处理后的小容量数据来表示原 始视频的大容量数据信息的过程。用这些较小的数据可以完全地或者近似于完全地恢复原始 视频信息。数字视频信号本身的特点也具备了对其进行压缩的可能： l 、客观上，视频信号存在大量冗余，图像变换一般有个过程，大部分区域信号不会剧 烈变换，特别是背景部分，图像在空间和时间上具有相关性，这两种相关性分别就称为空间 冗余和时间冗余。对这种冗余进行编码并且重构后可以最大限度的恢复图像的完整性。 2 、主观上，利用人眼的视觉特性，人眼对于图像的细节、运动、对比度的分辨率都有 一定的感觉界限。因此可以降低例如图像灰度之类的信号以客观失真换取一定的压缩比率， 只要在处理时引起的失真不明显，仍可认为图像是完整的或者足够好的。 此背景下，就要研究怎样才能最大限度的压缩图像而使重建后的图像能够被用户所接 受，大量学者、机构、组织参与到视频压缩技术的研究中来，各种视频图像压缩编码标准 不断产生。“1 1 2视频编码技术的研究现状 进入上个世纪8 0 年代后期，视频编码技术发展进入快车道。1 9 8 4 年c c i t t ( 国际电报 电话咨询委员会) 第1 5 研究组发布了数字集群电视会议编码标准h 1 2 0 建议。1 9 8 8 年c c i t t 通过了“p x 6 4 k b p s ( p = 1 ，2 ，3 ，4 ，3 0 ) ”视频编码标准h 2 6 1 建议，被称为视频压缩编 码的一个里程碑。从此，i t u t ( 从1 9 9 3 年3 月1 日起，国际电报电话咨询委员会( c c i t t ) 改组为国际电信联盟( i t u ) 电信标准化部门，简称i t u t 。) 、i s o ( 国际标准化组织) 等 公布的基于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法“1 。 1 西安理工大学硕士学位论文 h 2 6 1 视频编码器的目设计的是为了在带宽为6 4 k b p s 的倍数的综合业务数字网 ( i s d nf o ri n t e g r a t e ds e r v i c e so i g i t a ln e t w o r k ) 上传输质量可接受的视频信号。 编码程序设计的码率是能够在4 0 k b p s 到2 m b p s 之间工作，能够对c i f 和o c i f 分辨率 的视频进行编码，即亮度分辨率分别是3 5 2 x 2 8 8 和1 7 6 x 1 4 4 ，色度采用4 ：2 ：0 采样， 分辨率分别是1 7 6 x 1 4 4 和8 8 x 7 2 。在1 9 9 4 年的时候，h 2 6 1 使用向后兼容的技巧加入了 一个能够发送分辨率为7 0 4 x 5 7 6 的静止图像的技术。 h 2 6 1 作为第一种实用的数字视频编码标准，具有以下特点：t t 2 6 1 使用了混合编 码框架，包括了基于运动补偿的帧间预测，基于离散余弦变换的空域变换编码，量化， z i g z a g 扫描和熵编码。h 2 6 1 编码时基本的操作单位称为宏块。h 2 6 1 使用y c b c r 颜色空间，并采用4 ：2 ：0 色度抽样，每个宏块包括1 6 x 1 6 的亮度抽样值和两个相应的 8 x 8 的色度抽样值。 1 9 8 6 年，i s o 和c c i t t 成立了联合图像专家组( j p e g ) ，研究连续色调静止图像压缩算 法国际标准。1 9 9 2 年7 月通过了j p e g 标准。 1 9 8 8 年，i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ) 。1 9 9 1 年公布了 m p e g 一1 视频编码标准，码率为1 5 m b p s ，主要用于家用v c d 的视频压缩。1 9 9 4 年1 1 月，公 布了m p e g 一2 标准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰电视( h d t v ) 。 码率从4 m b p s 、1 5 m b p s 、直至l o o m b p s ，分别用于不同档次，不同级别的视频压缩中。 m p e g 一1 是为c d 光碟介质定制的的视频和音频压缩格式。m p e g 一1 视频算法主要采用有 以下技术：可变图像尺寸、i 帧编码、p 帧编码、b 帧编码、多参考帧运动补偿、1 2 像素精 度的运动估计、量化矩阵、g o f ( g r o u po ff r a m e ) 结构、s l i c e 结构等。m p e g - 1 的缺点如 下：一是压缩比还不够大；二是图像清晰度还不够高，m p e g l 最大清晰度仅为3 5 2x2 8 8 ； 三是对传输图像的带宽有一定的要求，不适合网络传输；四是m p e g l 的录像帧数固定 为每秒2 5 帧，不能丢帧录像，使用灵活性较差。 m p e g 一2 是为更清晰的制定的视频压缩标准。m p e g 一2 视频算法主要采用以下技术：基于 8 x 8 块的余弦变换( d c t ) 、符合视觉系统的量化器、z i g z a g 扫描、游程编码、采用霍夫曼 编码的熵编码机制、码率可控信道缓存、双向运动估计、运动补偿等。 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4 k b p s 的低码率视频传输。1 9 9 8 年和2 0 0 0 年又分别公布了h 2 6 3 + 、h 2 6 3 + + 标准。 h 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标 准。 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，主要区别有6 个方面： 第一、h 2 6 3 的运动补偿使用半象素精度，而h 2 6 l 则用全象素精度和循环滤波； 第二、数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置成更低 的数据率或更好的纠错能力； 第三、h 2 6 3 包含四个可协商的选项以改善性能； 绪论 第四、h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； 第五、采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； 第六、h 2 6 3 支持5 种分辨率，即除了支持h 2 6 l 中所支持的q c i f 和c i f 外，还支持 s q c i f 、4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和16 倍。 h 2 6 3 具有以下技术特点：将编码过程分为帧内和帧间编码两个部分。帧内用改进 的d c t 变换并量化，在帧间采用1 2 像素运动矢量预测补偿技术，使运动补偿更加精 确，量化后使用改进的编码表( v l c ) 对量化数据进行熵编码，得到最终的编码系数。 1 9 9 9 年1 2 月，i s o i e c 通过了m p e g 4 标准，它在定义视频编码标准外，还强调了多媒 体通信的交互性和灵活性。这一特点使它有别于之前的各种编码标准。 m p e g 一4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、 量化、熵编码外，还提出了以下关键技术：l 、视频对象提取技术。2 、v o p 视频编码 技术。3 、视频编码可分级性技术。4 、运动估计与运动补偿技术。 m p e g - 4 第一次提出了基于内容、基于对象的压缩编码思想。它要求对自然或合成 视听对象作更多分析甚至是理解，这正是信息处理的高级阶段。1 i t u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组( m p e g ) 于2 0 0 1 年成了联 合视频组( j v t ) ，为了研发一种新型的、面向实际应用的高质量、高压缩比的视频标准。2 0 0 1 年7 月，m p e g 认为新的编码方式较之前的m p e g 一4 标准有很大的优势，有必要吸收到m p e g 一4 中对其进行完善。因此联合视频组对h 2 6 l 展开研究，为了推出能够覆盖所有低带宽和高带 宽应用的高质量的标准。2 0 0 3 年3 月新的标准发布，命名为i t u th 2 6 4 或者i s o i e c m p e g 一1 0a v c 。2 0 0 3 年3 月由i t u t i s o 发布h 2 6 4 视频编码标准，作为新一代视频压缩标 准，拥有相比以往标准更出色的性能。例如，与h 2 6 3 或者m p e g 一4 相比，在同样的质量下， 其码率降低5 0 左右；换句话讲就是在同样的码率下，其信噪比明显提高。正是由于如帧内 预测、1 4 精度运动估计、多参考帧、c a b a c 、c a v l c 、环路滤波等技术的采用，h 2 6 4 拥有 出色的压缩性能和良好的网络亲和性，使得h 2 6 4 标准在互联网大量普及的今天格外有吸引 力，这也是本文的研究对象。1 观 撷 隧 缘 派 揣 抓 准 图1 1 视频图像压缩编码国际标准发展历史 f i g 1 1v i d e o i m a g ec o m p r e s s i o nh i s t o r yo fi n t e r n a t i o n a ls t a n d a r d s 西安理工大学硕士学位论文 1 3 论文研究内容 本文首先对h 2 6 4 编码器原理进行掌握，尤其对帧内预测模式选择算法进行深入研究。 在对一个1 6 x 1 6 宏块图像进行帧内模式选择时，需计算代价相关函数进行比较获得最佳模式 信息。以研究的高档次模式为例，支持4 种帧内预测模式：用于4 x 4 亮度块的有i n t r a 4 x 4 、 用于8 x 8 亮度块的i n t r a 8 x 8 、用于1 6 x 1 6 亮度块的i n t r a l 6 x 1 6 和用于8 x 8 色度块c i n t r a 8 x 8 的，它们分别具有9 种、9 种、4 种、4 种预测值计算模式。共有4 ( 1 6 x 9 + 4 x 9 + 4 ) = 7 3 6 种不 同的组合，每种组合需要计算出代价函数值，因此计算量很大。本文以p a n 算法为基础对帧 内预测模式选择算法进行研究，考虑几种不同的应用方式，在j m l 6 1 校验模型中进行对比 实验。其次，在深入研究了帧内预测算法的基础上，对帧内预测模式选择的关键模块进行硬 件设计，用v e r i l o g 语言完成各模块代码并测试。最终将与课题组其它模块配合使用在视频 处理芯片中，以达到降低通用处理单元运算量的目的。 1 4 论文组织结构 第一章绪论，着重阐述了课题的研究背景及其现实意义，并对各种视频编码标准进行简 要介绍，最后在分析了目前相关课题的国内外研究现状的基础上，阐明了本文的研究内容。 第二章详细介绍h 2 6 4 视频编码原理及帧内预测模式选择过程。 第三章在深入研究h 2 6 4 算法的基础上，对帧内预测模式选择的优化算法进行研究。 第四章分析图像处理流程，设计h 2 6 4 帧内预测模式选择硬件结构，编写各个模块代码 并测试。 第五章总结与展望。 4 h 2 6 4 视频编码标准的原理及技术特点 2 h 2 6 4 视频编码标准的原理及技术特点 i 2 6 4 是在h 2 6 i 。的基础上推出的，i t u t 和i s o 共同使用的新一代视频编码标准，并 和以前的m p e g 系列标准形成技术体系。 和以前的标准相比，它具有以下优点： 1 、增强的预测方式基于不同大小块的运动补偿、四分之一像素的运动估计、边界 外推的运动矢量、多参考帧管理、显示次序的倒置、权重预测、增强的直接型 “s k i p p e d ”和“d i r e c t ”运动推测、帧内预测、环路滤波器等。 2 、增强的编码效率4 x 4 的整数变换和两种基于内容的熵编码：c a b a c 上下文自适应 的二进制算术编码、c a v l c 上下文自适应的可变长编码。 3 、数据的强鲁棒性采用参数集机构、灵活的宏块顺序、灵活的片组大小和任意的 片排序等。 4 、良好的网络亲和性主要表现在网络抽象层的单元语法机构和冗余图像数据划分 及s p s i 帧。 这些优于以前的特点使h 2 6 4 标准成为当前许多应用的理想标准。因而其应用范围十分 广泛。b 1 2 1 h 2 6 4 的基本框架 2 1 1 编解码器框图 h 2 6 4 没有明确规定一个编解码器如何实现，而是规定了一个编码后视频流的句法和 该比特流的编码方法。各个厂商的编解码器能够在此框架下互通，在现实上具有一定的灵活 性，有利于互相竞争，促迸发展。 编码框图如图2 一l 所示： 西安理工大学硕士学位论文 原始宏块 图2 1h 2 6 4 编码器 f i g 2 1h 2 6 4v i d e oc o d i n gs c h e m a t i cd i a g r a m 进行编码的宏块由1 6 1 6 像素构成。每个宏块选择使用帧内预测还是帧间预测编码模 式。不管经过哪种编码模式，都得到预测块。在帧内模式中，宏块的最佳帧内预测模式下得 到的预测块要通过当前块和经过处理的重构块信息配合得到。在帧间模式中，预测宏块是通 过一个或者多个参考帧经过运动补偿预测生成的。在图2 1 中，参考块就是之前编码得到的 帧中对应的宏块；不过，并不只是一个参考帧，每个预测宏块都是由一个或者两个，之前或 者之后的，已经编过码和重建所生成的帧中的对应宏块所生成的。当前宏块减去预测宏块生 成残差宏块。残差宏块经过变换、量化后生成由一系列变换量化系数组成的数组。然后，对 这些系数进行重排序和熵编码。熵编码生成的系数，附上解码宏块所需要的附加信息生成压 缩比特流。压缩比特流被传到网络提取层( n a l ) 以发射或者储存酾1 。 重建流程： 为了生成重建帧以编码以后的宏块，将量化后的宏块残差系数进行解码。系数经过反量 化，反变换生成残差宏块。此时的残差宏块与原先的残差宏块并不相同，原因是在量化过程 中引入了失真。预测宏块与此时生成的残差宏块相加生成重建宏块。为了减小块效应失真， 引入了专门的滤波器。滤波之后的宏块就是重建块，一系列的重建宏块组成了参考帧。 编码器的重建流程的目的是为了确保编码端和解码端使用一致的参考帧来生成预测宏 块。如果参考帧不一致，那么编码端和解码端的预测宏块就不一致，导致在编码端和解码端 之间生成渐增的误差或者“漂移”。 解码框图如图2 2 所示： 6 h 2 6 4 视频编码标准的原理及技术特点 参考块 图2 2h 2 6 4 解码器 f i g 2 2h 2 6 4 d e c o d e r 从n a l 中，解码器取得压缩比特流。数据元素经过熵解码和重排序生成一系列量化后的系数，也是重建 的参考块。使用从比特流中解码出来的头信息，解码器生成预测宏块，与先前在编码器中生成的预测宏 块一致。预测宏块与此时产生的残差宏块相加生成重建宏块，然后经过滤波，生成解码宏块。 2 1 2 h 2 6 4 的分层结构 为了满足不同网络应用环境对于视频编码的需求，h 2 6 4 在系统层面上提出了一个新的 分层设计的概念，具体分为网络提取层v c l 和视频编码层n a l ，如图2 3 所示。 视频编码层作用是对数字视频进行高效的编解码。该层包含了视频图像的核心压缩编码算法 的描述。 网络抽象层的作用是将v c l 层提供的头信息、段结构信息、实际载荷等数据映射到不同 的网络。使得h 2 6 4 编码的视频流可以在不同的网络上传输，具有网络适应性强，差错恢复 能力强，抗误码能力强等优点。 图2 3 视频编码层和网络提取层 f i g 2 3v i d e oc o d i n gl a y e ra n dt h en e t w o r ka b s t r a c t i o nl a y e r 西安理工大学硕士学位论文 2 1 3h 2 6 4 的档次和级 2 0 0 4 年7 月，针对广播级别的应用，在基本档次( b a s e l i n ep r o f i l e ) 、主要档次( m a i np r o f i l e ) 及扩展档次( e x t e n d e dp r o f i l e ) 之外又提出了高级档次( h i g hp r o f i l e ) 。三种常规档次的关系如图 2 4 所示。 图2 4 三种档次结构关系及主要特征 f i g 2 - 4t h et h r e eg r a d es t r u c t u r ea n dm a i nc h a r a c t e r i s t i c s 基本档次主要用于电视会议、可视电话、远程医疗、 扩展档次主要用于网络视频流，如视频点播。 主要档次主要用于消费电子类的应用，如数字电视、 高级档次主要应用于高清视频。“1 2 2 帧内预测编码 远程教学等。 数字视频存储等。 次 帧内预测是h 2 6 4 a v c 的重要特性之一，它可以利用相邻块中已经解码重建的像素值对 当前块进行预测，然后对预测块和实际块的残差进行变换、量化、熵编码，从而消除空间冗 余信息。视频图像经过这样的处理后，可以进一步提高编码效率，减少编码比特数。帧内预 测技术可以充分利用视频图像在局部空间上的高度相关性，并且利用这种相关性进行预测， 从而去除图像的空间冗余，有效的提高视频帧内预测编码的压缩效率。 2 2 1 帧内预测原理及流程 帧内预测原理： 帧内预测编码的原理是利用图像内部空间上相邻像素之间的相关性，采用帧内预测技 术，最大程度的消除或减少空间冗余信息。同时，对预测残差进行变换、量化和熵编码，消 h 2 6 4 视频编码标准的原理及技术特点 除编码冗余。 虽然帧内编码主要用于i 帧编码，但p 帧和b 帧中的部分宏块也需要采用帧内编码方式。 总的来说，帧内编码主要应用在以下几个方面： 工帧：协议规定i 帧独立进行编码而不依赖于其他图像帧，因此i 帧必须采用帧内编码方式； p 帧和b 帧中的部分宏块：对于现有的视频编码标准( 除了m p e g 一4 第二部分) ，输入图像首 先在空间上进行宏块级的分割，然后以宏块为基本单位进行编码。对于p 帧和b 帧中的每一 个宏块，都要按照帧间编码和帧内编码两种方式进行编码，通过率失真函数计算两种方式的 编码代价。对于某一个宏块，如果帧内编码的代价小于帧间编码的代价，则该宏块采用帧内 编码方式。这种现象的主要原因是由于序列运动过于剧烈，导致参考帧中没有合适的参考块 能够很好的与待编码宏块匹配，从而使得帧间编码代价过高。另一方面，当待编码帧是场景 切换后的第一帧时，由于失去了时间上的相关性，因此尽管是p 帧或b 帧，也需要采用帧内 编码方式。 差错恢复：在解码端，为了对采用帧问方式进行编码的宏块进行解码，必须得到当前宏块参 考块的信息。如果由于信道的问题导致传输过程中出现差错，在解码端不能得到参考块的信 息或得到错误的信息时，当前宏块就不能按照帧间方式正确的进行解码，对于这种受错误影 响的区域，可以采用帧内编码方式来进行差错恢复。在编码端，通过信源算法或缓冲区算法 估计出待编码宏块对应的失真度，以确定该宏块是否采用帧内编码方式。这种差错恢复技术 被称为帧内更新，也是帧内编码的一个重要应用。 帧内预测的流程如图2 5 所示。 最优预测模式 华丽斟斋削可纠可耳磊目二躺 图2 5 帧内编码流程图 f i g 2 5i n c a - c o d e df l o wc h a r t 码流 经过帧内预测后得到最优预测模式和未经过变换量化的预测残差，残差经过变换量化后 同最佳模式一起编码就得到视频比特流。 2 2 2 几种帧内预测模式 t t 2 6 4 支持三种亮度帧内预测和一种色度预测： 1 ) 用于4 4 亮度块编码的i n t r a 一4 4 ，有9 种预测模式，其中包括8 种方向性预测 模式和一种均值预测模式，由于块尺寸较小，适合于图像细节丰富的区域； 9 西安理工大学硕士学位论文 2 ) 用于1 6 1 6 亮度宏块编码的i n t r a 一1 6 1 6 ，有4 种预测模式，适合于图像中的平 坦区域： 3 ) 此外还有一种拓展模式8 8 亮度块编码的i n t r a 一8 8 ，与i n t r a 一4 x4 类似具有9 种预测模式； 4 ) 用于8 8 色度块编码的c i n t r a 一8 8 ，也有4 种预测模式，除预测模式编号不同 外，与i n t r a 一1 6 1 6 相同。阳1 2 2 34 x 4 亮度块帧内预测 9 种预测模式，每种模式都有固定的方向，如果2 - 6 所示，4 x 4 预测时需要用的预测样 值分布如图2 - 7 所示。 心彦 万n 5 8 6 图2 - 64 x 4 亮度块预测方式下的预测方向 f i g 2 6 p r e d i c tt h ed i r e c t i o no f4 x 4 mabc d efgh abcd e k mno 图2 7 帧内预测时的像素分布 f i g 2 7 t h ep i x e ld i s t r i b u t i o no fi n t r ap r e d i c t i o n 4 x 4 块中 a ，b ，c ，d ，e ，f ，g ，h ，i ，j ，k ，l ，m ，n ，o ，p为预测值由预测样值 a ，b ，c ，d ，e ，f ，g ，h ，i ，j ，k ，l ，m 通过预测算法计算得到。具体算法如下： l 、i n t r a 一4 x 4 一v e r t i c a l ( 模式0 ) ： 在i n t r a 一4 x 4 一v e r t i c a l 预测模式下，当前4 x 4 块的像素值由相邻的像素a 、b 、c 和 d 预测得出，像素预测值由式( 2 1 ) 决定，示意图如图2 8 所示： p r e d 4 x 4 l x ，y 】_ p x ，一1 ，x ，y = 0 3 ( 2 1 ) 1 0 h 2 6 4 视频编码标准的原理及技术特点 me ( 【 i(t(j 】 ei k【1 l 1n 一 lr 1 i 图2 - 8 f i g 2 8 模式0 m o d e 0 2 、i n t r a 一4 x 4 一h o r iz o n t a l 预测模式( 模式1 ) ： 在i n t r a4 x 4h o r i z o n t a l 预测模式当前4 x 4 块的像素值被相邻的像素i 、j 、k 和l 预测得出，像素预测值由式( 2 2 ) 决定，示意图如图2 9 所示： p r e d 4 x 4 l 【x ，y = p 【1 ，y ，x ，y = 0 3 ( 2 2 ) mabcd tk tfl j6 l ，1 ，d - j l 一 图2 9模式1 f i g 2 9 m o d e1 3 、i n t r a4 x 4d e 预测模式( 模式2 直流预测) ： 在i n t r a4 x 4d e 模式下在这种预测方式下，当相邻像素a 、b ，c ，d ，i ，j ，k 及 l 均存在时由其像素值的平均值预测当前4 x 4 的亮度块；若只有像素i l 存在，则当 前4 x 4 块由i l 像素值的平均值预测得到；若只有像素a d 存在，则当前4 x 4 块由a d 像素值的平均值预测得到；否则当前4 x 4 块的预测值均为1 2 8 ，如图2 一1 0 所示。 西安理工大学硕士学位论文 1 2 mabc d l j k l i l) l 厂 + d + 2 ) 4 mabc d i j k l ，i 上i 上v l + 2 ) 4 图2 1 0 f i g 2 - 1 0 m abcd l j k l ， 上亡l 上，、i n j m abc d l 1 2 81 2 81 2 81 2 8 j1 2 81 2 81 2 81 2 8 k1 2 81 2 81 2 81 2 8 l1 2 8 1 2 81 2 81 2 8 模式2 m o d e2 i + j + k + l + 4 ) 8 4 、i n t r a 一4 x 4 一d i a g o n a l d o w n l e f t 预测模式( 模式3 ) ： 在i n t r a4 x 4d i a g o n a ld o w nl e f t 预测模式下，当前4 x 4 块的像素值被相邻的像素 a 、b 、c 、d 、e 、f 、g 和h 预测得出，像素预测值由式( 2 3 ) 决定，示意图如图2 1 1 所示。： p r e d 4 x 4 l x ，y 】_ ( p 6 ，- 1 】+ 3 木p 【7 ，一1 】+ 2 ) 2 ，x ，y = 3 p r e d 4 x 4 l x ，y 】= ( p x + y ，一1 】+ 2 木p 【x + y + 1 ，- 1 + p x + y + 2 ，- l 】+ 2 ) 2 x ，y 为其他值 ( 2 3 ) mabcdefgh j v y i 衫 yy l 少 j yy k y、y yy l 影彤 图2 一ll f i g 2 11 模式3 m o d e3 5 、i n t r a _ 4 x 4 一d i a g o n a l d o w n r i g h t 预测模式( 模式4 ) ： h 2 6 4 视频编码标准的原理及技术特点 在i n t r a _ 4 x 4 _ d i a g o n a l d o w n _ r i g h t 预测模式下，当前4 x 4 块的像素值被相邻的像素 a 、b 、c 、d 、i 、j 、k 、l 和m 预测得出，像素预测值由式( 2 4 ) ( 2 5 ) ( 2 6 ) 决定， 示意图如图2 1 2 所示 p r e d 4 x 4 l 【x ，y 】= ( p x y - 2 ，一1 】+ 2 木p x y 一1 ，一1 】+ p x y ，一1 】+ 2 ) 2 ，x y ( 2 4 ) p r e d 4 x 4 l x ，y = ( p 一1 ，y - x 一2 + 2 术p 一1 ，y x - 1 】+ p 一1 ，y x 】+ 2 ) 2 ，x 2x ，y 为其他值 ( 2 6 ) 叭ab f d efg 、 工 文 夭 、拗j 、 汰 y k 弋y l 、历猢沁 图2 1 2 模式4 f i g 2 1 2 m o d e4 6 、i n t r a 4 x 4 一v e r t i c a l r i g h t 预测模式( 模式5 ) ： 在i n t r a _ 4 x 4 _ v e r t i c a l r i g h t 预测模式下，当前4 x 4 块的像素值被相邻 像素a 、b 、c 、d 、i 、j 、k 、l 和m 预测得出，像素预测值由式( 2 7 ) ，( 2 8 ) ，( 2 9 ) 决定：如图2 1 3 所示。 p r e d 4 x 4 l x ，y 】= ( p x 一( y 1 ) 一1 ，一1 】+ p x 一( y 1 ) ，一1 + 1 ) 1 ，( 2 7 ) 2 木xy = 0 , 2 ，4 ，6 z u 。p r e d 4 x 4 l x ，y 】= ( p x y - 2 , - 1 + 2 木p 【x y - 1 , - 1 】+ p x y ，。1 + 2 ) ( 2 8 ) 2 x y z u o p r e d 4 x 4 l 【x ，y 】- ( p 【0 ，一1 + 2 木p - 1 ，一1 + p 一1 ，0 + 2 ) 2 ，x ，y 为其他值 ( 2 9 ) 1 3 西安理工大学硕士学位论文 mabcd 工 rpfr j p 0占i 力j k ipr ， l 叁0 p j r q 3 图2 1 3 f i g 2 - 13 模式5 m o d e5 7 、i n t r a4 x 4h o r i z o n t a ld o w n 预测模式( 模式6 ) ： 在i n t r a4 x 4h o r i z o n t a ld o w n 预测模式下，当前4 x 4 块的像素值被相邻的像素a 、b 、 c 、i 、j 、k 和l 预测得出，如图2 1 4 所示，像素预测值由式( 2 1 0 ) ，( 2 1 1 ) ，( 2 1 2 ) ，( 2 1 3 ) 决定：