（计算机科学与技术专业论文）面向h264的快速帧间和帧内预测算法研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 。2 j d t o o 乞一| d 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 日期；三! j ! 二! 笸堑 i 摘要 摘要 h 2 6 4 a v c 由是国际电信联盟i t u t 和国际标准化组织i s 0 i e c 联合提出的 新一代国际视频编码标准。和原先视频编码标准相比，h 2 6 4 a v c 采用了许多先 进的技术，包括多参考帧、4 4 整数变换、亚像素精度的运动估计、率失真优 化技术等。h 2 6 4 为了获得极好的编码效率，采用了基于率失真优化的复杂模式 选择技术，从而造成极高的计算复杂度。由于极高的计算复杂度的存在，使鹘 h 2 6 4 a v c 在实时应用和硬件设计存在着一定的限制，所以减少h 2 6 4 的编码时 间有着重要的实际意义。 本文首先介绍了视频编解码技术的发展以及课题研究的目标和意义。然后介 绍了h 2 6 4 a v c 的关键技术，包括h 2 6 4 标准的体系结构、档次和级别、应用领 域、码流结构、编解码器结构等技术。最后分别着重介绍了快速帧内预测算法和 帧间预测算法。 本文提出了基于纹理特性的快速帧内预测算法。在帧内预测过程中，亮度4 4 预测多适合于纹理细节丰富的宏块，而亮度1 6 1 6 预测多适合于纹理光滑 平坦的宏块，本文通过计算宏块像素的方差判断出宏块纹理的丰富程度，从而提 前区分亮度4 4 预测和亮度1 6 1 6 预测。同时，由于亮度4 4 预测、亮度1 6 1 6 预测和色度8 8 预测中的大部分预测模式都带有方向性，本文通过计算编 码块中像素的方向梯度值，推测编码块的纹理方向，从而在所有的预测模式中选 择部分预测模式进行编码。试验证明本文提出的基于纹理特性的快速帧内预测算 法能够在保证p s n r 和码率基本不变的情况下明显减少编码时间。 对于快速帧间预测算法，本文首先利用了d c t 变化的性质及s k i p 模式所满 足的条件求出阈值，利用预测m v 求出当前编码块和预测块的残差，判断出编码 宏块所采用的模式是否为s k i p 模式。因为一般残差越小，用大块预测模式( 1 6 1 6 ，1 6 8 ，8 1 6 ) 的概率越高，残差越大，用小块预测模式( 8 8 ，8 4 ，4 8 ，4 4 ) 的概率越高。所以本文对其余帧间预测模式进行了大块预测模式和小 块预测模式的划分。根据试验结果拟合出随q p 变化的阈值，从而通过残差和阈 值判断出采用大块编码策略还是小块编码策略。本文提出的帧间预测算法能够获 得较好的试验结果。 关键词视频编码；帧内预测；帧间预测；模式选择 北京t 业大学工学硕士学位论文 a b s t r a c t a b s t r a c t a st h en e w e s tv i d e oc o d i n gs t a n d a r d ，h 2 6 4 a v ci sp r o p o s e db yt h ei t u - ta n d i s 0 肥c c o m p a r e dw i t hm eo l dv i d e oc o d i n gs t a l l d a r d ，h 2 6 4 a v ca d o p t ss o m e n e wt e c 血q u e ss u c h 嬲m o r er e f e r e n c em u n e s ，4 4i n t e g e rt r a i l s f o 咖a t i o n ，q 啦i n e r p i x e lm o t i o nc 唧p e n s a t i o n ，r a t e d i s t o n i o no p t 砌z a t i o n ( r d o ) a n d s oo n i i lo r d e r t og e tm eb e s tc o d i i l ge 伍c i e n c y ，1 er d ot e c h n o l o g ) ri sa d o p t e dt 0g e tt h eo p t i i l l a l m o d e 1 1 1 e nm e c o m p u t a t i o n a lc o m p l e x 时 i s v e 巧h i 曲a c c o r d i n 9 1 y 1 k c o m p u t a t i o n 甜c o m p l e x i 够o fh 2 6 4 a v ci ss oh i g ht h a ti t i si l o t 丘tf o rr e a l t i m e a p p l i c a t i o n sa n dl 埘d w a r ed e s i g i l ，s oi ti sv e r yi n l p o r t a l l tt or e d u c et l l ec o d i n gt i m e f i r s t l y ，t h j sp a p e ri n t r o d u c e st l l ed e v e l o p m e mo fm ev i d e oc o d i n gs t 觚d a r da i l d t 1 1 eo 巧e c t i v ea 1 1 ds i g n i f i c m l c eo ft t l ep a p e rr e s e a r c h t t l e nt i l i sp 叩e ri i l t r o d u c e s 廿1 e k e yt c c h n o l o g i e s ，i n c l u d i n gm ea r c l l i t e c t u r e ，伊a d ea 1 1 dl e v e l ，a p p l i c a t i o i l s ，b i t s t r e 锄 s t r u c t i l r e ，c o d e cs t r u c t u r ea r l do t h e rt e c i m o l o g i e so ft l l eh 2 6 4 侩l v cs t a l l d a r d l a s t l y ， m i sp a p e ri n _ t r o 出l c e st 1 1 ef 瓠ti n t r ap r e d i c t i o n 锄df 奴i m e r p r e d i c t i o nt e c h n o l o g i e s t l l i sp a p e rp r o p o s e dt l l ef a s ti n 觚m o d ed e c i s i o na l g o r i m i lb a s e do nt l l et e x 骶 f i e a ：n l r e i n 廿1 ei n t r ap r e d i c t i o n ，血r al l 咖al6 l6b l o c ki so r e ns e l e c t e da u st h e o p t i m a ls 讥b l o c kf o rm es m o o t l lt e x t u r e 埘ml e s sd e t a i l s ，a n dm a l u i 】【1 a4 4b l o c ki s o r e ns e l e c t e d 嬲t l l eo p t i m a ls i z eb l o c kf o rt h ec o m p l e xt e x t u r e 晰t l lm o r ed “l s w e s p e c u l a t et l l es m o o t l ld e g r e eo fam a c r o b l o c k st e x t u r ea c c o r d i n gt om ev 撕a i l c ev a l u e o f p i x e l s ，t h e nw ec 觚c h o o s et h e l u i i l a1 6 1 6o rl 咖4 4b l o c ka sm eo p t i m a ls i z e ma d v a l l c e i i l 吐l es 锄et i m e ，m o s tp r e d i c t i o nm o d e so f 廿l el 啪a4 4p r e d i c t i o 玛l u m a 1 6 1 6p r e d i c t i o na n dc h r 0 咖8 8p r e d i c t i o nh a sn l ed i r e c t i o n 7 m sp 印e rs p e c u l a t c s t l l et e x t u r ed i r e c t i o no ft t l eb l o c ka c c o r d i n gt l l ep i x e sv a l u e ，t l l e nc h o o s ep a nm o d e s o fa l lt l l em o d e s 1 h ee x p e r i m e n t a lr e s u l ts h o wo u ra l g o r i m mc a nr e d u c et l l e e n c o d i n gt h eo b v i o u s l yv v i t l ll i t t l ec h a i l g eo fp s n ra 1 1 db i t r a t e f o rt 1 1 ef 破i n t e rp r e d i c t i o na l g o r i t h m ，t h ep a p e rc a l c u l a t et h e 鹏s h o l dt l l s i i l g m ed c t 锄dt h ec o n d i t i o 璐o fm es k i pm o d e 粥t h eb e s tm o d e ，、粑c a l c u l a t et h es a d o fe n c o d e db l o c ka n dp r e d i c t i o nb l o c ku s i i l gt h ep r e d i c t i o nm vt h e nd e t e 玎n 妇 w h e t h e r 恤s 螂m o d ei sm eb e s tm o d e f o rm eo t l l e ri i l t c rp r e d i c t i o nm o d e s ，t h e s a di sl e s s ，t h ep o s s i b i l i t ) ，o f b i gb l o c k ( 1 6 1 6 ，1 6 8 ，8 1 6 ) 弱t h eb e s tm o d ei s k g h e r - 廿1 es a di sm o r e ，t l l ep o s s i b i l i t ) ro f s m a l lb l o c k ( 8 x 8 ，8 4 ，4 8 ，4 4 ) a st 1 1 e b e s tm o d ei sh i 曲e r s ot h eo t h e r 硫e rm o d e sa r ed i v i d e d 缸。铆op 矾sw m c ha r eb i g b l o c kp r e d i c t i o nm o d e sa n ds m a l lp r e d i c t i o nm o d e s ，也e nw es p e c u l a t et l l em r e s h o l d u i 北京t 业大学工学硕十学位论文 c h a i l g e dw i t h l eq p s ow ec a nd i s t i n g u i s hb i gb l o c kp r e d i c t i o nm o d e sa i l d s m a l l p r e d i c t i o nm o d e su s i n gt l l es a d a i l dt h r e s h o l d k e y 们r d sd e oc o d i n g ；i n t r ap r e d i c t i o n ；i i l t e rp r e d i c t i o n ；m o d ed e c i s i o n 目录 目录 摘要i a b s t r a c t i i i 第1 章绪论1 1 1 课题研究的目标和意义1 1 2 视频编解码技术的发展l 1 3 论文的组织结构2 第2 章h 2 6 4 视频编解码标准5 2 1h 2 6 4 标准的体系结构5 2 2h 2 6 4 标准的档次和级别5 2 3h 2 6 4 标准的应用领域6 2 4h 2 6 4 标准的码流结构6 2 5h 2 6 4 标准的编解码器结构8 2 6 变换和量化9 2 7 熵编码和去方块滤波1 l 2 8 差错控制技术1 2 2 9 本章小结1 2 第3 章h 2 6 4 快速帧内预测算法1 3 3 1h 2 6 4 a v c 帧内预测技术1 3 3 1 1 亮度4 4 预测1 3 3 1 2 亮度1 6 1 6 预测1 4 3 1 3 色度8 8 预测1 4 3 1 4h 2 6 4 标准的帧内预测过程1 4 3 1 5 国内外研究现状1 5 3 2 基于纹理特性的快速帧内预测算法1 5 3 2 1 亮度4 4 和亮度1 6 1 6 预测模式的划分1 6 3 2 2 亮度4 4 预测模式的快速选择1 6 3 2 3 亮度1 6 1 6 和色度8 8 预测模式的快速选择1 8 3 2 4 试验结果1 9 3 3 本章小结2 3 第4 章h 2 6 4 快速帧问预测算法2 5 4 1h 2 6 4 a v c 帧间预测技术2 5 4 1 1 树状结构运动补偿模式2 5 4 1 2m v 预测2 6 4 1 3 亚像素插值2 7 4 1 4b 片预测2 8 4 1 5h 2 6 4 中的s p s i 技术2 9 4 1 6 率失真优化技术2 9 4 1 7h 2 6 4 标准的帧间预测过程2 9 4 1 8 国内外研究现状3 0 v 北京工业大学工学硕上学位论文 4 2 快速帧间预测算法3 0 4 2 1s k i p 模式的判断3 0 4 2 2 帧间预测模式的分类3 2 4 2 3 试验结果3 3 4 3 本章小结3 5 结论3 7 参考文献3 9 攻读硕士学位期间所发表的学术论文4 3 致谢4 5 v i 第1 章绪论 第1 章绪论 1 1 课题研究的目标和意义 h 2 6 4 作为新一代视频编码标准和以往的编码标准相比有更好的编码效率。 h 2 6 4 引用了许多新技术，包括多参考帧、4 4 整数变换、亚像素精度的运动估 计、率失真优化技术等。h 2 6 4 由于需要获得极好的编码效率，采用了基于率失 真优化的复杂模式选择技术，从而造成拥有极高的计算复杂度。由于极高的计算 复杂度的存在，使得h 2 6 4 在实时性要求比较高的环境中存在着一些限制，如硬 件设计、远程实时监控等，所以减少h 2 6 4 的编码时间有着重要的实际意义。 帧内预测和帧间预测是视频编解码技术中的核心部分，也占据了视频编码中 的大部分时间。加快帧内预测和帧间预测过程能够明显缩短编码时间，对视频的 实时编码和硬件设计具有重要的作用。本文对帧内预测和帧间预测技术进行了深 入的分析，并结合纹理的特性提出了快速帧内预测算法，结合d c p 变换的性质和 残差提出了快速帧间预测算法。 1 2 视频编解码技术的发展 众所周知，当今社会随着计算机、多媒体和网络技术的不断向前发展，信息 也在急剧膨胀。视频作为信息最重要的载体之一，得到了人们越来越多的喜爱和 重视，多媒体技术正在生活中扮演越来越重要的角色。与此同时如何有效解决海 量数据信息的传输和存储成为多媒体技术发展的关键。因此，视频压缩编码技术 越来越受到重视，近年来在国际上逐渐成为研究热点。 通过近些年的不断发展，视频编解码技术有了突飞猛进的发展。视频编解码 技术越来越受到重视，目前主要有两大国际组织制定视频编解码标准。分别是国 际电信联盟i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际 标准化组织i s 0 i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。 两个标准化组织基于不同的应用需求，采用近似的压缩编码技术，分别制定了 h 2 6 x 和m p e g x 系列视频压缩标准。其中i t u t 针对可视会议等应用分别制定 了h 2 6 l ，h 2 6 2 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6 l ，h 2 6 4 a v c ：i s 0 i e c 相继 带0 定了m p e g 一1 ，m p e g 一2 ，m p e g 一4 。 近些年的视频编解码标准的时间及应用场合如表卜1 所示【1 4 】： 北京t 业大学工学硕上学位论文 表1 1 近些年的视频编解码标准的时间及应用场合 标准发布日期应用场合 m 咿e g 11 9 9 2 1 l 光盘存储、家用视频、视频监控等 m 【p e g 21 9 9 4 1 l 数字电视、d v d 、高清晰度电视、卫星电视等 m p e g - 41 9 9 5 5 i p 网、交互式视频、移动通信、专业视频 h 2 6 l1 9 9 0 1 2 ( 综合业务数字网) 视频会议等 h 2 6 31 9 9 6 3 h 2 6 3 +1 9 9 8 1 桌面可视电话、移动视频等 h 2 6 3 + +2 0 0 0 1 1 h 2 6 42 0 0 2 9 实时双向通信、网络视频、视频存储转发服务等 h 2 6 4 是一系列国际视频压缩标准的最新标准【5 】，其无论从压缩性能还是结 构设计方面都优于以前的标准。该标准使用了最新的编码技术，有效地支持交织 视频和非交织视频，即使在高比特率的情况下也能提供比以前的标准更优的视频 质量。而且，该标准支持灵活的编码数据组织形式，这为h 2 6 4 压缩码流提供了 很强的抗差错性能。在技术上，h 2 6 4 采用了多项改进技术，从而使其成为目前 最高效的视频压缩标。 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ，音视频编码标准【6 ，7 j ) 是中国具备自主 知识产权的第二代信源编码标准。该标准包括系统、视频、音频、数字版权管理 等四个主要技术标准和一致性测试等支撑标准。规定了数字音视频的压缩、解压 缩、处理和表示的技术方案，适用于高分辨率和标准分辨率数字电视广播、数字 存储媒体、宽带流媒体、多媒体通信等应用。在编码效率上，a v s 是m p e g 一2 的2 倍以上，基本与h 2 6 4 处于同一水平，但是a v s 采用了一些不同于h 2 6 4 的技术， 计算复杂度的成本和软硬件实现都低于h 2 6 4 。 1 3 论文的组织结构 第1 章是绪论部分，介绍了视频编解码技术的发展以及课题研究的目标和意 义。 第2 章介绍了视频编解码标准，主要介绍了h 2 6 4 标准的关键技术，包括 h 2 6 4 的体系结构、h 2 6 4 的档次和级别、h 2 6 4 的应用领域、h 2 6 4 的码流结构、 h 2 6 4 的编解码器结构、变换和量化、熵编码和去方块滤波以及差错控制技术。 第3 章介绍了h 2 6 4 标准的帧内预测技术和本文提出的快速帧内预测算法。 h 2 6 4 标准的帧内预测技术主要介绍了亮度4 4 预测、亮度1 6 1 6 预测、色度 8 8 预测、h 2 6 4 标准中的帧内预测过程、以及快速帧内预测算法的国内外研究 现状。本文提出的快速帧内预测算法主要介绍了如何利用纹理的丰富程度提前区 分亮度4 4 预测策略和亮度1 6 1 6 策略，以及如何利用纹理的方向性从所有的 第l 章绪论 预测模式中选择部分预测模式进行编码。 第4 章介绍了h 2 6 4 标准的帧间预测技术和本文提出的快速帧间预测算法。 h 2 6 4 标准的帧间预测技术主要介绍了树状结构运动补偿模式、m v 预测、亚像素 差值等技术以及快速- 喷间预测算法的国内外研究现状。快速帧间预测算法主要介 绍了如何利用d c t 变换的性质以及s k i p 模式所满足的条件提前判断出最优模式 是否为s k i p 模式，以及如何利用残差和q p 准确区分大块预测模式和小块预测模 式。 结论部分主要总结本文的研究工作以及展望未来工作。 il。ii。l 北京工业大学工学硕士学位论文 4 第2 章h 2 6 4 视频编解码标准 第2 章h 2 6 4 视频编解码标准 2 1 h 2 6 4 标准的体系结构 为了更加灵活的适应不同应用领域的要求，h 2 6 4 的设计概念上可以分为 两层：视频编码层和网络提取层p j 。视频编码层主要负责高效的视频内容表示： 网络提取层主要负责以网络所要求的恰当方式对数据进行打包和传送。在视频 编码层和网络提取层之间定义了一个基于分组方式的接口，视频编码层中包括 编码器与解码器，其主要功能是对视频数据进行压缩编码和解码。它具体包括 运动补偿、变换编码、熵编码等单元，它处理的是块、片和宏块数据，作为视 频编码的核心，它尽量做到与网络层分离、独立。视频编码层可以传输按当前 的网络情况调整的编码参数，以便于适应不同的网络类型。网络提取层主要负 责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信 息的利用或序列结束信号等。这样，高编码效率和网络友好性的任务可分别由 视频编码层和网络提取层来完成。 2 2h 2 6 4 标准的档次和级别 h 2 6 4 编码标准包含系列的编码特性，根据不同的特性和应用将其划分 为不同的档次和级别嗍，每个档次支持一组特定的编码功能，并支持一类特定 的应用。图2 1 为不同的编码档次所采用的技术。 图2 1h 2 6 4 的不同编码档次 f i g u r e2 - ld i l j c b r e n tp r o f i l ef o rh 2 6 4 北京工业大学工学硕士学位论文 h 2 6 4 主要应用的档次有： ( 1 ) 基本档次( b a s e l i n ep r o f i l e ) 主要包括了低复杂度、低延时的技术特 征。利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文的自适应的变 长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无线通信等实时 视频通信； ( 2 ) 主要档次( m a i np r o f i l e ) 主要针对更高编码效率的应用。支持隔行视 频，采用b 片的帧问编码技术和采用加权预测的帧内编码；支持利用基于上下 文的自适应的算术编码( c a b a c ) 。主要用于数字广播电视与数字视频存储； ( 3 ) 扩展档次( e x t e n d e dp r o f i l e ) 主要针对流媒体的应用。支持码流之间 有效的切换( s p 和s i 片) 、改进误码性能( 数据分割) ，但不支持隔行视频和 c a b a c 。 2 3h 2 6 4 标准的应用领域 同h 2 6 3 等标准相比较，h 2 6 4 能节省大约5 0 的码率 1 0 ，能够在低码率 情况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输。h 2 6 4 可以工作在实时通信应用( 如视频会议) 低延时模式下，也可以工作在没有延 时的视频存储或视频流服务器中。h 2 6 4 可以根据不同的环境使用不同的传输 和播放速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和 误码。h 2 6 4 提供了解决网络传输包丢失问题的工具，适用于在高误码率传输 的无线网络中传输视频数据。可用于光或者磁设备存储，如d v d 等设备。也可 以通过以太网、局域网、无限移动网等网络进行多媒体信息的传输和服务。可 具体应用于远程图像监控、数字电视移动接受、手机电视、多媒体应用和有限 电视等领域。 2 4h 2 6 4 标准的码流结构 在介绍码流结构之前，先介绍h 2 6 4 标准中的一些名词进行相应的解释【4 l ： 帧和场： 视频序列中的一帧或者一场产生一个编码图像。通常，视频帧可以分为两 类：连续或者隔行视频帧。在一些应用场合，为了减少大面积的闪烁现象，把 一帧分成两个隔行的场。 场内邻行之间的时间相关性较强，而帧内邻近行空间相关性较强，对活动 量较小或静止的图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场 编码方式。 第2 章h 2 6 4 视卿! 编解码标准 宏块、片和片组： 一个编码图像通常划分成若干个宏块，一个宏块由一个1 6 1 6 亮度像素和 附加的一个8 8 c b 和一个8 8 c r 彩色像素块组成。每个图像中，若干宏块被 排成片的形式。i 片只包含i 宏块，p 片可以包含p 宏块和i 宏块，而b 片可包 含b 宏块和i 宏块。i 宏块可以利用当前帧中已经重构的块的像素进行帧内预 测。p 宏块利用前面已经重构参考帧的块像素进行帧间预测。b 宏块利用双向的 参考图像进行帧间预测。 片组是一个编码图像中若干m b 的一个子集，它可以包含一个或者若干个 片。在一个片组中，每片的m b 按光栅扫描次序进行编码，如果每幅图像仅取一 个片组，则该图像中所有的宏块按照光栅次序编码。 还有一种片组叫做灵活宏块次序( f m o ) ，它可以用灵活的方式，把编码m b 序列映射到解码图像中。m b 的分配用她到片组之间的映射来确定，它表示每 一个m b 属于哪个片组。m b 到片组的主要映射类型如下表2 1 所示： 表2 1m b 到片组的映射类型 t a b l e2 - lt h em 印o f m bt os l i c eg r o u p 类型名称描述 0交错 船游程被依次分配给每一块组 1 散乱每一片组中的耶分散在整个图像中 2 b o x 一0 u t从帧的中心开始，产生一个箱子，其宏块属于片组0 ，其余 船属于片组1 3 光栅扫描片组0 包含按光栅扫描次序从顶一左的所有肥，其余船 属于片组l 4 手绢 片组0 包含从顶一左垂直扫描次序的腿，其余m b 属于片组 1 h 2 6 4 标准采用了与以前标准类似的编码层次结构。具体结构为： 视频序 列 图像 片 宏块 子宏块 ) ) 。与以前标准不同的是，在h 2 6 4 中取消了序 列层和图像层，并将原本属于序列和图像头部的大部分元素游离出来形成序列 和图像两级参数集，其余的部分放入片层。序列参数集( s p s ，s e q u e n c e p a r a m e t e rs e t ) 和图像参数集( p p s ，p i c t u r ep a r a m e t e rs e t ) 以异步传输，每 个片可以独立解码。而由于h 2 6 4 采用了树状运动补偿，因此，宏块可以继续 划分为子宏块。视频序列层以s p s 语法开始，序列由多个图像数据组成。s p s 包含了视频序列的数集标识、档次、等级、参考图像数量、图像尺寸等信息。 每个序列中的图像都使用同个s p s 的参数。根据情况，编码器也可以在一个序 列范围内启用新的s p s 。图像层以p p s 法开始，图像数据由多个片数据组成。 p p s 包括了s p s 标识、p p s 标识、熵编码模式、图像初始量化参数等信息。每幅 图像的编码过程都使用同一个p p s 的参数。片层是以片头语法开始，片数据由 北京工业大学工学硕十学位论文 多个宏块数据组成。片头包括片的起始宏块号、类型、即s 标识、图像号等信 息。根据传输的需要，片有时候被组织成片组来提高码流的抗差错能力。 2 5h 2 6 4 标准的编解码器结构 同以往的视频编码标准一样，h 2 6 4 也只规定了一个已编码的视频比特流 的句法和该比特流的解码方法，并没有规定编解码器的具体实现，整体结构上 采用的仍是变换和预测的混合编码法【1 1 1 。如图2 2 所示，该图展示了h 2 6 4 的 编码框架图。 图2 - 2h 2 “编码器 f i g u 陀2 - 2e n c o d e ro f h 2 6 4 在图2 2 中，e 为当前编码图像，帧间预测值是由前面已重构图像f 。作 为参考图像，经过运动估计后得出的；帧内预测值是由当前块根据该块所在图 像已重构块进行预测得到的。预测值和当前块相减后，产生一个残差块见，经 块变换、量化后产生一组量化后的变换系数x ，再经熵编码，与解码所需的一 些信息( 如预测模式、量化参数、运动矢量等) 一起组成一个压缩后的码流，经 n a l 层进行传输或存储。另外，残差图像经反量化、反变换后得到的见与预测 值相加，得到的订。再经过环路滤波器处理作为参考帧。 图2 3h 2 “解码器 f i g u r 2 3d e c o d e ro fh 2 6 4 编码器的n a l 层输出一个压缩后的h 2 6 4 压缩比特流。如图2 3 所示，经 熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到残差见。解 第2 章h 2 6 4 视频编解码标准 码器通过相同的方法得到和编码器同样的预测块，与残差q 相加生成订。，再 经滤波后就是最后的解码输出图像。 2 6 变换和量化 变换编码不直接对空间域图像数据进行编码，而是将原始数据变换到另一 个更为紧凑的表示空间，变换后能够将原始信号的能量集中到那些包含图像主 要信息的系数上，再对系数进行量化和编码。变换系数通常可以通过逆变换恢 复成原始图像信号，主要内容损失较小。不重要的系数就被量化过程去除，因 而比直接对图像数据本身进行压缩更容易获得更高的编码效率。 d c t 是现在大多数图像视频编码的首选方法，但是由于d c t 变换核中的元 素是无理数，这意味着在做d c l 变换时需要进行浮点运算。对于向量x ，做d c t 变换及反变换后，并不能够保证对于所有的x ( n ) 变换及反变换后的结果y ( n ) 都能满足x ( n ) = y ( n ) 。因此，利用有限精度的浮点d c l 实现变换编码只能是有 损的编码。这在一些特定的场合是不允许的，例如医学图像、遥感成像等。为 了消除d c t 的不利因素，h 2 6 4 采用了基于4 4 子块的整数变换算法【4 1 。由于 是整数到整数的变换，因而不存在反变换的误匹配问题。同时整数运算速度比 浮点运算有大幅度的提高，在变换时只使用加法和移位运算，而无须使用乘法 运算。使用这种算法做变换和反变换同样是完全可逆的，不存在误匹配问题。 二维n n 图像块的d c t 变换和逆变换过程如公式( 2 1 ) ( 2 2 ) 所示： 匕。：c 。e 岁箩z ，c o s 堡丛旦竺c o s 堡兰! 坦 ( 2 一1 ) y 朋= q g 荟丢c 。s 警c 。s 警 2 。) 扣o ，= o j x ，：笋字c 。e 匕j o s ! 兰旦尘竺c o s 垦生堕丝 ( 2 2 ) 2 善丢c m g c 。s 警c 。s 警 ( 2 2 ) 在上述公式中是残差块x 中第i 行第j 列处的残差值，是变换结果 矩阵y 相应频率点上的d c t 系数。矩阵表示如公式( 2 3 ) ( 2 4 ) 所示 l ，= 允拗r ( 2 3 ) x = 彳r 喇 ( 2 4 ) 其中，变换矩阵a 中的系数： a i ；：c ；c o s 绁 ( 2 5 ) 2 h 2 6 4 中4 4d c t 变换矩阵a 为： 北京工业大学t 学硕士学位论文 彳= 口口口口 6cc6 口一口一口口 c一66 一c 鼽口号6 = 肛c c = 扣c 争 由于a 中的a ，b ，c 是实数，而图像块x 中的元素是整数，对于实数的d c t ， 由于在解码端的浮点运算精度问题会引起解码后的数据的适配，所以h 2 6 4 对 4 4 的d c t 变换中的a 进行了改造，采用整数d c t 技术。如公式( 2 6 ) 所示 】，= ( 伽r ) 0 e 1lll1r 111d 、la 2 口6 口2 口6 口66 2 口66 2( 2 6 ) 2 l 【- 三三：二；! d x i 计l 1 0 l1 一d 一1 1 ii 口2口6 口2口6 l - l 一1 l d j j口66 2 口66 2 其中0 表示( a 阳7 ) 中散7 中对应位置的元素的运算。，、o 、一，h 1 不影响视觉效果自】前提下明显 ；： ，炉加l j 怕 日n 一m m i y 1，o 一7 、 其中，y 为输入样本点编码，为量化步长，f q 为y 的量化值，阳“以o 为量化函数。h 2 6 4 采用分级量化器，支持5 2 个量化步长，用量化参数 q p ( q u a n t i z a t i o np a r a i i l e t e r ) 来索引量化步长。q 咖和q p 的关系如表2 2 所示。 由表可知q p 每增加6 ，q 姗增加一倍。 表2 2h 2 6 4 中编码器的量化步长 1 a b l e2 2q u 卸t i t a t e ds t e p sf o r t h ee n c o d e ro fh 2 6 4 q p 0l234 5 678 q s t e p 0 6 2 5o 6 8 7 50 8 1 2 50 8 7 5l1 1 2 51 2 51 3 7 51 6 2 5 q p 1 81 92 02 l2 22 32 42 52 6 q s t e p 55 56 5789 1 0l l 1 3 1 0 第2 章h 2 6 4 视频编解码标准 2 7 熵编码和去方块滤波 根据信息论的原理，数据压缩的理论极限是信息熵，能够保存信息熵的编 码称为熵编码。熵编码是根据信源的概率分布特性进行的无损数据压缩编码。 h 2 6 4 包括两种熵编码【1 2 1 3 j ： ( 1 ) c a b a c ：基于上下文的自适应二进制算数编码 ( 2 ) v l c ：变长编码 h 2 6 4 的基本档次规定：当e n t r o p y c o d i n g - m o d e 为0 时，残差数据用上 下文自适应可变长编码( c a v l c ) ，其他变长编码单元用指数哥伦布编码。c a v l c 用于亮度和色度残差数据的编码，利用相邻已编码符号所提供的相关性，为所 要编码的符号选择合适的上下文模型。利用合适的上下文模型，就可以大大降 低符号间的冗余度。 h 2 6 4 的主要档次采用了c a b a c 。不但充分发挥了算术编码压缩效率高的特 点，而且其基于上下文的特点使它可以充分利用不同视频流的统计特性和符号 间的相关性，自适应的调整不同符号出现的概率统计。因此c a b a c 的编码效率 非常高，输出码字的信息量可以逼近符号的熵率。 图2 - 4 c a b a c 原理不葸图 f i g u i e2 _ 4s c h e m a t i cd i a 粤。a m0 fc a b a c 图2 4 描述了c a b a c 的编码原理。首先根据不同的编码元素，如：宏块的 类型、运动向量、预先定义上下文概率模型。对于当前待编码的符号，根据其 符号的类型以及相邻块中的对应符号来确定上下文模型。确定模型后，需要将 待编码符号映射成为二进制符号串，即进行二值化。然后对二值化后的符号进 行编码，将待编码符号表示为某个概率区间中的一个小数间隔。随着编码符号 的增加，概率区间也会不断缩小。 由于h 2 6 4 采用了4 4 整数的d c t 变化，变换后在块边界处都存在着固有 的不连续性，因此可能产生幅度差异，也就是方块效应。为了去除块效应引入 了去方块滤波技术，去方块滤波技术不仅具有改善重构图像的主观质量的作用， 而且滤波后的宏块在编码器中被用于将来帧的运动补偿预测，使得预测后的残 差较小，避免边界效应的累积。去方块滤波的主要技术是环路滤波技术，在编 码器中，滤波后的视频帧作为后续编码帧的参考帧。在解码器中，滤波后的图 像输出显示。 北京工业大学工学硕上学位论文 2 8 差错控制技术 h 2 6 4 采用了许多先进的视频编解码技术，在提高编码效率的同时，视频 码流对传输错误非常敏感，少量的比特错误可能会使图像的质量明显下降。为 了解决这一个问题，h 2 6 4 采用了一些差错控制技术。常用的方法有以下几种： ( 1 ) 图像分割：把一帧图像分成互不干涉的区域，如分成片、宏块或者组等。 ( 2 ) 采用帧内编码和数据分割等技术。i d r 帧出现后，所有的参考帧都被标 记为不用作参考帧，以后需要编码的帧不会利用i d r 前的帧作为参考帧，阻止 了错误预测的继续扩散。 ( 3 ) 参数集、冗余片、灵活宏块排序( f m o ) 技术的应用。冗余片技术即在某 些应用环境中可以根据需要在码流中添加同一个宏块的一个或多个冗余表示。 冗余片技术对同一宏块使用不同的编码参数进行编码，从而形成对同一宏块的 不同表示。而每种表示都可以独立解码，为了保证解码图像具有较好的效果， 对主冗余片可以采用较小的q p 来编码，对次要的冗余片采用较大的q p 来编码。 在解码端，如果接受了正确的冗余片，则使用主冗余片丢弃其余的冗余片。但 是如果在传输过程中主冗余片丢失不可用，则可以采用其他正确接收的冗余片 进行恢复。 2 9 本章小结 本章主要介绍了视频h 2 6 4 视频编解码标准，包括h 2 6 4 标准的体系结 构、档次和级别、应用领域、码流结构、编解码器机构、变换和量化、熵编码 和去方块滤波和差错控制技术。 第3 章h 2 6 4 快速帧内预测算法 第3 章h 2 6 4 快速帧内预测算法 3 1h 2 6 4 a v c 帧内预测技术 帧内预测是h 2 6 4 标准中的重要组成部分，帧内预测主要是去除视频帧中像 素的空间相关性【1 4 1 。像素块进行编码时，利用该块周围已经重构块的像素对其进 行预测。 h 2 6 4 中亮度分量帧内预测主要有两种预测策略：亮度4 4 预测和亮度1 6 x1 6 预测。色度分量帧内预测主要有一种策略：色度8 8 预测。 3 1 1 亮度4 4 预测 如图3 一l 所示，像素a - 一p 所组成的块为一个4 4 待预测的亮度块。该块上 方和左方像素a q 为己重构像素，用作预测参考像素。 q abcdefgh i j k l 图3 1 亮度4 4 块帧内预测 f i g u r e3 一ll u m ai n t mp r e d i c t i o nf o rh 2 6 4 亮度4 4 预测主要包括9 种预测模式：模式o ( 垂直) ，模式1 ( 水平) ，模 式2 ( d c ) ，模式3 ( 下左对角线) ，模式4 ( 下右对角线) ，模式5 ( 右垂直) ，模 式6 ( 下水平) ，模式7 ( 左垂直) ，模式8 ( 上水平) 。图3 2 为各种预测模式的 预测方向。 0 f v 口a 口ni 蜥m 叫2 m c l 旷匿 留酽酽 旷蘑 图3 - 2 亮度4 4 块的9 种预测模式 f i g u r