（信号与信息处理专业论文）基于bf533的h264解码和去方块滤波的实现与优化.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 h 2 6 4 是i t u t 的视频编码专家组和i s o i e c 的活动图像专家组联合成立的联合视 频组j v t ( j o i n tv i d e ot e a m ) 共同制定的视频编码新标准。到目前为止，h 2 6 4 标准 定义了四个档次，其中基本档次( b a s e l i n ep r o f i l e ) 是应用最为广泛的一个档次，主 要应用于可视电话、视频会议和多媒体通信等场合。h 2 6 4 算法非常复杂，实现视频 序列的实时编解码器的难度通常很大。本论文工作主要是以j m 代码为参考，在d s p 平 台上实时实现h 2 6 4 的解码器。 本文首先分析介绍了h 2 6 4 所采用的新的编码技术，尤其是和解码有关的部分， 分析介绍了a d s p b f 5 3 3 芯片及其开发平台的应用方法。然后对h 2 6 4 参考模型j m 8 6 进行分析和研究，重新改写并在b f 5 3 3 平台上实现了h 2 6 4b a s e l i n ep r o f i l ed e c o d e r 的算法，并对h 2 6 4 解码器进行系统优化和模块优化。同时，在d s p 上实现了h 2 6 4 的去方块滤波算法，并进行了优化。最后，给出了优化的结果，并对结果进行对比和 分析。 本文的h 2 6 4 解码器在d s p 的优化结果较为理想，在a d s p b f 5 3 3e z k i tl i t e 开发板卡上进行测试数据表明，在输出码率在3 8 4 5 1 2 k b p s 的情况下，该解码器达到 了对c i f 序列每秒3 0 帧的实时解码效果。优化后的去方块滤波算法的复杂度比优化 前降低了七倍。 关键词：h 2 6 4 视频解码器去方块滤波b f 5 3 3 南京邮电大学硕士研究生学位论文 摘要 a b s t r a c t h 2 6 4i st h en e w e s tv i d e oc o d i n gs t a n d a r dd e v e l o p e dj o i n t l yb yt h ei t u tv i d e o c o d i n ge x p e r t sg r o u pa n dt h ei s o 1 e cm o v i n gp i c t u r ee x p e r t sg r o u p f o u rp r o f i l e s o ft h eh 2 6 4s t a n d a r di sd e f i n e d u pt o n o w t h ea i mo fb a s e l i n e p r o f i l e i s m i n i m i z a t i o no f c o m p u t i n gc o m p l e x i t y ，a n dt h eb a s e l i n ep r o f i l ew h i c hi sw i d e l yu s e d c a nb eu s e df o rv i d e ot e l e p h o n ea n dc o n f e r e n c ew i t h o u tp m e m t h eh 2 6 4a l g o r i t h mi s v e r yc o m p l i c a t e d ，a n di t sv e r yd i f f i c u l tt or e a l i z et h e r e a l - t i m ec o d e cf o rv i d e o s e q u e n c e t h em a i nw o r ko ft h ep a p e ri si m p l e m e n t a t i o na n do p t i m i z a t i o no fh 2 6 4 b a s e l i n ep r o f i l ed e c o d e rb a s e do nj m 8 6m o d e lo v e rt h eb f 5 3 3 p l a t f o r m f i r s t l y , t h i sp a p e rs u m m a r i l yp r e s e n ta no v e r v i e wo ft h et e c h n i c a lf e m u r e so f h 2 6 4 ，e s p e c i a l l yt h ep a r t so ft h ed e c o d e r t h e nt h ep a p e rg i v ea n a l y s i so ft h ej m 8 6 a n db f 5 3 3 t h eh 2 6 4b a s e l i n ep r o f i l ed e c o d e ra l g o r i t h mb a s e do nj m 8 6i sm o d i f i e d a n do p t i m i z e do v e rt h eb f 5 3 3p l a t f o r m t h e r ea r et w om e t h o d s ：i m p r o v e m e n to f d e c o d e ra l g o r i t h ma n dm o d i f i c a t i o no fp r o g r a mc o d e m e a n w h i l e ，t h ed e b l o c k i n gf i l t e r a l g o r i t h mi sr e a l i z e da n do p t i m i z e db a s e do nb f 5 3 3 f i n a l l yr e s u l ta n da n a l y s i sw i l l b eg i v e n t h et e s tr e s u l t sb a s e do nt h ea d s p b f 5 3 3e z k i tl i t ed e m o n s t r a t et h a tt h e d e c o d e rf o rc i fs e q u e n c e sc a nw o r ku n d e rr e a l t i m ec o n d i t i o n sw h i l em a i n t a i n i n gb i t r a t ef r o m3 8 4 k b p st o5 1 2 k b p s t h ec o m p l e x i t yo ft h ed e b l o c k i n gf i l t e ra l g o r i t h mi s r e d u c e db y6 7 k e yw o r d s ：h 2 6 4 v i d e od e c o d e r d e b l o c k i n g f i l t e r b f 5 3 3 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向：图像处理与多媒体通信 作 - g ：j 塑堕级研究生 吴启宗指导教师筮菱昌 题目：基于b f 5 3 3 的h 2 6 4 解码和去方块滤波的实现与 优化 英文题目：t h ei m p l e m e n t a t i o na n do p t i m i z a t i o no fh 2 6 4 d e c o d e ra n dd e b l o c k i n gf i l t e rb a s e do nb f 5 3 3d s p 主题词：h 2 6 4视频解码器去方块滤波b f 5 3 3 k e y w o r d s ：h 2 6 4v i d e od e c o d e r d e b l o c k i n g f i l t e r b f 5 3 3 南京邮电大学学位论文独创性声明 飞8 s 0 15 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文巾特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志列本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：鬈垂象f _ _ f 期：浏：生：墨 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生始盈蛊_ 导师鼢耸疆吼纽皑曲 南京邮l u 人学坝j j 柳 究生学位论文n q 高 前言 近年来，随着因特网在全球范围的日益普及，移动通信的迅猛发展，网络传输 以及各种新兴多媒体业务的出现，如视频会议、可视电话、高清晰度电视、视频点播、 视频检索、数字图书馆、远程医疗以及视频监控等，都向视频编解码技术提出了许多 新的要求。视频编解码的研究已从面向存储转为面向传输，除了传统的良好压缩性能 与重建质量外，实现多分辨率编码、嵌入式编码及抗误码传输，从而能在无线移动环 境向用户提供个性化的服务。视频编解码技术已经成为当今信息科学与技术的研究热 点。 为此，l t u t 和i s 0 先后制定了h 2 6 l 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、m p e g 一1 、 m p e g 一2 、m p e g ，4 等一系列视频压缩编码标准，基本上解决了中高码率信道上图像 存储和传输的要求。2 0 0 1 年】t u t 和i s o i e c 成立了联合视频工作组，共同制定了 最新的国际视频压缩标准i t 2 6 4 ，同时也是m p e g 一4v i s u a lp a r t1 0 ，该标准有效地提 高了视频压缩效率。 到目前为止，h 2 6 4 标准定义了四个档次，其中基本档次( b a s e l i n ep r o f i l e ) 的 目标是使编解码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁棒性和灵 活性，主要应用于可视电话、视频会议和无线通信等。 i i 2 6 4 算法非常复杂，如何有效地实现 l2 6 4 等图像压缩标准是多媒体通信中 面临的主要难题之一。在现有的视频编解码系统中，人们一般采用三种方式来实现压 缩算法：其一是用纯硬件方式来实现图像的编码解码，即采用专用芯片束完成。此种 方式实现的编解码系统实时性好，压缩率高且图像质量好，但是一旦编解码方案固定 就无法对其进行升级与更新，并且系统成本很高，难以在市场上推广；其二是用纯软 件方式如在通用的p c 机上实现编解码算法，此方案实现灵活，算法易更新升级，缺 点是很多场合不适合使用眦机作为编解码平台，所以使用范围较为局限；其三是基 于通用视频d s p 芯片的软件实现，此方案充分利用了d s i ，的高速信号处理功能，使用 软件实现的算法在d s p 上运行时，执行时间较短并可以获得较高的压缩性能，功耗较 小，同时方案易于升级更新。 d i 公司的b l a c k f i n 系列d s i ，结合了双m a c 、正交r i s c 微处理指令集和动念电 源管理部件，用以实现对处理器电压和频率的实时调整，从而使得d s i 的功率消耗和 南京邮l 也人学坝l 。训究生学位论文前言 处理性能的实时性达到最优，非常适合应用于实时视频编解码器，尤其是对功耗要求 严格的无线视频处理的应用场合。a d s p b f 5 3 3 是其中的一款高性能的处理芯片，本 文选择该芯片作为i i 2 6 i 解码器的开发平台。 本文主要工作如下： 1 ) 深入研究h 2 6 4 标准，对h 2 6 4 标准中采用的新的编解码技术进行总结和分 析。 2 ) 对h 2 6 4 参考模型j m 8 6 进行分析和研究，针对a d s i 。1 j f 5 3 3 特点，重新改写 出h 2 6 4b a s e l i n ep r o f i l ed e c o d e r 的算法。 3 ) 理解a d s pb f 5 3 3 芯片系统结构，在b f 5 3 3 平台上实现h 2 6 4b a s e l i n ep r o f i l e d e c o d e r 的算法，对h 2 6 4b a s e l i n ep r o f i l ed e c o d e r 进行系统优化和模块优化，提高了 解码速度，实现了对c i f ( 3 5 2 2 8 8 ) 图像序列的实时解码。 4 ) 在a d s i 。b f 5 3 3 平台上实现了h ，2 6 4b a s e l i n ep r o f i l ed e c o d e r 的去方块滤波模 块，并进行了模块优化，提高了去方块滤波算法的速度。 论文共分六章，各章的内容安排如下： 第一章，视频编码及2 6 4 标准，介绍视频编码技术的基本原理和方法，视频编 码的国际标准和h 2 6 4 标准关键技术； 第二章，a d s p b f 5 3 3 芯片及其开发环境，分析了a d s p b f 5 3 3 结构特点、指令 特点以及v i s u a ld s p + + 开发环境； 第三章，h 2 6 4 解码器的实现和优化，介绍了基于a d s p b f 5 3 3 的h 2 6 4b a s e l i n e p r o f i l e 解码器的实现和优化： 第四章，去方块滤波的实现与优化，介绍了h 2 6 4 中的去方块滤波技术以及算法 的优化； 第五章，实验测试数据和分析，给出h 2 6 4 解码器以及去方块滤波算法在 a d s p b f 5 3 3 上的优化结果，并与优化之前的性能进行分析比较。 第六章，总结和展望，总结了本文所做工作，并探讨了本课题进一步研究的方向。 南京邮l u 人学付! 上研究生学位论文第一章秕频编自马及i i 拍l 枷；准 第一章视频编码及h 2 6 4 标准 当今时代，随着信息技术和计算机互联网的飞速发展，多媒体信息已成为人类获 取信息的最主要载体，同时也成为电子信息领域技术研究和丌发的热点。众所周知， 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位；同时视 频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因 素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术 领域的热门话题。 近年来，视频压缩技术的进展已经进入多媒体革命的前沿，随着计算机和电子通 信技术的飞速发展，人们己从单一媒体通信时代跨入了多媒体通信时代。当日口如何有 效的压缩多媒体信息特别是视频信息使其在网络上实时传输是极富挑战性的前沿课 题。应用的需求极大推动着图像压缩编码向更深的方面发展，为了不同的应用需求， 出现了多种视频压缩标准，而且在不断的更新和补充。 1 1 视频编码的基本原理和方法n 1 图像压缩编码是图像通信、数字电视、多媒体技术等发展信息高速公路的核心技 术之一。自从l9 4 8 年0 l i v e f 就提出线性p c m 编码理论以来，图像压缩编码 技术得到了迅速的发展和广泛的应用，并日臻成熟。 1 1 1 视频编码的基本原理 图像压缩编码就是要以尽量少的比特数表征图像，同时保持复原图像的质量，使 之符合特定应j i j 场合的要求。图像的数据量因其非常庞大难以传输与存储，极大地制 约了图像通信的发展。所以进行图像的压缩编码是势在必行的。 图像压缩编码通常有两个基本原理。一是利用图像信号的统计性质，即图像在相 邻像素间、相邻行间及相邻帧间均存在较强的相关性，因此可以依据信息论中信息编 码的原理，去除冗余度；二是利用人眼的视觉特性来实现图像压缩。们对高频率的信 号成分的视感度低，故在一定程度上压缩高频成分并无太大影响。色度信号的视感度 低于亮度信号，故可对色度信号频带在行及帧方向进行压缩。 南京邮i u 人学坝】二研究生学位论义第一章姚频编码鼓2 6 1 标准 通过充分利用图像本身固有的统计特征和人眼的视觉特征，从空问域、频率域、 时阳j 域三个途径来减少图像信息的冗余度并获得满意的主观质量，其基本原理框图如 图1 1 所示。 量化后 图l 。l 图像压缩编码的基本原理 映射变换的目的是要通过变换改变图像数据特性，使其更有利于进行压缩，即可 去除图像空阳j 域、频率域和时间域的冗余度。映射变换实现了对图像信号的恰当表征， 但是要完成压缩，即用有限数目的比特数来表示变换后的数据，还需要进行量化，而 量化必然引入误差。人眼的视觉特性允许重建的图像有一定的失真，但仍能保持所需 的图像质量。量化正是根据这一特性实现对变换后数据的有限比特表示，即去除了图 像的视觉冗余度。量化后的数据还需经过二进制编码最终生成码字输出，即对每个量 化级应该指定一个专门的码字，其目的是去除符号冗余度。 1 1 2 视频编码的主要方法 前面提到图像压缩编码的基本原理主要分成三个部分：映射变换、 量化器和编码器。下面分别是这三个部分的主要编码方法： 1 映射变换部分的编码方法有： 1 ) 预测编码：又称d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，它可分为帧内 预测和帧问预测两种。帧问预测，特别是已广泛采用运动补偿技术的帧间预测，对于 序列图像编码效果非常理想，且简单易于实现。 2 ) 变换编码：对变换域中的变换系数进行量化编码。如f o u r i e r 变换、离散余弦 变换( d c t ) 、k l 变换、子带编码以及近几年发展起来的小波编码均属于变换编码。 d c t 由于其性能接近k a r h u n e n l e o v e 变换( k l t ) 且具有快速算法而得到广泛使用， 在几个国际标准都得到采纳。 3 ) 模型编码：先对原始图像建立模型，然后求出模型参数并对模型参数进行量 南京邮i u 人学硕卜研究生学位论文 第一章视频编码发1 1 2 6 l 怀准 化编码。利用模型编码可以大大提高压缩比，是图像编码中颇具发展前景的方法。 4 ) 分形编码：利用图像中存在的分析特征，即图像中存在的自相似性来进行图 像表征。 2 量化部分的编码方法有： i ) 标量量化：标量量化是对映射变换后的数据逐个进行量化。 2 ) 矢量量化：矢量量化则是将数据成组地进行量化。矢量量化是根据s h a n n o n 率失真理论而提出来的一种量化方法。在理论上，即使是对于无记忆信源，该方法也 总是优于标量量化。 3 编码器部分的编码方法有： 1 ) h u f f m a n 编码：该编码属于可变长编码。在可变长编码中，对于出现概率大 的信息符号编短码字，对于出现概率小的信息符号编长码字。如果码字长短严格按照 符号概率大小的相反顺序，则平均码字长度一定小于按照任何其他符号顺序排列方式 得到的码字长度。h u f f m a n 编码正是基于这种思想进行编码的，因此是可变长编码中 的最佳方法，其平均码长接近于信源的熵。 2 ) 游程编码( r u n l e n g t hc o d i n g ) 像素的联合出现概率是表征给定图像的结 构相关性的重要指标。由此，可通过统计相同灰度像素段长度，称为一个游程，结合 该灰度值即可表征该像素段，这就是游程编码。由于其充分利用段像素本身相关性， 从而减少了所需比特数，达到压缩编码目的。 3 ) 算术编码：算术编码与h u f f m a n 编码在统计模型之间有一个很大的区别是算 术编码中使用了条件概率。算术编码总是能给出较好的压缩性能，同时还具有一阶自 适应编码的优点。它的编码效率要比h u f f m a n 编码的效率高，平均节省1 0 的字节， 但是h u f f m a n 编码相对容易硬件实现。 1 2 视频编码的主要标准 2 0 世纪8 0 年代中后期以来，视频编码技术得到了飞速的发展和广泛的应用，并 且日臻成熟，其标志就是几个关于图像编码的国际标准的制定，即国际电信联盟电信 标准化部门( i t u t ) 关于电视电话会议电视的视频编码标准j l2 6 l 、t 1 2 6 3 、i i 2 6 3 + 、 1 1 2 6 3 + + 、i t 2 6 4 ，以及国际标准化组织( i s o ) 和国际电工委员会( i e c ) 中的运动 图像专家组( m p e g ) 制定的关于活动图像的编码标准m p e g l 、m p e g 一2 和m p e g 一4 南京邮电人学瑚：l - 自i f 究生学位论文 第一章视频编g 及i 2 f i i 标准 等。这些标准融合了各种性能优良的编码技术，代表了图像视频压缩编码技术的发 展水平。视频编码标准的发展历程如图卜2 所示。 i t u t h 2 6 ih 2 6 l h 2 6 3h 2 6 3 +h 2 6 3 + 十 标准，v o r a i n nn 肛r r ；n f l i 丁u t ， h 2 6 2 h 2 6 4 m p e g m p f f i ， m p e n - 4a v r 标准 m p f n 4 m p e gm p e g 1m p e g 4pr v e r s i o n2 、 标准 r v o r m n n1 、 1 ii 9 8 81 9 9 0 1 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 图i 一2 视频编码标准发展历程 1 2 1i s o i e c 编码标准 1 ) m p e g 一1 标准1 2 i m p e g 一1 标准制定于1 9 9 2 年，标准编号 s o i e c l1 1 7 2 ，主要针对1 5 m b p s 以下 数据传输率的数字存储媒质运动图像及其伴音编码的国际标准，它用于在c d r o m 上存储同步和彩色运动视频信号码率为1 5 m b s 。该标准包括m p e g 一1 视频、音频和 系统三部分。 2 ) m p e g 2 标准1 3 i m p e g 2 标准制定于1 9 9 4 年，标准编号i s o i e c l 3 8 1 8 ，浚标准最初的目的是在 与m p e g 一1 兼容的基础上实现低码率和多声道扩展，后来为了适应演播电视的要求丌 始致力于定义一个可以获得更高质量的多声道音频标准。 3 ) m p e g 4 标准1 4 l m p e g 一4 标准于1 9 9 9 年1 月正式颁布，标准编号i s o i e c l 4 4 9 6 。后来又出现了 第二版和第三版。由于具有基于内容的编码方法及灵活的组合结构，并采用了工具箱 南京邮i 匕人学坝l 研究生学位论文第一章视频编“q 发i i2 ( i 1 标准 的方法，m p e g 4 能支持各种各样的新功能，因此应用前景广阔。 1 2 2i t u t 编码标准 1 ) h 2 6 1 标准1 5 i i t u t 于1 9 9 0 年公布的h 2 6 1 标准，即“p 6 4 k b s 视听业务的视频编码器( p = 1 3 0 ) ”，具有覆盖整个i s d n ( 综合业务数字网) 基群信道的功能，适用于会话 业务的活动图像编码，广泛应用于会议电视和可视电话。 2 ) h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 标准1 6 l i t u t 于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，其技术核心仍为 混合编码方法，但借鉴了m p e g 2 中的半像素运动估计和运动补偿技术及双向预测技 术，可实现比h 2 6 l 更高的压缩比，从而用于实现低于6 4 k b s 的视频压缩编码。1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它提供了1 2 个新的可选 择模式，进一步提高了压缩编码性能。2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，对h 2 6 3 又做了一些新的扩展，增加了一些新的可选技术，从而更加适应于各种网络环境，并 增强差错恢复的能力。 3 ) h 2 6 4 标准i 7 l t t 2 6 4 标准是由i t u t 的v c e g ( v i d e oc o d i n ge x p e l sg r o u p ) 和i s o i e c 的 m p e g ( m o t i o np i c t u r ee x p e l sg r o u p ) 联合成立的“联合视频组”j v t ( j o i n tv i d e o t e a m ) 共同制定的新一代视频编码新标准，2 0 0 3 年： 月，公布标准的最终草案，称作 h 2 6 4 a v c 或m p e g 4v i s u a lp a r t1 0 。h 2 6 4 t 提供l e m p e g 一4 和h 2 6 3 标准更高的压 缩性能，使图像的数据量减少5 0 ；对网络传输具有更好的支持，引入面向数据包编 码，有利于将数据打包在网络中传输；具有较强的抗误码特性，以适应在噪声干扰大、 丢包率高的无线信道中传输；对不同应用的时延要求具有灵活的适应性；编码和解码 复杂度具有可扩展性。 1 2 3a 7 5 编码标准1 8 在数字化音视频产业中，音视频编码压缩技术是整个产业依赖的共性技术，是音 视频产业进入数字时代的关键技术，因而成为近2 0 年来数字电视以及整个数字音视 南京邮f u 人学坝 。 i j | = 究生学位论文 第一章视频编码及i i 2 6 i 标准 频领域国际竞争的热点。直接面向产业的数字音视频编码标准( 国际上主要是i s o 制 定的m ) e ( 1 标准) 更是热点中的焦点。正是因为其极端重要性，国际上很多企业纷纷将 自己的专利技术纳入国际标准，也有部分企业借此而提出了越来越苛刻的专利收费条 款。比专利费问题更为严重的是，标准作为产业链的最上游，将直接影响芯片、软件、 整机和媒体文化产业运营等整个产业链条。 我国政府、产业、科研等领域数年 就已注意到这个问题。2 0 0 2 年6 月，在信 息产业部支持下，成立了“数字音视频编解码技术标准a v s ( a u d i ov i d e oc o d i n g s t m a d a nw o r k i n gg r o u po f c h i n a ) ”工作组( 简称a v s 工作组) ，从事制定具有自主知 识产权的音视频编码标准。2 0 0 3 年，国家发展和改革委员会批准了数字音视频编 解码技术标准a v s 研究开发与测试验证重大专项。在国内外上百家企业和科研单位 共同参与下，a v s 标准制定工作进展顺利，其中最重要的视频编码标准于2 0 0 5 年通 过国家广电总局测试，2 0 0 3 年1 2 月1 9 日正式发布a v s 标准草案，2 0 0 6 年1 月得到 信息产业部批准，2 月国家标准化管理委员会正式颁布，3 月1 日起实施。 目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分 ( a v s l 一p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用：a v s 第七部 分( a v s l p 7 ) ，主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。 1 3h 2 6 4 标准 h 2 6 4 视频编码标准是i t u t 的v c e g 和i s o i e c 的m p e g 联合成立的“联合视频 组”j v t 共同制定的适应于低码率的新一代的数字视频编码标准，同时是m p e g 一4 的 p a r t l 0 。h 2 6 4 标准制定的目标致力于较高的压缩性能和良好的网络友好性。h 2 6 4 标 准相比以往的视频压缩标准在性能上取得了明显的提高。 视频的各种应用必须通过各种网络传送，这要求一个好的视频方案能处理各种应 用和网络接v 1 。为解决这个问题，h 2 6 4 标准压缩系统的设计方案【28 j 包含两个层次， 视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r ka b s t r a c t i o n l a y e r ) 。视频编码层主要致力于有效地表示视频内容，包括v c l 编码器与v c l 解 码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等 压缩单元。网络抽象层( n a i ) 格式化v c l 视频表示，提供头部信息，为v c l 提供一 南京邮l 乜人学颂i j 研究生学位论文 第一章视频编g 发2 6 l 标准 个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送。 m2 6 4 的编码结构如图1 3 所示。 i视频编码层( v c l ) 托 靓宏块 数 据 _ - i数据分割 丁 、 片分割 网络提取层( n a l ) h 3 2 0h 3 2 4h 3 2 3 i ph 3 2 4 m其它 图l 一3h 2 6 4 的编码结构 1 3 1h 2 8 4 的基本编码结构 h 2 6 4 的视频编码框架也采用了和m p e g 一4 和h 2 6 3 类似的基于块的混合编码方 案( 图1 4 ) ，通过复杂的帧间预测来减少运动图像时域上的相关信息，通过对预测残 差进行d c t 变换来减少运动图像空间上的相关信息。另外，还使用多种优于以往压 缩算法的方法来提高整体的压缩性能。所以，h 2 6 4 标准的性能提升在于各个部分的 技术方案的改进及新算法的应用。 南京邮i u 人学顿士研究生学位论文 第一章视频编码及i t 2 6 i 标准 图i 4h 2 6 4 编码器框图 相比以往的视频编码标准，h 2 6 4 标准在技术上的改进主要体现在三个方面： 预测技术的改进有：帧内多模式预测、多模式运动估计、多参考帧运动补 偿、1 4 8 精度运动矢量预测、运动矢量可指出图像边界、权值预测技术( w p ) 、改进 的s k i p 和d i r e c t 参考模式及环路滤波等。 编码效率的改进有：4 4 整数变换、基于内容的自适应算术编码( c a b a c ) 和基于内容的自适应变长编码( c a v l c ) 。 灵活网络传输和容错方面：参数集合( p s s ) 、灵活宏块顺序( f m o ) 、任意片顺 序( a s o ) 、可冗余片( r s ) 、数据分割( d p ) 技术、s p s i 帧技术。 1 3 2h 2 6 4 标准的档次和级别 到目前为止，h 2 6 4 标准共定义了四个档次( p r o f i l e ) ：即基本档次( b a s e l i n e p r o f i l e ) ，主档次( m a i np r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) 。 前三个档次于2 0 0 3 年5 月推出，高档次则是2 0 0 4 年7 月新增补的。每一个档次支持 一组特定的编码功能，h 2 6 4 标准详细规定了每个档次所采用的编码工具。 南京| i i f j i u 大学倾j 二也丌究生学位论文第一章视彩 编妈技i | 2 6 l 标准 基本档次的目标是使编码复杂度最小，在大部分网络环境和条件下可以提高高度 的鲁棒性和灵活性，主要应用于可视电话、视频会议和无线通信等；主要档次更多强 调的是压缩编码效率，可以应用于广播电视和视频存储：扩展档次则将基本档次的鲁 棒性与高编码效率、网络传输的鲁棒性等结合起来，为流媒体之类的应用提供了一些 增强模式；而高档次则可以应用于数字视频广播( d v b ：d i g i t a lv i d e ob r o a d c a s t ) 、 h d d v d 等。尽管各个档次有所差别，但实际上每个档次都非常灵活，可以支持很 广泛的应用。 1 基本档次( b a s e l i n ep r o f i l e ) 基本档次支持帧内和帧间编码( 利用1 分片( s l i c e ) 和p 分片) ，熵编码采用c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，支持一些低时延容错工具，兼具一个低 复杂度有效编码工具子集。为了减少误码影响和增强误码恢复的能力，基本档次里支 持灵活的宏块组织顺序( f m o ) ，宏块可以灵活的划分为多个片组；片之问是相互独 立的可以任意的顺序( a s o ) 传输到解码端。而且在比特流中片可以使用冗余片方式 ( r s ) 传输，这在片数据出错的情况下可用来进行恢复，增强了图象传输的鲁棒性。同 时片问的相互独立性抑制了错误的空间传播，因此提高了比特流的容错性。 基本档次的使用无需版权，不必交纳专利费。 2 主要档次( m a i np r o f i l e ) 主要档次支持隔行视频，采用许多新的编码工具以尽可能提供编码效率，如b 帧和c a b a c 熵编码，但它并不支持f m o 、a s o 及r s 等技术；而且首次将权值预 测( w p ) 方法合并到视频编码标准中。在此框架内提出了适配块划分尺寸的变换( a b t ) 的概念。此概念是针对帧问编码的，其主要思想是将对预测参差进行变换编码的块尺 寸与用来进行运动补偿的块尺寸联系起来。这样就尽可能的利用最大的信号长度进行 变换编码。 3 扩展档次( e x t e n s i v ep r o f i l e ) 扩展档次不支持隔行视频和c a b a c ，但增强了可在码流问进行有效切换的模式 以及改进的误码恢复功能。其中采用的新的图片类型s p 帧用类似于p 帧运动补偿预 测编码去除时域冗余，与p 帧不同的是，s p 帧允许相似图片重建即使它们从不同参 考帧预测而来。s i 帧类似于i 帧，和s p 帧具有相同的特征。 4 高档次( h i g hp r o f i l e ) 高档次具有主档次的所有特征，但支持高于8 b i t s 样值位深( s a m p l eb i td e p t h ) 南京i i | | 5e i z 人学坝 二研究生学位论文第一章视频编码搜i i 2 6 。【标准 ( 1 0 b i t s 样值位深和1 2 b i t s 样值位深) ，还增加了8 8 的整数变换、基于感知的量化 缩放矩阵以及在视频中指定区域的无损压缩等功能。与主档次相比，高档次町以获得 更高效的压缩和更高分辨率的重建质量，但实现复杂度不会显著增加，因此，高档次 已经引起了包括美国a t s c ( a d v a n c e d t e l e v i s i o ns y s t e m c o m m i t t e e ) 在内的产业界的 极大兴趣，极有可能逐步取代主档次。 图1 5 所示的是四个档次之间的关系，以及各个档次所支持的编码工具。从图中 可以很清楚地看出，基本档次是扩展档次的一个子集，但不是主档次的子集，而主档 次则是高档次的一个子集。其中每个编码工具的具体细节将在后面介绍。 高档次 正 6i i m i _ 一m m ：互r l 堕曼：1 甬“倒t ：j ：森斤雨( 剧1 5h 2 6 4 标准各档次采用算法技术 级别( l e v e l ) 定义了编解码器的性能，每一个级别都限制了一些参数的取值范 围，这些参数包括采样率、图像尺寸、编解码比特率以及内存要求等。 1 3 3h 2 6 4 基本档次编码技术1 基本档次支持1 分片和p 分片。1 分片只包括帧内编码宏块，宏块中每个1 6 1 6 或4 4 的亮度区域以及8 8 的色度区域利用同一个分片中已编码的样值进行预测。 p 分片可以包括帧内编码宏块、帧间编码宏块或跳过( s k i p p e d ) 宏块。p 分片中的帧 问编码宏块通过一组已编码的图像进行运动预测，并具有1 4 像素精度的运动矢量。 经过预测以后，对每个宏块的残差数据进行4 4 的整数变换( 与咐r 类似) 和 南京i i l l ；l b 人学倾l 研究生学位论义第一章视频编码及i i 2 6 i 标准 量化，对量化后的变换系数进行重排后再进行熵编码。基本档次采用c a v i c 对变换系 数进行熵编码，而对其他数据则采用定长编码或指数葛洛姆变长编码进行嫡编码。量 化后的系数经过反量化、反变换、重建( 加上预测值) ，再采用去块效应滤波器对其 进行滤波( 这项功能是可选的) ，就可以将得到的重建图像存储在参考缓冲区，即解 码图像缓冲区( d i ，b ：d e c o d e dl ，icll l l 。b u i 。c r ) 中，作为后续帧内和帧1 1 日j 编码宏块 的参考帧。 l 帧间预测 帧问编码对已编码的视频帧或场进行运动补偿来建立预测模型。与h 2 6 3 相比， h 2 6 4 的主要区别在于支持多种块尺寸( 从1 6 1 6 到4 4 ) ，并具有更精细的运动矢 量精度，同时支持多考参考帧。下面将介绍基本档次所支持的帧问预测工具。在主档 次和扩展档次中，帧问预测工具还包括b 分片a n ；o n 权预测。 1 6 x 1 61 6 8 8 1 6 r r 宏块级划分 亚宏块级划分 8 88 4 4 8 4 4 图l 一6 宏块的划分 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以按图i - 6 被分为不同的子块，形 成7 种不同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动 物体的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包 含有l 、2 、4 、8 或1 6 个运动矢量。 在t f 2 6 4 的运动预测中，采用了多帧参考技术( 最多前向和后向各5 帧) ，编解 码器可以使用多于一帧的先前帧作为参考帧。多帧参考技术在帧删预测中的运用与当 前帧类型有关系，对于p 帧采用前向多帧预测；对于b 帧采用前向，后向，双向和 直接多帧预测方法，其中双向多帧预测采用了多帧加权平均算法。采用多帧参考技术 南京邮i u 人学帧t j 训f 究生学位论文 第一章视频编* 搜1 1 2 6 i 标准 后，h 2 6 4 不仅能够提高编码效率，同时也能实现更好的码流误码恢复，但需要增加 额外的时延和存储容量。 在i t 2 6 4 中支持高精度的运动矢量预测，采用插值技术支持1 4 、i 脂像素精度 的运动估计和运动补偿，采用这些技术后大大提高了图像的质量。 2 帧内预测技术 h 2 6 x 和m p e g x 系列标准中，都是采用的帧问预测的方式。在h ，2 6 4 中，引 入了帧内预测技术。帧内预测不是在时间上，而是在空间域上进行的预测编码算法， 这样可以除去相邻块之间的空日j 冗余度，可以进一步提高编码效率。 对于每个i n t r a4 4 块( 除了边缘块特殊处理以外) ，每个像素都可用1 7 个最接 近的先前已编码的像素的不同加权和( 有的权值可为o ) 来预测，即此像素所在块的 左上角的1 7 个像素。显然，这种帧内预测不是在时间上，而是在空间域上进行的预 测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩。如图2 5 所 示，4 4 方块中a 、b 、p 为1 6 个待预测的像素点，而a 、b 、p 是已编码的 像素。对i n t r a4 4 块的亮度预测有9 种预测模式，包括直流预测和8 个方向的预测 ( 图1 7 右所示) 。 m n o p efg h 彦。 霸 ， 图i 一7i n t r a _ 4 4 预洲模式 8 6 对于i n t r a _ 1 6 x 1 6 块，有四种帧内亮度预测模式：垂直、水平、直流和平面预测 模式如图1 ，8 所示： 4 南京邮 b 人学坝上研究生学位论文第一章视频编码及l i2 6 l 标准 图1 8i n t r a _ 1 6 x 1 6 预测模式 8 8 色度块的帧内预测也有四种模式，和i n t r a1 6 x 1 6 块的帧内预测模式相似， 只是模式的编号不同。这些模式是：直流( 模式o ) ，水平( 模式1 ) ，垂直( 模式2 ) 和平面( 模式3 ) 。 i i 2 6 l l 还提供了种帧内编码模式ip c m ，允许编码器直接传输图像样值而无需 进行预测和变换。在某些特殊的情况下，如图像内容异常或采用非常小的量化参数时， 这种模式可能比采用通常的帧内预测、变换量化和熵编码过程更有效率。采用i 一州m 模式可以严格限制一个编码宏块内包括的比特数，而无需考虑解码图像的质量。 3 整数变换和量化 h 2 6 4 将整幅图象分成4 4 像素块大小的块进行变换编码。其基本的编码特性 与4 4 点的二维d c t 变换相同，将这种整数变换分解为一维整数变换，先进行行变 换，再进行列变换。采用了1 6 - b i t 的整数算法，在没有损失精确度的情况下，避免了 反变换的失配问题。 h 2 6 4 标准中的变换方式主要有三种：4 x 4 残留变换，4 4 亮度直流系数变换， 2 2 色度直流系数变换。 与8 8 的d c t 变换相比，4 4 的整数变换有很多优点，一是减小了方块效应， 方块效应是由于变换编码并量化后，造成图象细节的丢失。而采用更小的4 4 点的