（信息与通信工程专业论文）h264编码算法研究.pdf

摘要 随着通信技术和玷t 锄e t 技术的发展，人们对视频的需求日益增加，这与当前 视频技术编码能力有限之间的矛盾日益突出，为了缓解这个矛盾，v c e g 和 i s 0 正c 两大国际组织在各自推出h 2 6 x 和岫e g 嚷等视频压缩编码标准之后，联 合制定了新一代也是目前最新的视频编码标准h 2 6 4 标准，它具有同类标准所无 法企及的编码优势，能支持各种网络环境中甚低码率下的高质量视频通信，但是 由于这种编码性能是以更多先进编码技术的引入为基础的，编码复杂度也急剧增 加，这大大限制了它的实际应用。降低编码复杂度同时又保持编码性能就成为该 领域的研究热点之一，这也是本文研究的初衷。 本文在对视频压缩原理和现有压缩编码标准作简要分析的基础上，比较详细 的介绍了h 2 6 4 编解码器的整体构架和编码特点，对其中的帧内预测，帧间预测， 变换量化和熵编码等模块的原理加以剖析，并在v c 平台上具体实现了h 2 6 4 的编 解码过程。之后，重点对帧间预测部分进行深入研究，分析现有相关算法的性能 和不足，针对其原因从以下两个方面作了改进：一方面，研究发现现有块匹配算 法存在搜索路径单一和搜索模板与块运动矢量分布状况适应性不强的特点，为增 强搜索的针对性和自适应性，提出了基于块运动范围进行分类，并按类分模板展 开搜索的混合型块匹配算法；另一方面，在选择帧间预测模式时，官方参考软件 j m 采用检测所有模式的“遍历”方式，尽管效果最好但是时间消耗极大，而某些 快速算法则通过只对部分预设模式进行检测的“采样”方式来加快选择速度，但 是由于选择原则过于粗糙，导致编码性能严重下降，在分析它们编码质量和编码 速度不能兼顾的原因之后，基于视频序列特征和模式之间相关性，提出了模式分 组提前判决的快速模式选择算法。通过这两个方面的优化，增强了编码的针对性， 能较多地去除编码冗余。实验表明，与目前的编码标准算法相比，本文算法在取 得同等峰值信噪比和码率的条件下，编码速度提高5 5 以上，有利于h 2 “标准 的实用化。 关键字：h 2 6 4 ，块匹配，帧间预测，率失真优化 a b s t r a c t w i mm ep r c v a l e n c eo fc o m m i | n i c a t i o na n di n t e m 眈，也er e q l l j r e m e n tf o rv i d i n f o 衄丑d o ni s 掣舳gm o 代a n dm o 托，强dt h ec o n 位l d i c d o nh m 鸭e nt h e 坞q l l i 托m 删【乜 如d 吐旧p r e s e n tc a p a b i l i 妒l i m i t e d “d e 0 锄c o d i n gt e c h o l o g y i sg e c i i n g l i t e t bs o l v e t h a 土 s t e p p i n g 撕e a c hh 粕d wu p 血eh 2 6 xa n dm p b g x 、砸e oc o m p r e s s i o n s t a n d a r ds e p a r a 士e l y ，t 1 1 cv c e g 觚di s o cj o i nt o g e 吐旧a n dm a l ( e 呻t h en e w 窖e n e 硼o ns t 锄1 d a r d h 2 6 4 也en e w e s t 、，i d e oc o m p r c s s i o ns t a n 枷t h es t 龇i d a r dh a s f h em i q u ea d v 缸t 日唔e 也缸叫p i 姗血n gt h e 也m 跚僦n go fh i g h 郇碍m i 锣v i d l l l l d e r v 耐e t yn 就即啊r m e n t s 谢也v e r y1 0 wb i tm t e b l i tb e c a u s ei ta d a p t s m en e w a d w 吐c e dt e c 1 1 m l o g 易1 h ec o m p l e x i 哆o ft h eh 2 6 4e n c o d 盯i sv e r ) rb i g h ，w h i c hm a l 【e s i 乜a p p l i c a d o nl i l n 他正f o rt h a 士，t o 地d l 瓒t h ce n c o d e rc o m p l e 虹够谢血g o o de n c o d i n g p 既f 疏a d c e i s o n e o f b eg o a l s i 丑t h e 丘e 杖w h i c b i s 也e g o a l o f 也i s p a p e f t o o ， f o u o 丽n gs i m p l ea m l y s i si b o mv i d c oc o m p r e s s i o n 蛳n c i p l ea n dc l l r r t 、，i d c o e n c o d es t ；m 出叫s ，h 2 6 4 咖h l e c o d e ri si n 姆) d l l c e d ，i n c l l | d i n g 朗c o d i n g 丘疆嗍o r l 【 c h a m 阳；s 哪m a i nm o d _ i l 壬器s u c h i n l np m d i c 如n ，妇p r e 凼晒o n ，怕m l a 虹o n ， q l l a n 矗_ t ya n da n r o p y a n dt h ee n c o d e rw a si n l p l e m e n t c do nt h e 、，i s u a lc - h t h i sp a p 盯 m a c t ea 吐i o r c “拂a r c ho nt h ei n t e rd 础c d o nm o c t i l l e ：b a s e dd n 也ec h 卸旧_ c t e ro ft h e c m r 龃ta l g 嘶t b m sa n dt b er e a s o nf b r 也e 证w e a | e s s ，血i sp a p e rp r o p o s e ds o m en e w a l 郫l r j = c b m 鹪f o l l m 码：缶g d y ，w h e b 1 0 d km a 删h i 】1 9 i tw 雒f o m l d 恤t m ea 1 9 0 商：h m s c a nn o tb ea c c o r dw i mt b ed i s 仃i b 砸o o f m o d 阻v 既血”v 豇ym u c hb e c 勰也e ya d o p t 伽bo n e 辩a r c hm a s ko rt h es h a p eo f 也em 龉l 岱，t om a l ( et h es 觏c hp r 髑sm o r e o b j e c t o r i e n t c da d 瓢l 州v e ，t h i sp a p e ri d i 舶d 丘e dt h eb l o c k 鹊c 砌nt y ：p eb a s o do nt h e m o 廿o n 髓a ，a n dt b e n 卸p l yr e l e v 越ts e 缴hm a s kt o 鸵眦h 丘n e s e c o n d l y ，i n 也e p r o c e s s i n go f 也e l e c t i o no fm a c r ob l o c kp 蒯o n 如o d e s ，j mr e f 黜c es o f t w 躺 d b e c ka l lt h em o d e s 锄ds e l e c t 也eb e s to n e s om a k ct i m ec o n 翱脚d o nt 0 0n h l c hw h 丑e s 涨o t h 盯a 1 9 0 r i t h 晒m a l t h es e l 硎o np i d c e s s i n gf h s t e rb yo n l yc h e c ks o m e “船m p l e ”m o d e s ，觚db g u s ei ti sc o a r ，t h ec n c o d 豇p 口f o r m a n c ci sw o r s e a f b 盯 d i s c l l s s m g t h er e a nf b rn d tm a k 血ga9 0 0 db a l a n c eb e 钾，e e nt h e 既| c o d i 】唱 p 盯f c 哪m n c 韶姐da k o d i n gc o 皿【p l e x i 饥b 硒e do n 也ed 扭均c t 盱o fv i d q u 髓c e sa n d t h er e l 撕o n s b j pb 咖e 吼t h ep 酬黼o nm o d _ c s ，t h i sp a p 盯p r o p o daf 斑a l g o 斑h mw h i c h b 勰o do nm o d e sg r 0 i 币锄d 翻d y 把皿蜥o mb y 也eq 】p 口t 、】l ，o0 l ，t i m i 刎。地，1 h en e w 牟o c 器s i 丑gg 嘲p 1 珥 s i v e 硒ds i m p l 既 t h ea ( p 四i m c n t 把s u n ss h o wt h a 土，c o m p 捌w 弛也ep s 即ts t ；m d a r da i g 耐出m s ， t h en e wa l g o i i 血m 切= o p o s e di n 也i sp a p e rc a ns a v em o 豫也a n5 5 a l c o d ed m ew i 也 a l m o s tt h e 翻m ep s n r 勰db i t 础s ot h en e wa l 曾o r i t h mi s9 0 0 df b rp l 枷c a ：u 竹o f h 2 “s c a n d a r d k e yw o r 由：2 6 4 ，b l km a t c h 蛔t e rp r e d i c t i o n ，n t e d i 5 t o r 如no p 铀j z a t i 仰 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作的 知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件 和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人 保证，毕业后结台学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：l ! 楚 指导教师签名 加巾 年弓月j 箩日 为蓝 刁年3 月，岁日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所旱交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过胸研究成果， ， 不包含本人或其他己申请学位或其他用途使用过的成果。对本文的研究饭出重要贡献的 个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：选 z 岬年宇月f 日 西北工业大学硕士学位论文第一章视频压缩概述 1 1 引言 第一章视频压缩概述 随着生活水平的日益提高，人们对视频信息和多媒体信息的需求越来越大， 要求也越来越高，同时i n t e m e t 技术和移动通信技术的深入发展使得这种需求具备 了现实实现的可能性，这使得视频技术成为当前信息研究领域的热点之一。 视频信息具有很多优点，如直观性，高效性，确切性和广泛性等，但通常视 频信息所需的数据量是很大的，要使视频技术能真正实用化，就无可避免的面临 视频压缩的问题，但是视频压缩通常会丢失一定的信息，导致视频质量的下降， 并且，通常压缩比与视频恢复质量这两个方面是矛盾地存在的，压缩比大时视频 恢复质量往往就不好，视频恢复质量好时压缩比却不大，因此，开发出具有较大 压缩比又有较好视频恢复质量的视频压缩编码技术成为视频领域的一个重要研究 目标。 为此，人们不懈努力，辛勤劳动，现在已经取得了丰富的成果。从上世纪8 0 年代初c c i t t 公布第一个视频压缩编码标准以来，r r u t 等国际标准化组织陆续 制定了近十个视频压缩编码标准，大大地推动了视频通信和数字电视广播的发展， 但是这两大领域的发展至今也未尽如人意，其原因主要在于上述矛盾未能得到很 好的解决。 i t u t ，i s o 于2 0 0 3 年3 月正式公布了h 2 6 4 视频压缩标准，该标准由于具有 比以往标准更出色的编码性能，而被称为新一代的视频压缩编码标准。比如，与 h 2 6 3 或m p e g - 4 标准相比，在同等质量下，其码率能降低一半左右，或者说是在 同等传输码率下，视频恢复质量大大改善。 1 2 视频压缩的必要性和压缩原理 信息数字化带来卓越性能的同时也带来了“信息爆炸”。比如对数字电视图像 而言，若采用s i f 格式，n t s c 制彩色，4 ：4 ：4 采样，每帧数据量为2 5 3 k b ，以 3 0 帧，秒的速度播放就需每秒数据量为7 6 0 3m b ，则一张c d r o m 就只能存储 1 2 2 6 k 帧，只能存储1 4 2 分钟的电视节目! 巨大的数据量给存储器的存储容量， 通信的信道传输率和计算机的处理速度等都提出了非常高的要求，成为多种视频 应用技术实用化历面临的主要问题之一。解决方式大致有两种：第一，扩大存储 器的容量，增加通信信道的数据传输速率和提高计算机处理速度，但是这受到硬 西北工业大学硕士学位论文第一章视频压缩概述 件本身性质的限制，能提升的性能毕竟有限，难以圆满适应需求；第二，通过数 据压缩技术来降低数据量，以压缩的形式来存储和传输数据，从根本上缓解巨大 数据量带来的问题。 视频图像本身的特点也决定了视频压缩的可能性。信源视频图像数据中各个 数据点之间不是独立存在的，它们存在很强的相关性，使得原始数据中存在巨大 的冗余量，去除这些相关性就可以减少冗余数据，从而达到压缩数据的目的。在 视频数据中冗余的存在形式有很多种，有空间冗余，时间冗余，结构冗余，视觉 冗余等，他们为视频压缩技术的应用提供了可靠的基础。基于这些冗余的特点， 人们发明了很多去除冗余，实现压缩编码的方法。 1 3 视频编码技术 现在视频编码方法主要有基于波形和基于内容两大类，下面分别加以介绍。 1 3 1 基于波形的编码 基于波形的编码方法将视频图像看作是像素的集合，试图准确表示每个像素 的颜色值，而并不考虑像素组合的内容含义。如果将像素假设为统计上独立，那 么得到的信源模型是最简单的，其对应编码技术为脉冲编码调制( ( p c m ) 。视频编 码通常不会采用这种p c m 表示，因为与其它信源模型相比其效率最低。在大多数 图像中，相邻像素具有较强的相关性，因此可利用变换来进行编码，通过变换去 除原始抽样点间的相关性，把原始信号的能量集中在几个系数上，然后对这些变 换系数进行量化和编码，如变换、离散余弦( d c t ) 或小波变换。另一种利用 相邻样点问相关性进行编码的方法是预测编码，这种方法是由已经编码样点来预 测待编码样点，由于预测误差与原始信号相比具有较小的相关性和较低的能量， 然后对预测误差进行量化和编码就能节省较多的数据量。变换编码和预测编码都 可看作是矢量量化的一种特殊情况。矢量量化一次量化一组样点块( 一个矢量) ，从 本质上说，它是寻找出现在信号中的典型块模式，并用典型模式之一来近似任何 一个块。 现有的视频编码标准h 2 6 1 ，h 2 6 3 ，m p e g 1 ，m p e g 2 和m p e g - 4 都采用基于 块的混合编码方法，它综合了预测编码和变换编码两种方法。在编码器端，以数 据块为单位进行编码，首先将每幅图像划分成固定大小的块，用邻近帧中相同尺 寸的块作为当前帧中本块的一个估计，这样由邻近帧中产生的块叫做预测图像块。 编码器用原始图像减去此预测图像，就得到预测误差图像。如果预测误差超过了 某个域值，就用变换编码将预测误差变换后传送给解码器，同时编码器还将所有 2 西北工业大学硕士学位论文第一章视频压缩概述 块的二维运动矢量传送到解码器，以便解码器能够计算出同样的预测图像，再将 预测图像与预测误差相加，从而合成解码图像。因此，基于块的混合编码是根据 块的平移运动信源模型而来的，故除了传输预测误差的变换系数外，还必须传送 运动矢量。 1 3 2 基于内容的编码 上述基于块的混合编码实际上是用固定大小的方块来近似场景中物体的形状， 则无可避免的会在物体边界处的块产生较高预测误差。这些边界块往往包含具有 不同运动的两种物体，因此用一个运动矢量并不能说明两个不同的运动。为此， 基于内容的编码将视频图像看作是各个视频对象的集合，希望能够将视频帧分成 对应于不同物体的区域，分别编码这些物体。而对于每个物体，除了运动和纹理 信息外，还必须传送其形状信息。 基于这个思想产生了不少基于内容的编码方法，它们大致可以分为几类【2 0 l 。其 中基于物体的分析与合成的内容编码通过模型来描述视频场景的每个运动物体。 为了描述物体的形状，采用分割算法。此外，还要估计每个物体的运动和纹理参 数。在最简单的情况下，以二维轮廓描述物体形状，以运动矢量场描述它的运动， 而以颜色波形描述它的纹理。此外，也可采用三维线框来描述物体，编码器用第 k 一1 帧中物体的形状和颜色以及形状和运动的更新参数来描述第k 帧中的物体。解 码器用当前运动和形状参数以及前一帧的颜色参数合成物体。而仅对那些图像合 成失败的图像区域才传送颜色信息。 如果已知视频序列中的物体种类，也可采用基于知识的编码。这种编码使用特 别设计的线框来描述己识别出的物体类型，现已开发了几种用预定义的线框来编 码人头的方法。因为预定义线框可以与物体的形状相适应，因此可以提高编码效 率。有时可把这种技术称为基于模型的编码。当已知物体的可能类型和行为时， 可采用语义编码。例如，人脸的“行为”指的是与特殊表情相关的一系列面部特 征点的时间轨迹。其可能行为包括典型面部表情，诸如高兴、悲伤、生气等。在 这种情况下，将描述物体行为的参数传送给解码器即可。这种编码方法能够达到 非常高的编码效率，因为物体( 如脸) 可能的行为数目非常小，所以说明行为所需的 比特数比用传统的运动和颜色参数描述实际行动所需的比特数少得多。但由于视 频图像的复杂性和技术的局限性，目前，得到广泛应用的仍是基于块的混合编码 方法。 西北工业大学硕士学位论文第一章视频压缩概述 1 4 国际视频压缩编码简介 为了使各种视频应用系统实现兼容，同时推进技术的市场化，各企业联盟、 标准组织和专门化标准委员会就新技术的规范化制定了一系列的标准。其中，视 频压缩标准主要有由视频编码专家组( v c e g ) ( 隶属于i t u t 组织) 制定的h 2 6 x 系列和由活动图像专家组( m p e g ) ( 隶属于i s o 组织) 制定的m p e g 系列两类， 这两类视频压缩编码标准的主要区别在于m p e g 系列着眼于视频存储、视频广播 和流媒体领域，而h 2 6 x 系列则侧重于实时视频通信( 会议电视、可视电话) 。其中， l 2 6 4 是由1 1 u t 和i s 0 两个组织共同制定的。这些标准的制定发展过程可以参 看图1 1 所示。下面对这些标准作简要的介绍： 图1 1i t u 咖e g 制定视频标准的发展过程 1 4 1m p e g 标准系列 a m p e g 1 标准 该标准于1 9 9 1 年制定，目标码率是大约1 2 m b p s ( 包括音频和视频在内 1 5 m b p s ) 的码率下生成接近s 质量的视频。可以用于视频传输或者视频存储， 如家庭v c d 的视频压缩，由于预见到大多数的多媒体内容是在c d r o m 上发布 的，因此在开发m p e g 1 时，将1 5 m b p s 作为c d r o m 播放器的访问速度，视频 格式定为s i f 。最终的标准可支持更高的速率和更大的图像尺寸。由于m p e g 1 标 准是为逐行扫描的视频而设计的，则在编码前必须将视频图像转换为逐行扫描图 像。 b 咿e g 2 标准 m p e g - 2 标准主要是因为m p e g 1 不能以广播质量有效地压缩隔行数字视频 而制定的。m p e g 2 使i t u rb t 6 0 14 ：2 ：o 格式的隔行视频具有m p e g - i 的功能， 能产生4 8 m b p s 码率的电视质量图像和l 1 5 m b p s 码率的高质量图像，因此能够 解决s d t v 或h d t v 隔行视频的高质量编码问题。码率从4 m b p s ，1 5 m b p s 。 直到l o o m b p s 不等，分别用于不同档次和不同级的视频压缩中。多用于数字广播 ( d v b ) ，家庭d v d 和高清晰度电视( 玎) t v ) 。 该标准包括系统，视频，音频和符合性( 检测和测试视音频以及系统码流) 4 4 西北工业大学硕士学位论文第一章视频压缩概述 个文件，分别对标准进行具体说明。 c m p e g _ 4 标准 m p e g - 4 标准是基于视频对象的压缩标准，于1 9 9 9 年制定，它除了定义视频 压缩编码标准外，还强调了多媒体通信的交互性和灵活性。它的制订是为了满足 能同时支持传统视频应用和新一代高度交互性多媒体应用系统的需求。这些多媒 体应用系统除高效编码外，还要求有更先进的功能，例如基于对象的交互性、内 容的可分级性和高度的差错恢复性能。 在编码实现上，m p e g - 4 标准主要包含音视频对象的编码工具和编码对象句法 语言两个部分，提供自然的和合成的音频、视频以及图形的基于对象的编码工具。 接受者可以下载用于视音频信息的语法描述，并被v l s i 技术支持。m p e g _ 4 标准 的编码基于对象，便于控制和操作，它为了支持高压缩率，基于内容交互和基于 内容分级扩展，以基于内容的方式来表示视频数据，引入a v 0 ( a u d i o v i d e oo b j e c t ) 的概念实现基于内容的表示方法。m p e g 4 通过用运动、纹理和形状参数对物体独 立地编码，使与视频对象进行基于内容的交互成为可能。一个场景是由几个视频 对象f v 0 ) 组成。一个v o 可由几个视频对象层o l ) 组成。v o l 可以表示可分级 比特流的不同层或v 0 的不同部分。v 0 l 的一个时间瞬间称为一个视频对象平面 ( v o p ) 。一个v o p 可以是任意形状的或矩形的，由其纹理变化和其形状完全描述。 视频编码器把运动、纹理和形状编码工具用于v o p ，所使用的i ，p 和b 模式类似 于m p e g 2 的编码模式。同时将m p e g 1 2 的帧内图像、预测图像以及双向预测 图像的概念扩展到v o p ，分别称为i - v o p ，p v o p 和b v o p 。m p e g 4 主要用 于可视电话和视频会议等。 1 4 2h 2 6 x 标准系列 a h 2 6 1 标准 h 2 6 1 主要是为会议电视和可视电话制定的，它支持p x 6 4 k b p s ( p = 1 ，2 ，3 ，3 0 ) 的码率，用于可视电话时，p = 2 ，用于会议电视时，建议p = 6 。h 2 6 1 采用4 ：2 ：o 采 样格式，支持q c 球( q u a r t e rc o m m o nh l t e r m e d i a t ef o m a t ，公共中间格式) 和c i f 两种图像格式。h 2 6 l 是第一个成功用于实际的数字视频标准。h 2 6 l 这种基于块 运动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基 础。 b h 2 6 3 标准 h 2 6 3 标准的基本结构基于h 2 6 1 标准，是通过对h 2 6 1 标准的改进形成的， 西北工业大学硕士学位论文第一章视频压缩概述 h 2 6 3 相对于h 2 6 1 的主要区别在于：运动估计的精度由整象素细化为半象素；对 变换系数的熵编码采用v l c ，宏块层次采用不同于h 2 6 1 的v l c 码表；编码模式 增加了无限制运动矢量模式，基于语法的算术编码模式，p b 模式和先进预测模式 这4 个可选模式。之后的h 2 6 3 + ，h 2 6 3 + + 标准则是在h 2 6 3 基础上进行总结和提 高，支持更多种的帧编码类型和图像分辨率，包含了更多的可选模式来迸一步提 高压缩效率和增强差错检测和系统的鲁棒性。 c h 2 6 4 标准 它是由i n j - t 的视频编码专家组( v e c g ) 和i s o i e c 的移动图像专家组 ( m p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。h 2 6 4 标准 的编码框架与现有的视频压缩编码框架一致，都是基于块的混合编码方法，它采 用了全新的编码技术，比如帧内预测，可变块大小的运动补偿，多参考帧预测， 1 4 像素精度的运动估计，4 x 4 整数d c t ，去方块滤波器等，使其性能远远高于其 他标准。其内容将在下一章中详细介绍。 h 2 6 4 代表了当前业界最先进的视频压缩技术，且具有以下无可比拟的优越性， 主要体现在下面几个方面： 1 、码率低：和m p e g 2 等压缩标准相比，在同等图像质量下，采用h 2 6 4 技 术压缩后的数据量只有m p e g 2 的1 2 1 3 。显然，h 2 6 4 压缩技术的采用将大大 节省用户的下载时间和数据流量收费； 2 、图像质量高：h 2 6 4 能提供连续、流畅的高质量图像； 3 、容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错 误的必要工具； 4 、网络适应性强：h 2 6 4 提供了网络适应层，使得h 2 6 4 的文件能容易地在 不同类型的网络上传输。下面对上面几种典型标准作一个简要的比较，如表1 1 所 示。 h 2 “，a vc 的应用场合相当广泛，包括可视电话、实时视频会议系统、视频 监控系统、因特网视频传输以及多媒体信息存储等。目前，各国都在研究将该标 准产品化，国际上，加拿大的u b d e o 公司开发出了一套基于1 m s 3 2 0 c 6 4 x 系列 的h 2 6 l 实时视频通信系统，它可以在1 6 0 k b i t ，s 的码率下获得与h 2 6 3 + 在3 2 0 k b i 以 下相同的图像质量；加拿大的另一家公司d e ol o c l l s 通过在系统中插入一块基于 f p g a 的硬件扩展卡，在p 4 平台上实现了h 2 6 4 的实时编解码。 在国内，一些科研院所和企业也开始研究应用该标准的相关产品。 6 西北工业大学硕士学位论文第一章视频压缩概述 表1 i 伊e g 一1 ， 伸e g 一2 ，m p e g 4 和h 2 6 4 ，艄忙的比较 f e a l u 耐口b g - 1m p e g 2m p e g - 4h 2 6 “a v c d a r d 宏块尺寸 1 6 x 1 61 6 x 1 6 ，8 x 81 6 x 1 61 6 x 1 6 块尺寸 8 x 88 x 81 6 x 1 6 ，8 x 8 ，1 6 x 1 6 ，8 x 1 6 ，1 6 x 8 1 6 x 88 x 1 8 ，8 x 4 ，4 x 8 ，4 x 4 变换 d c td c t d c t ，j 、波变换4 x 4 整数d c t 变换 变换尺寸 8 x 88 x 88 x 84 “ 量化步长 固定增长固定增长向量量化以1 2 5 速度增长 熵编码 v l cv l cv l cu v l c ，c 舭c ，c a b a c 运动估计与是是是是，较灵活，每个宏块可 补偿有多达1 6 个运动矢量 像素精度l ，1 2 像素1 1 ，2 像素1 ，l ，2 或1 4 像素l ，1 ，2 或1 “像素 p f i k 否5 个，下含几个8 个，下含几个3 个，每个包含几个 l e v e ll e v e ll e v e l 参考帧数 1ll通常5 个 图像类型i ，只b ，di ，p ，b i p b i ，p ，b ，s i ，s p 回放与随机是是是是 访问 同步与 数据分割，余， 同步，数据分割，能够在易错的无线信道处 容错健壮性隐藏重要数据包的头扩展，可逆理包丢失和比特错误 f e c 传输v l c 编码 传输码率 1 5 m b p s2 1 5 m b p s6 4 k b p s 一2 m b p s6 4 k b p s - 1 5 0 m b p s 复杂度低中等中等高 兼容性是是是 否 1 5 论文的主要工作和内容安排 论文所作的主要工作： 1 在前期的资料准备期间广泛地收集资料并整理大量的相关技术文档，阅读了大 量关于h 2 6 4 的文献以及官方提供的参考源代码，深入探讨h 2 6 4 视频压缩标准 的相关问题，对其编解码器的主要特性以及重要算法作分析，在v c + + 6 0 平台下 实现h 2 “软件的编解码器并对编码性能进行分析； 2 在已有的参考模型基础上，为减少编码器的运算复杂度，重点对编码中时间消 耗最多的运动估计部分中的块匹配算法进行详细深入的研究，针对现有块匹配算 法的缺点和图像的特征，提出了基于搜索块运动范围加以分类，多模板的块匹配 搜索算法。 3 为了进一步提高编码器的编码速度，还对帧间宏块分割模式的选择算法作深入 的研究，提出了对模式进行分组提前判决的快速选择算法。 7 西北工业大学硕士学位论文第一章视频压缩概述 全文的内容安排如下： 第一章视频压缩概述。简述了视频压缩的必要性和视频压缩技术原理，简介了相 关国际视频压缩编码标准，说明了论文的主要工作和内容安排； 第二章h 2 6 4 编解码基础。详细分析了视频压缩编码标准h 2 6 4 的编码框架，基 本概念和编码框架中各个组成部分的特点； 第三章块匹配搜索算法改进。重点分析了块匹配的原理，几种典型快速块匹配算 法原理及其性能特性，在此基础上结合视频序列的特点，有针对性的提出 基于块运动范围分类，多模板搜索( m c m m ) 的块匹配搜索算法； 第四章帧间模式选择算法改进。详细分析帧间宏块分割模式选择原理和依据，分 析现有的帧间分割模式快速选择算法的原理和性能，在实验结果基础上提 出基于模式分组提前终止( m g e d 的模式快速选择算法； 第五章全文总结。 西北工业大学硕士学位论文 第二章h 2 “编码基础 第二章h 2 6 4 编码基础 自上个世纪8 0 年代以来，i s o i e c 制定的m p e g - x 和r r u t 制定的h 2 6 x 两 大系列视频编码国际标准的推出，开创了视频通信和存储应用的新纪元。从h 2 6 1 视频编码建议，到h 2 6 3 ，3 + 侣+ + 、m p e g 1 ，2 ，4 等都有一个共同的不断追求的目标， 即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。而且，随着市 场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益显现出来。 于是m 0 i e c 和i t u t 两大国际标准化组织组成联合视频组( t ：j o i n t v i d e o t e 锄) 开发一个新的数字视频编码标准h 2 6 4 来解决这些问题。h 2 6 4 既是i t u t 的 h 2 “，又是i s 0 】 e c 的m p e g - 4 的第l o 部分，于2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也采用d p c m 加变换编码的混合编码模式。但它 采用“回归基本”的简洁设计，引入更多的先进的编码技术，获得比h 2 6 3 + + 好得多 的压缩性能：加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利 于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及 不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版权。 2 1h 2 6 4 编解码器结构 h 2 “标准中并不对编码解码器的实现过程作明确的规定，而只是规定了一个 编码后生成的视频比特流的句法，和对该比特流的解码方法。这样就有利于各个 厂商的编码器和解码器在这个框架下能够互通，在实现上有较大的灵活性，并且 有利于相互竞争。由于视频图像的内容时刻在变化并且变化丰富，有时空间细节 很多，有时大面积的平坦，甚至是相对静止不动，这样内容的多变性就必须采用 相应的自适应技术措施；同时信道在环境恶劣下也是多变的，例如对互联网，信 息通畅性有时好有时差，甚至发生阻塞，对无线网络，衰落有时严重有时轻微， 这就要求根据实际情况采取相应的自适应方法来对抗这种信道畸变带来的不良影 响。这两个方面的多变性同时存在就带来了自适应技术的复杂性，h 2 6 4 就是利用 事先的复杂性来获得压缩性能的明显改善。并且由于现在大规模集成电路技术和 工艺的迅猛进步，今天已完全具备了实现的可能性。 为了实现高效率编码和增强网络适应性，h 2 6 4 在视频编解码结构的概念设计 上分为视频编码层( v c l ，v i d e oc o d el a y e 嗣i 口网络适配层( n a l ，n e ta b s 仃a c t1 a y e r ) 两 层( 见图2 1 ) 。v c l 负责高效率视频编码压缩；n a l 负责网络的适配，即提供对 不同网络性能匹配的自适应处理能力，它针对下层网络的特性对数据进行封装， 包括成帧、发送相应信号给逻辑信道、利用同步信息进行处理等。n a l 从v c l 获 西北工业大学硕士学位论文第二章h 2 6 4 编码基础 得数据信息，包括头信息、段结构信息及实际载荷信息，进而将它们映射到下层 的各传输协议上。这些协议有h 3 2 0 、h 3 2 3 、h 3 2 4 、m p e g 2 等。n a l 单元按r 皿序 列号顺序传送，序列号设置可发现丢失的是哪一个v c l 单元，即使基本编码图像 丢失，借助冗余编码图像，仍可获得较“粗糙”的图像恢复。同时，借助图像的片 ( s l i c e ) 、片组、宏块( m b ) 结构及黑白宏块非扫描顺序的灵活宏块顺序( f m o ) ，安排 与切换p 帧( s p ) 、切换i 帧( s d 的流切换、流拼接、随机接入与差错恢复等，都有 利于提高其误码掩盖及抗干扰能力，并有助于压缩效率的提高。n a l 层的引入， 大大提高了h 2 6 4 a v c 对不同网络及复杂信道的适应能力。 图2 1h 2 6 4 编码器结构概念设计分层 与以前的标准一样，h 2 6 4 a v c 的v c l 仍然遵循基于块的混合编码框架。首 先将输入图像划分成互不交叠的宏块( 1 6 x 1 6 像素块) ，利用帧内或帧间预测去除 冗余信息，然后对预测残差进行整数d c t 变换得到一系列变换系数，变换之后残 差系数能量相对集中，再进行量化，按其所含的能量大小分配不同数据量来描述 图像信息，最后用熵编码对量化后的数据进行二进制编码，进一步消除量化后数 据的冗余度，编码器结构如图2 2 所示。特别注意的是，因为这编码过程是非可逆 的，则在宏块预测时，预测块的数据不是取自于原始图像，而是取自于由反量化 和反变换，反预测后所得到的重建图像块，以使编码端和解码端相一致。 图2 2h 2 6 4 编码器原理框图 1 0 西北工业大学硕士学位论文第二章h 2 6 4 编码基础 但与以前标准不同，h 2 6 4 a v c 中很多模块采用了新的编码算法，它们是实 现h 2 6 4 优越编码性能的基础。这些新编码算法包括：在运动估计时，增加宏块 分割模式的种类，由以往标准中的2 种增加到7 种，最小的块尺寸可达4 “；参考 帧的个数可由以前的1 个增加到5 个；亮度分量部分的搜索精度也由以前的1 2 像 素提高到1 4 像素。在变换量化时，将变换块的尺寸由以前标准中的8 x 8 变成4 x 4 大小，同时采用整数d c t 变换，并把变换和量化整合起来，减少运算复杂度。在 熵编码时，新增加c a b a c 方法，并通过对编码参数与图像数据等分类型采取不 同的编码方式以提高效率。在帧重构时还加入去方块滤波器以提高恢复图像的质 量等。由此可见，h 2 “a v c 编码效率的提高并不是靠单个编码技术实现的，而 是由多个较小的改进累加起来才得到的。在本章后续子节中将对上面新的算法进 行比较深入的分析。 与编码器相对应，h 2 6 4 采用如图2 3 所示的解码器，由于h 2 6 4 协议对码流 结构作了严格的规范，解码器可以对任何h 2 6 4 压缩比特流进行解码。解码器接 受符合协议规则的h 2 6 4 压缩比特流后，首先根据协议语法和句法，从码流中提 取出图像编码数据和编码控制参数，然后根据控制参数对图像编码数据进行熵解 码，重排序，再经过反量化，反变换得到图像残差数据块，同时根据图像的头信 息从已经解码出的图像帧中产生一个预测块，将图像残差块和预测块相加，再经 过去方块滤波，就得到了重构图像，这就是最后的解码输出图像。 2 2 基本概念 图2 3 l 2 6 4 解码器原理框图 2 2 1 视频源的格式 h 2 6 4 支持对图像格式为1 n 4 ：2 ：o 的连续或隔行编码图像的编码和解码，其 中4 ：2 ：o 的取样格式如图2 4 所示，不同y u v 格式的图像含义为： 西北工业大学硕士学位论文 第二章 l 2 “编码基础 oooooo e e n 。垤 已o2 o 2 o 烹篡 臼 赢。 oooooo 囝 oooooo 图2 44 ：2 ：o 视频采样格式 4 ：4 ：4 表示色度频道没有下采样； 4 ：2 ：2 表示色度频道水平下采样为2 ：1 ，没有垂直下采样； 4 ：2 ：o 表示色度频道水平下采样为2 ：1 ，垂直下采样为2 ：1 ； 4 ：1 1 表示色度频道水平下采样为4 ：1 ，没有垂直下采样。 编码图像可以由视频的一场或一帧形成，通常视频帧可以分为两种类型：连 续或隔行视频帧，在电视中，把一帧分成两个隔行的场，则场内邻行之间的时间 相关性较强，而帧内的邻近行之间空间相关性较强，因此活动量较小或者静止的 图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场编码方式。 2 2 2 宏块编码类型 编码器是以宏块为单位进行编码的。它通常是先将编码图像划分成互相不重 叠的若干个宏块( m a c mb 1 0 c k ) ，一个宏块由一个1 6 x 1 6 亮度像素块和一个8 x 8 c b 和一个8 x 8 c r 色度像素块组成。 宏块的编码类型有帧内预测编码( i n t r a ) 和帧间预测编码( i n t e r ) 两大类，前 者包含4 “小块为单位的9 种帧内预测模式和1 6 x 1 6 为单位的4 种帧内预测模式， 总共1 3 种帧内预测模式；后者具体分成3 类：第一种是跳过( s k i p ) ，表示本宏块 与上一帧相对应的宏块完全相同，没有附加的信息需要传送，在解码端只需要将 上一帧解码后的图像中对应的宏块拷贝一份进行图像重建即可，第二种，代表本 宏块采用帧间预测的方法，而且进行运动搜索的预测块的大小为n x m ，根据n 和 m 的不同，一种有7 种分割模式，每种模式所需要传输的运动矢量的个数从1 个 到1 6 个不等，第三种是帧内预测模式，当帧内预测模式比帧间预测的压缩效果好 的时候采用这种预测方式。 此外，为了增强传输的容错性，在编码时将宏块按照一定规则组合成片( s l i c e ) ， 对每个片独立进行编码，同时在传输时候还根据数据的类型把数据分割成几个包， 将编码参数和编码数据分开装入不同的数据分割包中独立进行传输以抵抗丢包和 西北工业大学硕士学位论文第二章h 2 “编码基础 误传带来的不良影响，提高系统的鲁棒性。 宏块可以有多种编码模式，但是究竟采用何种模式进行编码与其所处帧的类 型和片的类型有关，根据编码性质，将片分成i 片，p 片和b 片共3 种类型，相应 地也将宏块分成i 宏块，p 宏块和b 宏块这3 种类型。其中，i 片只包含i 宏块，p 宏块可以包含i 和p 宏块，而b 片可以包含i 和b 宏块。i 宏块利用从当前片中已 解码的像素作为参考进行帧内预测( 不能取其他片中的解码像素作为参考进行帧 内预测) ；p 宏块利用前面已解码的图像作为参考图像进行帧间预测；b 宏块则利 用双向的参考图像( 当前和未来已编码图像帧) 进行帧间预测。 实际编码就是针对具体的宏块从帧内或帧间预候选的编码模式中选择出最佳 的模式作为实际编码模式进行编码，以压缩宏块的数据量。下面对编码器中各个 部分原理和技术进行分析： 2 3 帧内预测 在帧内预测模式中，预测块p 是基于已编码重建块和当前块形成的。对亮度 像素而言，p 块用于4 x 4 子块或1 6 x 1 6 宏块的相关操作。4 x 4 亮度子块有9 种可选 预测模式，独立预测每一个4 x 4 亮度块，适用于有大量细节的图像编码；1 6 x 1 6 亮 度块有4 种预测模式，预测整个1 6 x 1 6 亮度块，适用于平坦区域图像编码