（无线电物理专业论文）h264avc实时视频编码器的研究与实现.pdf

摘要 h 2 6 4 a v c 是i t u t 和i s o i e c 联合推出的最新视频编码国际标准，它包含 了很多先进的视频压缩编码方法，与以前的视频编码标准相比有了明显的进步。 由于其良好的压缩效率和网络适应性，h 2 6 4 a v c 必将在视频电话、数字电视广 播、移动流媒体、压缩视频存储等领域得到广泛的应用。然而，高编码压缩率是 以很高的计算复杂度为代价的，因此，如何降低运算复杂度，提高编码速度是实 现实时编码器的关键。 本文主要研究h 2 6 4 a v c 实时视频编码器在p i x e l w o r k s 公司提供的以 p w b s p 1 6d s p 处理器为核心的b a b e l f i s h i i 开发平台上的实现与优化。通过了解 当前视频处理领域最新发展动态，本文重点研究h 2 6 4 a v c 基本档次的结构、特 点及算法原理，并以x 2 6 4 开源工程为蓝本，在p c 机上对h 2 6 4 a v c 编码算法 进行了测试分析，同时深入研究了视频编码中消耗时间最长的运动估计算法。 在目标平台的移植优化过程中，本文从h 2 6 4 a v c 编码算法的复杂度分析入 手，进行了大量的测试分析，并针对p w b s p 1 6d s p 处理器特殊的硬件资源，采 取了如下一系列的优化策略：在指令级方面，采用f i r t r e e 指令集对s a d 计算、 整型变换、量化等主要耗时模块进行优化；在系统级方面，采用模块并行最大化 的思想，通过改进编码流程，启用v l x 、d m a 等协处理器等方法进行优化；在 算法级方面，提出后续的优化思路。虽然这些优化策略是基于p w b s p 1 6 平台考 虑的，但考虑和解决问题的思想同样适用于其它平台的优化。 实验结果表明，本文中采用的优化策略大大提高了h 2 6 4 a v c 视频编码器的 实时性能，充分发挥了p w b s p 1 6d s p 处理器的强大性能，最终对于c i f 格式视 频序列的编码速度可达到3 8 f p s 左右，基本上实现了h 2 6 4 a v c 基本档次的实时 编码。 关键词：h 2 6 4 a v c ；p w b s p 1 6 ；优化 a b s t r a c t h 2 6 4 a v ci st h el a t e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d i ti sd e v e l o p e db ya j o i n tv i d e ot e a m ( j v t ) c o n s i s t i n go fe x p e r t sf r o mi t u t sv i d e oc o d i n ge x p e r t s g r o u p ( v c e g ) a n di s o i e c sm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) t h e r ea r e m a n ya d v a n c e de n c o d i n gm e t h o d sg i v e nb yh 2 6 4 a v c d u et o t h ea d v a n c e d c o m p r e s s i o np e r f o r m a n c ea n dt h e ”n e t w o r k f r i e n d l y n a t u r e ，h 2 6 4 a v cw i l l b e a d o p t e do v e rab r o a dv a r i e t yo fa p p l i c a t i o n ss u c h 鹤v i d e ot e l e p h o n e ，b r o a d c a s t , m o b i l e s t r e a m i n g ，a n ds t o r a g e ，e t e h o w e v e r , t h ec o s to fh i g hc o m p r e s sr a t e i sh i g h e r c o m p u t a t i o n t h e r e f o r e ，r e d u c i n gc o m p u t a t i o n a lc o m p l e x i t ya n di m p r o v i n gc o d i n g e f f i c i e n c yb e c a m ev e r yi m p o r t a n tf o rr e a l - t i m ev i d e oe n c o d e rd e s i g n t h i sp a p e rm a i n l ys t u d i e so nt h er e a l i z a t i o no fh 2 6 4 a v cr e a l - t i m ev i d e o e n c o d e ro nt h eb a b e l f i s m ip l a t f o r mw i mt h ec o r eo fp w b s p 一16d s po f f e r e db y p i x e l w o r k s t h r o u g ht h el a t e s td e v e l o p m e n to fv i d e oc o m p r e s s i o n , t h i sp a p e rp r i m a r i l y f o c u s e so nt h es t r u c t u r e ，c h a r a c t e ra n da l g o r i t h m sp r i n c i p l eo fh 2 6 4 a v cb a s e l i n e p r o f i l e w i t hx 2 6 4o p e ns o u r c ep r o j e c ta st h eo r i g i n a lv e r s i o n , t h eh 2 6 4 a v cv i d e o c o m p r e s s i o nc o d i n ga l g o r i t h mi s t e s to np c ，p r i m a r i l yr e s e a r c ho nt h el o n g e s t t i m e - c o n s u m i n gm o t i o ne s t i m a t i o ni nv i d e oc o m p r e s s i o n d u r i n gt h em i g r a t i n ga n do p t i m i z i n gp r o c e s so ft a r g e t e dp l a t f o r m , t h i sp a p e r s t a r t s w i t ht h ea n a l y s i so i lc o m p l e x i t yo fh 2 6 4 a v ca l g o r i t h m s ，c a r r i e so np l e n t yo ft e s t s ， u s e sas e r i e so fo p t i m i z i n gm e t h o d sa i m i n ga tt h es p e c i a lh a r d w a r er e s o u r c e so f p w b s p 一16p l a t f o r m ：o p t i m i z i n gm o d u l e si n c l u d i n gs a d c a l c u l a t e ，i n t e g e rt r a n s f o r m a n dq u a n t i z a t i o ni nt h ei n s t r u c t i o nl e v e lb yu s i n gf i r t r e ei n s t r u c t i o ns e t ；o p t i m i z i n gi t b yi m p r o v i n gc o d i n gp r o c e s sa n de n a b l i n gc o - p r o c e s s o rs u c ha sv l x 、d m a i ns y s t e m l e v e lb yt h et h i n k i n go fm o d u l e sp a r a l l e l i s mm a x i m i z i n g ；p u t t i n gf o r w a r dt h ef u t u r e o p t i m i z i n gm i n di nt h el e v e lo fa l g o r i t h m s a l t h o u g ht h e s eo p t i m i z i n gm e t h o d st i t l e b a s e do np w b s p - 16p l a t f o r m ，t h et h i n k i n gw a yi sa l s os u i t a b l ef o ro t h e rp l a t f o r m o p t i m i z a t i o n t h er e s u l t so fe x p e r i m e n t ss h o wt h a to p t i m i z i n gm e t h o d sc o n c e r n i n gi nt h i sp a p e r h i g h l ya d v a n c et h er e a l - t i m ec a p a b i l i t yo fh 2 6 4 a v cv i d e oe n c o d e sp r e s e n t st h e p o w e r f u lc a p a b i l i t yo fp w b s p - 16d s ef i n a l l y , t h er e a l t i m ev i d e oc o m p r e s s i o n c o d i n go fh 2 6 4 a v cb a s e l i n ep r o f i l ei sm o s t l yr e a l i z e d ，w h o s ec o d i n gr a t eo fc i f f o r m a ts e q u e n c e sc o u l d r e a c ha r o u n d3 8 f p s k e yw o r d s ：h 2 6 4 a v c ；p w b s p 一16 ；o p t i m i z a t i o n 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成 果。本人在论文写作中参考的其他个人或集体的研究成果，均在 文中以明确方式标明。本人依法享有和承担由此论文产生的权利 和责任。 声明人( 签名) ：藓劢绎 0 7 年厂月7 汐日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦 门大学有权保留并向国家主管部门或其指定机构送交论文的纸 质版和电子版，有权将学位论文用于非赢利目的的少量复制并允 许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关 数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密 的学位论文在解密后适用本规定。 本学位论文属于 l 、保密() ，在年解密后适用本授权书。 2 、不保密( ) ( 请在以上相应括号内打“4 ) 作者签名： 导师签名： 日期：呷年厂月矽日 日期：廖7 年朋棚 第1 章绪论 第1 章绪论 近年来，多媒体技术随着人类进入信息时代而得到迅猛发展，其中与数字视 频相关的应用场景也不断拓宽，如视频会议、i n t e m e t 流媒体、移动流媒体、远程 监控、数字视频点播等。据统计人类接受的信息大约7 0 来自视觉，因此视频信 息具有直观、形象、准确、高效和应用广泛等特点。然而，未经压缩的原始视频 数据，其数据量之大对于当前有限的传输带宽或存储空间都是难以承受的。例如： 对于c c i r - 6 0 1 格式的视频材料，当帧率为2 5 f p s ，每采样点8 比特量化，色差格 式为4 ：2 ：2 时，每秒数据量为1 6 5 9 m b i t s 。若直接在容量为4 7 g b 的d v d 光盘中 保存，则只能保存不到4 分钟的内容。对于高清晰度数字电视( i t u r7 0 9 ) 每秒 数据量更高达8 8 4 7 m b i t s ，而地面广播系统的传输带宽仅有6 m 到8 m t 。因此无 论是存储还是传输，数字视频都必须经过极大的压缩才能具有实际意义，这就使 得视频压缩技术成为多媒体技术的关键所在。 在过去几十年的时间里，国际上已经成功地制定了面向各种应用的视频编码 标准圆，主要包括用于v c d 存储的m p e g 1 标准；用于数字视频光盘( d v d ) 和数字电视广播( d v b ) 的m p e g - 2 标准；用于视频会议的h 2 6 1 h 2 6 3 标准； 以及允许对任意形状的对象进行编码的m p e g - 4 标准：尤其是最新发布的 h 2 6 4 a v c 视频编码标准，与以往任何编码标准相比，其压缩效率都至少提高了 一倍以上，这已得到各研究机构和多媒体工业界的高度重视，并将引发多媒体产 业中一场新的变革，因此对新的视频标准在不同条件下的实现研究，具有十分重 要的理论与现实意义。 1 1 视频编码基础 视频编码的目的是实现对视频的压缩。根据香农信息论的观点，数据的信息 由其信息熵来表征，其余信息均为冗余。而视频数据中同样存在大量冗余，如空间 冗余、时间冗余、结构冗余、知识冗余、视觉冗余及纹理的统计冗余等【3 一，视频 编码技术正是将这些冗余去除以达到压缩数据量的目的。根据冗余的不同，人们提 出了多种视频编码方法，经典的有三大类：预测编码、变换编码和统计编码1 6 1 。 h 2 6 4 a v c 实时视频编码器的研究与实现 1 、预测编码 预测编码是根据图像在时域中存在的相关性来消除时域冗余的编码方法，它 对原始图像数据进行估计之后得到原始数据的预测值，然后将原始数据与其预测 值作差得到残差，通过仅对残差的编码来达到减小数据量的效果。预测编码有线 性预测和非线性预测两种方法。 2 、变换编码 变换编码是利用数学变换来消除图像的空间冗余。它将图像的时域信号通过 一个正交变换映射到变换域。正交变换是影响编码效率的关键。当前常见的正交 变换有：k - l 变换、离散余弦变换( d c t ) 、小波变换、哈尔变换和整数变换。 3 、统计编码 统计编码是根据信息码字出现概率的特征进行压缩编码。根据信息论的原理， 数据压缩的极限是信息熵。在保证码字的信息熵的基础上尽可能压缩码字的长度 就是统计编码，统计编码是一种无失真编码。当前统计编码的方法有：游程编码、 可变长编码和算术编码。 上述三种编码的组合构成了当前绝大多数视频编码标准的基础。无论是 m p e g 还是h 2 6 x 系列编码标准都采用了预测估计、d c t 变换和熵编码于一体的 混和编码方法。上述三种编码技术在t o r r e s 和k u n t t t j 等人的著作中，被称为第一 代编码技术。第一代编码技术还包括：脉冲编码调制【秘1 0 1 、矢量量化【& 1 1 1 以及子带 和小波编码【$ - 1 0 , 1 2 1 。而第二代编码方法进一步考虑了视频数据中的知识、视觉和结 构冗余，通过减少这些冗余提高更高的压缩比。它建立在图像分析和合成、计算 机图形学、计算机视觉以及人工智能的基础上，包括了基于分割的编码方法，基 于模型的编码方法和分形编码等。 1 2 视频编码标准的研究现状 国际上有两个负责音视频编码的标准化组织，一个是m p e g ( m o t i o np i c t u r e e x p e r tg r o u p ) ，为国际标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) 下的运动图像专家组。另一个是v c e g ( v i d e oc o d ee x p e r tg r o u p ) ，为国际电信 联u 盟( i n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) t 的视频编码专家组。多媒体技 - 2 - 第1 章绪论 术的飞速发展，正是归功于i t u 和i s o 推出的一系列针对不同应用领域的数字视 频编码标准。其中国际电信联盟i t u 的h 2 6 x 系列，主要应用于实时视频通信领 域，如视频会议和可视电话等；而国际标准化组织i s o 的m p e g 系列，主要应用 于视频存储( 如v c d 和d v d 等) 、广播电视及因特网或无线网上的流媒体等【2 1 。 经过几十年的发展，m p e g 2 ，h 2 6 3 ，m p e g 4 已成为目前主流的视频压缩编 码技术，而新兴的编解码标准h 2 6 4 a v c 、a v s 及v c 1 代表着第三代视频编码 技术，必将是未来发展的主流方向。 l 、h 2 6 4 a y c h 2 6 4 a v c l l 3 】是m p e g 联合v c e g 成立的联合视频组( j v t ) 制定的最新一 代的视频编码标准，其主要目的是提高压缩效率，并且为实时应用( 视频电话) 和非实时类应用( 存储、广播或者流媒体) 提供一个优良的视频压缩编码通用工 具。h 2 6 4 a v c 仍基于经典混合编码算法的基本结构，在变换编码，熵编码和运 动估计等方面采用了一系列先进技术，是视频编码技术和图像工程的最新研究成 果，其性能超越了以往所有的视频编码标准，具有光明的应用前景，下一章将进 行详细介绍。 2 、a v s 为了适应国内多媒体产业发展的要求，中国于2 0 0 2 年6 月份成立了a v s 工 作组，专门负责为国内工业界制定自己的视音频编解码标准。至今a v s 工作组已 成功地制定了第一阶段面向高清数字电视广播、高密度光存储媒体的视频编码标 准，通常称为a v s1 0 ；及面向新一代移动通信的视频编码标准，称为a v s m ， 可应用于交互存储媒体、宽带视频业务及多媒体邮件等多个领域【1 4 1 。a v s 的性能 较m p e g 2 大为提高，且复杂度较h 2 6 4 低，但其编码效率不及h 2 6 4 。 3 、v c 1 w i n d o w sm e d i a 是提供网上音乐与视频预订服务与视频流的主要格式1 4 1 。微 软公司于2 0 0 2 年推出了w i n d o w sm e d i av i d e o9 系列编解码器，实现了视频压缩 效率的显著提高。w m v 9 另外还作为v c 1 ( v i d e oc o d e e1 ) 在美国的电影电视 工程师协会( s o c i e t yo fm o t i o np i c t u r ea n dt e l e v i s i o ne n g i n e e r s ，s m p t e ) 中实现了 标准化。v c 1 在性能方面与m p e g 2 和m p e g 4 简单类相比有显著提高，在高 1 h 2 6 4 a v c 实时视频编码器的研究与实现 分辨率影片上表现出色，但在低码率下，压缩效果不及h 2 6 4 。 1 3 视频编码标准的应用现状 时至今日，最新视频编码技术已逐步应用于人们的日常所熟知的视讯产品中。 如在上海进行的i p t v 试点就采用了h 2 6 4 标准，而大连则采用a v s 标准；龙晶 微电子、宏景微电子及芯晟微电子均提供了a v s 解决方案；对于高清晰度电视应 用领域，b c m 7 4 1 l ( b r o a d c o m 公司) 、c x 2 4 1 8 x ( c o n e x a n t 公司) 、s m p 8 6 3 0 ( s i g n a l d e s i g n s 公司) 等解码芯片，均支持h 2 6 4 解码；华为海思半导体公司推 出的h i 3 51 0 则支持h 2 6 4 编解码；v c 1 在好莱坞和独立制片业正日益受宠，多 部电影的发行开始采用v c 1 进行编码，以实现p cd v d 上的高清晰播放【1 4 l 。 随着c m o s 技术的进步与发展，d s p 技术突飞猛进，专用d s p 媒体处理器 ( m e d i ap r o c e s s o r ) 成为了视频处理的主流处理器，此类方案具有良好的适应性 和可扩展性，便于代码的移植和系统的升级。飞利浦、a d i 、t i 等半导体供应商 都十分看好媒体处理器市场，并推出了具有竞争力的产品。目前主流的专用d s p 芯片主要有p h i l i p s 公司的t r i m e d i a 系列，t i 公司的d m 6 x 系列，a d i 公司的 b l a c k f i n 系列，p i x e l w o r k s 公司( 原为e q u a t o r 公司，现已被p i x e l w o r k s 公司收购) 的b s p 1 5 ，p w b s p 1 6 系列等。它们集成了丰富的多媒体信号接口，针对多媒体 信号的特点优化了处理器结构，甚至内嵌了特殊协处理器用于进行专门操作，以 缓解通用处理器的压力。 将视频编码算法在专用d s p 平台上实时实现是目前多媒体信号处理及图像 通信研究领域的一个热点问题，对于获得一种低成本、便携、高效的多媒体通信 终端平台具有重要的意义，并有很好的市场应用潜力。国内许多高校及研究机构 均在此方面做了大量研究，如浙江大学的陈光华等人在b s p 1 5 平台上实现了a v s 全i 帧编码器【1 5 】，编码效率为1 5 f p s e i h 华侨大学的李杰等人在t m s 3 2 0 c 6 4 1 6 平台上实现了h 2 6 4 解码器【1 6 1 ，解码效率为2 6 f p s q c i f 可见，新标准带来高效编 码的同时也增加了计算复杂度，这不仅对d s p 平台的性能提出了很高的要求，也 大大增加了实时实现的难度。 4 第1 章绪论 1 4 本文研究的背景、意义及主要内容 本文的实际应用背景是3 g p p 移动流媒体监控系统，由于此系统是基于无线 网络的应用，在传输带宽及抗误码上有较高要求，因此本文选择h 2 6 4 a v c 标准 作为算法研究对象，并借助于p i x d w o r k s 公司生产的p w b s p 1 6d s p 芯片的强大 并行处理能力和信号处理功能，来实现低码率下高效压缩及实时编码的目标。本 文在全面了解h 2 6 4 a v c 标准的基础上，重点研究h 2 6 4 a v c 基本档次的结构、 特点及算法原理，并在p c 机上对h 2 6 4 a v c 编码算法进行了测试，对视频编码 中消耗时间最长的运动估计算法进行了重点研究，进而根据p w b s p 1 6d s p 的结 构特点对h 2 6 4 a v c 算法进行移植优化，以降低算法复杂度，完成实时h 2 6 4 编 码器的设计。 本文的研究意义在于掌握了h 2 6 4 a v c 不同于其他视频标准的独到之处，而 且本文中所采用的移植优化方法可适用于其它专用d s p 平台上，特别对于 h 2 6 4 a v c 算法的实时实现有很好的借鉴作用。 根据研究工作的内容，论文全文共分六个章节，具体如下： 第1 章，绪论，简要阐述了视频编码基础理论、视频编码标准的研究与应用 现状以及本文的研究背景、意义与主要内容。 第2 章，h 2 6 4 a v c 视频编码标准，对h 2 6 4 a v c 标准的结构、关键模块及 其性能与应用作了简单介绍。 第3 章，基于p w b s p - 1 6 的b a b e l f i s h i i 开发平台，简要介绍本文采用的开发 平台的软硬件资源及开发模式。 第4 章，h 2 6 4 a v c 编码器的d s p 移植，详细介绍本文在编码器的d s p 移 植、运动估计算法研究等方面的工作，并进行复杂度分析，为优化工作提供参考 数据。 第5 章，h 2 6 4 a v c 编码器的优化实现，详细介绍本文的优化实现方法，主 要从指令级、系统级和算法级三方面进行阐述，并给出优化结果。 第6 章，总结与展望，总结主要工作内容及本文的研究成果，并提出进一步 的研究工作。 5 h 2 6 4 a v c 实时视频编码器的研究与实现 1 5 本章小结 本章首先对视频编码的原理做了简单介绍，并对目前视频编码标准的研究与 应用现状进行了简要介绍，从而引出论文的研究背景及主要内容，最后阐述了论 文的组成结构和框架。 6 第2 章h 2 6 4 a v c 视频编码标准 第2 章h 2 6 4 a v c 视频编码标准 h 2 6 4 a v c 是l t u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组 ( 御e g ) 推出的最新视频编码标准，具有出色的编码效率和压缩性能，其基本 框架与之前的视频编码标准类似，但它包含许多不同于以往标准中使用的先进技 术，具有更多的优越性【1 7 1 ： l 、节省了5 0 以上的比特率：与h 2 6 3 + + 或m p e g 4 的简单档次相比，在近 似的图像质量上，h 2 6 4 a v c 的比特率降低了5 0 以上。 2 、高质量视频：h 2 6 4 a v c 保证了高质量的视频图像，特别在低比特率的情 况下，也能保持较高的视频质量。 3 、错误恢复机制：h 2 删c 在设计时，针对分组交换网如i n t e r n e t 中的分 组丢失和无线网络中比特误码都提出了相应的工具，使得h 2 6 4 a v c 在这些网络 中传播时具有更强的抗误码性能。 4 、网络友好性：为了适应这种应用环境的多变性，h 2 6 4 a v c 采用分层设计， 包括了一个视频编码层( v i d e oc o d i n gl a y e r , v c l ) 和一个网络抽象层( n e t w o r k a b s t r a c t i o nl a y e r , n a l ) ，并提供合适的头信息以便适应不同的传输层和储存媒 介，使得h 2 6 4 的比特流可以方便的在不同的网络上传输。 由此可见，作为一种新型的视频压缩标准，h 2 6 4 a v c 具有很宽阔的研究空 间和市场前景，特别对于研究多媒体通信及下一代的网络业务有着重要的意义。 2 1h 2 6 4 a v c 视频编码的结构 h 2 6 4 a v c 标准一个显著的特点是将系统分为两个独立的层，即：视频编码 层v c l 和网络抽象层n a l 。视频编码层v c l 的主要任务是高效的表示视频数据， 也就是进行视频数据的压缩；网络抽象层n a l 则根据网络的特性对数据进行封 装，使其适用于网络传输。h 2 6 4 a v c 编码器分层结构如图2 1 所示。在v c l 和 n 札之间定义了一个基于分组方式的接口，打包和相应的信令属于n a l 的一部 分这样，视频编码和网络接口任务分别由v c l 和n a l 来完成。 7 h 2 6 4 a v c 实时视频编码器的研究与实现 图2 1h 2 6 4 a v c 分层结构【1 7 l 1 、网络抽象层( n a l ) n a l 负责封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结 束信号等。例如，n a l 支持视频在电路交换信道上的传输格式，支持视频在i n t e m e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信息、段结构信息和实际 载荷信息，即上层的v c l 数据。 2 、视频编码层( v c l ) v c l 负责数据压缩。它主要根据控制参数信息把输入的视频图像分成1 6 x 1 6 的宏块，然后根据约定的分类规则把宏块组成一个或几个片带。片带是可以独立 解码的最小单位，宏块是最小的编码单位。图像编码要经过帧内或帧间预测、变 换、量化和熵编码。 2 2h 2 6 4 a v c 的关键模块介绍 h 2 6 4 a v c 编码器的基本模块，如预测、变换、量化及熵编码都与之前的标 准类似，关键的区别在于每个模块的细节上，这也是h 2 6 4 a v c 之所以可以提高 编码质量、降低码率的要点所在。下面就h 2 6 4 a v c 编码器的关键模块进行介绍。 2 2 1 帧内预测 在先前的h 2 6 x 与m p e g - x 标准中，都只是采用了帧间预测的方式。为了进 一步提高帧内编码效率，h 2 6 4 a v c 利用相邻宏块的空间相关性来进行帧内预测 编码，有效降低了空间冗余度。帧内预测编码方法一个显著的特征就是帧内预测 在空间域进行，而不是时间上的，不是在变换域。对于一个给定的宏块，首先利 8 第2 章h 2 6 4 a v c 视频编码标准 用相邻的周围宏块对此宏块进行预测( 通常利用此宏块左边和上边被编码并重建 过的宏块来预测) ，然后对实际宏块和预测宏块对应像素做差值，并对差值变换编 码，从而去除空间相关性，获得更为有效地压缩。 为进一步提高帧内预测编码效率，亮度的帧内预测编码分为4 x 4 ( i n t r a 4 x 4 ) 和1 6 x 1 6 ( i n t r a l 6 x 1 6 ) 两种【1 3 】。i n t r a 4 x 4 有9 种预测模式，适用于有丰富的细节 内容区域；i n 仃a 1 6 x 1 6 有4 种预测模式，适用于平坦变化区域。色度的帧内预测 编码只用8 x 8 一种，共4 种预测模式，类似于亮度帧的1 6 x 1 6 模式。 2 2 2 帧问预测 帧间预测用于降低图像的时域相关性，通过采用多种先进技术：多种分块模 式、高精度的运动估计和多参考帧运动补偿，对下帧精确预测，从而减少传输 数据量。下面逐一分析： l 、多种分块模式预测 为了提高编码的效率，宏块由以前标准的1 6 x 1 6 和8 x 8 模式，扩展为7 种模 式，宏块编码模式包括i n t e r l 6 x1 6 ，i n t e r l 6 x 8 ，i n t e r g x l 6 ，i n t a r s x 8 。对于i n t e r 8 x 8 模式，每个8 8 子块又可分为i n t e r g x 4 ，i n t e r 4 x 8 ，i n t e r 4 x 4 模式【1 3 1 ，如图2 2 所 示。原有的宏块被分割成更多尺寸更小的块，使细微的运动可以被区分出来。尤 其对于宏块中包含多个运动对象的情况，多种分块模式可以更加准确描述不同对 象的运动情况，可显著提高预测的准确性。由于块的大小和形状更加灵活，运动 矢量的精度也得到了相应的提高。 1 6 x 1 61 6 x 88 x 1 68 x 8 口目田口 8 x 88 x 44 x 84 x 4 目皿口 图2 2 块模式划分 9 - h 2 6 4 a v c 实时视频编码器的研究与实现 2 、高精度的运动估计 帧间编码宏块的每一个分块都是由参考帧中相同大小的区域预测得到。这两 个区域之间的偏移量即运动矢量。运动估计就是利用视频图像的时域相关性，产 生相应的运动矢量，尽可能准确的描述对象( 块或宏块) 的时域运动。因此运动 矢量的精度越高，运动估计的残差越小，这样在降低编码码率的同时提高重建视 频质量。从h 2 6 1 到h 2 6 4 a v c ，运动矢量的精度也从整像素提高到1 4 像素。 h 2 6 4 a v c 支持亮度分量的1 4 像素和色度分量的1 8 像素的运动估计，并详细 的定义了相应亚像素的插值实现算法，利用6 抽头滤波器产生1 2 分数像素、线 性插值产生1 4 分数像素、4 抽头滤波器产生最高l 8 分数像梨1 3 ，1 7 1 。h 2 6 4 a v c 中使用1 4 像素估计和整像素相比可以节省2 0 的码率。 3 、多参考帧预测模式 在h 2 6 4 a v c 中，允许采用多个参考帧来进行运动补偿，这在很多自然场景 的周期变换以及镜头在两个场景中交替转换等情况下可以提高编码效率。在这种 模式下，对某一个块进行运动估计时，编码器会从过去的一个或几个刚刚编码过 的参考帧中选定一帧作为参考帧，以获得更好的预测效果。多参考帧比使用单独 参考帧方法可以节省5 1 0 的传输码率【1 7 1 ，并且有利于码流的错误恢复。但是 同时，编码器必须通过参考帧选择过程选取最佳参考帧进行运动补偿和预测过程， 这要遍历当前所有的参考帧，为此，还必须为参考帧提供内存空间和增加索引值， 这也增加了系统的处理时间和存储开支。 2 2 3 整型变换 之前的视频编码标准中，一般采用的都是对图像信息进行8 x 8 的d c t 变换， 把经运动补偿或帧内预测得到的残差从空域转换到频域，减少空间冗余，提高传 输效率。但这种d c t 变换中大量使用了浮点数的乘法和加法运算，使编解码器的 运算速度受到限制。此外，8 x 8 的块变换，降低了相邻块之间的相关性，容易产 生块效应。 h 2 6 4 a v c 的整型变换源于d c t 变换，它将原来的d c t 变换分为整数变换 部分和归一化部分，在整型变换时，所有的运算都是整数的计算，避免了浮点操 作带来的四舍五入误差，所以整型变换可以避免反变换不匹配的情况；采用小尺 - 1 0 第2 章h 2 6 4 a v c 视频编码标准 寸的块进行变换有助于降低块效应：变换的核心是不依赖乘法，在大多数硬件平 台上仅使用加法操作和移位操作运算就能完成，速度得到提高，且不损失精度； 而归一化的部分被整合到量化中去，将变换和量化中要进行的两次乘法运算，简 化为一次，从而达到了提高运算速度，降低运算复杂度的目的；整个变换和量化 过程可以采用1 6 b i t 的整数类型进行运算【1 7 】。 h 2 6 4 _ a v c 整型正反变换完全正交，并根据残差数据的类型采用三种不同的 方式：帧内编码宏块的亮度d c 系数采用4 x 4 的矩阵( 仅对于1 6 x 1 6 的预测模式) ； 色度d c 系数使用2 x 2 的矩阵；其他的都采用4 x 4 的块变换。三种方式所对应的 变换核有所不同，如图2 3 所示。 1lll 2ll 2 l lll l 22一l 4 4 残差块系数 2 2 4 去块效应滤波器 lll1 lll一1 llll 1一lll 4 4 亮度d c 系数 图2 3 整型变换核 2 2 色度d c 系数 由于编码是有损的过程，重构以后块间亮度落差大、图像出现马赛克等现象， 解码后的图像会造成严重的失真，影响人的视觉感受。在量化系数较大的时候块 效应尤其明显，这是因为较大的量化系数舍弃了较多的高频分量。 为了消除块效应，平滑块边界，减小失真，提高解码图像的主观与客观质量， 同时为了提供更好的参考图像，h 2 6 4 a v c 标准中引入了基于内容的去块效应滤 波器。其基本思想是：如果检测到图像块的边缘采样点之间具有较大的绝对差， 则有可能为影响视觉效应的人工边缘，需要进行平滑处理；但是如果此绝对差非 常大( 超过所设定的某一闭值函数) ，则这些采样点很有可能是原始图像的真实纹 理边缘，此时需要将其保持，以免造成边缘模糊。 去块效应滤波器在编码时用在宏块的重建和存储之前，反变换之后，在解码 时用在重建和显示之前。根据宏块中每一个块的位置和量化参数不同，对每一条 1l - h 2 6 4 a v c 实时视频编码器的研究与实现 块边界设置不同的滤波强度，自适应的调整滤波效果。由于在h 2 6 4 a v c 中，变 换块的大小为4 x 4 ，因此在宏块中按下面的顺序以4 x 4 块为单位进行水平和竖直 边界滤波【1 3 , 1 7 】，如图2 4 所示：首先对1 6 x 1 6 亮度宏块的4 个垂直边界滤波，其 次对亮度宏块的4 个水平边界滤波，再次对8 x 8 色度宏块的2 个垂直边界滤波， 最后对色度宏块的2 个水平边界滤波。 1 6 1 6 宏块1 6 x 1 6 宏块 。鼍 水平边界 ( 亮度) 水平边界 ( 色度) 图2 41 6 1 6 宏块图像边界：( a ) 垂直边界( b ) 水平边界 h 2 6 4 a v c 在编解码过程中采用了去块效应滤波器，这是它在低码率的情况 下取得较好的主观图像质量的一个重要原因。图2 5 显示了两幅经过滤波和未滤 波的图像情况。 ( a )( b ) 图2 5 去块滤波效果：( a ) 未滤波( b ) 经过滤波 第2 章h 2 6 4 a v c 视频编码标准 2 3h 2 6 4 a v c 标准的性能及应用 2 3 1h 2 6 4 a v c 标准的性能 实际上，新的h 2 6 4 a v c 标准与己有的其它标准相比，仍然是采用运动补偿 加变换编码的混合编码模型，在单个模块上并没有取得明显的提高，而是在每个 编码过程的每个步骤上均取得了一定的进步，表现为整体压缩性能的较大提高。 在保证相同图像质量的情况下，h 2 6 4 a v c 比h 2 6 3 ，m p e g - 4 ，m p e g 2 的压缩 效率至少高一倍，图2 6 给出了四种标准的率失真对比： - - _ - - 。1 。_ i - - - r a m , 4 - 。 一一一- l - t 舀二 。 t e m l 椭c 洋 髓h _ - - - l 。1 p 一。一 - l - - i - - - - 。广。 - l 。，。 - - - 一 l 臌q 童 1 4 瑚3 h 罅 小聪g - 4 辫 - 4 1 - h 烈w 黼岬 懈p e r n t l o擞斟2 烈 舶*1 i 瑚 5 鞠r 7 9 盘 嗣m 删州 图2 6 四种标准对比1 1 s l 2 3 2h 2 6 4 a v c 标准的应用 为了实现不同公司的软件和设备之间在不同应用中进行互操作，针对不同的 应用，h 2 6 4 a v c 标准中定义了一套一致性规则，即档次( p r o f i l e ) 和级( l e v e l ) 。 每种档次和级侧重于不同的应用场合，各自的编码工具也不相同，如图2 7 所示。 1 3 - - - - - - 一 - - 一 一 -r-一r1， ， - - - - - z兰一一一一一 黼艄斟雌粼铂约姆耵雒链m 季一缀善卿冬疹 h 2 6 4 a v c 实时视频编码器的研究与实现 ， ， i i 、 i ， 、 图2 7h 2 6 4 a v c 各档次之间的关系1 1 9 1 、 、 j ， 基本档次( b a s e l i n ep r o f d e ) 基本档次主要面向一般交互式视频应用以及复杂度低、传输延时小的应用对 象，如视频会议和视频电话等，它实现了任意片带( s l i c e ) 排序和冗余片带处理 等错误恢复功能。 主要档次( m a i np r o f d e ) 主要档次基本涵盖了b a s e l i n e 型式的全部内容，主要针对开展视频应用服务 所应具有的技术特性，增加了视频广播服务所要求的高编码率及多种预测帧技术， 使用了与基本档次无关的视频工具，例如在预测模式中支持双向预测的b 帧图像、 加权预测以及自适应帧场编码和c a b a c 熵编码算法，该档次可用于s d t v ， h d t v 和d v d 等方面。 扩展档次( e x t e n d e dp r o f i l e ) 扩展档次主要针对开展流媒体应用服务所包含的技术特性，如流切换技术特 性等，面向更高级的应用，如无线视频流服务和移动流媒体，在这些应用中，由 于无线信道带宽有限，存在多径干涉和各种干扰，错误发生的机率比传统有线传 输数据丢包率高很多。该档次将把为基本档次设计的错误恢复功能提高到一个新 的水平，提供更完善、更有针对性的错误隐藏方法。 1 4 - 第2 章h 2 6 4 a v c 视频编码标准 高精度档次( h i g hp r o f i l e ) 高精度档次扩展了视频源的采样格式与比特深度，加入了一些提高编码效率 的工具。从而h 2 6 4 a v c 进一步提高了编码效率，扩大了应用范围，如专业级的 视频应用、高分辨率高保真的视频压缩等。 2 4 本章小结 本章就i t 【j - t 和i s o i e c 在新世纪联合制定的视频编码国际标准h 2 6 4 a v c 的结构及其关键模块进行了介绍。作为面向未来口和无线环境的新一代视频编码 标准，它的视频编码效率比目前所有的视频编码标准都要高，而且算法结构上的 分层处理使它能适应不同的传输环境，提高传输效率。h 2 6 4 a v c 的这些优点必 将使其在视频通信领域得到广泛应用。 1 5 h 2 6 4