（信号与信息处理专业论文）基于h264avc的视频编码技术的研究及传输系统的建立.pdf

摘要 视频编码技术是多媒体技术的研究热点之一，也是各种视频应用和视频服务 的基础。国际上视频编码标准主要有两大系列：i t u ( 最初是c c i t t ) 针对低码 率视频通信制定的h 2 6 x 系列视频编码标准和i s o 仃e cj t c l 针对多媒体数据存 储制定的m p e g 系列标准。从1 9 8 8 年到2 0 0 6 年，视频编码经历了近1 0 个标准。 目前最新制定的视频编码标准是由i s o 和i t u 建立的联合视频工作组( j o i n t v i d e ot e 锄，简称j v t ) 制定的j v t 视频编码标准，它在i s o 中的正式名称是 m p e g 4 标准的第十部分，在i t u 中的正式名称是h 2 6 4 。h 2 6 4 标准是一个面 向未来口和无线环境下的视频压缩标准，其在视频压缩比方面比目前所有的视 频压缩标准都要高。但是这种压缩比的提高是以增加算法复杂度为代价的，导致 了其编码速度变的极慢，限制了该标准在实时环境下的应用。因此，如何在保证 其高压缩比的同时，大幅度提高其编码速度就成为研究的热点课题。 h l t e m e t 的诞生和快速发展给人类的生活和工作方式带来巨大的变化，也令 沟通与信息传递方式呈现出前所未有的便利和快捷。进入9 0 年代以来，随着多 媒体技术与网络技术的飞速发展以及相互融合，图像、视频等大数据量的多媒体 内容在网络上传播需求日益增长。近几年，随着多媒体压缩编码技术的发展以及 支持多媒体通信的一些新协议如r s v p 、i m 瓜t c p 、r t s p 、m m s 等的出现， 球网络承载多媒体业务方面的能力已经有相当大的进展。如何在各种网络环境 下快速、可靠的传输视频数据已经成为研究的熟点问题。 本论文的工作针对这两个当今信息技术的研究热点展开。首先，在分析及研 究最新的视频编码标准h 2 6 4 的基础上，利用宏块自身的特点和其时间、空间的 相关性来判断宏块应该采用的编码模式，从而提前得到该宏块的最佳编码模式， 新方法有效地克服了原标准算法中穷举式的复杂算法，在压缩码流只有少许增加 的情况下，大幅度地提高了帧内及帧间编码的速度。同时，该方法保持了原有标 准的码流结构，保证通用的解码器可以解码；另一方面，本论文在基于局域网的 环境下，利用具有艮好传输质量保证的t c p ，口协议构建了点对点的视频传输系 统。本系统在内部局域网中具有较好的效果，避免了采用r t p 瓜t c p 协议构建系 统的复杂过程，并且保证了很好的传输质量。同时，该系统的搭建，有利于从主 观上验证前面优化的算法的实际效果。 关键词视频编码；h 2 6 4 ；视频传输；t c p 口 a b s t r a c t b e i n gt h eb a s eo fa 1 1k i n g so fv i d e oa p p l i c “o n sa n ds e w i c e s ，v i d e oc o d e c b e c 锄ea i li m p o r t 删a r e ao f m u l t i m e d i at e c h n i q u er e s e a r c h t h ei t u ta n di s o i e c a r er e s p o n s i b l ef b ra np r e v i o u si n t e m a t i o n a lv i d e oc o m 口r e s s i o ns t a n d a r d s h 2 6 4 a v ci st h ec 帆n tv i d e os t a i l d a r d i z a t i o n 口r o i e c to ft h er r u t d e oc o d i n g e x p e r t sg r o u p ( v c e g ) a 1 1 dm ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) t h e m a i ng o a l so ft h i ss t a n d a m i z a t i o ne f r o r ta r et od e v e l o pas i m p l ea 1 1 ds t r a i g h t f o r w 砌 v i d e oc o d 血gd e s i p 皿，w i me n c l l i l c e dc o m p r e s s i o np e r f 0 h n a n c e h 2 6 4f k e st 0t 圭l ei p a n dw i r e l e s se n v i r o n m e ma n di t sc o i i l p r e s s i o nr a t i oi sh i 蛳e rt 1 1 a ne x i s t e do n e s h o w e v e r ，t h ec o m p l e x i t yo fn l ea l g o r i 血mi sv e r yh i g h s ot h e 0 1 ds t a n d a r d sa r es m l w o r l ( i n gw i t ht h en e wo n et o g e t h e l t h ee m e r g e n c ea n d f b td e v e l o p m e n to f 幽ei n t e m e t 耵e a t l yc h a i l 2 et l l e1 i f cs t v l e o f h 眦a n eb e i n g sa n dm ew a yh u m a l l eb e i n g sw o r ka n dm a k et 1 1 ec o m m u n i c a t i o na i l d t a 璐m i s s i o no fi n f o 兀n 砒i o nt a k eo nt h eu n p r c c e d e m e dc o n v e n i e n c ea n d 口r o m 口t i t u d e i nt h ef i r s ti n t e m e ta g e ，m o s to f t h ei n f o r i l l a t i o np e o p l ec o i n m u n i c a t ei nm ei n t e m e ti s s o m es 油p l ed a t as u c ha sw r i m mw o r d ，a l l dm ei n f o r m a t i o no ft 1 1 em u l t i m e d i ai sv e r y 1 i m i t e d i n 廿l e19 9 0 s ，w i 1t l l ef a s td e v e l o p m e ma n df i l s i o no fm em u l t j m e d i a t e c h n o l o 星| ya n di n t e m e tt e c h n 0 1 0 窑y t h e r ei sa ni n c r e a s ei nt h er e q u i r e m e n tb vw h i c h m e1 1 1 t e m e tc a l l 拄a 1 1 s m i tt h ec o m e mo fr n u l t i m e d i aw i t hah u g ed a t as u c ha si m a g e a n dv i d e oa 1 1 ds oo n t h ec a p a b i l i t yo f 口n e 似o r kt oc a r r ym u l t i m e d i ah a sag r e a t p r 0 铲e s sw i 血d e v e l o p m e n to fm u l t i m e d i ac o m p r e s s i o nc o d i n gt e c h n 0 1 0 9 y 锄dm e e i i l e 唱c n c eo fs o m en e wp r o 幻c o l ss u p p o 州n gm u l t i m e d i ac o n l i i l u i l i c a t i o ns u c h 踞 r s vp r t p ，r t c pr t sp m m s t h ew o r ko ft l l i sp a p e ri sf o c u s e do nm o s et w of i e l d so fi n f o m a t i o nt e c h n o l o 管v f o r “d e oc o d e c ，a r e ra n a l y z i n g 枷r e s e a r c h j n gt h en e w e s ts t a n d a r dh 2 6 4 ，a n e m c i e n c ya l g o r i 也mw a sp r o p o s e di nt 上l i sp 印e ru s i n gs e l f i f e a n l r e ，s p a t i a lc o r r e l a t i o n 趾dt e m p o r a lc o f r e l “o nt oj u d g et h ee n c o d i n gm o d eo fo n em a c r o _ b l o c k 1 1 l r o u 曲 t h i sm e t l l o d ，t 1 1 eb e s tp r e d i c t i o nm o d ec a nb eo b f a i nb e f o r ee n c o d i n 晶t l l e n ，t h ec o d i n g t i m ec a l lb er e d u c e dd 胁a t i c a l l yw i ma1 i m ee x p e t l s eo fb i t r a t e f o rv i d e o 仃a n s m i s s i o n ，i nm i sp 印盯ia 订a n s m i tm e l l l o dw a sp r o p o s e du s i n gt c p 口p r o t o c o l u n d e rt h e 锄v i r o r l m c n to f1 0 c a ln e t w o r k s t h i ss y s t e ma v o i du s i n gt h ec o r r l p l i c a t e d p r o c e g sb a s e do nr t p 瓜t c pp r o t o c o l ，a t 血es 锄et i m e ，g e t t i n gt h eb e s tq o s f u r t h e r m o r e ，t h ee x p e r i m e n t a lr e s u l to ff o n n e ri m p m v i n ga l g o r i t h mc a nb eo b s e r v e d s u b i e c t i v e l yt i l l _ o u 曲m i sp l a t f o m l k e y w o r d s ：v j d e oc o d e c ，h 2 6 4 ，v i d e ot r a n s m i s s i o n ，t c p 碑 1 i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：谶亟日期：2 丛区! 本论文工作得到北京市自然科学基金的资助 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：i 馥趱 导师签名：日期：星么厶2 第1 章绪论 1 1 课题背景及研究意义 视频编码技术是多媒体技术的研究热点之一也是各种视频应用和视频服务 的基础”。历来受到国际标准化组织和众多国际著名企业和公司的普遍重视。 国际上视频编码标准主要有两大系列：u ( 最初是c c t ) 针对低码率视频通 信制定的h 2 6 x 系列视频编码标准和i s o ，cj t c l 针对多媒体数据存储制定的 m p e g 系列标准。表1 1 列出了各视频编码标准的目标码率和应用领域。 表1 1 视频编码标准的日标码率和应用领域 织织名称视频编码标准码率范圉 典型虚用 i t u - t h 2 6 1 p 。6 4 k b p s ，p = 1 3 0 在i s d n 等宽带信道上的视频 传输，如视频电话等 i s oi s l i l 7 2 - 2 1 5 m b p s v c d m p b g 1 i s 0i s1 3 8 1 8 24 1 0 0m b 口s 高品质数字视频和音频传输和 ，m e g 2 存储。如d v d 、h d t v ( 高清 晰度电视) 等 u th 2 6 3 6 4 l c b p s 或6 4 k b p s 甚低比特率视频通信。如p s l n ( 公共开关电话网络) 上的视频 电话和视频会议系统 i s oc d1 4 4 9 6 - 22 4 _ 1 0 2 4k b p s实时多媒体监控、低比特率下的 胛e g 4 移动多媒体通信、内容存储和检 索多媒体系统等 r r u - 1 h 2 6 3 、岛r s i o n2 6 4 k b p s同h 2 6 3 ( h 2 6 3 + ) l t u - rh 2 6 l 6 4 k b p s 到2 4 0 m b p s 兼顾f 。播币u 电信、覆盖从低码率 通信到高清晰电视的广域标准 目前晟新制定的视频编码标准是由i s o 和i t u 建立的联合视频工作组( j o i n t v i d e ot e a m ，简称j v t ) 制定的j v t 视频编码标准，它在i s o 中的正式名称是 m p e g - 4 标准的第十部分，在i t u 中的正式名称是h 2 6 4 。本文在以后的叙述中 统一采用h 2 6 4 这个名称。h 2 6 4 标准是一个面向未来d 和无线环境下的视频压 缩标准，其在视频压缩效率方面比目前所有的视频压缩标准都要高。h 2 6 4 采用 了传统的基于宏块和运动补偿的方案，但是在技术细节上却做了较多的改进。中 了传统的基于宏块和运动补偿的方案，但是在技术细节上却做了较多的改进。中 国自主制定的音视频编码技术标准a v s 【2 ”，就是以h 2 6 4 框架为基础的。h 2 6 4 压缩效率的提高是以增加算法复杂度为代价的。因此h 2 6 4 的编码速度在通常情 况下还不能满足实际应用的要求。因此在不改变h 2 6 4 标准码流结构和维持原有 码率的情况下，找到简单可行的算法替代原有的复杂算法，提高h 2 6 4 的编码速 度，无论在理论研究还是实际应用方面，都是具有一定的意义的。 互连网初兴之时，由于受到技术水平的限制，应用仅仅局限于文本等一些要 求简单的数据。进入9 0 年代以来，随着i n t e m e t 广泛普及以及网络技术、多媒体 信息技术的飞速发展，尤其是多媒体与网络技术结合应用的不断深入，在国际互 连网上传输图形、图像、音频、视频等多媒体信息已是发展的必然趋判。可是， 以音频和视频为主的多媒体应用，不仅需要较大的传输带宽，而且还具有连续性、 实时性等特点。显然，以满足小数据量、静态信息传输为主的传统的网络技术已 经不能适应多媒体应用的需要，迫切需要一组新的技术出现。 7 0 年代提出的t c p 疋标准，由于当时没有找到合适的应用，整整十几年的 时间，p 技术没有得到很好的发展，反而被认定有很多问题。但是，9 0 年代w w w 的应用，这种与不面向连接完成匹配的应用激活了p 技术，导致了i p 网以一种 爆炸式的速度向前发展【5 】。邛网及其应用的迅速崛起，抑制了a t m 的发展。随 着技术在实际应用中的大量采用，i t u t 于1 9 9 7 年宣布将其标准化工作全面 转向。于是，i t u t 的大多数研究组都将对i p 技术的研究列入了重点，开始 全方位地研究腰技术，并进行标准化工作。众所周知，标准是产业的前导。口 技术标准发展，必将导致口技术成为未来网络技术的热点。由此可见，在疋网 络上发展各种多媒体业务已是大势所趋。从某种意义上说，多媒体网络的另一 含义其实就是互联网m 网络。 目前，对于视频在网络上的传输主要从两个方面来考虑。一个方面是从网络 的观点看，就是要突破目前的网络框架而建立起新的带有服务质量( q u a n t yo f s e r v i c e ，简称为q o s ) 保证的网络体系结构；然而在h n c m e t 和无线通信日益普 及的今天，改变网络体系结构不是一朝一夕的事情。另一个方面是从信号处理的 角度看，就是研究如何把目前的视频编码技术应用到网络传输中和研究新的适合 网络传输的视频编码算法 6 】。在应用已有的视频编码技术于网络传输的研究中， 人们使用了错误恢复( e d rr e s i l i e n c e ) 、错误隐藏( e h d rc o n c e a l m e n t ) 、信道 编码( c h 锄e lc o d i n g ) 、自适应编码( a d a p t i v ee n c o d i n g ) 、t r a n s c o d i n g 和码流 切换( b i t s 仃e a ms w i t c l l i n g ) 等技术，取得了一定的成果：在研究新的适合网络 传输的视频编码算法中，人们提出了可扩展性编码的思想，包括时域可扩展性 ( t 锄p o r a ls c a l a b l e ) 编码、空域可扩展性( 印a t i a ls c a l a b l e ) 编码、质量可扩展性 ( q u a i i t ys c a l a b l e ) 编码、精细可扩展性( f i n eg r a i l u l a rs c a l a b i e ，简称f g s ) 编 码和渐进的精细可扩展性( p r o g r e s s i v ef i n eg r a n u l 甜s c a l a b l e ，简称p f g s ) 编码 等。它们具有码流可截断的特性，并且拥有一定的错误恢复能力，可以适应网络 带宽的变化和误码的产生，但是编码性能有一定的降低，并且算法复杂度较大， 很难在实际的网络视频编码上应用，解决这些问题是目前面向传输的视频编解码 研究的主要方向7 1 。 1 2 本论文的研究内容 针对 l 2 6 4 算法复杂度高，编码速度慢的特点和在局域网环境下传输视频信 息具有的特殊性，本论文的研究重点集中在以下两方面： ( 1 ) h 2 6 4 算法的改进 改进算法的目的是为了降低原有算法的复杂度，从而提高h 2 6 4 的编码速 度。由于h 2 6 4 是国际通行的标准，有标准的解码器，所以改进算法不应改变 h 2 6 4 的码流结构。如果改变码流结构，将导致标准解码器失效。 改进算法的主要思路是找到一种算法替代原有的复杂算法。这就要求替代算 法在复杂程度上要和原算法有很大的区别。这样才能够通过新算法的引入达到提 高编码速度的目的。具体的工作主要集中在两个方面： 1 利用二维直方图来判断帧内宏块的编码模式，提高帧内预测算法的编码 速度：利用子块的统计特性进一步提高4 4 子块的编码速度。 2 利用空间、时间相关性来判断帧间宏块的编码模式，提高帧间预测算法 的编码速度。 码率是衡量一个编码器的重要指标。h 2 6 4 在码率方面大大的优于其他编码 标准。新算法的引入除了提高编码速率之外，还要尽可能的保证码率和原算法的 码率相当，没有太大的增幅。否则，新算法的引入，将导致整个h 2 6 4 编码算法 的退化，失去h 2 6 4 算法的优势。 简而言之，对于h 2 6 4 算法改进的研究就是要利用一种简单有效的方法，代 替原有的复杂算法，在提高编码速度的同时，保持码率基本不变，保持码流结构 符合h 2 6 4 标准码流格式。 ( 2 ) 基于t c p d 的局域网视频传输系统的建立 在局域网中传输视频信息虽然与普通的视频通信技术具有相似性，但也有一 些特点。 北京工业大学工学硕士学位论文 对于视频传输技术来说，最主要有两个方面要保证。首先是实时性，由于视 频是一组连续的图像，具有很强的实时性，所以如何保证在延时很小的情况下传 输视频是首要问题。其次，要考虑视频传输的稳定性，由于网络的不可预知性， 无法保证数据稳定到达，无法保证数据的连续性，所以如何保证视频数据的传输 质量也是需要解决的问题。 在通常的网络传输中，采用基于u d p 疋协议的方案，u d p ( u s e rd a t a f a 瑚 p r o t o c o n 协议是数据报文协议，是非面向连接的数据传输协议，将数据以数据包 格式传送，但不保证数据包稳定，按顺序到达，因此在此基础上人们采用 r t p ，l 玎c p 协议来控制数据报的顺序和丢包情况，该协议工作在u d p 协议之上。 采用此方法主要是考虑视频传输的速度问题，但增加了开发的难度。 在网络条件良好的情况下，可以采用基于t c p 口协议的方案。t c p 协议是 面向链接的协议，保证数据准确按顺序到达。在网络条件不好的情况下，由于有 大量的丢包现象，这样t c p 的重传机制会影响数据的实时性。但在局域网中， 由于网络条件良好，采用该方案既可以避免t c p 在传输实时数据的弊端，又可 以大量减少开发难度。 本论文的工作即是在局域网条件下，实现基于t c 的视频传输系统，验 证该方法的可行性，同时，为从主观上判断前面优化算法的优良性提供了一个平 台。 1 3 论文的结构安排 论文的第二章介绍了视频编码技术的基本思想以及现如今使用较多的编码 基本技术。本章还就目前视频编码技术的研究和应用状况做了一定的介绍。h 2 6 4 作为最新的视频编码标准，成为国内外研究的热点。本章讨论了h 2 6 4 视频编码 技术的概况和其中的一些关键技术，包括帧内预测( b t r ap r e d i c 蛀o n ) ，基于多尺寸 块的运动估计和变换编码，去除块效应的后滤波( 1 1 1 一l o o pf i l t e r ) ，自适应块尺寸 d c t 变换0 墟t ) ，上下文自适应的二进制算术编码( c a b a c ) 等。 第三章介绍了视频传输技术的基本情况、技术和现状。主要介绍两种网络传 输协议t c p 仰，u d p 佃，以及在此基础上视频传输技术的发展，如何利用 r t p r t c p 来保证视频传输质量，及t c p 协议在数据传输方面的优势 第四章在第二章介绍的基础上，针对帧内预测模式的设计展开分析，确定利 用宏块自身特性预判帧内预测模式的方法。该方法主要分为两个步骤：宏块特征 4 第一章绪论 的提取和根据特征进行判决的方法。同时，利用4 4 子块预测的自身特点，根 据统计特性，找到提前终止预测的方法，本章就这两个方面进行详细的论述。 第五章同样在第二章的基础上，详细介绍、分析帧间预测算法的特点，利用 宏块自身的空间相关性与时间相关性来判断宏块应该采用的预测模式，该方法首 先得到宏块的时空相关性，再定量判断宏块的编码模式，本章将详细讨论本方法。 第六章阐述了局域网的组成和一些特点，论述了传输系统的实现方法，并利 用h 2 6 4 编码标准来传输视频序列，对该系统的实现问题做了讨论。 最后对全文进行了总结，并对本文涉及到的技术领域进行了展望。 ! ! 童三些盔耋三兰堡圭兰堡鎏兰 第2 章视频编码技术概述及发展现状 2 1 常用的视频编码标准 u - t 和i s o i e cj t c l 是目前国际上制定视频编码标准的正式组织，r r u t 的标准称之为建议，并命名为h 2 6 x 系列，比如h 2 6 1 、h 2 6 3 等。i s o c 的 标准称为m p e g _ x ，比如m p e g 1 、m p e g 2 、m p e g 一4 等。h 2 6 x 系列标准主要 用于实时视频通信，比如视频会议、可视电话等；m p e g 系列标准主要用于视频 存储( d v d ) 、视频广播和视频流媒体( 如基于i n t e m e t 、d s l 的视频，无线视 频等等) 。图2 1 说明了这两族标准的发展历程 r i t u t | 。嬲，j j 础：】卜。卜。+ 卜。+ + l ；| | s f a n d o r d s j o m 。、l 眦6 ：z | | ? 卜。一a 州c 雪 l t u 玎， p e g s a n d a r d s m p e g 4 上m p e g - 4m p e g m p e g 1 ( v e r s i o n1 ) 隆r s o n2 l s l a n d a r d 8 jlr 1 9 8 81 9 9 0 1 9 9 2 1 9 9 41 9 9 69 9 82 0 0 02 ( ) 0 22 0 0 4 图2 1 视频编码标准的发展过程 c c i t t ( 国际电报电话咨询委员会) 于1 9 8 4 年成立了一个专家组，专门研究电 视电话的编码问题，并于1 9 9 0 年完成和批准了c c r r t 推荐书h 2 6 1 。在h 2 6 l 的基础上，1 9 9 6 年r r u - t 完成了h 2 6 3 编码标准。在编码算法复杂度增加较少 的基础上， l 2 6 3 能提供更好的图像质量、更低的速率。目前，h 2 6 3 编码是口 视频通信采用最多的一种编码方法。1 9 9 8 年r r u t 推出的h 2 6 3 + 是h 2 6 3 建议 的第二版，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩编码 性能。i t u 还制定一系列音频编码标准，如g 7 1 1 、g 7 2 2 、g 7 2 3 、g 7 2 7 、g 7 2 8 、 g 7 2 9 等。 第二章视频编码技术概述及发展现状 m p e g 是i s o ，i e cj t c l1 9 8 8 年成立的运动图像专家组( m o v i i l gp i c t u r e e x p c ng r o u p ) 的简称，负责数字视频、音频和其他媒体的压缩、解压缩、处理 和表示等国际技术标准的制定工作。从1 9 8 8 年开始，m p e g 专家组每年召开四 次左右的国际会议，主要内容是制定、修订、发展m p e g 系列多媒体标准。已 推出的标准包括m p e g 1 、m p e g 一2 、m p e g 一4 、m p e g - 7 、m p e g 一2 l 。目前， m p e g 系列标准已经成为影响最大的多媒体技术标准，对数字电视、视听消费电 子产品、多媒体通信等信息产业的重要产品产生了深远影响。 除了联合开发h 2 6 2 府订p e g 2 标准外，大多数情况下，这两个组织独立制定 相关标准。自1 9 9 7 年，i t u - tv c e g 与i s 伽e cm p e g 再次合作，成立了j o i n t v i d e ot e a m ( j v t ) ，致力于开发新一代的视频编码标准h 2 6 4 【8 j o1 9 9 8 年1 月， 开始草案征集；1 9 9 9 年9 月，完成了第一个草案；2 0 0 1 年5 月，制定了其测试 模式t m l 8 ：2 0 0 2 年6 月，t 第5 次会议通过了h 2 6 4 的f c d 版：2 0 0 2 年 1 2 月，r r u t 在日本的会议上正式通过了h 2 6 4 标准，并于2 0 0 3 年5 月正式公 布了该标准。国际电信联盟将该系统命名为h 2 6 4 a v c ，国际标准化组织和国际 电工委员会将其称为1 4 4 9 6 1 0 脚p e g 4a v c 。本文在以后的章节中统一使用 h 2 6 4 的名称。 2 2 经典的视频编码技术 1 9 4 8 年，o l i v e r 提出了第一个编码理论脉冲编码调制( p u l s ec o d i n g m o d u l a t i o n ，简称p c m ) ：同年，s h a n n o n 的经典论文_ 通信的数学原理”首 次提出并建立了信息率失真函数概念；1 9 5 9 年，s h a n n o n 进一步确立了码率失真 理论，以上工作奠定了信息编码的理论基础。主要编码方法有预测编码、变换编 码和统计编码，也称为三大经典编码方、法【”。 预测编码的基本思想是：根据数据的统计特性得到预测值，然后传输图像像 素与其预测值的差值信号，使传输的码率降低，达到压缩的目的。预测编码方法 简单经济，编码效率较高。 变换编码的基本思想是：由于数字图像像素间存在高度相关性，因此可以进 行某种变换来消除这种相关性。 统计编码的基本思想是：主要针对无记忆信源，根据信息码字出现概率的分 布特征而进行压缩编码，寻找概率与码字长度间的最优匹配。常用的统计编码有 游程编码、h u f 妇a n 编码和算术编码三种。 北京工业大学工学硕士学位论文 三大经典编码方法以信息论和数字信号处理技术为理论基础，构成了目前最 为通用的编码标准的基础。 近年来不局限于信息论的框架，充分利用人的视觉生理、心理和图像信源的 各种特征的“第二代”编码技术正在被广泛的研究，包括：基于分形的编码、基 于模型的编码、基于区域分割的编码和基于神经网络的编码等。 “第二代”编码方法充分利用了计算机图形学、计算机视觉、人工智能与模 式识别等相关学科的研究成果，为视频( 图像) 压缩编码开拓出了广阔的前景。 但是由于“第二代”编码方法增加了分析的难度，所以大大增加了实现的复杂性。 从当前发展情况来看，“第二代”编码方法仍处于深入研究的阶段。例如，分形法 由于图像分割、迭代函数系统代码的获得是非常困难的，因而实现起来时间长， 算法非常复杂。模型法则仅限于人头肩像等基本的视频( 图像) 上，进一步的发 展有赖于新的数学方法和其它相关学科的发展。神经网络的工作机理至今仍不清 楚，硬件研制不成功，所以在视频( 图像) 编码中的应用研究进展缓慢，目前多 与其他方法结合使用。 正因为如此，目前主流的编码技术还都基本未采用“第二代”编码方法。本 文将要讨论的h t 2 6 4 编码标准也是基于三大经典编码方法的。 2 3h 2 6 4 视频编码标准简述 2 3 1 h 2 6 4 视频编码标准概述 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采 用“回归基本”的简洁设计，不用众多的选项，获得比 l 2 6 3 + + 好得多的压缩性 能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对 误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同 传输( 存储) 场合的需求 1 。 技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与 h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 一4 简单类( s i m p l ep r o f i l e ) 相比，h 2 6 4 在使用与上述编 码方法类似的最佳编码器时，在大多数码率下最多可节省5 0 的码率。h 2 6 4 在 所有码率下都能持续提供较高的视频质量。h 2 6 4 能工作在低延时模式以适应实 时通信的应用( 如视频会议) ，同时又能很好地工作在没有延时限制的应用，如视 频存储和以服务器为基础的视频流式应用。h 2 6 4 提供包传输网中处理包丢失所 第二章视频编码技术概述及发展现状 需的工具，以及在易误码的无线网中处理比特误码的工具。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层( v i d e oc o d i n g l a 粥r v c l ) 和网络提取层( n e 押o r ka b s 廿a c t i o nl a y e r ，n a l ) 之间进行概念性分 割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送 的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制【1 “。图2 2 说明了这种分层次的结构，在图中，由v c l n a li n t c r f 砬e 将编码器分为上下两 部分，上面是v c l 编码部分，下面是n a l 网络接口部分。n a l 引入了面向口 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 h2 5 a v cc o n c e p l u a il a y e f s v i d e oc o d i n gl a y e rv i d 。oc o d i n gl a y e r 匕n c o d e re n d e r - 古” 7 苎 ：黼：1 槲捌”十 i u e t w o r ka b s t 。a c t i o “n 。t w 口r ka b 5 t r a c t b n l a y e re n c o de rl a y e re n 0 。d e r n a “n c o de rh l l e 临。j fn al c l 。d 目1 e r f a ”革 h 简l 露引捌篇l 旧宇什瓣f 图2 2h 2 6 4 视频编码标准中的分层示意图 h 2 6 4 标准可分为三档：基本档次( 其简单版本，应用面广) ；主要档次( 采 用了多项提高图像质量和增加压缩比的技术措施，可用于s d t v 、卸) t v 和d v d 等) ：扩展档次( 可用于各种网络的视频流传输) 。 2 3 2h 2 6 4 视频编码标准采用的技术 h 2 6 4 标准压缩系统由视频编码层( v c l ) 和网络提取层( n e t 、o r ka b 咖a c t i o n l a ”r ，n a l ) 两部分组成。v c l 中包括v c l 编码器与v c l 解码器，主要功能 是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。 n a l 则用于为v c l 提供一个与网络无关的统一接口，它负责对视频数据进行封 装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、 北京工业大学工学硕士学位论文 多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头 中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类 型标志用于指示图像数据的类型。v c l 可以传输按当前的网络情况调整的编码 参数。本文所讨论的技术都局限于视频编码层( v c l ) 1 2 】。 2 3 2 1h 2 6 4 视频编码的结构框图 h 2 6 4 视频编码器的结构框图如图2 3 所示： i 匝圃 蝴徽 f 器审| hl 掣 h 采盛 副卜+ 曲吐亩 毽胁 图2 - 3h 2 6 4 编码器结构框图 h 2 6 4 在对图像进行编码的时候，采用帧内( h l t r a ) 模式和帧间( i n t e r ) 模 式两种模式。对于i 帧图像，采用帧内模式进行编码，对于p 帧和b 帧同时采用 帧内和帧间两种模式进行编码【加】。 在h 2 6 4 中，每帧图像的编解码过程都以1 6 1 6 的宏块为基本单元进行。i 帧编码的基本流程为： ( 1 ) 进行帧内预测，决定所采用的帧内预测模式。 ( 2 ) 像素值减去预测值，得到残差。 ( 3 ) 对残差进行变换和量化。 ( 4 ) 变长编码和算术编码。 ( 5 ) 重构图像并滤波，得到的图像作为其它帧的参考帧。 p 帧和b 帧编码的基本流程为： ( 1 ) 进行运动估计，计算采用帧问编码模式的率失真函数值。p 帧只参考前 面的帧，b 帧可参考后面的帧。 ( 2 ) 进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确 o 第二章视频编码技术概述及发展现状 定采用哪种编码模式。 ( 3 ) 计算实际值和预测值的差值。 对残差进行变换和量化。 ( 5 ) 变长编码和算术编码，如果是帧间编码模式，编码运动矢量。 2 3 2 2h 2 6 4 编码标准中的各项关键技术 h 2 6 4 标准的主导思想是与现有的视频编解码标准一致的基于块的混 合编码方法，基本算法是通过帧间预测和运动补偿消除时域冗余，经过变换编码 消除频域冗余m 。因此基本的功能模块：预测、变换、量化、熵编码没有根本的 变化，但是它同时运用了大量不同的技术，使得其视频编码性能远远优于任何其 他标准。 ( 1 ) 统一的熵编码1 1 4 】： h 2 6 4 中的熵编码有两种，一种是对所有的语法单元采用统一的v l c ( u v l c u 1 1 i v e r s a lv a r i a b l e l e n g i hc o d i n 曲，另种是采用内容自适应的二进制算术编码 器( c a b a c ：c o n t e x t a d 印t i v eb i n a r y 矧t h m e t i cc o d i n g ) 。c a b a c 是可选项，其 编码性能比u 旷i c 要好，但计算复杂度也高。使用一个长度无限的码字集，采用 的是规则的码表，很容易产生一个码字，而解码器也很容易地识别码字的前缀， 这种码字设计在发生比特错误时能快速获得重同步。 ( 2 ) 运动估计和运动补偿 h 2 6 4 采用了不同大小和形状的分割与次分割的方法。一个宏块可以按照1 6 1 6 、1 6 8 、8 1 6 、8 8 的方式进行分割，如图2 4 所示。如果选择了8 x 8 模式，可以进一步进行8 8 、8 4 、4 8 、4 4 形式的次分割。如图2 5 所示。 这些分割与次分割的方式可以组合出许多种宏块的分割方法。这种把宏块划分成 不同大小的块和子块进行运动补偿的方法被称为树结构的运动补偿。宏块分割与 次分割所产生的每一个亮度块都有自己的运动矢量。图2 6 形象的说明了帧图 像可能采用的最优分割方法。 图2 _ 4 宏块的四种分割方式 韭塞三些奎兰三兰堡圭兰堡鎏兰 01 0 1 图2 58 8 分割的次分割方式 01 23 图2 - 6 一帧图像的最优分割方法 在搜索精度方面1 1 6 】，h 2 6 4 相比h 2 6 3 进一步增强了运动估计的搜索精 度，支持l 4 和1 8 像素精度的运动矢量。在半像素预测后生成的矩阵上再进 行一次内插，将半像素精度扩展到1 4 像素精度，在1 4 像素基础上再内插， 可得到1 8 像素精度的运动矢量。如图2 7 所示，图中( a ) 是当前的子块，( b ) 为 整数像素精度预测，( c ) 为分数像素精度预测。 oo0 0 0o o o o o o o o o oooooo ( ) 当前4 4 子块 ooo oo0 oo o o ooo ooo oo0 oo0 000 oooooo ( b ) 参考块运动矢量( 1 一1 ) 图2 7 搜索精度示意图 1 2 oooooo 国囝oo oooo o o 国国国国 oooooo 露园固圆 ooooo0 d 。雩巷善晷 oooooo c c ) 参考块运动矢量( 0t 5 一os ) 第二章视频编码技术概述及发展现状 除了上述两种改进之外，h 2 6 4 还支持多参考帧的运动补偿技术【1 7 】，即在已 解码的多幅图像中以某种算法选择作为运动补偿的参考帧，如图2 8 所示，可以 在当前帧的前五帧中寻找参考帧。在编码端与解码端都有相同尺寸的帧存储器， 其中存储多个参考帧以进行帧间预测。多参考帧的使用提高了编码压缩的效率。 图2 9 和图2 一l o 的比较直观的说明了多参考帧的优势。 图2 8 具有5 个参考帧的视频序列 图2 - 9 多参考帧示意图 图2 1 0 单参考帧示意图 ( 3 ) 残差图像的整数变换编码1 1 8 】 h 2 6 4 将1 6 1 6 宏块分成1 6 个4 4 像素大小的块进行变换编码，采用了 与4 x 4d c t 变换增益相同的整数变换，其输出y 由下式得出： 北京工业大学工学硕士学位论文 1l 2 1 11 12 1l 一12 11 21 o 如l z l o置l 恐0 恐i 砖o 刁1 2 如3 而2而3 吃2 恐3 而2 码3 反变换公式y 是经过量化后的y 2 1 l 1喜 1喜一11 1一占一l1 1一l1一县 y0 0 o y 2 0 y 3 0 y 0 i y 1 1 y 2 l y 3 l y0 2 y 1 2 y 2 2 ) ，3 2 l2 1l 11 12 y0 3 3 y 2 3 y 3 3 11 12 12 11 l1 一喜一1 一l1 1 一士 这种整数变换十分有利于用硬件实