（通信与信息系统专业论文）h26l视频编码算法研究及其dsp实现.pdf

h2 6 l 视频编码算法卅 究及nd s ! ，实现摘要 摘要 本论文是围绕国家自然科学基金项目“h 2 6 l 视频编码算法研究及其实现” 进行的。h 2 6 l 视频编码算法是i t u t 新近制定的视频编码的国际标准，其主要 目的是采用目前广泛使用的视频压缩算法的总体结构开发出一种更加高效的视 频压缩标准，使其具有更广泛的码率范围、更好的容错性并能适应不同类型的网 络。本论文详细研究和分析了h 2 6 l 算法的结构与特点，并在t m 1 3 0 0 平台上 实现了h 2 6 l 编码器，具体内容主要包括： 1 在阅读h 2 6 lt m l 50 源代码的基础上详细研究和分析了h 2 6 l 视频编 码标准，包括编码器结构、码流语法结构、编码算法的实现等。 2 使用h 2 6 lt m l - 8 0 1 2 年nh 2 6 3 + t m n 3 2 o 3 1 编码器对h 2 6 l 编码算法 进行了具体的仿真分析，比较了它和h 2 6 3 算法的编码性能的差异，详 细分析了h 2 6 l 算法的各项新特性所带来的编码性能的提高和代价，并 给出了算法优化时应遵循的一些原则。 3 将h 2 6 lt m l 一5 0 编码器移植到t m 1 3 0 0 平台上实现。针对编码延时与 编码效率之间的矛盾，根据我们的仿真结果，利用t m 1 3 0 0 专用指令进 行了算法和代码优化。 4 用t m 1 3 0 0 专用指令实现了一种新的d c t 快速算法。 本论文的工作跟踪了目前国际上最先进的视频编码标准h 2 6 l ，分析了它的 性能和优缺点，为进一步的实际应用做出了理论分析，并在此基础上进行了一部 分硬件实现工作具有一定的现实性和创造性。 h2 6 l 视频编码算注研究投j ld s p 实i 见摘要 a b s t r a c t t h i sp a p e ri sas u b - p r o j e c to fn s f c “n e wh 2 6 lv i d e oc o m p r e s sa l g o r i t h ma n d i t sd s p i m p l e m e n t a t i o n ”t h ed r a f th 2 6 ls t a n d a r di sc u r r e n t l yb e i n gd e s i g n e db y t h e i t u tv i d e o c o d i n ge x p e l s g r o u p ( v c e g ) w i t h t h eg o a lo f e n a b l i n gs i g n i f i c a n t l y i m p r o v e dc o m p r e s s i o np e r f o r m a n c er e l a t i v et oa l le x i s t i n gv i d e oc o d i n gs t a n d a r d s ，a s w e l la so t h e r i m p o r t a n tf e a t u r e s ，s u c h a se r r o rr e s i l i e n c ea n dn e t w o r ka d a p t a b i l i t y w h i l eu s i n gt h es a m eh y b r i db l o c k b a s e dm o t i o nc o m p e n s a t i o na n dt r a n s f o r mc o d i n g m o d e la st h e s ee x i s t i n gs t a n d a r d s w ei n v e s t i g a t ea n da n a l y z et h en e w l yd e v e l o p e d i t u tv i d e oc o m p r e s ss t a n d a r dh 2 6 la n dt h e ni m p l e m e n ti to nt h et r i m e d i a s d s p c p u ：t m - 1 3 0 0 o u rw o r k sl i ei nf o l l o w i n g a s p e c t s ： 1 w ei n v e s t i g a t et h es o u r c ec o d eo fh 2 6 lt m l 5 0a n dd e p i c ti t sc o d e r s t r u c t u r ea n ds t r e a ms y n t a xa n d c o d i n ga l g o r i t h mi nd e t a i l 2 w ei l l u s t r a t et h ei m p r o v e dc o d i n ge f f i c i e n c ye n a b l e db yh ，2 6 lr e l a t i v et o e x i s t i n g v i d e o c o d i n g s t a n d a r d sa n d p r o v i d e ad e t a i l e d a n a l y s i s o ft h e i n d i v i d u a l c o d i n gg a i n sp r o v i d e db y s e v e r a lk e yf e a t u r e so ft h eh 2 6 l s t a n d a r d t h e s er e s u l t sc a r lb eu s e di n c h o o s i n g t h ef e a t u r e st h a tw i l l c o m p r i s e e a c ho fi t s p r o f i l e s ，a n d f a c i l i t a t et h e d e v e l o p m e n t e f f i c i e n t e n c o d i n ga l g o r i t h m s t h a tf i n da n o p t i m a l b a l a n c eb e t w e e n c o d i n g p e r f o r m a n c ea n dc o m p l e x i t y 3 w et r a n s p l a n tt h eh 2 6 lc o d e rt ot m 1 3 0 0 p l a t f o r ma n do p t i m i z et h e a l g o r i t h ma c c o r d i n g t oo u r a n a l y s i s r e s u l t s w ea l s ou s es o m ec u s t o m i n s t r u c t i o n st or e p l a c es o m ec r i t i c a lc o d et os a v e p r o c e s st i m e 4 tw e p u tf o r w a r dan e v vd c t c o m p u t a t i o na l g o r i t h mo nt h i sp l a t f o r m o u rw o r k st r a c et h ed e v e l o p m e n to ft h em o s ta d v a n c ev i d e oc o m p r e s ss t a n d a r d l 2 6 la n da n a l y z ei t s p e r f o r m a n c e o u rr e s u l t sp r o v i d eat h e o r e t i cf o u n d a t i o nf o r p r a c t i c a la p p l i c a t i o na n dh a v es o m ei n n o v a t i o na n df e a s i b i l i t y 1 2 6 l 税频编码算注埘究殷】0d s p 宴啦 ! 多媒体通信的发展 第一章绪论 顾名思义，多媒体通信是指在一次呼叫过程中能同时提供多种媒体信息一一 声音、图像、图形、数据、文本等的新型通信方式。它是通信技术和计算机技 术相结合的产物。与电话、电报、传真、计算机通信等传统的单一媒体通信方式 相比，多媒体通信具有分布性、同步性和交互性等特点。多媒体通信是信息高速 公路建设中的一项关键技术，它是近年来出现的一种新兴的信息技术，是多媒体、 通信、计算机和网络等相互渗透和发展的产物。多媒体通信的广泛应用将会极大 地提高人们的工作效率，减轻社会的交通运输负担，改变人们的教育和娱乐方式。 多媒体通信将成为2 l 世纪人们通信的基本方式，是目前各国在通信、计算机、 教育、广播娱乐等各个领域研究的前沿课题。 1 1 多媒体通信的发展背景 多媒体通信的发展首先是由于多媒体计算机技术的崛起。自9 0 年代开始， 多媒体计算机技术就成为计算机领域的热点之。计算机在各个领域中的广泛应 用使得人类社会的信息量爆炸性地增长，当技术发展到可以方便地处理各种感觉 媒体时，多媒体计算机技术自然而然地出现并迅速发展起来。多媒体通信中的“多 媒体”一词，指的是由在内容上相互关联的文本、图形、图像、音频和视频等媒 体数据构成的种复合信息实体：计算机以数字化的方式对任何一种媒体进行表 示、存储、传输和处理，并且将这些不同类型的媒体数据有机地合成在一起，形 成多媒体数据，这就是多媒体计算机技术。多媒体计算机技术综台和发展了计算 机科学中的多种技术，与旧有的各种技术存在着联系，如操作系统、计算机通信、 数字信号和图像处理等。它是以计算机为核心的集图、文、声、像处理技术为 体的综合性处理技术。随着科学技术的迅速发展和社会需求的日益增长人们已 不满足于单一媒体提供的传统的单- - , n 务，如电话、电视、传真等，而是需要诸 如数据、文本、图形、图像、音频和视频等多种媒体信息以超越时空限制的集中 方式作为一个整体呈现在人们的眼前。在这种时代背景下，伴随着多媒体计算机 技术与电话、广播、电视、微波、卫星通信、广域网和局域网等各种通信技术相 结合。产生了一种边缘性技术多媒体通信。 1 2 多媒体通信的定义 多媒体通信是多媒体技术和通信技术的有机结合突破了计算机、通信、电 视等传统产业问相对独立发展的界限是计算机、通信和电视领域的一次革命。 它在计算机的控制中，对独立的信息进行集成的产生、处理、表现、存储和传输。 这些信息中至少包含一个时问相关媒体( 如连续的视频信号) 或一个时间无关媒 体( 如离散的数据信号) 。 多媒体通信系统的出现大大缩短了计算机、通信和电视之问的距离，将计算 i t 2 6 l 视频编码翁i 上叭究肢 cd s i 实脱 机的交互性、通信的分胡i 性和电视的真实性完美地结合在一起，向人们提供全新 的信息服务。 1 3 多媒体通信网络 多媒体要通过通信网传送文本、图形、图像、声音、视频和音频等不同媒体。 这些经过数字化的媒体对通信网也提出了不同的要求。文本、图形和图像属于不 连续媒体，要求的平均速率不高，可是有很强的突发性和短时的高速率。声音、 音频和视频属于连续媒体；其中声音和音频信号传输速率较低视频信号需要极 高的传输速率，同时两者对实时性的要求都很高。多媒体通信的发展要求有适合 于传输多媒体信息的通信网。目前的电话网基本上是模拟网或者是数模混合网， 其用户线是模拟的，只能传送模拟信号，传数字信息必须加调制解调器。不适合 用作多媒体通信。计算机局域网采用分组交换技术，很适合数据传输，例如多媒 体通信中的文本、图形和图像信息。但是分组交换对于连续媒体如视频和音频信 号会带来很大的延时而影响传输质量。典型的多媒体通信网应具备容量大、时延 小、可变比特率。目前国内外通信发展方向为宽带化、智能化、个人化及综台化， b i s d n 和宽带i p 网将会成为将来进行多媒体业务的理想网络。 从目前看，组建宽带多媒体通信网的两种主要技术是i po v e r a t m 和i p o v e r s d h 。i po v e ra t m 是基于a t m 技术组建多媒体通信网。a t m 是b i s d n 关键 技术，它取电路交换技术和分组交换技术两者之长，公认为是具有革命性的联网 技术其宽带、服务质量保证等特征为各种业务提供了很好的网络基础，i p 和 a t m 的结合为多媒体通信网，提供了一个良好的骨干传输通道。a t m 网络是面 向连接的。在传输数据之前，a t m 节点i b j 必须建立一个虚连接。因此，i p 和a t m 的结合必须解决寻址、数据流的识别、帧的封装、服务质量保证等方面的问题。 目前，i p 和a t m 结合的方法主要有局域网仿真、a t m 上传统i p 协议的传输、 a t m 上多协议传输及各种i p 交换方案。 i po v e rs d h 是基于s d h 技术来组建多媒体通信网。i po v e rs d h 将i p 数据 包直接放在s d h 层之上。与在数据链路层采用a t m 的i po v e r a t m 相比，它最 大的好处就是将可用带宽提高了2 5 至3 0 。除此之外，由于a t m 信元的边界 下一定与】p 帧的边界对齐，而且在每一帧的最后一个信元所空的字节，还必须 进行填充，所以i po v e rs d h 要比i po v e r a t m 拥有更多的可用带宽。但是，为 了适应s d h 的高速度，采用i po v e rs d h 必须使用高速路出器。现有的存储一转 发式路由器的结构，是总线型和集中处理器方式，它的处理速度大约是每秒几十 万个分组，这显然不能满足需要。吉比特高速路由器等的出现，使直接在s d h 线路上，建设具有高速率和一些质量保障能力的多媒体通信网骨干网成为可能。 这些路由器采用分靠式选路的结构，并在路由器中加入纵横交换式背板，以提高 速率。另外还加入了服务质量保证和多路广播功能以适应多媒体通信业务。 2 图像编码技术的发展 在过去2 0 年里，在用户需求的推动下，视频技术获得了突飞猛进的发展， 从广播电视、家用录像系统的普及，逐步过渡到基于数字视频技术的应用。通常 可以将数字视频应用分为实时应用和非实时应用，前者包括电视节目( 现场直播) h2 6 l 视频编码算法究，土j cd s p 宴小 和基于t n t e r n e t 的流视频( s t e a m i n gv i d e o ) n 9 实时传输播放，后者包括各种本地存 储视频的播放，如d v d 。涉及数字视频通信的技术包括视频压缩解压、各种网 络传输协议同时还包括视频服务器操作系统、应用层q o s ( q u a l i t yo f s e r v i c e ) 、 媒体同步机制等。 2 1 视频编码的发展 视频业务是多媒体应用中最重要的部分，也是继传统的语音通信后下一代通 信的主要内容，无论从信息还是娱乐角度，图像都具有文字所无法取代的优越性。 然而视频业务的发展一直没有突破，其根本原因就是传输视频信号需要占用太多 的带宽资源。例如如果我们不经压缩传送一个分辨率为7 2 0 * 4 8 0 ，速率为3 0 帧，秒，2 4 比特像素的视频节目，需要超过2 4 8 m b p s 的带宽。可见，未压缩的视 频在- i n t e r n e t 上传输的效果是无法容忍的，而且会很容易地将i n t e m e t 资源吞没， 造成网络拥塞甚至崩溃。 正因为如此，为了在目前的网络上传送数字视频节目或将其储存在固定的介 质上，视频压缩是必不可少的一个环节，视频通信的第一步就是视频压缩。早期 采用的模拟技术图像编码是为了降低对带宽的需求，由于数字技术的容量、速度 和价格等发展的推动，图像压缩技术在八十年代取得了巨大的发展。面向语音、 文本和数据等数据通信网络取得了长足进展后，视频业务的需求也大大增加了。 为了在i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 的有限带宽上开展视频业务， 开始了低码率视频编码的研究。过去二十年数字技术的快速发展。促使了视频编 码技术的研究，并形成了国际标准。标准化工作对研究起了决定性作用，保证了 用户之间的互操作性。 从数学上视频编码可以归纳为信息论的问题，就是研究最小化原始信号和 编码信号之间失真的编码策略【1 。由于缺乏图像信号的统计模型和用于判断信 号失真准则以及人眼视觉系统研究的不足，理论分析相当复杂，因此只有采用一 种具有实用性的方法来逼近。过去的几十年中，国际上提出了很多视频编码的方 法，这些方法中采用了不同的冗余信息消除方法，但总的来说，都是从以下几个 方面入手： 1 去除空间冗余：由于同一帧图像中的相邻像素间存在很大的相关性，因此可 以通过预测编码，变换编码，子带小波编码等方法去除像素间的空间冗余达 到压缩的目的。 2 去除时间冗余：由于连续图像的相邻各帧之间非常相似，存在很大的相关性， 所以可以通过运动搜索运动补偿的方法去除这种相关关系，这种方法带来的 压缩效果是非常明显的。 3 频谱问的冗余：去除色度分量信号问的相关性。 4 利用人眼视觉系统( h u m a nv i s i o ns y s t e m u v s ) 的特征：通过建立人跟视觉系 统的数学模型，忽略某些人眼无法分辨的细节或改善图像的质量，达到压缩 的效果。但是对于不同的应用领域，压缩、交互式应用、分数性等，要采用 不同的视觉模型，因为它们要达到的效果是不同的。 h2 6 l 视频编码算法 i j i 究投1 cd s i ，实现 2 2 图像编码的国际标准 巨大的市场需求推动了技术的发展，图像编码理论不断成熟，学术和应用领 域都致力于视频技术的研究，会议电视、v c d 、数字电视以及高清晰度电视 ( h d t v - h i 吐d e f i n i t i o n t v ) 等新技术和新系统正迅速走进我们的生活。针对不同 的应用领域，一系列相应的数字视频音频编码标准也迅速地被制定并不断得到完 善其中包括：应用于会议电视及可视电话的h 2 6 1 ，h 2 6 3 ，用于静止图像压 缩的j p e g 。用于v c d 的m p e g 1 和用于广播电视、d v d 以及h d t v 的m p e g - 2 。 这些标准的制定使各个不同设备制造厂商所生产的各种数字视频设备可以相互 配合使用，组成各种不同的视频应用系统。这也极大地推动了这一市场的发展。 目前有两个正式国际组织负责制定视频压缩算法标准一个是i s o i e cj t c i 的m p e g 系列( 例如m p e g 一1 ，m p e g 2 ，m p e g 一4 ) 。还有一个就是i t u t 的h 2 6 x 系列( 例如h 2 6 1 ，h 2 6 2 ，h 2 6 3a n dh 2 6 l ) 。在视频应用中，编码方法的选择不 但要考虑到压缩比、信噪比，还要考虑到算法的复杂性。太复杂的编码算法可能 会产生较高的压缩比，但也会带来较大的计算开销，软件实现时会影响通信的实 时性。上述这些标准覆盖了很大的视频速率范围和应用领域支持不同速率、不 同的图像质量的视频业务，能够满足包括电视会议、视频电子邮件、可视电话、 广播级视频应用等不同要求的服务。随着视频应用需求的不断发展，视频压缩技 术也有了很大的提高新出现的压缩标准有了更高的压缩效率( 在相同的图像质 量下需要更低的传送码率或在相同的传输速率提供质量更好的图像) ，同时支持 不同的传输速率以适应不同的传送网络。在目前已经大量应用的压缩标准中： m p e g l ( 1 9 8 8 1 9 9 2 ) 和m p e g 2 ( 1 9 9 01 9 9 4 ) 是面向广播级或准广播 级应用的。m p e g 1 标准主要是为了视频存贮媒体如v c d 而制定，该标准能够 适应变码流的处理，其主要目的是在1 1 5 m b i t s 的情况下，提供3 0 帧c i f ( 3 5 2 2 8 8 ) v h s 的质量的图像。m p e g 一1 的实时编码通常需要硬件才能完成，解码 可以用软件来完成。m p e g 1 不能提供分级图像编码，也不能在丢包率高的情 况下应用。 m p e g 2 标准扩展了m p e g - 1 标准，能够支持高分辨率图像和声音。目标码 率是在3 1 5 m b i t s 传输速率条件下提供广播级的图像，而且能够提供信噪比 ( s n r ) 、时间和空间三种分级编码。孩标准应用于卫星广播时，在当前的一个 模拟信道中，不牺牲质量的情况下能提供5 路数字的编码节目。 m p e g 一4 ( 1 9 9 4 1 9 9 8 ) ，支持逐行扫描和隔行扫描，是基于视频对象的编码 标准，通过对象识别提供了空间的可伸缩性。m p e g 4 标准既能够支持码率低于 6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比， m p e g 一4 标准在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率。 m p e g - 4 的工作集中于发展m s d l ( m p e g 一4s y n t a c t i cd e s c r i p t i o nl a n g u a g e ) 语 言。m s d l 和j a v a 的思想一样能够通过下载功能模块部分建立新编解码器。 m p e g 7 ( 1 9 9 6 2 0 0 0 ) 是多媒体内容描述接口，与前进标准集中在音频视频内 容的编码和表示不同，它集中在对多媒体内容的描述。 h 2 6 1 与h 2 6 3 标准主要面向于低码率的视频应用，如可视电话和会议电视。 h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i t s 的倍数。h 2 6 1 主 要是为了i s d n 的会议电视和可视电话的应用其基本算法与m p e g 标准类似 但h 2 6 1 所需要的计算量能够显著下降。这种算法通过均衡图像质量和运动来优 化带宽t 所以对于快速运动的图像，图像重建质量会下降。h 2 6 1 的输出速率是 h 2 6 l 视频编码算法甜f 究段j ld s p 蜜蜕 恒定的，而图像质量非恒定。 h 2 6 3 是为了支持低速率的通信而制定的标准，但同时希望码流能够适应较 大的动态范围，而不仅限于低码率。h 2 6 3 的容错能力很强，能适应误码率高的 信道。h 2 6 1 和h 2 6 3 的主要区别在于：h 2 6 3 在运动估计时采用了半像素精度， h 2 6 1 是整像素精度。同时h 2 6 3 还增加了四个选项：搜索范围不受限的运动估 计( u n r e s t r i c t e d m o t i o n v e c t o r s ) 算术编码( s y n t a x b a s e da r i t h m e t i cc o d i n g ) ，高 级预测( a d v a n c e d p r e d i c t i o n ) 和类似于m p e g 的前向和后向预测帧( p b 帧) 。 h 2 6 3v e r s i o n2 ( 或称h 2 6 3 + ) 是在h 2 6 3 的基础上以增加编码的可选项 的形式改进的，在语法上与h 2 6 3 兼容，但编码效率有很大提高，抗误码能力增 强，适用范围也更大。其主要的应用方向仍是低码流的视频业务，用于p s t n 以 及无线接入的高误码比的通信环境。由于实现成本较低，h 2 6 3 + 标准已经越来越 多地被采用。 h 2 6 3 + + 已经由i t u t 正式制定为标准，它在h 2 6 3 + 的基础上增加了三个选 项，主要是为了增强码流在恶劣信道上的抗误码性能同时也是为了增强编码效 率，这三个选项为： 选项u ( a n n e x u ) ：一个增强型的参考帧选择( e r p s ) 。能够提供增强的编码 效率和信道错误再生能力( 特别是在包丢失的情形) ，实现e r p s 模式时，需要 设计多缓冲区用于存储多参考帧图像。 选项v ( a n n e xv ) ：一个数据分片的模式( d p s ) 。能够提供增强型的抗误码 能力( 特别是在传输过程中本地数据被破坏) 。d p s 的思想是通过分离视频码流 中d c t 系数头和运动矢量数据，将运动矢量的数据采用可逆编码的方式进行保 护。 选项w ( a n n e x w ) ：在h 2 6 3 + 的码流中增加的补充信息，保证增强型的反向 兼容性，附加信息包括：指示采用的定点i d c t ；图像信息和信息类型：任意的 二进制数据；文本( 任意的，版权，可靠参考时间的下一帧，不可靠参考时间的 下帧) ；交替的场指示( 上场或下场) ，稀疏的参考帧识别。 为了在现有的基础上进一步提高编码效率，增强码流的抗误码性能，最近国 际上又开始新一代视频编码标准h2 6 l 的制定。 2 3h 2 6 l 视频编码标准的发展 i t u t 的h 2 6 x 系列标准主要是为实时数字视频通信应用所制定的，例如视 频会议，和会议电话等等。与此同时m p e g 系列标准主要是为了满足数字视频 的存储( d v d ) ，广播( b r o a d c a s tt v ) 以及流媒体的应用( e g v i d e oo v e rt h e i n t e m e t ，v i d e oo v e rd s l ，v i d e oo v e rw i r e l e s s ) 所制定的。多数情况下，这两个组 织都是各自制定自己的标准，唯一的例外就是h 2 6 2 m p e g 2 ，它是由这两个组 织共同制定的。从图1 可以看出这两个组织制定的各种标准之间的关系。 h 2 6 lw 频编码鳟法宄技儿d s p 实观 l i t u t ls t a n d a r d s h 2 6 lh 2 6 3h 2 6 3 + h 2 6 3 + + l 删器。gh 2 6 2 ，m p e g _ 2h 2 6 l ls t a n d a r d s i i t u - t 恳! 瀵鬻剽。m r ， 1 i is t a n d a r d s 1 9 8 4 1 9 8 6 1 9 8 8 1 9 9 0 1 9 9 2 1 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 2 2 0 0 4 豳ii t u t 系列建泌及m p e g 标准的艇展 进行h 2 6 l 视频压缩算法研究的主要目的是采用目前广泛采用的视频压缩算 法的总体结构开发出一种高效的视频压缩标准。i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t s g r o u p ) 在l9 9 7 年率先开始了h 2 6 l 算法的研究工作， 到2 0 0 1 年底，应用h 2 6 l 算法的一些软件所表现出来的压缩质量和效率已经超 过了现存的应用m p e g 4 算法的软件，h 2 6 l 算法从而吸引了各方面的注意。同 时，由i t u t 提议，i t u t 和i s o i e cj t c l 决定共同对新出现的h 2 6 l 视频压 缩算法进行研究并制定相应的标准。i s o i e c 的m p e g 小组加入到i t u - t 的 v c e g 小组中，组成了一个联合视频小组j v t ( j o i n t v i d e o t e l l r n ) 。j v t 的目标 是制定一个新的视频编码标准作为i t u t 新的系列标准以及i s o i e c 的m p e g 系列标准之，这就是h 2 6 l 。与现有的h 2 6 1 ，h 2 6 3 标准相比，h 2 6 l 保持 了编码器的总体结构未变，但是与以前的编码算法相比，它又有一些新的特性。 h 2 6 l 的这些特性主要包括： 最多可节省5 0 的比特率：与h 2 6 3 v 2 ( h 2 6 3 + ) 或m p e g 一4 相比，在相同的 编码质量条件下，h 2 6 l 最多可以节省5 0 的比特率。 高质量的图像质量：h 2 6 l 在各种比特率条件下都可以提供满意的图像质量。 适应不同的延时要求：h 2 6 l 可以在低延时模式下工作以适应实时通信应用 ( 例如会议电视等) ，另外在无延时要求的应用中( 例如视频图像的存储，基于 服务器的视频流应用等) ，h 2 6 l 也可以在高延时的模式下工作以取得最佳的压 缩效果。 错误相容性：h - 2 6 l 提供了相应的工具来处理包交换网络中的丢包和易于产生 误码的无线信道中的误码问题。 网络友好性：h 2 6 l 的另外一个特性就是它将视频编码层v c lf v i d e oc o d i n g l a y e r ) 和网络适配层n a l ( n e t w o r k a d a p t e rl a y e r ) 进行分离。视频编码层v c l 是 对视频图像内容进行高度压缩后的表示层，而网络适配层n a l 则对压缩后的内 容进行打包，再把它们送入不同类型的网络上。这两层的分离使得对图像内容的 打包和优先级的控制更加容易。 h 2 6 l 视频编码算法研究及其d s p 实现 第7 负共5 3 负 1 概述 第二章h 2 6 l 视频编码算法 h 2 6 l 视频编码算法的主要目的是在相同的比特率条件下取得更好的图像质 量。但是h 2 6 l 编解码器仍然采用了与h 2 6 3 和m p e g 4 类似的框架结构。图2 描述了h 2 6 l 编码器的结构，其编码过程主要包括四个步骤： -rr - ，。一。 。 r 一 s w t nb l o c k i z 6 _ _ d t h u p # f i , e 一 r e d l n h n m d 目w i t h b - p l c t u r t m u l t i p l er t k n m p l e t u 件s c 4 e c t l o n 图2h 2 6 l 编码器框图 1 把一帧图像划分为宏块( m a c r ob l o c k ) ，每个宏块包含1 6 1 6 个像素点，把 对整幅图像的编码分成对许多宏块的处理。 2 通过对图像块的变换，量化和熵编码( 或变长编码) 消除图像中的空间冗余。 3 运动搜索和运动补偿：由于相邻的各帧图像存在很大的相似性( 即时间冗 余) ，所以我们只需要将相邻帧图像间的变化进行编码传送即可，这是通过 运动搜索和运动补偿实现的。对每一个编码块，通过搜索上一编码帧( 或之 前的几帧) 的相应位置来找到一个运动向量，这一向量将和帧间差值一起传 送，用于这一图像块的编解码。 4 残余编码：对于原始块和相应的预测块之间的差值进行变换量化和熵编码， 以去除当前帧剩下的空间冗余间。 h 2 6 l 视频编心算泣研究及j ld s p 实现 第8 页共5 3 页 2 h 2 6 l 新特性 与h 2 6 3 相比，h 2 6 l 算法也采用了许多新的特征以提高编码效率。主要包 括以下几点： 对于进行帧内编码的图像h 2 6 l 不是像h 2 6 3 那样直接对原始图像进行变 换，量化和编码，而是首先采用多种不同的帧内预测方法，利用相邻宏块的值对 当前宏块进行预测后，再对差值进行上述处理，以取得更佳的编码效率。 在运动搜索和运动补偿方面，h 2 6 l 采用了从4 4 到1 6 1 6 共7 种大小的搜 索块进行运动搜索以提高匹配程度，同时h 2 6 l 还采用1 4 像素精度的运动矢量 进行搜索以提高搜索精度。另外根据对编码延时的不同要求，h 2 6 l 还可以使用 多个参考帧( 运动搜索中作为基准的参考图像) 进行运动搜索以达到最佳的预测 效果。 在变换编码方面，h 2 6 l 采用了4 * 4 的整数变换( i n t e g e rc o s i n et r a n s f o r m ， i c t ) 代替( d i s c r e t e c o s i n et r a n s f o r m ，d c t ) 交换，整数变换的效果接近d c t ，但 是运算量要少而且在反变换过程中不会由于计算精度问题而引入误差。 在熵编码过程中，h 2 6 l 没有采用h 2 6 3 的多码表的方法进行编码，而是使 用单一的变长编码( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ，u v l c ) 或者基于内容的自 适应二进制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 进行编码。下文中将对这些特性进行详细描述。 3 h 2 6 l 编码器描述 3 1 图像格式 目前，h 2 6 l 支持两种图像格式，即c i f ( 3 5 2 4 2 8 8 ) 及q c i f ( 1 7 6 1 4 4 ) 。 3 2 图像的细分 如前所述，对于给定的一幅图像，首先要将它分为一系列的小块进行处理， 叫作宏块( m a c r ob l o c k ) 。例如，对于q c i f 格式的图像( 1 7 6 t 1 4 4 ) ，首先要将 其划分为9 9 个1 6 1 6 的宏块( 如下图3 ) ，然后按顺序对这些宏块进行处理。对 于其它格式图像，也要用相同大小的宏块进行划分。上述所说的图像大小都是针 对亮度信号所说，对于色度信号( c b ，c r ) 来说其水平和垂直分辨率均为量度信 号的一半。 h2 6 1 ，+ 址频编妈钾： 土 l j l _ 究技j ld s i ，实脱 3 3h 2 6 l 编码流语法结构图 图3q c i f 幽像划分为1 6 1 6 的宏块 9 视频图像经过h 2 6 l 编码器编码后，将得到固定结构的码流。图4 描述了 h 2 6 l 编码器的语法结构图，下文将根据此结构框图对h 2 6 l 算法进行详细描述。 3 4 帧同步信息 每幅图像编码后都首先由帧同步信息丌始，帧同步信息有3 1 比特长，其中 包括1 5 比特的同步信息，这些比特的主要作用有： 时间戳t r ( t e m p o r a lr e f e r e n c e ，8 b i t s ) ：t r 的值由前一个编码帧图像的t r 值加 一，在加上两帧之间跳过的未编码图像的个数组成。t r 代表当前编码帧图像在 图像序列中的时间上的先后顺序。 图像量化参数p q p ( p i c t u r eq r5 b i t s ) ：图像量化参数p q p 代表本帧图像亮度信 号编码时所使用的量化参数。这5 比特能够表示o 3 l 共3 2 个量化级，其量化范 围和h 2 6 3 大致相同。 图像格式( f o r m a t s ，1 b i t ) ：这比特表示当前图像的格式，0 代表q c i f 1 代 表c i f 格式的图像。 4 e o s ( e n do f s e q u e n c e 1 b i t ) ：0 代表这是图像头信息，l 代表当前帧是图像序 列的最后一帧： 3 5 图像编码类型 在帧同步头之后是图像编码类型( p t y p e ) ，这一字段代表当前图像的编码类 型，一共有以下五种类型： 当前图像采用帧内预测编码( i n t r ap r e d i c t i o n ) 进行压缩，不进行运动补偿和 运动搜索。 当前图像采用帧削编码( i n t e rp r e d i c t i o n ) ，而且参考帧是经过编码的前帧图 像。 当前图像采用帧洲编码( i n t e rp r e d i c t i o n ) ，而且参考帧是经过编码的前一帧或 多帧图像。在这种模式下，对每个宏块( m b ) 除了运动矢量和残余编码后的系 数外，还要传送参考帧的信息。 h 2 6 l 视频编码算洼聊究杖j 【i ) s r 实脱第1 0 - 页共5 3 ； 当前图像采用帧问编码( i n t e rp r e d i c t i o n ) 帧图像，即b 帧。 当前图像采用帧间编码( i n t e rp r e d i c t i o n ) 后的多帧图像，即b 帧。 参考帧是当前图像的前一帧及后一 但参考帧是当前图像之前多帧及之 忽略 i - 一 i循环 幽4 h 2 6 l 语法鼎掏酗 h2 6 l 雠频编码轩法州f 究段i cd s ，实小 辣1 i 负批5 3 负 3 6 未编码宏块数( r u n ) 如前面所述，每幅图像是以宏块为单位进行处理的。由于图像序列中存在很 大的时间冗余因此经过帧削编码过后，有的宏块根本不需要传送任何新的信息。 解码时只需要将己解码的参考帧相应的宏块拷贝一遍即可完全恢复出当前的宏 块信息，这种宏块被称作跳过的宏块。未编码宏块数( r u n ) 这几个比特表示 的是在当前要编码的宏块之前有几个宏块是这种被跳过的宏块，以便在解码时正 确的恢复它们的值。 3 7 宏块编码类型 如前所述，编码器首先将一幅完整图像分为多个宏块( m b ) 然后对这些小 块分别进行预测，量化，编码等处理。这样做的目的是为了加快处理速度，提高 编码效率。因此，对图像的压缩实际上是在宏块级( m b ) 进行的。 宏块编码类型( m bt y p e ) 字段用来传送本宏块的编码类型，主要有： 帧内预测编码( i n t r a ) 有两类：分别是以4 * 4 小块( b l o c k ) 为单位的6 种帧 内预测模式以及以整个宏块( 1 6 + 1 6 ) 为单位的4 种帧内预测模式，一共是1 0 种帧内预测模式。 帧间预测编码( i n t e r ) 有三类：第一种是忽略( s k i p ) ，表示本宏块与上一帧 相应宏块完全相同，没有附加信息需要传送，在解码端只需要将上一帧解码后的 图像中相应宏块拷贝一份进行图像重建即可。第二种代表本宏块采用帧间预测的 方法，而且进行运动搜索的预测块的大小为n + m ，根据n 和m 的不同，共有 7 种运动搜索模式，每种模式所需要传的运动矢量的个数也由1 个到1 6 个不等。 最后一种是帧内预测方式，这是在帧间预测的压缩效果不如帧内预测时采用。 3 8 帧内( i n t r a ) 预测和编码 帧内编码是在编码过程中利用一幅图像中相邻像素的相似性，去除图像中的 空间冗余来达到压缩的目的。仅采用这种帧内预测的图像被称作i 帧。在h 2 6 3 及以前的编码算法中，对于i 帧的编码都是直接对原始图像进行变换编码，然后 进行量化和熵编码，这样做编码后的i 帧仍有很大的空间冗余。通过观察，我们 发现由于一幅图像内相邻宏块之间也存在很大的相似性。因此为了进一步消除图 像内的空问冗余提高编码效率，在h 2 6 l 算法中利用了相邻宏块之间的相似性 进行预测。对一个要编码的宏块，首先要用其相邻的宏块( 通常是其上面和左边 相邻的已编码宏块) 对当前的宏块进行预测，之后将预测值和原始值的差值进行 变换，量化和编码。这样做，与直接对宏块进行变换相比，能够用更少的比特数 来表示当前的宏块。 对于上述所说的帧内预测，h 2 6 l 算法提供了6 种基于4 * 4 的亮度块( b l o c k ) 的预测方法和4 种基于整个宏块( 1 6 + 1 6 ) 的预测方法，一共十种。下面是对这 几种预测方法的具体描述： h2 6 l 训蝴编码算；舢盯宄腱j ( d s p 奠小第i2 页共5 3 页 3 8 1 基于4 * 4 亮度子块( b l o c k 的人种帧内预捌模式 4 s 剧54 * 4 予块帧内预测的6 种模式 如图5a ) 所示，方框内的小写字母a p 代表一个4 * 4 字块( b l o c k ) 内的1 6 个像素，方块终的大写字母a h 代表其周围左边和上边相邻的像素值( 这些像 素先于本块处理) 。图5b ) 代表模式l 模式5 ( 不包括直流预测) 的预测方向。 模式0 ，直流( d c ) 预测：这种方法中a p 的值均取相邻像素值a h 的平 均值，即智呻= ( a + b + c + d + e + f + g + h + i ) 8 。如果相邻像素中只有四个在当前图 像内，择取这四个像素的平均值，如果相邻像索都不在当前图像内，则预测值都 取1 2 8 。 模式1 ：这种模式只有a - d 都在当前图像内时，才能使用。这时 a = ( a + b ) 2 e 2 b b ，i _ ( b + c ) 2 f ，m = cc ，j2 ( c + d ) 2 d ，g ，h ，k ，l ，1 1 ，o ，p = d 模式2 ，垂直预测：这种方法是指一个4 * 4 予块内垂直方向的像素部取一个 值，一如果像素a b c d 都在当前图像内，则可以采用这种方法。 a ，e ，i ，m 2 ab ，f , j ，n = bc ，g ，k ，0 = c d ，h ，l ，p 2 d 模式3 ，对角线预测：用当前像素对角线上的值进行预测，这种方