（信号与信息处理专业论文）h264实时编码器在tm1300上的实现与优化.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 h 2 6 4 a v c 是i s o i e c 的m p e g ( 运动图像专家组) 和i t u t 的v c e g ( 视频编码专 家组) 共同制定的新的视频编码标准，是目前图像通信领域研究的热点问题之一。h 2 6 4 编码标准由于采用了许多新技术使得编码性能大幅度提高，但这是以计算复杂度的成倍增 加为代价的。因此，如何在保证编码性能的同时提高编码效率以及如何在硬件资源有限的 嵌入式环境下开发出具有实时编码性能的视频编码器是一项极具挑战性的工作。 利用高性能数字信号处理器来实现h 2 6 4 实时视频编码是当前研究的热点。p h i l i p s 公 司的t m l 3 0 0 是一款比较成熟的d s p 处理器，本文选择其作为硬件平台，探索在资源有限 的d s p 平台上实现h 2 6 4 的实时编码处理。 本文首先介绍了h 2 6 4 视频编码标准的基本框架和主要的新技术特点。然后在基于对 h 2 6 4 编码器算法复杂度和t m l 3 0 0d s p 芯片处理能力分析的基础上，参考h 2 6 3 编码标 准的主要功能模式，对标准h 2 6 4 编码器的主要耗时模块进行算法改进，得到一个简化的 h 2 6 4 编码器。该编码器在功能上相当于h 2 6 3 编码器，但又有标准的h 2 6 4 码流结构， 同时编码速度也得到很大的提高，满足实时编码的要求。这是本文的创新性和要点所在。 最后在实验结果分析中，通过对简化的h 2 6 4 编码器与标准的h 2 6 3 、h 2 6 4 编码器的性能 对比分析，说明本文编码器在实际应用中的价值。 其次，本文将简化后的h 2 6 4 编码器移植到t m l 3 0 0d s p 平台中。首先对t m l 3 0 0d s p 平台的硬件结构作了简要介绍，然后根据t m l 3 0 0d s p 芯片的特点，通过对要移植的程序 进行代码裁减、内存分配调整、数据结构优化、接口函数设计、c 语言代码级优化、系统 指令集优化等工作，实现了h 2 6 4 编码器在t m l 3 0 0d s p 平台上一定性能的实时编码，并 且给出了实验测试结果。 最后，本文对研究工作结果进行了总结，并且给出了进一步研究的方向。 关键词：h 2 6 4 ，视频编码，运动估计，t m l 3 0 0 ，优化 南京邮电大学硕士研究生学位论文a b s t r a c t a b s t r a c t h 2 6 4 a v ci st h er t e w e s tv i d e oi n t e r n a t i o n a ls t a n d a r dd e v e l o p e db yb o t hi t u l tv c e ga n d i s o i e cm p e gs of a r , i th a sb e c o m ea l li m p o r t a n tc o n t e n to fi m a g ec o m m u n i c a t i o nr e s e a r c h f i e l d t h en e wt e c t m i q u e sa d o p t e db yh 2 6 4i m p r o v et h ec o d i n gef f i c i e n c yg r e a t l y , h o w e v e r , t h e i m p r o v e m e n ti sb a s e do nt h ec o s to fc o m p u t a t i o n a lc o m p l e x i t y t h e r e f o r e ，i ti sf u l lo fc h a l l e n g e t oe n s u r ec o d i n gp e r f o r m a n c ew i t hh i g hc o d i n gs p e e da n dd e v e l o pa t le m b e d d e dr e a l t i m ev i d e o e n c o d e rw i t ht h el i m i t e do n - c h i pr e s o u r c e s i m p l e m e n t a t i o no fh 2 6 4v i d e oe n c o d e rb a s e do nd i g i t a ls i g n a lp r o c e s s o ri st h eh o t s p o ti n t h ev i d e oc o d i n gr e s e a r c h t m13 0 0i sak i g h - p e r f o r m a n e ed i g i t a lm e d i ap r o c e s s o r , w h i c hi s s e l e c t e da st h eh a r d w a r ep l a t f o r mt oi m p l e m e n tt h eh 2 6 4r e a l - t i m ee n c o d e r , a n dt oe x p l o r eh o w t oi m p l e m e n tr e a l t i m ee n c o d i n gb a s e do nd s p p l a t f o r mw i t hl i m i t e do n c h i pr e s o u r c e s ， i nt h i st h e s i s ，t h eb a s i cf r a m e w o r ka n dm a i nc h a r a c t e r i s t i c so fh 2 6 4v i d e oc o d i n gs t a n d a r d a r ei n t r o d u c e d ，t h e n ，b a s e d0 1 3 t h ec o m p l e x i t yo fh 2 6 4c o d i n ga l g o r i t h ma n d p r o c e s s i n ga b i l i t y o ft ml3 0 0d s pa n do nt h er e f e r e n c eo fm a i nf u n c t i o nm o d u l e so fh 2 6 3c o d i n gs t a n d a r d ，t h e m a j o rt i m e - c o n s u m i n gm o d u l e si si m p r o v e da n dg e tac o n c i s eh 2 6 4e n c o d e r t h ec o n c i s e e n c o d e ri se q u i v a l e n tt oh ，2 6 3e n c o d e ri nt h ef u n c t i o nb u th a ss t a n d a r d 2 6 4b i ts t r e a m s t r u c t u r e m e a n w h i l e ，t h ee n c o d i n gs p e e dh a sb e e nf u r t h e re n h a n c e da n dm e e t st h er e a l t i m e c o d i n gr e q u i r e m e n t f i n a l l y , i nt h ea n a l y s i so fe x p e r i m e n tr e s u l t s ，t h r o u g ht h ec o m p a r i s o n a n a l y s i sb e t w e e nc o n c i s eh 2 6 4e n c o d e rw i t hs t a n d a r dh 2 6 4e n c o d e ra n dh 2 6 3e n c o d e r , t h e p r a c t i c a la p p l i c a t i o nv a l u eo ft h ec o n c i s ee n c o d e ri sf u r t h e re x p l a i n e d t na d d i t i o n ，t i f f st h e s i sd e t a i l st h et r a n s p l a n to ft h ec o n c i s ee n c o d e ri n t ot mi3 0 0d s p p l a t f o r m tf i r s t ，i ti n t r o d u c e st h eh a r d w a r es t r u c t u r eo ft m 13 0 0ds p b r i e f l y t h e n ，a c c o r d i n gt o t h ec h a r a c t e r i s t i c so fd s p c h i p s ，b ym e a i l so fas e r i e so fo p t i m i z a t i o n ，s u c ha st h e 。o d er e d u c i n g m e m o r ya l l o c a t i o na d ju s t m e n t ，t h ed a t as t r u c t u r eo p t i m i z a t i o n ，s y s t e mi n t e r f a c ed e s i g n ，c l a n g u a g ec o d eo p t i m i z a t i o n ，s y s t e mi n s t r u c t i o ns e to p t i m i z a t i o n 、b a s i ch 2 6 4r e a l t i m ee n c o d i n g i sr e a l i z e do nt h ed s p , a n dp r o v e db ye x p e r i m e n t s f i n a l l y , t h es u m m a r yo ft h et h e s i si sg i v e n ，a n ds u g g e s t st h ep o s s i b l ed i r e c t i o n sf o rf u t h e r i m p r o v e m e n t s k e y w o r d s ：h 2 6 4 ，v i d e oc o d i n g ，m o t i o ne s t i m a t i o n ，t m130 0 ，o p t i m i z a t i o n i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：理扭日期：塑五：么彩 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：址导师签毫： 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 概述 第一章绪论 自上世纪7 0 年代以来，计算机与数字信号处理技术有了突飞猛进的跨越式发展，互 联网逐步普及，网络服务水平也随之提高，这一切使得简单的文本信息无法满足信息时代 的通信要求，人类对信息的处理迅速地由模拟领域进入到了数字领域，处理的对象集中于 多媒体信息。因此2 1 世纪被形象的称为数字时代或多媒体时代。 多媒体信息主要包括文字、声音、图像和视频等内容，视频是其中最重要的组成部分。 目前，可视电话、视频会议、安全监控、远程教育和视频点播等多媒体服务已成为人们关 心的热点。这是因为视频信息具有直观、形象、准确、高效和应用广泛等特点，因此极易 被人类接受。据统计人类接受的信息7 0 来自视觉。 然而，数字化的视频信息在满足人们需求的同时，对数据传输带宽、数据存储容量提 出了更高的要求。例如，一幅中等分辨率( n t s c 制式，2 4 b i t s p i x e l ) 的彩色数字视频， 其传送速率约为2 0 0 m b p s ，而高清晰度电视h d t v 的传输速率则在1 2 g b p s 以上。庞大的 视频数据给信息的存储和传输都造成了较大的困难，成为阻碍人类有效获取和使用视频信 息的瓶颈问题之一l l l 。 早在上个世纪四十年代末期，人们就已开始着手图像压缩编码技术的研究，希望达到 有效的数据压缩，至今已经走过了半个世纪的发展历程。从五、六十年代基本方法的探讨， 到七十年代早期可视电话的研究，使得这一领域有了长足的进展，许多基本的思想和方法 都相继被提出。八十年代前后，顺应信息化潮流，i t u 和i s o 两大组织开始了图像压缩的 标准化工作，先后制定了h 2 6 x 和m p e g x 标准【2 】【8 1 。这些视频压缩编码标准的制定，极 大的促进了视频压缩编码技术和多媒体通信技术的发展。m p e g 系列标准被广泛应用在视 频存贮、点播和转发领域( 比如v c d 的视频格式，就是基于m p e g 1 技术开发的) 。同 样，由于国际电联的推荐，h 2 6 x 系列标准也大量应用于视频通信领域，被广大运营商和 设备提供商所采用。1 9 9 5 年，国际电联的视频编码专家组( v c e g ：v i d e oc o d i n ge x p e l s g r o u p ) 在完成了h 2 6 3 标准的制订工作后，开始从两个方向做进一步研究，一个短期的 方向是为h 2 6 3 增加更多的功能，这就是h 2 6 3 后续版本：另一个长期的目标则是开发一 种新的低码率视频通信标准，这个新的编码标准经过不断的改进，最终成为h - 2 6 4 编码标 准【9 1 。h 2 6 4 编码标准由于其良好的压缩性能和网络友好性等新特点而成为目前视频存储 1 南京邮电大学硕士研究生学位论文 第一章绪论 和图像通信研究领域的一个热点问题。而实现h 2 6 4 实时编码是其中一个很重要的研究方 向，尤其在移动视频、视频会议、电视电话等视频实时应用场合具有非常重要的研究意义 和实用价值。 视频压缩编码的实现主要有三种途径：基于p c 的纯软件实现、纯硬件实现、软硬件 相结合实现。随着视频压缩标准的不断发展与完善，算法的运算量和复杂度也就随之而提 升，h 2 6 4 视频压缩编码算法也不例外。用基于p c 的纯软件方法来实现h 2 6 4 实时压缩编 码非常困难，尤其对于高分辨率的图像来说几乎是不可能的。同时，就纯硬件实现来说， 虽然通过设计制作高性能的专业处理芯片来完成视频编解码一度在视频压缩系统中占据 了主导地位，但专用的视频处理芯片固有的灵活性差和高成本缺点都极大的限制了该方法 的普及。而通用的数字信号处理器( d s p ) ，由于其高度可编程性、超强的数据吞吐能力和 运算速度、使产品能够迅速应用新算法并且能快速进行产品升级，这些优点使得以d s p 为 核心处理器的软硬件相结合的方法成为了目前国际上和国内实现h 2 6 4 实时压缩编码的一 种可行的并且有效的途径。 1 2 课题背景及系统组成 1 2 1 课题背景 h 2 6 4 作为新一代视频压缩标准，是目前图像视频通信领域研究的热点。它和以前提 出的视频压缩标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 2 4 ) 在结构上并无显著变化，也是基于混 合编码的视频编解码框架。但它为了在相同的框架下实现更高的视频压缩编码性能和更广 泛的适用性，在每一个功能模块中都引入了新的技术，使得各个功能模块的实现细节都发 生了重要的改变。例如1 4 像素精度的运动估计、7 种不同块模式的帧间预测、多参考帧 预测、帧内预测、环路滤波、自适应可变长编码( c a v l c ) 和自适应算术编码( c a b a c ) 等。这些模块的改进使得h 2 6 4 编码标准的编码效率与前一代标准h 2 6 3 相比，可以提高 一倍以上，但是编码器的编码复杂度也随之大为提高，计算量增加了约一个数量级，这在 实际的应用中( 比如视频图像的实时处理) 是一个很大的负担。仅就h 2 6 4 最低档次b a s e l i n e 而言，h 2 6 4 编码器存在以下问题： ( 1 ) 编码器的复杂度是h 2 6 3 编码器的1 0 倍多，计算量大大增大。 ( 2 ) 由于h 2 6 4 采用多参考帧技术，这就要求处理器体系构架对处理器的数据调度机制以 及片内外存储器的组织有新的考虑【| 0 】。 2 南京邮电大学硕士研究生学位论文 第一苹绪论 ( 3 ) h 。2 6 4 中新增加的编码技术( 比如整数变化、去方块滤波) 要求现有的媒体处理指令 集必须进行扩展。 ( 4 ) h 2 6 4 编码器复杂度的增加导致h 2 6 4 芯片的实现周期和产品成熟周期大大延长。 另外，由于d s p 芯片功能的强大以及处理能力的提高，它的应用范围也越来越广泛。 d s p 的发展及其结构功能特性使其适用于多种领域，特别是视频压缩传输处理。因此，h 2 6 4 编码标准在d s p 平台上的实现和优化是近年来研究的热点，对其进行研究具有十分重要的 理论意义和实用价值。但是，由于d s p 平台的硬件架构和p c 的架构不同，再加上d s p 平台有限的硬件资源，单纯的将h 2 6 4 编码器移植到d s p 平台上并不能得到很好的效果， 在实际操作中还要结合d s p 平台的硬件结构有针对性的对h 2 6 4 编码器进行相应的优化处 理，使其符合d s p 平台的内部特性从而达到最佳的编码性能。 综合以上两个方面的分析，可以得到下面的结论：如何在保证编码性能的同时提高 h 2 6 4 编码器的编码效率以及如何在硬件资源有限的嵌入式环境下开发出具有实时编码性 能的视频编码系统是具有一定理论基础和广泛实用价值。本文基于南京邮电大学图像处理 与图像通信重点实验室研制成功的多模式无线数字视频传输系统】，研究h 2 6 4 编码器在 该系统的d s p 平台上一定性能的实时编码处理。下面对多模式无线数字视频传输系统的系 统组成作简要介绍。 1 2 2 系统组成 多模式无线数字视频传输系统的无线视频终端以p h i l i p s 公司的多媒体数字信号处理器 t m l 3 0 0 为硬件处理核心，结合g p r s 、c d m a 和w l a n 等多种无线模块，实现了多模式无 线视频编码和发送【1 2 】。系统的框架如图1 1 所示，包括三个主要部分： 多模式无线 视频终端 图1 1 多模式无线通信系统框架 ( 1 ) 无线终端：外接彩色p a l 制摄像机，具有实时视频采集、视频编码、公共无线网络 接入和w l a n 接入等功能，可以工作于g p r s 、c d m a l x 和w l a n 网络的任一、二者或 南京邮电大学硕士研究生学位论文 第一章绪论 三者的组合，通过上层软件的控制，根据所处位置的网络状况在多种无线网络中进行自动 切换，选择当前可用高带宽网络进行视频传输。 ( 2 ) 公网视频转发服务器：设立在具有公网i p 地址的p c 机上，提供无线视频终端自公 共无线网络，经过i n t e r n e t ，到达内网视频代理服务器的视频流和控制流转发功能。服务器 保存着无线视频终端和显示终端的网络维护信息，包括无线视频终端i d 、i p 地址、端口号， 以及内网视频代理服务器i p 地址和端口号等。基于这些信息，服务器为视频流和指令信息 提供转发通道。 ( 3 ) 内网视频代理服务器：设立在内部网络且可以连接到公网的一台p c 机上，提供公网 视频转发服务器到显示终端的视频流和控制流转发功能，并且作为所有显示终端与公网连 接的代理。服务器保存着无线视频终端i d 、i p 地址、端口号，以及显示终端i p 地址和端 口号等。基于这些信息，服务器为视频流和指令信息提供转发通道。 ( 4 ) 显示终端：内网上任何一台p c 机，主要完成视频流的解码显示功能，并可以实现硬 盘存储与回放。具有管理员权限的p c 机通过人机接口接收用户的指令，控制无线视频终 端的图像尺寸和量化步长等质量参数。 本实验室的多模式无线视频传输系统的特点在于拥有g p r s 、c d m a 和w l a n 等多 种无线网络接口，通过系统的软硬件配置，可以同时工作于g p r s 、c d m a 和w l a n 网 络的任一、任意二者或三者的组合。加上上层软件的控制，可以实现一个能够智能选择当 前可用高带宽网络来完成视频的传输。 1 3 本文的主要工作及内容安排 1 3 1 本文的主要工作 通过对本文课题背景的分析，可以得知基于d s p 平台的h 2 6 4 视频编码器具有广泛的 应用前景，然而，它的实现主要依赖于两个方面： 一方面，要有一个高效、实用的h 2 6 4 视频编码器。这个编码器在满足基本图像质量 的同时能尽可能的降低计算复杂度，从而满足实时编码的要求。 另一方面，要结合d s p 平台的内部特性有针对性的对h 2 6 4 编码器进行优化处理。 因此，本文将两者结合，对以上两个问题进行系统、深入的研究。主要的工作重点主 要体现在以下四个方面： ( 1 ) 深入研究h 2 6 4 视频编码标准的基本原理，了解视频编码的主要框架、流程，熟悉视 4 塑室坚皇奎兰塑主堕窒皇兰垡笙兰墨二兰笪丝 频编码关键模块的基本原理( 比如，运动估计模块、帧间预测模块、像素插值模块等) 。 ( 2 ) 研究设计一个简化的h 2 6 4 编码器来满足实时通信的要求。对h 2 6 4 编码器进行复杂 度分析，指出影响编码速度的瓶颈所在。参考h 2 6 3 编码标准对h 2 6 4 编码器的关键模块 进行算法改进和简化，以牺牲少许编码性能来换取编码速度的提高，从而满足实时编码的 要求。这个经过简化的h 2 6 4 编码器在功能上等同于h 2 6 3 编码器，但是又具有h 2 6 4 标 准的码流结构。这是本文的一个重要研究成果和创新点。 ( 3 ) 掌握本实验室的多模式无线视频实时传输系统。熟悉系统组成、编码模块接口设计、 工作流程、线程通信和任务调度，控制策略等； ( 4 ) 深入了解本文所用的硬件平台，熟悉硬件环境。将经过简化的h 2 6 4 编码器移植到 t m l 3 0 0d s p 平台上，并针对d s p 芯片的特点对代码进行代码级和系统指令集的优化，进 一步提高编码速度。 1 3 2 本文的内容安排 本文分成五个部分。内容安排如下： 第一章本文的绪论部分，介绍了课题的背景、系统组成和研究环境，以及本文的主 要工作和论文章节安排。 第二章详细介绍了h 2 6 4 编码标准的主要新技术特点，分析了h 2 6 4 编码标准的基本 框架和编解码流程。 第三章通过对h 2 6 4 编码器主要耗时模块的复杂性分析和本文采用的t m l 3 0 0d s p 芯片处理能力的分析得出影响编码效率的瓶颈所在。考虑到现有成熟的视频通信产品都采 用h 2 6 3 编码标准，所以参考h 。2 6 3 编码标准的关键模式对h 2 6 4 编码器主要耗时模块进 行简化和算法改进，使得经过简化的h 2 6 4 编码器在功能上相当于h 2 6 3 编码器，但是又 有h 2 6 4 标准的码流结构。最后本文将通过简化的编码器与标准的h 2 6 3 编码器和h 2 6 4 编码器的性能比较，分析两者之间的性能优劣并进一步说明简化的编码器在实际应用中的 意义。 第四章将经过简化的h 2 6 4 编码器移植到d s p 平台上。首先简单介绍了t m l 3 0 0d s p 芯片的硬件结构，然后在移植过程中对程序代码进行代码裁减、接口模块设计，并对h 2 6 4 编码器进行内存管理和数据结构的优化，针对t m l 3 0 0 的运算处理特性进行代码级和系统 指令集的优化来提高编码器的编码效率。最后进行实验结果分析。 第五章对全文进行总结和展望。 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准分析 第二章h 2 6 4 视频编码标准分析 随着越来越多的数字视频业务不断涌现，为适应各种业务增长对运动图像压缩率的更 高要求，迫切需要一种更优的视频压缩编码标准来使得编码后的视频数据能够很好的适应 各种网络传输。2 0 0 1 年，i s o 的运动图像专家组( m p e g ：m o t i o np i c t u r ee x p e l sg r o u p ) 与v c e g 合作成立了联合视频组t ，该联合视频组工作目标是制定一个新的视频编码标 准，以实现视频的高压缩比、高图像质量、良好的网络适应性等。2 0 0 3 年第二季度，联合 视频组发布了新的视频编码标准，称为h 2 6 4 标准，该标准也被i s o 接纳，称为a v c 标 准，是m p e g 4 的第1 0 部分。 h 2 6 4 a v c 是目前算法复杂度最高、性能最好的视频编码标准。h 2 6 4 a v c 的编解码 框架与以前的标准如h 2 6 1 、h 2 6 3 及m p e g 4 相比并无显著变化，基本算法是通过帧间 预测和运动补偿消除时域冗余，经过变换编码消除频域冗余。因此其视频编码原理( 比如 预测、变换、量化、熵编码) 并没有根本的变化，但在每一个编码实现的细节上都有重要 的改变，采用了一些新的算法，同时采用了“回归基本”的简洁设计，不用繁琐的选项， 获得比以前编码标准好得多的压缩性能。为了更贴近应用，h 2 6 4 加强了对各种信道的适 应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理。h 2 6 4 编码标准 应用目标范围较宽，能满足不同速率、不同解析度以及不同传输( 存储) 场合的需求。 h 2 6 4 a v c 标准的应用领域包括有线电视( c a t v ：c a b l et e l e v i s i o n ) 、卫星直播( d b s ： d i r e c tb r o a d c a s ts a t e l l i t e ) 中的视频服务、基于数字用户线( d s l ：d i g i t a ls u b s c r i b e rl i n e ) 的视频服务、数字电视广播( d t t b ：d i g i t a lt e r r e s t r i a lt e l e v i s i o nb r o a d c a s t ) 、交互存储媒 体( i s m ：i n t e r a c t i v es t o r a g em e d i a ) 、多媒体信件( m m m - m u l t i m e d i am a i l i n g ) 、实时会 话业务( 视频会议，视频电话等) ( i 玎c ：r e a l t i m ec o m m u n i c a t i o n ) 、远程视频监控( r v s ： r e m o t ev i s u a ls u r v e i l l a n c e ) 等。 与原有标准比较，h 2 6 4 有以下优点【1 3 】1 1 4 】： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 、h 2 6 3 + 和m p e g 4 ( p a r t2 ) 节约约5 0 码率。 ( 2 ) h 2 6 4 引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络中视频的 流媒体传输，可在很宽的码率范围内提供高质量的视频服务。 ( 3 ) h 2 6 4 对信道时延的适应性较好，既可工作于低时延模式来满足实时业务( 比如会议 电视等) ，又可工作于无时延限制的宽松场合( 比如视频存储等) 。 6 塑室塑皇奎兰堡主堑壅竺兰垡笙奎 笙三兰坚：! 竺望塑塑塑堡堡坌塑 ( 4 ) 具备较强的抗误码能力，可适应丢包率高、干扰严重的无线网络中的视频传输。 ( 5 ) 为进一步提高鲁棒性，采用分层模式，划分为视频编码层( v c l - v i d e oc o d i n gl a y e r ) 和网络提取层( n a l n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层主要负责视频编码，而网 络提取层主要负责为编码后的数据进行打包，以适应网络传输或者媒体存储的需要。特别 是其特有的网络适配层专为网络传输设计，因而能进一步提高网络适应性。 h 2 6 4 编码标准分为三个档次： b a s e l i n ep r o f i l e ：其简单版本，无需使用版权，具有开放性，面向复杂度低，传输延迟小的 应用环境。能很好地适应i p 和无线网络的使用，可以在因特网、移动网中传输多媒体信息 并可用于会议电视、可视电话等实时视频通信系统。 m a i np r o f i l e ：面向运动特性复杂、快速、传输延迟大的应用环境，采用了多项提高图像质 量和增加压缩比的技术措施，可用于电视广播。 e x t e n dp r o f i l e ：面向应用要求更高的环境，可用于各种网络的视频流传输。 2 1h 2 6 4 编码标准的基本框架 2 1 1h 2 6 4 编码标准的分层结构 h 2 6 4 视频编码标准在系统结构上引入了全新的分层设计概念，分为两层结构：视频 编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 。这种 分层结构的优势在于，视频编码层主要专注于改进各种成熟的压缩技术和先进算法，对数 字视频进行高效编解码，提供具有高质量、高压缩比、强壮性和可分级等特性的视频编码 流，并定义b a s e l i n e p r o f i l e 、m a i n p r o f i l e 和e x t e n d e d p r o f i l e 3 种不同复杂度的系统，分别 面向基本级、主要级和增强级3 个不同层次的应用。而网络适配层则主要专注于定义可用 于基于包( 数据包) 和基于比特流( 或字节流) 传输系统的基本格式，使得标准不仅支持 视频信息在电路交换信道上基于比特流的格式传输，同时也支持视频信息在i n t e m e t 上利 用r t p u d p i p 基于包的格式传输。这样，h 2 6 4 在保持同样图像质量的前提下，压缩编码 效率得到了显著提高，而且在抗误码方面采取的一系列措施，对在恶劣传输环境下的视频 质量保证也十分有利。正是这种分层的结构设计，强化了对视频信息的压缩处理、格式封 装和优先级控制，使得h 2 6 4 编码标准可以在众多领域被广泛应用【1 5 】。h 2 6 4 编码器分层 传输结构如图2 1 所示( 图中的h 3 2 4 m 表示用于移动的h 3 2 4 系统) 。 ( 1 ) 视频编码层v c l 7 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准分析 h 。2 6 4 | 酬c v c l v c l 编码器解码器 ji n a l v c l 接口 一一 r in a lfi n a li n a l 编码器接口l 编码器il 解码器f n a l 解码器接口 一一一一一一一一r 一一一一一j - 1 l 传输层 | h 3 2 0li 譬2| h 3 2 4 ml l h l 3 2 3 i pli h 3 2 4l 图2 1h 2 6 4 编码器分层结构传输图 h 2 6 4 标准中的视频编码层v c l 负责对视频数据传输中所承载的视频内容进行描述和 定义，由v c l 编码器与v c l 解码器组成，主要功能是视频数据压缩编码和解码，它包括 运动补偿、变换编码、熵编码等压缩单元。通过对各个环节中进行大量细微的调整与改进 来提高编码标准的整体性能。 ( 2 ) 网络提取层n a l 网络提取层n a l 为视频编码层v c l 提供一个与网络无关的统一接口，负责使用下层 网络的分段格式对视频编码数据封装打包，使其在网络中传送。它采用统一的数据格式， 包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道的信令、定时信息的利 用或发序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输格式，同时也支持 视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信息、段结构信息 和实际载荷信息( 如果采用数据分割技术，数据可能由几个部分组成) 。n a l 的任务是提 供适当的映射方法将头部信息和数据映射到传输协议上，这样，在分组交换传输中可以消 除组帧和重同步开销。 为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c l 数据格式的能力，在v c l 和 n a l 之间定义的基于分组的接口、打包( 即上述n a l 对v c l 数据的承载过程) 和相应的 信令也属于n a l 的一部分。这样，高编码效率和网络友好性的任务分别由视频编码层v c l 和网络提取层n a l 来完成。 8 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准分析 2 1 2h 2 6 4 编码器基本框架及编解码流程分析 h 2 6 4 编码标准与以前的编码标准类似，先将每帧图像分成像素块，使每帧图像能以像 素块为单位进行处理。对一些没有帧间相关性的像素块进行变换、量化和熵编码( 即变字 长编码) ，去除其空间相关性。使用运动估值和运动补偿，去除存在于相邻帧相应像素块 间的时间相关性，使得只有相邻帧间两个相应像块的变化部分才需要编码。 h 2 6 4 标准的视频编解码的基本结构与早先的h - 2 6 3 相似，采用图像预测和变换编码相 结合的编码结构【1 6 】。h 2 6 4 编码器基本结构如图2 2 所示。 幽2 2h 2 6 4 编码器基本结构图 以编码为例简要叙述工作过程：它的工作过程根据数据流可分为前向通道和重建通 道。对输入帧f 。编码时，实际上是对宏块( 由原始图像依一定规则分割得到) 编码。宏块 编码分为帧内编码和帧间编码。帧内编码模式下，预测宏块p 由当前帧中的已编码的宏块 经解码、重构后，通过一定预测方法获得，如图中的u f n 。帧间编码模式下，p 由一个或多 个参考帧经运动补偿预测获得( 如图所示，参考帧由已编码的帧f n - i 表示) 。以预测宏块p 与当前宏块f 。的差值作为残差宏块d n ，经变换和量化后得到一串变换参数x 。参数x 需要进 行两方面的处理，一是通过重排序和熵编码后获得新的参数，该参数与解码宏块所需的数 据信息组成压缩后的数据流，送往n a l 层进行传递和存储，整个过程没有反馈分量，故称 为前向通道：二是参数x 经反量化和逆变换产生d ，n ( 由于量化误差d 。不同于d 。) ，p 与d 。 相加产生重构宏块u f n ，滤波器( f i l t e r ) 用于降低宏块失真，通过组合一连串相应的宏块 得到重构的参考帧f n ，用于下一帧的运动估计，因此称为重建通道。解码器的结构如图2 3 所示： 解码过程对应于编码器的各部分进行逆向操作，即输出重构图像数据。具体过程为： 对每个块进行反量化，逆转换产生差值d7 。，将运动补偿预测p 加到d 。经滤波产生重构块， q 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准分析 各重构块存储起来以便产生重构帧f n 。这样一帧完整的图像数据就被解码显示出来了。 图2 3h 2 6 4 解码器基本结构图 2 2h 2 6 4 编码标准的新技术特点 在视频编码中，通常的方法是把整幅图像分为若干宏块，然后对每一个宏块进行编码。 在编码时采用i n t r a 或i n t e r 两种模式。在i n t r a 模式中通常直接对宏块进行d c t 变换，对变换 系数进行熵编码。这样做在一定程度上消除了帧内的空间冗余度，但是由于d c t 只是利用 了宏块内部像素之间的相关性，而没有考虑相邻宏块间的相关性。h 2 6 4 引入了i n t r a 预测的 方法，利用相邻宏块的相关性对待编码宏块进行预测，对预测残差进行变换编码，以消除 空间冗余。值得注意的是，以前的标准是在变换域中进行预测，而h 2 6 4 是直接在空间域中 进行帧内预测。 h 2 6 4 编码基本结构与以前的视频编码h 2 6 1 、h 2 6 3 * i 口m p e g 1 2 4 类似，建立在块匹 配混合编码的基础上，采取一系列高效压缩编码技术的开放式标准。为了实现核心技术， 在很多环节做了改进，提高了编码效率，比如：编码不再是基- 于 8 x 8 的块进行，而是在4 x 4 大小的块上，进行残差的变换编码；所采用的变换编码方式也不再；黾d c t 变换，而是一种 整数变换编码：采用多方向模式的空间预测技术、多尺寸块模式的帧内和帧间预测编码技 术、l 4 像素精度和多参考帧运动估计算法；去除方块效应的环路滤波器；引入完成流切换 的刷新帧技术代替过去的分级编码进行码率控制和差错控制：基于宏块层率失真优化 ( r d o ：r a t ed i s t o r t i o no p t i m i z a t i o n ) 理论：采用了编码效率更高的上下文自适应二进制 算术编码( c a b a cc o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。以上的改进能使编 码器根据不同的应用背景调整相应的算法和编码参数，力求在各种开放环境下实现最小失 真的最佳熵编码，达到高压缩率、低时延、容错性好、编解码复杂度可分级、对i p 网和移 动网适应性强等主要功能的设计目标。 l o 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准分析 2 2 1 帧内编码技术特点 帧内预测用来缩减图像的空间冗余。在以前的h 2 6 x 系列和m p e g x 系列标准中，采 用帧内模式编码时，通常是直接对宏块进行d c t 变换，然后对变换系数进行熵编码。这 样虽然在一定程度上消除了帧内的空间冗余度，但是由于d c t 只是利用宏块内部像素之 间的相关性，而没有考虑到相邻宏块之间的相关性，因而传统的帧内模式编码对视频序列 空间冗余度的利用还不充分，编码效率不高。为了提高帧内编码效率，h 2 6 4 标准中帧内 编码利用相邻宏块对待编宏块进行预测，再对预测的残差进行变换编码。针对不同块的大 小、不同块类型，采用不同的预测方法【1 刀- 【1 羽。 ( 1 ) 帧内4 4 预测模式 4 4 预测模式是通过其上方、斜上方和左侧的1 3 个像素来实现的。如图2 4 所示的 a m 。a m 像素是己经被编码并被重建的像素，在编码器端和解码器端都可以用来作为预 测参考。 mabcde fgh iabcd jef g h ki j ki lr nno p 图2 44 4 块像素点坐标 图中a - p 所在的4 x 4 块为当前块，该块可以通过上述的1 3 个像素来得到当前块的预测 块，其预测模式共有9 种，分别为：垂直预测、水平预测、d c 预测、沿对角线左下预测、 沿对角线右下预测、垂直向右预测、水平向下预测、垂直向左预测和水平向上预测。预测 模式如图2 5 所示： 3 矧h 9 0 n a - d o 卅l e _ f 【)4 ( d i a q o n a ld c 悱r i g h ) 驴恭r f 纩 图2 5 帧内4 4 预测模式 l l 翌蒸乎 塑塞塑皇奎兰堡主婴塑生兰垡垒奎 笙三至望：! 竺望塑堡旦堡壅坌塑 ( 2 ) 帧内1 6 x 1 6 预测模式 对于大面积亮度信号波形平坦的图像区域，h 2 6 4 提供一种1 6 x 1 6 的帧内编码模式。 相应地对采用1 6 1 6 帧内编码模式的1 6 x 1 6 亮度信号块进行图像域预测，利用与该宏块相 邻且已经完成编码的像素值求出宏块内2 5 6 个像素的预测像素值。h 2 6 4 共提供4 种1 6 x 1 6 帧内预测模式，预测模式如图2 6 所示： 0 ( v e r l l c a l ) ( h o r t z o n t , a ! 2 f d c l 3 ( p l a r 伦) 图2 6 帧内1 6 1 6 预测模式 ( 3 ) 帧内8 x 8 色度预测模式 色度信号c b 和c r 的熵值比l u m a 亮度信号的熵值低得多，其信号更趋于平坦，在 h 2 6 4 a v c 标准中，对色度信号c b 和c r 的预测处理与亮度信号1 6 x 1 6 模式相似，也拥有 4 种预测模式。并且为了减少色度信号的帧内预测模式的编码位数，在一个宏块内对色度 信号c b 和c r 编码采用相同的帧内预测模式。 2 2 2 帧间编码技术特点 h 2 6 4 a v c 仍然采用基于块匹配的运动估计补偿来去除帧间冗余。和以前的标准相比， h