（信号与信息处理专业论文）h264帧间编码性能的研究及其在tm1300+dsp上的实现.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 随着通信技术快速发展，对多媒体信息的需求越来越多，为了适应多媒体通信、 消费类电子产品等对视频应用的更高要求，i t u t 和i s o i e c 合作成立的联合视频组 ( j v t ：j o i n tv i d e ot e a m ) 推出新一代数字视频压缩编码标准h 2 6 4 。h 2 6 4 仍然采 用经典的基于块的混合编码方式，主要是采用运动补偿的帧间预测、整数变换和变长 编码。 本文介绍了h 2 6 4 视频编码主要内容及其核心技术。在h 2 6 4 视频编码标准中， 帧间编码采用了多模式运动估计，使得编码器的计算复杂度大大增加。在对开源编码 器x 2 6 4 进行帧间性能分折的基础上重点研究了h 2 6 4 编码器的多编码模式预测算法， 采用高效快速的预测算法，并对其做了改进。在编码速度上明显好于x 2 6 4 算法，而 编码性能只是略微下降，更符合于实际的应用。 此外，文中还对在p h i l i p s 公司的t r i m e d i ad s p 平台上实现h 2 6 4 帧间编码进行 了初步探讨。将h 2 6 4 开源编码器x 2 6 4 移植到该d s p 平台，结合d s p 平台结构与 x 2 6 4 源代码结构，分析h 2 6 4 帧间编码的并行运行算法，并对其进行优化，主要有 对运算密集的变换、运动估计进行d s p 指令优化，基于d s p 平台的多模式预测算法 优化实现。 实验表明，本文的优化算法可以明显降低h 2 6 4 编码器的运算复杂度，基于d s p 平台的帧间编码性能优化使编码器运算时间有所降低，为以后进一步研究打下基础； 关键词h 2 6 4p c 多模式预测优化s i m dt r i m e d i a 里塞业皇查兰堡兰竺壅圭堂垡堡苎 垒! ! ! 型 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to ft h ec o m m u n i c a t i o nt e c h n o l o g y ，t h e r e q u i r e m e n to f m u l t i m e d i ai n f o r m a t i o ni sb e c o m i n gm o r ea n dm o r eg r e a t i no r d e rt os a t i s f yt h em o r eh i g h r e q u i r e m e n to ft h ev i d e oa p p l i c a t i o n ，s u c ha sm u l t i m e d i ac o m m u n i c a t i o n ，t h ec o n s u m e d e l e c t r o n i c a lp r o d u c t i o n ，j v t ( j o i n tv i d e ot e a m ) w h i c hw a ss e tu pj o i n t l yb yi t u ta n d i s o i e cc o n s t i t u t e dt h en e w e s tv i d e oc o d i n gs t a n d a r d - - h 2 6 4 i nh 2 6 4 c o d i n g t h e t r a d i t i o n a lh y b r i dv i d e oc o d i n ga l g o r i t h mb a s e do nb l o c ki su s e d ，i n c l u d i n gi n t e r - p i c t u r e p r e d i c t i o nw i t hm o t i o nc o m p e n s a t i o n i n t e g e rt r a n s f o r ma n dv a r i a b l el e n g t hc o d i n g i nt h i sp a p e r ，t h em a i nc o n t e n ta n dt h ec o r et e c h n o l o g yo fh 2 6 4i si n t r o d u c e d i n h 2 6 4c o d i n g ，t h em u l t i p l em o d em o t i o ne s t i m a t i o nw h i c hm a k e st h ee n c o d e rm o r ea n d m o r ec o m p l e x b a s e do nt h ep e r f o r m a n c ea n a l y s i so ft h ei n t e rc o d i n gi nt h eo p e n e dh 2 6 4 e n c o d e r - - x 2 6 4 ，i t sa l g o r i t h mo fm u l t i p l em o d ep r e d i c ti sm a i n l yr e s e a r c h e d i nt h e m u l t i p l em o d ep r e d i c t ，t h ee f f e c ta n df a s ta l g o r i t h mi sa d o p t e da n di m p r o v e d t h i s a l g o r i t h mm a k e ss p e e df a s t e rt h a nt h eo r i g i n a la l g o r i t h ma n dt h ep e r f o r m a n c eo ft h e e n c o d e rd e s c e n d sa p p r e c i a b l y i na d d i t i o n ，t h i sp a p e ra l s od i s c u s e st h ei m p l e m e n t a t i o no f h 2 6 4e n c o d e ro n t r i m e d i ad s pp l a t f o r m t h i sp a p e ra l s ot r a n s p l a n t sx 2 6 4t od s pa n da n a l y s e st h ep a r a l l e l a l g o r i t h mi nh 2 6 4e n c o d e rw i mc o m b i n i n gt h ed s ps t r u c t u r ea n dt h es o u r c ec o d eo fx 2 6 4 t h em o d u lo ft h ei n t e re n d i n gi nh 2 6 4i so p t i m i z e dw i t lt h ed s p c p ub p e r a t i o n i n c l u d e t r a n s f o r mw i t ht h ed e n s eo p e r a t i o n ，m o t i o ne s t i m a t i o n t h ea l g o r i t h mo fm u l t i p l em o d e p r e d i c tr e s e a r c h e df o r m e n f i o n e d ，i sa l s or e a l i z e do nd s pp l a t f o r m e x p e r i m e n t si n d i c a t et h a tt h ew o r ki n t h i sp a p e rc a nr e d u c et h eo p e r a t i o nt i m eo f h 2 6 4e n c o d e r i ti su s e f u lf o rt h ef u t u r ew o r k k e yw o r d ：h 2 6 4 p cm u l t i p l em o d es e l e c t i o ns i m dt r i m e d i a n 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向： 图像处理与多媒体通信 作者： 型级研究生 曹荣 指导教师盟蜂 题h 2 6 4 帧闯编码性能的研究及其在t m1 3 0 0d s p 上的实现 英文题目：t h ep e r f o r m a n c er e s e a r c ha n di m p l e m e n t a t i o no n t m l 3 0 0d s po ft h ei n t e rc o d i n gi nh 2 6 4 主题词：h 2 6 4p c多模式预测优化s i m d t r i m e d i a k e y w o r d s ：h 2 6 4 p c m u l t i p l em o d ep r e d i c to p t i m i z a t i o n s i m dt r i m e d i a 南京邮电大学学位论文独创性声明 y8 5 0 9 0 9 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加吼标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：监一f _ _ l 期：塑6 ：丝：， 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 出7 够 研究生签名：够厚导师签名日期： 叼( 敬锣 南京邮电大学硕十研究生学位论文 前青 日l j吾 随着通信技术的迅猛发展，多媒体通信已提到议事日程上来，多媒体通信中巨大 的数据量是其所面临的一个主要问题，因而视频压缩技术是多媒体通信研究的重要课 题。为此，i t u 和i s o 先后制定了h 2 6 1 、h 2 6 3 、j p e g 、m p e g 1 、m p e g 一2 、m p e g 一4 等一系列压缩编码标准，基本上解决了中高码率信道上图像存储和传输的要求。最近 这两个标准化组织成立了联合视频组( t ) ，共同制定最新的国际视频压缩标准， 1 1 u t 称其为h - 2 6 4 ，i s o ，i e c 则称其为a v c ，把它作为m p e g 一4v i s u a lp a r t1 0 ，该 标准有效地提高了视频压缩效率。 如何有效地实现h 2 6 4 等图像压缩标准是多媒体通信中面临的主要难题之一，常 用实现平台有p c 通用处理器、d s p 嵌入式处理器、a s i c 专用集成电路等。实际使 用中可根据性能、功耗、可扩展性等特点来选择合适的平台。 p c 平台是进行实时视频处理的主要平台之一。i n t e l 和a m d 等p c 处理器生产 商，为了提高p c 机的多媒体功能，适应多媒体技术特点，推出了多种新技术，如s i m d ( 单指令多数据) 指令，用一条指令可以处理多个数据，大大提高了软件运行速度， 在p c 上利用软件来实现实时视频已变为可能，s i m d 技术在视频压缩编码中得到了 广泛应用。本文中对h 2 6 4 多模式预测算法研究主要是基于p c 平台。 另一方面，利用专门的硬件则有可能达到更好的性能和效果。t i 公司的d m 6 4 x 系列、a d i 公司b f 5 3 x 、e q u a t o r 公司的b s p t 5 、c r a d l e 公司的c t 3 4 0 0 、p h i l i p s 公 司的t r i m e d i a n e x p e r i a 系列都是专门面向图像及多媒体处理的d s p 。 p h i l i p s 公司针对通信和娱乐领域多媒体应用的要求，推出系歹f 多媒体芯片产品 t r i m e d i a n e x p e r i a 系列d s p ，以此为核心设计并实现了集视频、音频、通信、图像和 控制为一体的多媒体数字平台。t r i m e d i a n e x p e r i a 系列d s p 的v l i w 并行体系结构 有别于传统的r i s c 和c i s c 体系结构的微处理器，将多条指令组合成单条指令，然 后作为一个宽的指令单元同时执行，在编译阶段对指令进行调度与规划，这样使得处 理器可以在较低的时钟频率下取得更高的处理速率。因此，这种结构对于运算量巨大 的媒体处理应用来说，是非常有利的。特别是t r i m e d i a n e x p e r i a 系列d s p 除了包括 传统c p u 操作指令集和i e e e 浮点运算指令集外还采用了专门的多媒体s i m d 方式， 这为处理器提供了矢量运算能力，极大地增强了芯片的多媒体处理能力。因而它在音 南京邮电大学硕士研究生学位论文前意 视频领域都能得到广泛应用，本文中h 2 6 4 编码器的实现基于t r i m e d i a 系列d s p 。 本文结构安排如下：第一章扼要介绍了视频编码技术的理论方法和标准的发展历 程；第二章介绍目前最新的视频编码标准h 2 6 4 的核心技术；第三章基于p c 平台在 对h 2 6 4 帧间编码性能的研究基础上对多模式预测算法进行优化和改进；第四章研究 针对t r i m e d i a 系列d s p 平台的h 2 6 4 开源编码器的实现与优化：第五章对实验结果 进行分析。文章最后对整个研究工作进行了总结。 南京邮电大学颈士研究生学位论文 第一章绪论 第一章绪论 随着多媒体与网络技术的飞速发展，视频、图像、计算机视觉、多媒体数据库和 计算机网络技术日益融合，已经渗入到国民经济和社会生活的各个方面，来满足消费 者对多媒体通倍的需求。然而，数字化的视频信息在满足人们需求的同时，对数据传 输带宽、数据存储容量提出了更高的要求。例如，一幅中等分辨率( n t s c 南i j 式， 2 4 b i t s i t l i x e l ) 的彩色数字视频，其传送速率约为2 2 1 1 m b p s ，而高清晰度电视h d t v 的传输速率则在l ，2 g b p s 以) z 。庞大的视频数据给信息的存储和传输都造成了较大的 困难，成为阻碍人类有效获取和使用视频信息的瓶颈问题之一。 早在上个世纪四十年代末期，人们就已开始着手图象压缩编码技术的研究，以期 达到有效的数据压缩，至今已经走过了半个世纪的发展历程。从五、六十年代耩本方 法的探讨，到七十年代早期可视电话的研究，使得这一领域有了长足的进展，许多基 本的思想和方法都相继被提出。八十年代前后，顺应信息化潮流，砸向各种应用的开 发研究大力开展起来，1 1 u 和1 s o 两大组织开始r 图像压缩的标准化工作，先后制定 了h 2 6 x 和m p e g - x 标准。这些视频压缩编码标准的制定，同时也极大地促进了视频压 缩编码技术和多媒体通信技术的发展。m p e g 系列标准被广泛应用在视频存贮、点播 和转发领域，比如v c d 的视频格式，就是基于m p e g 1 技术开发的。同样，由于国际 电联的推荐，h 2 6 x 系列标准也大量应用于视频通信领域，为广大运蕾商和设备提供 商所采用。 19 9 5 年，国际电联的视频编码专家组( v c e g ：v i d e o c o d i n ge x p e r t sg r o u p ) 在 完成了h 2 6 3 标准的制订工作后，开始从两个方向做进一步研究，一个短期的方向是 为h 2 6 3 增加更多的功能，这就是h 2 6 3 后续版本：另一个长期的目标则是旨在开发 一种新的低码率视频通信标准，命名为h 2 6 l 。 1 1 视频编码技术的发展 由于视频信息的直观性，人类获取的信息中7 0 来自于视觉，视频信息在多媒体 信息中占据着重要地位。但是，尽管现在通信技术和存储技术有了快速的发展，视频 的巨大数据量对于在现有通信系统上的视频传输和存储媒质上的视频存储依然是个 南京邮电大学硕士研究生学位论文 第一章绪论 很大障碍。对于d 1 格式的d v d 视频，如帧频为3 0 f p s ，采用y u v 4 2 2 格式，则视频 数据的码率为7 2 0 x 4 8 0 x s x 2 3 0 = 1 6 5 9 m b p s ，具有4 7 g 容量的d v d 也仅仅能够存 储4 7 8 1 6 5 9 = 2 2 6 4 秒长度的视频节目。 虽然视频数据量很大，但这些数据往往是高度相关的，这些相关性引起了视频数 据的高度冗余。视频数据中主要有空间冗余、时间冗余、结构冗余、知识冗余和视觉 冗余等，数据压缩实质上是减少这些冗余量，这就是压缩图像与视频数据的出发点。 从信息论观点来看，通过减少冗余而进行数据压缩处理称为信源编码，而视频数据作 为一个信源，描述信源的数据中存在大量的数据冗余，去掉冗余不会减少信息量，仍 可原样恢复数据，在允许的范围内损失一定的熵，数据可近似恢复，就可以有效的降 低数据量，达到在保证一定重构质量的前提下，以尽量少的比特数来表征视频信息的 目的。 1 1 1 视频编码基本方法 视频数据压缩编码有很多种，可以有多种分类方式。常用的一种是分为：无损 ( 1 0 s s l e s s ) 压缩编码，又称统计编码，包括哈夫曼编码等，能够精确地重建原始图像； 有损( 1 0 s s y ) 压缩编码，包括变换编码、预测编码，会引入失真，但尽量使失真不明 显。 ( 1 ) 统计编码1 4 】【5 】 统计编码是根据信息出现概率的分布特性而进行的压缩编码，是一种无损编码。 这种编码的关键在于：信息和码字之间找到明确的一一对应关系，以便在恢复时能准 确无误地再现出来，或者至少是极相似地找到对应关系，并把这种失真或不对应概率 限制到可容忍地范围内。其方法为：识别一个给定的流中出现概率最高的比特或者字 节模式，且用比原始比特更少的比特数对其编码。也就是说，出现概率越低的模式， 其编码的位数就越多：出现概率越高的模式编码位数就越少。如果码流中所有模式出 现的概率相等，则平均信息量最大，信源没有冗余。统计编码中常用的编码有哈夫曼 编码( h u f f m a nc o d i n g ) 、算术编码( a r i t h m e t i cc o d i n g ) 、游程编码( r u n l e n g t hc o d i n g ) 等。 哈夫曼编码，即最佳码，完全依据符号出现概率来构造平均长度最短的码，备码 字长度严格按照所对应符号出现概率的大小逆序排列，把符号按概率大小顺序排列， 4 南京邮电大学硕士研究生学位论文 第章绪睦 很大障碍。对于d 1 格式的d v d 视频，如帧频为3 0 f p s ，采用y u v 4 2 2 格式，则视频 数据的码率为7 2 0 x 4 8 0 x 8 x 2 x 3 0 - - 1 6 5 9 m b p s ，具有4 7 g 容量的d v d 也仅仅能够存 储47 x 8 1 1 6 5 9 - 2 2 6 4 秒长度的视颓节目。 虽然视频数据量很大，但这些数据往往是高度相关的，这些相关性引起了视频数 据的高度冗余。视频数据中主要有空间冗余、时间冗余、结构冗余、知识冗余和视觉 冗余等，数据压缩实质上是减少这些冗余量，这就是压缩图像与视频数据的出发点。 从信息论观点来看，通过减少冗余而进行数据压缩处理称为信源编码，向视频数据作 为一个信源，描述信源的数据中存在大量的数据冗余，去掉冗余不会减少信息量仍 可原样恢复数据，在允许的范围内损失定的熵，数据可近似恢复，就可以有效的降 低数据量，达到在保证一定重构质量的前提下，以尽量少的比特数来表征视频信息的 目的。 1 1 1 视频编码基本方法 视频数据压缩编码有很多种，可以有多种分类方式。常用的。种是分为：无损 ( 1 0 s s l e s s ) 压缩编码，又称统计编码，包括哈夫曼编码等，能够精确地重建原始图像； 有损( 1 0 s s y ) 压缩编码，包括变换编码、预测编码，会引入失真，但尽量使失真不明 显。 ( ”统计编码5 】 统计编码是根据信息出现概率的分布特性而进行的压缩编码，是种无损编码。 这种编码的关键在于：信息和码字之问找到明确的一一对应关系，| 三c 便在恢复时能准 确无误地再现出来，或者至少是极相似地找到对应关系，并把这种失真或不对应概率 限制到可容忍地范围内。其方法为：识别一个给定的流中出现概率展高的比特或者字 节模式，且j ； ； 比原始比特更少的比特数对其编码。也就是说，出现概率越低的模式， 其编码的位数就越多；出现概率越商的模式编码位数就越少。如果码流中所有模式出 现的概率相等，则平均信息量最大，信源投有冗余。统计编码中常用的编码有哈夫曼 编码( h u f f m m c o d i n g ) 、算术编码( 埘m e t i c c o d i n g ) 、游程编码( r u n - l e n g t h c o d i n g ) 等。 哈夫曼编码，即最佳码，完全依据符号出现概率来构造平均疑度最短的码，备码 字长度严格按照所对应符号出现概率的大小逆序排列，把符号按概率大小顺序排列， 字长度严格按照所对应符号出现概率的大小逆序排列，把符号按概率大小顺序排列， 南京邮电大学硕= e 研究生学位论文 第一章绪论 对出现概率大的符号赋予短码字，而对于概率小的符号赋予长码字。算术编码的思想 是用0 到1 的线段上的一个区间表示一个符号序列，其长度等于这个序列的概率。行 程编码的主要技术是检测重复的符号序列，且用它们的出现次数取而代之。它计算信 源符号出现的行程长度，然后将行程长度转换成代码。哈夫曼编码和算术编码是基于 概率模型的，且都可逐渐地达到熵界限。算术编码容易适应信号统计特性的变化，性 能由于哈夫曼编码，但它比哈夫曼编码复杂，而哈夫曼编码更容易实现。视频编码标 准中，一般是以游程编码加哈夫曼编码或游程编码加算术编码的形式对变换和量化后 的图像系数实施进一步压缩。 ( 2 ) 变换编码 变换编码是通过信号变换来消除图像数据空间相关性的一种有效方法。对信号进 行某种函数变换，从一种信号( 空间) 变换到另一种信号( 空间) ，然后再对变换后 的信号进行编码。如将时域信号变换到频域，因为声音、图像大部分信号都是低频信 号，在频域中信号的能量较集中，再进行采样、编码，量化，从而达到压缩数据的目 的。 变换编码系统中压缩数据有三个步骤：变换、变换域采样和量化。变换本身并不 进行数据压缩，它只把信号映射到另一个域，使信号在变换域里容易进行压缩，变换 后的样值更独立和有序。这样，嚣化操作通过比特分配可以有效地压缩数据。在变 换编码系统中，用于量化组变换样值的比特总数是固定的，总是小于对所有变换样 值用固定长度均匀量化进行编码所需的总数，所以量化使数据得到压缩，是变换编码 中不可缺少的一步。在对量化后的变换样值进行比特分配时，要考虑使整个量化失真 最小。 ( 3 ) 预测编码1 4 1 1 6 预测编码的基本思想是通过提取每个像素中的信息并对它们编码来消除像素间 的冗余，它是根据离散信号之间存在羞定关联性的特点，利用前面一个或多个信号 对下一个信号进行预测，然后对实际值和预测值的差( 预测误差) 进行编码。如果预 测比较准确，那么误差信号就会很小。这样一来，在同等精度要求的条件下，就可以 用比较少的比特进行编码。达到压缩数据的目的。由于整个数据信源的实际模型很复 杂且是时变的，在大多数情况下准确的预测几乎不可能实现，故预测器通常设计成用 前面几个样值来预测下一样值。大多数使用线性预测函数。预测编码中典型的压缩方 法有脉冲编码调制( p c m ：p u l s ec o d em o d u l a t i o n ) 、差分脉冲编码调制( d p c m ： 堕塞塑皇查堂堡圭堕塞圭堂堡堡塞 一一塑二翌! ! 兰 d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 、自适应脉冲编码调制( a d p c m ：a d a p t i v e d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 等，它们较适合用于声音、图像数据的压缩。因 为这些数据均由采样得到，相邻样值之间的差不会相差很大，可以用较少位来表示差 值。由于在对差值编码时进彳亍了量化，因此预测编码是一种有失真编码方法。 预测编码中一种重要的编码是帧间预测编码，它是利用视频图像相邻帧间的相关 性，即时间相关性，消除时间冗余来达到图像压缩的目的。帧问预测编码是一种十分 有效的图像压缩技术，广泛应用于普通电视、会议电视、电视电话、高清晰度电视的 压缩编码。大多数电视图像相邻帧间细节变化是很少的，即视频图像帧间具有很强 的相关性，利用帧所具有的相关性特点进行帧间编码，可获得比帧内编码商得多的压 缩比。对于静止图像或活动很慢的图像，可以少传一些帧，如隔帧传输，未传输的帧， 利用接收端的帧存储器中前一帧的数据作为该帧数据，从视觉来说很难察觉。因为人 眼对图像中静止或活动慢的部分，要求有较高的空间分辨率，而对时间分辨率的要求 可低些。这种方法叫帧重复方法。其他还有运动估计与补偿、阈值法( 只传送像素亮 度的帧间差值超过一定闽值的像素) 、帧内插( 对于活动缓慢的图像，利用前后两帧 图像进行内插，得到预测图像，然后对帧差信号进行编码) 等。 运动估计与补偿是应用于视频编码标准中的项重要的帧间预测编码方法。由两 帧之间的相关性，将当前帧与得到的前一帧对当前帧的估计相减得到的误差编码，差 值集中在0 值附近，可以用短的码字传送，这样所需的比特要大大减少。用图1 1 来 说明这个过程， 图1 i 运动估计与运动补偿过程 当前帧在过去帧的窗口中寻找匹配部分，从中找到运动矢量；根据运动矢量，将 过去帧移位，获得对当前帧的估计；将这个估计和当前帧相减，求得估计的误差值； 将运动矢量和估计的误差值发送出去；接收端则根据收到的运动矢量对过去帧作位移 ( t g 就是对当前帧的估计) ，再加上接收到的误差值，就得到了当前帧。 6 南京邮电大学硕士研究生学位论文 第一帝绪论 1 1 2 视频编码标准 在实际编码系统中，可以针对不同的应用，选择上述几种编码方法进行组合，提 出不同的编码方案。现有的视频编码标准，以香农信息论为出发点，用统计概率模型 来描述信源，基本采用基于块的混合编码方式。其基本算法是通过帧间预测和运动补 偿消除时域冗余，经过变换编码消除频域冗余。这种编码技术在以往的视频编码标准 中获得了巨大的成功。j p e g 、m p e g - l 、m e p g 2 、h 2 6 1 、t f 2 6 3 以及本文将要讨论 的h 2 6 4 都采用了该种视频编码技术。它主要包括预测编码、变换编码、熵编码以及 运动补偿等关键技术。 ( 1 ) h 2 6 x 系列视频编码标准【1 】【2 j h 2 6 1 是最早出现的视频编码建议，它的输出码率是p x 6 4k b i t s ( p 为o n 3 1 的整数， 当匹6 时，只能传清晰度不太高的图像，适合于面对面的电视电话；当p 6 时，可以 传输清晰度较好的图像，适用于电视会议) 。h 2 6 1 主要是应用于i s d n 的会议电视和 可视电话，采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余的d c t 的混合编码方法。h 2 6 3 建议的是低码率图像压缩标准，支持码率小于6 4 k b i t s 的应用， 但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持全码率应用的建议，可支 持众多的图像格式，如s - q c i f ( s u b - q u a r t e rc o m m o ni n t e r m e d i a r yf o r m a t ) 、q c i f 、 c i f 、4 c i f 甚至1 6 c i f 等。h 2 6 3 在h 2 6 1 建议的基础上做了重要改进：采用了半像素 精度的运动矢量的搜索，取消了h 2 6 1 建议中的环路滤波器，增加了非限制运动矢量、 基于语法的算术编码、先进预测模式和p b 帧编码等四个高级选项，从而达到了迸一 步降低码率和提高编码质量的目的。h 2 6 3 + 和h 2 6 3 + + 是在h 2 6 3 的基础上增加了更 多的编码可选项，在语法上与h 2 6 3 兼容，但编码效率有很大提高，适用范围也更大。 值得注意的是，h 2 6 3 + 件+ 中既增加了一些改进编码效率的选项，同时也增加了提高 抗误码性能的选项，将适应信道的问题也纳入了信源编码中加以考虑。 ( 2 ) m p e g - x 视频编码标准8 】 m p e g - 1 标准的码率为1 2 m b i t s 左右，是为c d r o m 光盘的视频存储和播放所制 定的。m p e g - l 瘃准视频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，采用运动补偿技术 减少帧间冗余度，二维d c t 变换去除空间相关性，量化后的d c t 系数进行v l c ( v l c ： v a r i a b l el e n g t hc o d i n g ) 的游程编码，每个数据块的直流分量( d c ) 进行预测差分 编码。m p e g - l 中的图像类型共分四种：帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 南京邮电大学硕士研究生学位论文 第一章绪论 和直流帧( d ) 。d 帧图像中只含直流分量，是为播出中的“快放”等功能而设计的。 m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运动 矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分“帧”和“场”；引 入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。近 年推出的m p e g 4 标准既能够支持低码率的视频应用，也能够支持广播级的视频应 用。与其它压缩标准相比，m p e g 4 标准中引入了视昕对象( a v o ：a u d i o v i s u a l o b j e c t ) 的概念。引入基于视听对象的编码，大大提高了视频通信的交互能力和编码 效率。m p e g 4 中还采用了一些新的技术，诸如：形状编码和自适应d c t 技术以支持 任意形状视频对象编码；基于内容的可分级性操作；在其音、视频表示规范中考虑了 信道特性：提供了传输多媒体集成框架( d m i f ：d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ) 应用接口等。但是m p e g 4 的核心视频编码器也是和h 2 6 3 $ n 类似的。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并己完全取丽代之， 主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无所适从。m p e g 系列标准 从针对存储媒体应用发展到传输媒体应用，其核心视频编码的基本框架是和h 2 6 1 一 致的。其中引入注目的m p e g 4 的“基于对象的编码”部分由于尚有技术障碍，目前 还难以普遍应用。视频编码的建议从h 2 6 1 到h 2 6 2 3 、m p e g 。1 2 和m p e g - 4 都有一个 共同的目标：在尽可能低的码率下获得尽可能好的图像质量。然而，随着图像通信的 发展，如何适应不同信道传输的需求，如何适应用户对视频自由选择编码的需求等问 题相继出现，这都是新的视频编码标准要面对的这些问题。一种新的视频编码克服了 以前视频编码标准的弱点，引入了新的编码方式来面向实际应用着重解决这些问题， 这就是下面将要介绍的h 2 6 4 ，必将成为一个实用最优的建议和标准。 1 2 论文主要工作 h 2 6 4 视频编码器在编码效率，码流等方丽，比以前的编码标准有了很大的提高， 但这是以h 2 6 4 编码器的高运算复杂度为代价的，刚需要对h 2 6 4 编码器进行优化， 尽可能降低其复杂度，提高编码速度，以满足实际应用的各种不同要求。本文主要基 于p c 平台和t r i m e d i a 系列d s p 研究h 2 6 4 视频编码器中帧间编码性能的优化，主 要工作如下： 较深入的研究h 2 6 4 标准及其采用的新技术。 8 堕塞些皇盔堂堡主塑塞兰堂垡堡塞塑二望堑堕 基于对h 2 6 4 开源编码器x 2 6 4 的帧间编码的多模式预测进行研究分析，采用商 效的快速算法。 基于t r i m e d i a 系列d s p 的h 2 6 4 开源编码器x 2 6 4 的实现 结合t r i m e d i a 系列d s p 体系结构研究h 2 6 4 开源编码器x 2 6 4 的帧问编码的并行 技术。 9 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码及其核心技术 第二章h 2 6 4 视频编码及其核心技术 随着越来越多的数字视频业务不断涌现，为适应各种业务增长对于运动图像压缩 率的更高要求，迫切需要一种更优的视频压缩编码标准来使得编码后的视频数据能够 很好的适应各种网络传输。2 0 0 1 年，i s o 的运动图像专家组( m p e g ：m o t i o np i c t u r e e x p e r t sg r o u p ) 认识到h 2 6 l 的潜在优势，与v c e g 合作成立了联合视频组j v t 的 工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好 的网络适应性等。于2 0 0 3 年第二季度发布了新的视频编码标准，称为h 2 6 4 标准， 该标准也被i s o 接纳，称为a v c 标准，是m p e g 4 的第1 0 部分。 h 2 6 4 a v c 是目前算法复杂度最高、性能最好的基于d p c m 加变换编码的混合 编码框架的视频编码标准。h 2 6 4 ，a v c 的编解码框架与以前的标准如h 2 6 1 、h 2 6 3 及m p e g 4 相比并无显著变化，基本算法是通过帧问预测和运动补偿消除时域冗余， 经过变换编码消除频域冗余。因此其视频编码工具：预测、变换、量化、熵编码并没 有根本的变化，但在每一个编码工具的细节上都有重要的改变，采用了些新的算法， 同时采用了“回归基本”的简洁设计，不用繁琐的选项，获得比以前编码标准好得多的 压缩性能。为了更贴近应用，h 2 6 4 加强了对各种信道的适应能力，采用“网络友好” 的结构和语法，有利于对误码和丢包的处理：应用目标范围较宽，以满足不同速率、 不同解析度以及不同传输( 存储) 场合的需求。 h 2 6 4 a v c 标准的应用领域包括有线电视( c a t v ：c a b l et e l e v i s i o n ) ，卫星直播 ( d b s ：d i r e c tb r o a d c a s ts a t e l l i t e ) 中的视频服务，基于数字用户线( d s l ：d i g i t a l s u b s c r i b e rl i n e ) 的视频服务，数字电视广播( d t t b ：d i g i t a lt e r r e s t r i a l t e l e v i s i o i l b r o a d c a s t ) ，交互存储媒体( i s m ：i n e r a e t n es t o r a g em e d i a ) ，多媒体信件( i v l m m ： m u l t i m e d i am a i l i n g ) ，实时会话业务( 视频会议，视频电话等) ( r t c ：r e a l 。t i m e c o m m u n i c a t i o n ) ，远程视频监控( r v s ：r e m o t e v i s u a ls u r v e i l l a n c e ) 等。 与原有标准比较，h 2 6 4 有以下优点： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 、h 2 6 3 + 和m p e g 4 ( p a r t2 ) 节约约5 0 码率。 ( 2 ) h 2 6 4 引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络 1 0 南京邮电大学硕：e 研究生学位论文 第二章h 2 6 4 视频编码披乓核心技术 中视频的流媒体传输，可在很宽的码率范围内提供高质量的视频服务。 ( 3 ) h 2 6 4 对信道时延的适应性较好，既可工作于低时延模式满足实时业务， 如会议电视等，又可工作于无时延限制的宽松场合，如视频存储等。 ( 4 ) 具备较强的抗误码能力，可适应丢包率高、干扰严重的无线网络中的视频 传输。 ( 5 ) 为进一步提高鲁棒性，采用分层模式，划分为视频编码层( v c l ：v i d e oc o d i n g l a y e r ) 和网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层主要负责视 频编码，而网络提取层主要负责为编码后的数据进行打包，以适应网络传输或者媒 体存储的需要。视频编码层v c l 外特有的网络适配层n a l 专为网络传输设计，因 而进一步提高对网络适应性。 h 2 6 4 标准分为三个档次： b a s e l i n ep r o f i l e ：其简单版本，无需使用版权，具有开放性，面向复杂度低，传 输延迟小的应用环境。能很好地适应i p 和无线网络的使用，这对目前因特网传输多 媒体信息、移动网中传输宽带多媒体信息等都具有重要意义。可用于会议电视、可视 电话等实时视频通信。 m a i np r o f i l e ：面向运动特性复杂、快速，传输延迟大的应用环境，采用了多项 提高图像质量和增加压缩比的技术措施，可用于电视广播。 e x t e n dp r o f i l e ：面向应用要求更高的环境，可用于各种网络的视频流传输。 2 1h 2 6 4 视频编码框架 2 1 1h 2 6 4 视频编码标准的分层设计【9 】【】 h 2 6 4 视频编码标准在系统结构上引入了全新的分层设计概念，分为两层结构： 视频编码层v c l 和网络提取层n a l 。正是这种分层的结构设计，强化了对视频信息的 压缩处理、格式封装和优先级控制，使得h - 2 6 4 编码标准可以在众多领域被广泛应用。 h t 2 6 4 编码器分层传输结构如图2 1 所示( 图中的h 3 2 4 m 表示用于移动的h 3 2 4 系统) 。 南京邮电大学硕士研究生学位论文第二章h 2 6 4 视频编码及其核心技术 甲甲眦嘲 一加由由接口 0 传输层 网需网网网 图2 1h 2 6 4 编码器分层结构传输图 ( 1 ) 视频编码层v c l h 2 6 4 标准中的视频编码层v c l 负责对视频数据传输中所承载的视频内容进行描 述和定义，由v c l 编码嚣与v c l 解码器组成，主要功能是视频数据压缩编码和解码， 它包括运动补偿、变换编码、熵编码等压缩单元。通过对各个环节中进行大量细微的 调整与改进来提高编码标准的整体性能。 ( 2 ) 网络提取层n a l 网络提取层n a l 为视频编码层v c l 提供一个与网络无关的统一接口，负责使用下 层网络的分段格式对视频编码数据封装打包，使其在网络中传送，采用统一的数据格 式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道的信令、定时 信息的利用或发序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输格式， 支持视频在i n t e r a c t 上利用r t p u d p p 传输的格式。n a l 包括自己的头部信息、段结 构信息和实际载荷信息( 如果采用数据分割技术，数据可能由几个部分组成) 。n a l 的任务是提供适当的映射方法将头部信息和数据映射到传输协议上，这样，在分组交 换传输中可以消除组帧和重同步开销。 为了提高h 2 6 4 的n a l 在不同特性的网络上定$ i j v c l 数据格式的能力，在v c l $ 1 n a l 之间定义的基于分组的接口、打包( 即上述n a l 对、，c l 数据的承载过程) 和相 应的信令也属于n a l 的一部分。这样，高编码效率和网络友好性的任务分别由视频编 码层v c l 和网络提取层n a l 来完成。 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码及其核心技术 2 1 2h 2 6 4 视频编码结构与流程 h 2 6 4 与以前的编码方法类似：先将每个视频帧分成像素块，使视频帧能以像块 为单位进行处理；对一些没有帧间相关性的像块进行变换、量化和熵编码( 即变字长 编码) ，去除其空间相关性。然后使用运动估值和运动补偿，去除存在于相邻帧相应 像块间时间方向的相关性，使得只有相邻帧间两个相应像块的变化部分才需要编码。 h 2 6 4 与以前的编码方法不同