（信号与信息处理专业论文）基于tms320dm642的h264编码器的实现与优化.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：墨：鱼竺 日期：塑! 丝! 兰 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：乏盟导师签名：蛳期：翌! ：竺! 兰 山东大学顾十学付论文 摘要 作为新一代的多媒体应用视频编码标准，h 2 6 4 a v c 采用了许多不同于以往 标准的先进技术，在编码效牢和性能大幅提高的同时，增强了错误恢复及网络自 适应等功能，在广播电视、视频存储与回放、视频会议等领域具有广泛的应用前 景。但h 2 6 4 编码性能的提高是以其计算复杂度的明显增加为代价的。如何在硬 件资源有限的嵌入式环境下开发出具有实时编码功能的视频编码器是一项极具挑 战性的工作。 t m s 3 2 0 d m 6 4 2 是美国德州仪器公司开发的第二代高性能超长指令字结构的 定点d s p 处理器，具有8 个独立的功能单元和6 4 个3 2 位通用寄存器，在8 个功 能单元里扩展了专门用于视频图像处理的指令集，提高了视频处理的性能和指令 结构的并行性；在6 0 0 m h z 的时钟频率下，d m 6 4 2 的峰值处理速度达到4 8 0 0 m i p s ( 每秒百万条指令) ；d m 6 4 2 片内采用两级存储器结构，并具有丰富的片上外围接 口，如1 0 i o o m b p s 以太网接口、三个可配置的视频端口、一个6 4 位的外部存储 器接口等。d m 6 4 2 的强大处理和接口能力使它非常适合基于i p 和无线网络的音视 频传输、安全监控等视频图像处理领域的应用。 本论文主要介绍如何在t m s 3 2 0 d m 6 4 2 硬件开发平台上进行h 2 6 4 “b a s e l i n e 。 编码器的开发与优化。编码器源程序采用三大开源代码之一的x 2 6 4 的编码部分。 与官方提供的j m 系列测试源码相比，x 2 “编码器摒弃了一些对编码性能贡献微 小但计算复杂度极高的新特性，更易于移植和优化。视频编码算法在d s p 芯片上 的高效实现，必须充分挖掘视频处理器的并行特性和计算资源，才能满足系统实 时性的要求，我们在原x 2 “编玛器程序幕础上主要傲了以下几项工作：一是对程 序进行裁减、修改并最终移植到d s p 平台上运行：二是充分利用d m 6 4 2 的e d m a 控制器等对数据传输和存储空间进行优化：三是利用内联函数、线性汇编等对 h 2 6 4 核心算法和程序进行改进，提高代码运行的并行性。最后提出了一个复杂度 较低、编码效率较高的嵌入式实时h 2 6 4 编码器方案。 目前，我们的h 2 6 4 编码器每秒钟能够完成2 8 3 9 帧q c l f 格式图像的编码 解码后的视频图像具有较高的毛观质量和客观质量。 关键词：h 2 6 4 a v ct m s 3 2 0 d m 6 4 2 移植运动估计整数d c t 变换 山东犬学硕十学位论文 a b s t r a c t a sav i d e oc o d i n gs t a n d a r df o rn e x t - g e n e r a t i o nm u l t i m e d i a , h 2 6 4 a v ca d o p t sa n u m b e ro fa d v 柚c c dt e c h n o l o g i e sd i f f e r e n tf r o mt h ep r e v i o u ss t a n d a r d s i na d d i t i o nt o i m p m v e dc o d i n ge f f i c i e n ta n dc o d i n gp e r f o r m a n c e , o t h e rc a p a b i l i t i e so ft h en e w s t a n d a r da r ea l s oe n h a n c e d ，i n c l u d i n ge r r o rr e s i l i e n c ea n df l e x i b i l i t yf o re f f e c t i v eu s eo v e r ab r o a dv a r i e t yo fn e t w o r kt y p e s h 2 6 4 a v cp r o v i d e sat e c h n i c a ls o l u t i o nf o rab r o a d r a n g eo fa p p l i c a t i o n s , i n c l u d i n gb r o a d c a s tt e l e v i s i o n ，v i d e og o m g ea n dp l a y b a c k , v i d e o c o n f e r e n c i n g e t c b u ti m p m v e dc o d i n ge f f i c i e n c yc o m e sa tt h ec o s to fh i g h e r c o m p u t a t i o n a lc o m p l e x i t y i ti sf u l lo fc h a l l e n g et od e v e l o pa ne m b e d d e dr e a l - t i m ev i d e o e n c o d e rw i t ht h el i m i t e do n - c h i pm e m o r ys p a c e t h et m s 3 2 0 d m 6 4 2d e v i c ei sa f i x e d - p o i n td i g i t a ls i g n a lp r o c e s s o r ( d s p s ) b a s e do n t h es e c o n d g e n e r a t i o nh i g h - p e r f o r m a n c ev e r y - l o n g - i n s t r u c t i o n - w o r d ( v l i w ) a r c h i t e c t u r e v e l o c i t l 2 t d e v e l o p e db yt e x a si n s t r u m e n t s ( t i ) ，w h i c hh a se i g h th i g h l yi n d e p e n d e n t f u n c t i o n a lu n i t sa n d6 43 2 - b i tg e n e r a l - p u r p o s er e g i s t e r s t h ev e l o c i t l 2 t e x t e n s i o n si n t h e e i g h t f u n c t i o n a lu n i t so fd m 6 4 xi n c l u d en e wi n s t r u c t i o n st oa c c e l e r a t et h e p e r f o r m a n c ei nv i d e oa n di m a g i n ga p p l i c a t i o n sa n de x t e n dt h ep a r a l l e l i s mo ft h e v e l o c i t l 2 “a r c h i t e c t u r e a tac l o c kr a t eo f 6 0 0 m h z ，t h ed m 6 4 2d e v i c ec a l lp e r f o r mu p t o4 8 0 0m i l l i o ni n s t r u c t i o n sp e rs e c o n d ( m i p s ) t h ed m 6 4 2u s e sat w o 1 e v e li n t e r n a l m e m o r ya r c h i t e c t u r ef o rp r o g r a ma n dd a t aa n dh a sap o w e r f u la n dd i v e r s es e to f p e r i p h e r a l s t h ep e r i p h e r a ls e ti n c l u d e s ：i o 10 0m b p se t h e m e tm a c ( e m a c ) ；t h r e e c o n f i g a r a b l ev i d e op o r t s ；a6 4 - b i te x t e r n a lm e m o r yi n t e r f a c e ( e m i f a ) ，e t c t h ep o w e r f u l c a p a b i l i t yo fd a t ap r o c e s s i n ga n di n t e r f a c em a k ed m 6 4 2v e r yf i tf o rt h ev i d e oa n d i m a g i n ga p p l i c a t i o n s ，f o re x a m p l e ，t h ea u d i o v i d e ot r a n s m i s s i o na n ds e c u r i t ym o n i t o r o v g ri p ( i n t e m e tp r o t o c 0 1 ) a n dw i r e l e s sn e t w o r k s t h em a i nt a s ko ft h i sp a p e ri st oi n t r o d u c eh o wt od e v e l o pa n do p t i m i z et h eh 2 6 4 b a s e l i n e e n c o d e ro nt h eh a r d w a r ep l a t f o r mb a s e do nt m s 3 2 0 d m 6 4 2 t h es o u r c e p r o g r a ma d o p t e di st h ee n c o d e rp a r to f t h e ) 2 6 4 ，w h i c hi so n eo f t h eo p e nh 2 6 4c o d e c s o f t w a r e c o m p a r e dw i t ht h eo f f i c i a lj ms o f t w a r e , x 2 6 4 w h i c hg e t sr i do fs o m en e w c h a r a c t e r i s t i c sw h i c hh a v el i t t l ec o n t d b u t i o nt o c o d i n gp e r f o r m a n c e a n dh i g h c o m p u t a t i o n a lc o m p l e x i t y , i se a s yt ob ep o r t e da n do p t i m i z e d t h ee f f e c t i v em e t h o dt o 山东人学硕l ：学付论文 i m p r o v et h ei m p l e m e n t a t i o ne f f i c i e n c yo f t h ev i d e oc o d i n ga l g o r i t h mo nd s p s i st o i a p 竹 t h ep a r a l l e l i s ma n dm e m o r yr e s o u r c eo ft h ep r o c e s s o rf o rt h er e q u i r e m e n to fr e a l - t i m e s y s t e m t h r e ea s p e c t so f j o bh a v eb e e nd o n eo bt h ex 2 6 4s o u r c ep r o g r a m ：t h ef i r s ti st o r e d u c e ，m o d i f yt h es o t l r c , ep r o g r a ma n dp o r ti tf r o mp e r s o n a lc o m p e e r ( p c ) t ot h ed s p p l a t f o r m ；t h es e c o n di st oo p t i m i z et h ed a t at r a n s m i s s i o na n dm e m o r ys p a c eu s i n gt h e e n h a n c e dd i r e c tm e m o r ya c c e s s ( e d m a ) c o n t r o l l e ro fd m 6 4 2 ；t h et h i r di st oi m p r o v e t h ek e r n e la l g o r i t h ma n dc o d eo ft h ee n c o d e ru s i n gi n t r i n s i c sa n dl i n e a ra s s e m b l y l a n g u a g e ，w h i c hc a ni m p r o v et h ep a r a l l e l i s mi n h e r e n ti nt h eh 2 6 4e n c o d e r i nt h ee n d ，a n e m b e d d e dr e a l - t i m eh 2 6 4e n c o d e rw i t h l o w e r - c o m p l e x i t y a n d h i g h e rc o d i n g p e r f o r m a n c ew a sp r o v i d e d o u rh 2 6 4e n c o d e rc a r le n c o d e2 8 3 8f r a m e sp e rs e c o n d ( f p s ) f o rq c wr e s o l u t i o n v i d e o 1 1 1 ed e c o d e dv i d e op i c t u r e sp r o v i d eh i g hs u b j e c t i v ea n do b j e c t i v eq u a l i t y k e y w o r d ：h 2 6 4 a v c ，t m s 3 2 0 d m 6 4 2 ，p o r t i n g , m o t i o ne s t i m a t i o n ，i n t e g e rd i s c r e t e c o s i n et r a n s f o r m ( d c t ) 3 山东大学硕十学伊论文 - - i _ i _ _ l _ l - _ _ _ - _ _ i _ _ l l - l _ - - l i - _ _ l - - l - i l li - _ - - - _ _ _ _ _ 一般变量： 匕 乙 p f 形 c i z d v 缩略名词索引： 符号说明 l a g r a n g e 代价函数 预测残差的平方和 l a g r a n g e 常数 相应预测模式下的编码码牢 绝对差值和 候选的运动矢量 预测矢量 l a g r a n g e 常数 图像残差矩阵 整数d c t 变换后的系数矩阵 正变换矩阵 直流系数矩阵 h a d a m a r d 变换结果 量化步长 转换系数 输出的量化系数 比例因子 矩阵矿中的转换系数 反量化后的4 4 图像矩阵 反变换矩阵 量化直流系数块 缩放因子 i t u - ti n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - 国际电信联盟电信标准部 t e l e e o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r l s 0 i e c m p e g i s d n 4 i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n i n t e m a t i o n a ie l e c t r o t e c h n i c a ic o m m i s s i o n m o v i n gp i c t u r ee x p e r tg r o u p i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k 国际标准化组织 国际电工委员会 运动图像专家组 窄带综合业务数字网 埘 陟 k d k 足舢m k x o k 山东大学硕+ 学伸论文 p s t n d v b h d t v d v d n o d s p d s p s v l l w s i m d 忑n 飞 n c m e m v m b r d v c l n a l d c t u v l c c a v l c c a b a c n c m m s p s n r q c i f c s l y u v p u b l i cs w i t c h e dt e l e p h o n en e t w o r k d i o t a lv i d e ob r o a d c a s t h i g l ld i g i t a lt e l e v i s i o n d i g i t a lv i d e od i s c a r d a u d i o v i d e oo b j e c t d i g i t a ls i g n a lp r o c e s s o r d i g i t a ls i g n a lp r o c e s s o r s v e r yl o n gi n s t r u c t i o nw o r d s i g n a li n s t r u c t i o nm u l t i p l ed a t a j o i n tv i d e ot e a m a d v a n c e dv i d e oc o d i n g m o t i o ne s t i m a t i o n m o t i o nv e c t o r m a c r ob l o c k r a t e d i s t o r t i o n v i d e oc o d i n gl a y e r n e t w o r k a d a p t a t i o nl a y e r d i s c r e t ec o s i n et r a n s f o r m u n i v e r s a lv a r i a b l el e n g t hc o d i n g c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i c c o d i n g n u m b e rc u r r e n t m u l t i m e d i am e s s a g i n gs e r v i c e s p e a ks i g n a lt on o i s er a t i o q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t c h i ps u p p o r tl i b r a r y ac o l o u rs p a c e 公共交换电话网 数字视频广播 高清晰度电视 数字视盘 音，视频对象 数字信号处理 数字信号处理器 超长指令字 单指令多数据 联合视频工作组 先进视频编码 运动估计 运动矢量 宏块 率失真 视频编码层 网络适配层 离散余弦变换 统一的可变长码表 上下文自适应可交长编码 上下文自适应二进制算术 编码 当前块值 多媒体信息服务 峰值信噪比 i 4 公共中间格式 芯片支持库 一种彩色空间 山东大学硕一i ：学付论文 第一章绪论 近年来，随着i n t e r n e t 在全球范围内的普及和移动通信的迅猛发展，数字视频 技术获得了日益广泛的应用，特别是各种新兴多媒体业务的出现，如视频会议、 可视电话，视频点播、远程监控、高清晰度电视、网络视频传输等，使基于i n t e m e t 和移动网络的视频处理和传输技术成为2 l 世纪我国信息化过程中的热门研究课 题。 相对于音频、文字、图像等信息，视频信息具有直观、高效、准确等无可比 拟的优点，在通信和广播领域获得了较快的发展。但是视频信息数据量太大，如 用于可视电话的视频质量较低的q c i f 格式的视频信号，在帧窄为3 0 f p s 、未进行 数据压缩的情况下，视频码率仍需要( 1 7 6 x1 4 4 x 8 3 2 ) x 3 0 = 9 ，1 m b p s ，在当 前传输带宽和存储空间都有限的i n t e r n e t 和无线移动网络中进行实时传输是不现实 的；对于c c i r 6 0 1 标准建议下的彩色电视信号，未经压缩的视频码率更是达到了 2 1 6 m b p s ，一张4 7 g b 的d v d 光盘仅能存储不到3 分钟的视频节目。因此，只有 经过有效压缩编码、适应网络带宽和存储空间要求的数字视频信号才更具有实际 意义。而目前的大多数视频压缩编码技术均为有损压缩，如何解决好压缩比与视 频质量的矛盾是视频压缩编码技术发展的关键问题。 1 1 视频编码技术的发展 视频编码的主要目的是在保证一定重构质量的前提下，以尽量少的比特数来 表征视频信息1 1 1 实现这一目标的主要方法是尽可能地消除视频在空间、频率、 时间和视觉等方面的冗余信息，降低视频数据量，达到令人满意的数据压缩效果 和视频质量。 视频编码技术发展到今天已经有几十年的历史了。根据编码的信源模型和对 象的不同。可将视频编码技术大致分为两大类：一类是基于波形的编码，它以图 像的像素或像素块为编码实体，以尽量去除数据冗余为目的，被称为第一代编码 技术；另一类是基于内容的编码，以物体的形状、纹理和运动为编码对象，以去 山东大学硕士学位论文 ii i i i _ _ _ _ - _ _ _ _ _ _ 除视频内容兀余为目的，被称为第二代编码技术。 1 9 4 8 年s h a n n o n 在他的著名论文一“通信的数学原理”1 2 中用概率统计的 方法系统阐明了通信系统中信息的基本概念、信息度量的统计方法和编码及率失 真理论，奠定了经典信息论的基础。第一代视频编码技术就是以s h a n n o n 信息论 为出发点，利用图像的统计特性来进行视频压缩的。这种以消除图像统计冗余信 息为目的的编码技术在2 0 世纪8 0 年代中期已经相当成熟，并因其良好的压缩性 能而获得了巨大成功。目前广泛应用的j p e g ，m p e g 1 ，m p e g - 2 ，h 2 6 1 以及 h 2 6 3 等压缩编码国际标准毛要采用第一代编码技术，其主要编码方法包括变换编 码、预测编码、熵编码、矢量量化及运动补偿等。第代编码的核心技术是基于 分块的d c t 变换，主要原因是d c t 变换具有良好的去相关性和能量集中特性， 并且存在快速实现算法。但研究发现，分块d c t 变换的缺点也是非常明显的。特 别是在低比特率应用环境下，压缩图像会出现方块效应。这主要是因为采用平稳 高斯过程来描述非平稳的图像信号，用余弦基来逼近非平稳信号，无法获得最优。 同时，第一代编码技术没有充分考虑人眼视觉系统特性和图像的结构特点与具体 内容，难以对图像内容进行查询和编辑等；在压缩比方面，因为第一代编码技术 是以信息论为基础的，目的是消除图像的统计冗余信息，压缩比一般在1 0 2 0 倍 左右，其压缩图像数据的能力已接近极限。 1 9 8 5 年，k u n tm 首先提出了利用人眼视觉特性的第二代图像编码的思想 t 3 , 4 1 。第二代编码技术突破了s h a n n o n 信息论的框架，结合计算机视觉、计算机图 形学、小波分析和分形几何等理论，充分利用人眼视觉系统的生理、心理特性和 图像性质，消除图像的视觉冗余，实现了由“波形”编码向“内容”编码的转变。 第二代编码方法按处理方法不同可以分为两种：基于分裂合并的方法t 5 , 6 1 和基于各 向异性滤波器的方法”1 。压缩比一般在3 0 6 0 倍左右，但重构图像的质量不能令 人满意。究其原因，主要是我们对人眼的视觉特性了解还不够深入，编码方法也 有待进一步改进。 近年来，一些新型编码方法如分形编码1 ( f r a c t a lc o d i n g ) 、模型编码 ( m o d e l - b a s e dc o d i n g ) 和小波编码( w a v e l e tc o d i n g ) 等正逐步成为图像，视频编码 领域的研究热点。分形编码通过消除图像的几何冗余度来压缩数据，对某些具有 明显自相似性或统计自相似性的图像具有较高的编码效率，但对一般图像的编码 7 山东大学硕十学位论文 效率不是很高，并且它没有考虑人眼的视觉特性，算法也十分复杂。基于模型的 图像编码方法以先验模型为摹础，通过调整模型参数来实现高效压缩，但模型编 码存在建模复杂、恢复图像不够自然等很多问题，应用范围受到很大限制小波 编码是一种基于小波变换的图像编码方法，它拥有传统编码方法的一些优点，能 够很好地消除图像数据中的统计冗余；小波变换的多分辨率特性提供了可以充分 利用人眼视觉特性的机制，也为进一步对图像进行不同频率区域的压缩提供了很 好的编码丁段。目前，小波编码方法已经取得了巨大进步，并在静止图像的压缩 编码方面获得了广泛应用，针对视频图像的小波编码方法还有待进一步研究。 1 2 实时d s p 系统的构成及芯片选择 视频压缩编码算法复杂，处理的数据量大，要求系统具有实时性。视频编码 算法的实现可以分成软件实现和硬件实现。软件实现丰要是用户通过编写软件或 使用现成的软件包在p c 机上实现视频压缩。这种方法的优点是费用低、易调试， 缺点是速度相对较慢，不适于实时d s p ( d i g i t a ls i g n a lp r o c e s s o r ，数字信号处理) 系统，一般只用于d s p 算法的模拟。用硬件实现的方法是用户在d s p 芯片上对视 频编码算法进行验证和调试，并最终将应用程序固化到芯片上。这种方法的特点 是处理速度快，比较适用于d s p 系统的实时应用开发。随着信息技术的发展和互 联网的普及，嵌入式视频应用越来越广泛，目前在移动终端、p d a 、机顶盒和数 码相机等嵌入式产品上都广泛采用了d s p 芯片。研究视频编码算法的d s p 实现， 对迸一步推动其应用具有重要意义。 1 2 1 实时d s p 系统的构成 实时是指系统必须在有限时间内对外部输入信号完成指定的处理，而且从信 号输入到处理后信号输出的延迟必须足够小。实时信号处理系统所要处理的信号 多为自然信号，因此要通过传感器将其转换为电信号。要对电信号进行数字处理， 必须通过a d 子系统将其转换为数字形式。d s p 子系统对数字信号处理完成后， 再通过d a 子系统将处理后的数字信号转换为模拟信号输出。图1 1 给出了一个 完整的实时d s p 系统框图，其中d s p 予系统是整个系统的核心吟1 1 山东人学颂t ：学俯论文 嚣屯三卜 丑怔乎器 图i - 1 实时d s p 系统框图 1 2 2 视频编码芯片的选择 近年来，图像视频技术的迅猛发展推动了适于视频处理的多种d s p 处理器的 研究进展。视频d s p 芯片在处理结构、指令集功能和功耗上都得到进一步改进， 更适合视频编码算法的实现，目前已广泛应用予多媒体处理、通信和控制等不同 领域。 适用于视频处理的多媒体处理器结构大致可以归纳为四大类：专用集成电路， 通用处理器、通用d s p 芯片和视频处理器四类i 1 0 ) 。从芯片性能、系统通用性和开 发难度等方面对四类视频处理器进行比较后，我们认为通用d s p 芯片更适合进行 嵌入式开发和实时视频编解码算法的仿真与实现。以通用可编程的d s p 芯片为核 心组成的应用系统具有以下优点9 1 ： 能够快速制造样机和进行验证，加快产品上市时间。 高度可编程性使产品能够迅速应用新算法、新标准或新协议。 可以通过软件更新，快速进行产品升级。 美国t l 公司的t m s 3 2 0 c 6 0 0 0 系列通用d s p 芯片是目前最先进、性价比最优 的d s p 芯片之一，适合运算量大、算法复杂度高的多媒体处理。t i 公司为d s p s 产品开发了汇编语言和c 语言代码产生工具以及各种软硬件调试工具，使d s p s 的开发难度大大降低。但是在t i 的d s p 上进行程序开发需要开发者针对芯片结构 和指令集特点进行多种优化，对开发者有较高的要求。 1 3 本文主要工作及结构安排 视频编码算法在d s p 芯片上的高效实现，必须充分挖掘视频处理器的并行特 性和计算资源，才能满足系统实时性要求| 1 1 1 。本文主要针对t ic 6 4 xd s p 的硬件 结构和指令集系统，研究h 2 6 4 “b a s e l i n e ”视频编码算法的d s p 移植及各种d s p 9 山东大学硕十学何论文 并行优化技术，实现对视频图像的实时压缩编码。本论文结构安排如下： 第一章绪论，简要介绍了视频压缩编码的重要意义及实现方法，阐述了本论 文的毛要工作及结构安排。 第二章新一代视频压缩编码标准- - h 2 “，a v c ，对以往的视频编码标准作简要 介绍，着重介绍h 2 6 4 标准的特点、技术改进及发展前景等。 第二章t m s 3 2 0 d m 6 4 2d s p 系统开发平台，简要介绍了d m 6 4 2 芯片的硬件 结构、性能特点及开发平台的接口设计等。 第四章h 2 6 4 编码器的d s p 移植及存储器空间优化，详细介绍了x 2 6 4 编码器 源码的移植过程，并对c c s 的选项配置、存储器空间优化、e d m a 的使用等进行 了介绍。 第五章h 2 6 4 编码器核心算法及程序的d s p 优化，介绍了d s p 程序优化技术， 对运动估计、整数变换等关键模块进行了优化及优化前后的效率对比，并对优化 后的编码器性能进行了测试分析。 第六章总结与展望部分，总结本论文工作，探讨课题进一步的研究方向。 i o 山东大学硕十学位论文 第二章新一代视频压缩编码标准一h 2 6 4 ，a v c 近十余年来，视频编码技术得到迅速发展和广泛应用。从1 9 8 8 年开始，具有 较大影响力的制定视频编解码标准的两个国际组织：国际电信联盟电信标准部 l t u t 和国际标准化组织，国际电工委员会( i s o i e c ) 针对不同应用制定了一系列 视频编码标准。i t u t 先后推出了h 2 6 1 、h 2 6 3 和h 2 6 4 标准。i s o f l e c 的运动 图像专家组m p e g 制定了m p e g 1 、m p e g 2 和m p e g - 4 标准。l t u t 的标准主 要用于实时的视频通信，如视频电话会议、可视电话等。而m p e g 标准丰要用于 视频存储、视频广播和视频流媒体。这些标准融合了多种性能优良的编码技术， 代表了目前视频编码的发展水平。 2 1 视频编码标准简介 下面对一些主要视频编码标准作简要介绍，h 2 6 4 标准将在本章后几节中作详 细的介绍。 1 h 2 6 1 标准 h 2 6 1 标准是1 9 9 0 年i t u t 针对会议电视和可视电话、窄带综合业务数字网 ( i s d n ) 等要求实时编解码和低延时应用而提出的一个编码标准1 1 2 , 1 3 , 1 4 , 1 5 1 全称 为“p 6 4 k b i 以视听业务的视频编解码器”，其中p = l 3 0 。h 2 6 1 标准只支持格 式为c i f 或q c i f 的输入视频图像。编码模式可分为帧内编码和帧间编码，主要采 用了运动估计补偿，d c t 变换，量化和h u f f m a n 编码等编码技术。由于该标准主 要针对实时业务，要求编解码的延时尽可能小，所以只采用了单参考帧作前向预 测。h 2 6 1 是一个典型的预测变换( d p c m ，d c t ) 编码方案。 2 h 2 6 3 标准 h 2 6 3 标准是l t u - t 于1 9 9 6 年制定的一种码率低于6 4 k b p s 的甚低比特率视 频压缩编码标准。h 2 6 3 2 , 1 3 , 1 6 1 编码算法核心仍然采用h 2 6 1 标准中的d p c m d c t 混合编码方法，同时吸收了m p e g 等其它一些国际标准中有效合理的部分，如半 像素精度预测、不受限运动矢量，高级预测模式、p b 帧等，在编码性能和复原图 山东大学硕十学静论文 像质量上都优于h 2 6 1 目前h 2 6 3 标准作为视频编码，解码的核心算法被广泛应 用于视频电话终端如h 3 2 4 ( p s 丁n ) ，h 3 2 0 ( n - i s d n ) 和h 3 1 0 ( b i s d n ) 等 h 2 6 3 + m 和h 2 6 3 抖m 1 是i t u t 在h 2 6 3 标准基础上推出的修订版本，增 加了1 5 个可选模式，支持自定义图像格式和图像冻结与快照等，目的是拓宽应用 领域、提高压缩效率和抗误码能力等。 3 m p e g 1 标准 m p e g 1 唧是i s o i e c 于1 9 9 3 年针对1 5 m b p s 速率的数字存储媒体运动图 像及其伴音编码制定的国际标准，主要用于存储和检索类似光盘只读存储器 ( c d r o m ) 的数字媒体视频。m p e g 1 同样采用d p c m d c t 混合编码方式，但 与h 2 6 1 和h 2 6 3 标准不同，m p e g 更侧重于控制视频质量而不是码率。在编码 方法上，m p e g 1 除了包含i 帧( i n t r a e o d e df r a m e ) 和p 帧( p r e d i c t i v ef r a m e ) 外， 还增加了b 帧( b i - d i r e c t i o n a lf r a m e ) 和d 帧( d cf r a m e ) 。 4 m p e g - 2 ( h 2 6 2 ) 标准 m p e g - 2 标准是由i s o i e c 和i t u - t 于1 9 9 5 年共同制定的，在i t u t 的协议 中被称为h 2 6 2 建议。该标准主要是针对数字视频广播( d v b ) 、高清晰度电视 ( h d t v ) 和数字视盘( d v d ) 等制定的4 9 m b p s 运动图像及其伴音的编码标准2 。 m p e g - 2 系统与m p e g 1 系统向下兼容， 补偿预测技术，但开始支持半像素预测， 核心编码技术仍是分块d c t 和帧间运动 引入“帧”和“场”两种编码模式。作 为一个得到普遍应用的国际标准，m p e g 2 的成功之处在于它的共性和兼容性，标 准规定了分辨率从低到高的4 个级别( 1 e v e l ) 5 个档次( p r o f i l e ) 共1 1 种单独的技 术规格，分别用于标准数字电视、高清晰度电视，码率从4 m b p s 1 0 0 m b p s ，可以 满足不同用途的需要。 5 m p e g 4 标准 m p e g - 4 啦! 于1 9 9 9 年正式成为国际标准，与前两个标准相比，m p e g - 4 更加 注重多媒体系统的交互性和灵活性，以及多产业领域的融合。该标准不再是一种 具体的音视频压缩编码算法，而是将众多的多媒体应用集成于一个完整的框架内， 人们可以在系统中加入许多新的算法。m p e g - 4 首次引入了音视频对象( a v o ) 的概念，可以对a v 对象进行独立编码、存储和传输，用户在接收端可以对画面进 行操作和交互访问这种基于内容的编码方法很好地利用了人的心理特性，比现 山东大学硕| ：学位论文 有以像素为基础的标准具有更好的压缩性能，也更适合于a v 服务和远程监控。 m p e g - 4 在m p e g - 2 的基础上加入了纹理编码、形状编码、静止纹理编码、 脸部对象编码、网格对象编码以及可分级编码等新的编码技术。在低码率视频压 缩方面，m p e g - 4s i m p l ep r o f i l e 已经在无线视频通信、i n t e r n c 吐视频传输等领域得 到广泛应用，但面向对象的编码首先需要进行对象分割，算法复杂，目前仍未找 到很好的解决方案，其应用普及尚需时日 2 2 h 2 6 4 a v c 视频压缩编码标准 h 2 6 4 a v c 是l t u t 和i s o 1 e c 共同成立的联合视频工作组j v t 开发的新一 代视频压缩编码标准。2 0 0 2 年5 月，j v t 形成委员会草案，7 月形成最终委员会 草案，1 2 月形成最终国际标准草案。2 0 0 3 年5 月，h 2 6 4 a v c 标准正式推出，正 式名称为h 2 6 4 m p e g - 4p a r t1 0 a v c ( a d v a n c e dv i d e oc o d i n g ) ，以下简称为h 2 6 4 标准。 2 2 1h 2 6 4 编码标准特点 h 2 6 4 标准2 3 , 2 4 1 的提出是为了满足日益增长的视频应用对运动图像更高的压 缩性能的需要，如视频会议、电视广播、流媒体等。h 2 6 4 极大地降低了发送视频 图像所需要的带宽，能使编码的视频显示以灵活的方式应用于多样化的网络环境。 与以前的编码标准相比，其主要特点可归结如下： i ) 提高压缩编码效率 与h 2 6 3 4 - 或者m p e g - 4 的简单档次( s i m p l ep r o f i l e ) 相比，在相同视频图像 质量情况下，h 2 6 4 能够节省5 0 左右的码率；它力求设计简单有效的编码技术， 不采用众多选项，就能获得比h 2 6 3 + + 更为优异的压缩性能；在解码器端可采用复 杂度分级设计，在图像质量和解码处理之间可分级，以适应多种复杂性应用。 2 ) 高质量的视频图像 h 2 6 4 在各种码率下能够提供稳定的视频质量。特别是在低码率条件下，也能 够保持较高质量的视频图像。 3 ) 错误恢复功能 山东大学硕士学位论文 h 2 6 4 提供了包传输网中处理包丢失所需的工具和在易误码的无线网中处理 比特误码的工具。确定了如何在包丢失和移动通信崩溃的情况下进行错误恢复， 有效避免先前的错误会持续影响后面的图像质量。 4 ) 网络友好性 h 2 6 4 标准中采用面向网络传输的结构和语法，增强了标准的网络适应能力， 通过引入面向i p ( i n t e m e tp r o t o c 0 1 ) 包交换的编码机制，实现视频数据在网络中的 分组传输，对于不同的内容采用分割( d a t ap a r t i t i o n ) 编码传输，使f i 2 6 4 的文件 能够容易的在不同网络上传输；对不同的业务能灵活地采用相应的时延限制，以 适应i p 网络、移动网络等的传输要求，保证获得平稳的视频图像质量。 2 2 2h 2 6 4 视频编码器结构 与h 2 6 3 等以往视频编码标准相同，h 2 6 4 标准并没有明确规定编解码器是如 何实现的，而是定义了编码码流的句法和对码流进行解码的方法。h 2 6 4 同样采用 d p c m d c t 混合编码框架，h 2 6 4 编码器基本框图见图2 1 。 图2 - 1h 2 6 4 编码器基本框图 从图2 - 1 中可以看出，h 2 6 4 和基于以往标准的编码器功能模块并没有什么区 别，主要的不同在于各功能模块的细节。h 2 6 4 同样采用帧内( i n t r a ) 和帧间( i n t e r ) 两种编码模式。输入视频都要经过i n t r a 预测模块，并选择预测残差最小的i n t r a 模 式作为候选i n t r a 编码模式。如果输入是i 帧，则对预测得到的残差信号进行变换