（通信与信息系统专业论文）基于omap的h264解码器的实现.pdf

摘要 6 8 9 1 8 2 摘要 随着信息技术的发展， 针对多媒体通信的需求有了显著增长。 为了在通信中 高效地存储和传输视频数据，必须要使用视频压缩技术。 h . 2 6 4 标准进一步提高 了视频编码压缩的效率， 成为当今工业界和学术界研究的热点。 但是h . 2 6 4 的复 杂度比 现有的标准高出 数倍， 这就使得在硬件资源相当有限的手持通信设各上实 现基于1 1. 2 6 4的应用变得非常困难。本文给出了在t i o m a p( 德州仪器公司的开 放式多媒体应用平台)上实现 h . 2 6 4 解码器的一种方法。 在本文中，首先将对j m 8 . 0 h . 2 6 4 解码器的复杂度进行分析并对其c a v l c , 运动补偿和其它部分提出了在通用处理器和d s pl 都适用的优化方法。 然后结合 o m a p 的 特点讨论了在其上设计软件的思想。 o m a p 1 5 1 0 是一款由a r m 9 和c 5 5 x d s p 构成的双核芯片， 为了高效利用其双核结构必须遵循一定的编程模式。 文中根据 这些模式一方面在a r m 端设计了一个应用程序负责提供用户交互和控制d s p 进行 数据处理; 另一方面， 在d s p 端开发了用以实 现具休解码功能的 程序。 本文详细 给出了在d s p 端 ( c 5 5 x )上实现h . 2 6 4 解码的方案， 包括从p c 上 移植c 代码到 d s p f . ，充分利用d s p 的硬件结构如d m a ( 直接内存访问) 和c a c h e( 高速缓存) 来优化原有的算法，以及应用 t 工 的i m a g e / v i d e o 库来加速关键模块等。最后将 给出仿真的结果和讨论，并提出了一些改进解码性能的建议。 关键字:视频解码，h .2 6 4 标准，o m a p , d s p , c a v l c ， 优化方法 ab s t r a c t ab s t r a c t w i t h t h e d e v e l o p m e n t o f i n f o r m a t i o n t e c h n o l o g y , t h e r e i s a g r o w i n g d e m a n d f o r m o b i l e m u l t i m e d i a c o mmu n i c a t i o n . t o o r d e r t o s t o r e a n d t r a n s m i t v i d e o d a t a e f f i c i e n t l y , i t i s n e c e s s a r y t o d e v e l o p t e c h n i q u e s f o r c o m p r e s s i n g t h e s e v i d e o d a t a . h . 2 6 4 s t a n d a r d g r e a t l y i m p r o v e s c o d i n g e f f i c i e n c y a n d b e c o m e s t h e r e s e a r c h f o c u s n o w a d a y s . h o w e v e r , t h e c o m p l e x i t y o f t h e 1 1 . 2 6 4 c o d e c i s s e v e r a l t i m e s h i g h e r t h a n t h a t o f e x i s t i n g s t a n d a r d s . s o i t i s d i f f i c u l t t o i 叩l e m e n t m u l t i m e d i a a p p l i c a t i o n b a s e d o n h . 2 6 4 f o r h a n d h e l d d e v i c e s d u e t o l i m i t e d h a r d w a r e r e s o u r c e a n d g r e a t c o m p l e x i t y . t h i s t h e s i s d e s c r i b e s t h e i m p l e m e n t a t i o n o f h . 2 6 4 v i d e o d e c o d i n g o n t i o m a p ( o p e n m u l t i m e d i a a p p l i c a t i o n s p l a t f o r m ) . i n t h i s t h e s i s , c o m p l e x i t y o f j m 8 . 0 h . 2 6 4 d e c o d e r i s a n a l y z e d f i r s t o p t i m i z a t i o n m e t h o d s i n c a v l c , m o t i o n c o m p e n s a t i o n a n d o t h e r p a r t s o f d e c o d e r a r e p r o p o s e d b a s e d o n b o t h g e n e r a l p r o c e s s o r a n d d s p . t h e n , d i s c u s s i o n a b o u t d e s i g n i n g s o f t w a r e o n o m a p i s p r o v i d e d t o g e t h e r w i t h t h e f e a t u r e s o f o m a p . o m a p 1 5 1 0 c o n s i s t s o f a n a r m 9 c o r e a n d a t i c 5 5 x d s p . t o u t i l i z e o m a p d u a l - c o r e a r c h i t e c t u r e e f f i c i e n t l y , s o m e p r i n c i p l e s m u s t b e f o l l o w e d . o n o n e h a n d , a n a p p l i c a t i o n n e e d s t o b e b u i l t o n a r m e n d t o p r o v i d e a u s e r i n t e r f a c e a n d c o n t r o l d s p . o n t h e o t h e r h a n d , t h e f u n c t i o n s a r e p e r f o r m e d o n d s p e n d . t h i s t h e s i s g i v e s d e t a i l e d d e s c r i p t i o n s a b o u t h . 2 6 4 d e c o d i n g i m p l e m e n t a t i o n o n c 5 5 x d s p , i n c l u d i n g p o r t i n g c c o d e f r o m p c t o d s p , m a k i n g u s e o f d s p h a r d w a r e a r c h i t e c t u r e s u c h a s d m a a n d c a c h e t o o p t i m i z e t h e o r i g i n a l a l g o r i t h m s , a p p l y i n g t t i m a g e / v i d e o l i b r a r y t o a c c e l e r a t e k e y m o d u l e s a n d e t c . a t l a s t , s i m u l a t i o n r e s u l t s a r e s h o w e d a n d d i s c u s s e d . s o m e s u g g e s t i o n s a b o u t h o w t o i m p r o v e d e c o d i n g p e r f o r m a n c e a r e a l s o l i s t e d . k e y w o r d s : v i d e o d e c o d i n g , h . 2 6 4 s t a n d a r d , o m a p , d s p , c a v l c , o p t i m i z a t i o n m e t h o d 第一章 绪论 第一章 绪论 1 . 1引言 随着科学技术的迅速发展和社会需求的日 益增长， 人们已不满足于单一媒体 提供的传统的单一服务， 如电话、电视、传真等，而是需要诸如数据、文木、图 形、 图像、 音频和视频等多种媒体信息以超越时空限制的集中方式作为一个整体 呈现在人们的眼前。 以多媒体和网络为依托的信息技术已成为拓展人类能力的创 造性工具， 并在相当大的程度上改变了人类的生活和工作方式。 随着多媒体业务 的不断拓展，多媒体技术己成为工业界和学术界的一个研究热点。 多媒体指的是由在内容上相互关联的文本、图形、 图像、 音频和视频等媒体 数据构成的一种复合信息实体。计算机以数字化的方式对任何一种媒体进行表 示、存储、 传输和处理， 并且将这些不同类型的媒体数据有机地合成在一起， 形 成多媒体数据， 这就是多媒体计算机技术。多媒体信息容量大， 可表达更丰富的 内容。 此外， 作为数字信号，多媒体具有易于传输和远距离存储的特点， 且没有 积累失真，数字化信息可被高品质地还原。 视频是多媒体信息中最重要的组成部分。 这是因为视觉信息具有直观、 形象、 准确、 高效和应用广泛等特点因而容易被人类接受。 据统计人类接受的信息大约 7 0 %来自 视觉。由于视频具有众多优点， 视觉信息的处理和通信得到了较快的发 展， 但与文本和语音相比， 视频的巨大数据量对通信系统中有限的带宽和存储空 间提出了严峻的挑战。 例如， 对于数字电视， 若不采取任何压缩措施， 总的数据 码率为2 1 6 m b p s ( 每采样点8 比 特量化) t7 ; 对于d u d ， 输入视频格式为d i ,帧率 为3 0 f p s ， 色差格式为4 : 2 : 2 ， 则视频数据码率为7 2 0 x 4 8 0 x 1 6 x 3 0 =1 6 5 . 9 m b p s , d v d 容量为4 . 7 g b ，仅能存储4 . 7 x8 / 1 6 5 . 9 =2 2 6 . 4 秒长度的节目。又如，对于 高清晰度数字电视 ( i t u - r 7 0 9 )每秒数据量更高达 8 8 4 .7 mb i t s ,而地面广播系 统的传输带宽仅有6 m到8 m. 从上面的数据可见， 视频信息在数据量上过大， 现有的通信网络带宽很难满 足要求， 而常用的存储设备也不足以承受几十甚至上百兆的码率。 因此， 压缩视 频数据量成为多媒体技术发展的关键问题之一， 它是降低传输和存储成木， 缓解 网络带宽和存储空间限制的一个重要手段。视频压缩技术成为一个重要的课题， 而由此产生的各种视频压缩标准则为视频数据的传输和存储提供了解决方案。 ， . 2视频编码原理 视频编码的目的是实现对视频的压缩， 其核心思想是去除视频数据中的冗余 信息， 减少视频信息中存在的相关性而保留相互独立的信息分量。 视频编码属于 信息论中的信源编码。 研究视频信号中冗余消除方法， 实现信息传输、 存储和处 理的有效性和可靠性是视频编码的关键问 题一2 。 视频序列含有三类冗余:统计冗余、心理视觉冗余和编码冗余。 第一章 绪论 令 统计冗余 空间冗余和时间冗余都依赖于图像数据的统计特性，可以统称为统计兀余。 空间冗余是指在同一帧画面中， 相邻的象素间存在的相关性， 特别是当这些相邻 象素位于同一个视频对象中时， 相关性极强。 例如在图像的背景区域通常对视频 序列而言， 除非发生场景切换， 否则相继帧在时n上都是连续的。 在前后两帧中 往往包含与当前帧相同的背景和对象。 只是由于镜头的转动或对象的移动使得空 间位置发生变化。 运动越缓慢， 位置的变换越小。 因此视频序列在时域存在极强 的相关性。 . 心理视觉冗余 心理视觉冗余起源于人眼对某些空间频率的感觉迟钝; 例如人眼视觉系统对 亮度信号变化的敏感性高于色度信号变化。 因此可以对色度分量进行降采样， 同 时保持主观视觉质量不变。又如对信号频域的各个分量可以采取不同的量化步 距，将人眼视觉不敏感的分量去处，而不会引起主观质量的下降。 . 编码冗余 对于编码符号， 其平均码长高于所表示信息的信息嫡， 这个偏差就形成了编 码冗余。 信源编码的方法按照压缩数据能否被准确恢复分为两大类: 无损编码和有损 编码。无损编码可以无失真的恢复原始数据，常用的无损压缩方法有 h u f f m a n k9 0, ai y 编 r 4 r 1 .c ( r u n - l e n l? t h c o d i n g ) 等。 但其压缩效率十分有限，约在2 : 1 左右 7 1 ，不能达到视频应用对压= 1g 比的妥求。囚此仕ft )d if . x f a 甲郁足检兀狈骊们 和有损编码结合使用。 有损编码采用折衷的方法，以一定的失真换取压缩比的增加。目前 d p c m / t ( d i f f e r e n t i a l p u l s e c o d i n g m o d u l a t i o n / t r a n s f o r m , 差分脉冲编码调 制) 是 一 种主流的有损编码方案，现在所有的视频编码标准都是采用这种方式 4 1 5 , 16 1 7 1 e 9 1 10 1 ， 这些标准在使用r l c , h u f f m a n 编码或算术编码消除编码冗余外， 还使用d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m的基本原理是基于图像相邻象素之间已经相邻图像之间具有较强的相 关性。 每个象素可以根据以前己知的象素值预测。 因此， 在编码中传输的不是象 素取样值本身，而是取样值的预测值和实际值之间的偏差。 d p c m由于算法简单， 易于硬件实现， 所以已被各种视频编码标准采纳用来消除视频信号的时空域相关 性 【5 ， 启 3 7 1 e s 1 m 1 此外，在视频编码标准中，变换编码是另一项去除冗余的基本技术。 变换编 码是一种高效的图像压缩方法 的变换编码是把图像分割成块 ， 可以有效消除图像数据之间的空间相关性。 基本 ， 逐块进行二维正交变换、 系数进行编码 t r a n s f o r m) 、 。常见的变换有，离散傅立叶变换 量化， 最后对量化后的 d f t ( d i s c r e t e f o u r i e r 离散余弦变换 d c t ( d i s c r e t e c o s i n e t r a n s f o r m ) ,沃尔什哈达玛 (hadamard)fq赚m . jt + dct enzrvt klt (karhunen-lovev transform) m* 011. 264 q tju m dct gh, 象素间的相关系数逼近 1 时有类 ， 。由 于d c t 变换采用实数计算， 可能，因此被广泛的采用。除了 其它所有视频编码标准都是采用 d c i s 5 1 s : 1 1 x e ,o ad c t 能够提供2 5 : 1 的压缩比而视觉效果没有明显降低。 第一章 绪论 1 . 3常用视频编码标准 与许多技术一样， 标准化是产业化活动成功的前提，视频编码技术标准化和 国际化是学术界和工业界共同研究开发的基础， 也为编码视频的交互和更为广泛 的应用创造了必要的条件。 视频编码标准化工作始于上个世纪八十年代初期。 最 先由c c i t t ( i n t e rn a t i o n a l t e l e g r a p h a n d t e l e p h o n e c o n s u l t a t i v e c o m m i t t e e ) 发起， c c i t t现名为 i t u - t ( i n t e rna t i o n a l t e l e c o m m u n i c a t i o n u n i o n - t e l e c o m m u n i c a t i o n s t a n d a r d iz a t i o n s e c t o r ) 。 随后c c i r ( 现为i t u - r ) 、 i s o ( i n t e rn a t i o n a l o r g a n i z a t i o n f o r s t a n d a r d i z a t i o n ) 和i e c ( i n t e rna t i o n a l e l e c t r o t e c h n i c a l c o m m i s s i o n ) 也参加了这 项工作。 i t u - t 相继发布了h .2 6 x 系列标准， 而i s o / i e c则推出了m p e g ( m o v i n g p i c t u r e e x p e r t s g r o u p ) 系列标准。 针对不同应用需求，i t u - t和 i s o / i e c又相继推出了 h .2 6 1 , m p e g - 1 , mp e g - 2 , h .2 6 3 , mp e g - 4 和h .2 6 4 . i t u - t的h .2 6 x 系列标准主要面向低码率 的实时视频通信， 如视频会议和视频电 话; i s o / i e c的mp e g 一系列标准主要是 面向 视频存储、 视频广播和流媒体( s t re a m i n g m e d i a ) 等应用。 表1 . 1 列出了 一些 主要的视频编码标准及其应用。 表 1 . 1视频编码标准及其应用 码率应用 m p e g 标准 m p e g - i 视频o . 8 k b p s -i . 5 m b p sv c d , c d - r o m , i n t e r n e t m p e g - 2 视频 3 m b p s -i o m b p s m p l m l 1 6 m b p s -5 0 m b p s m p c h i 数字广播， d v d , d - v h s 5 0 m b p s -1 0 o m b p s 4 2 2 p m l / h i专业视频处理 m p e g - 4 视频 l o k b p s -3 8 4 k b p s s p l 1 1 / 2 / 3 c e l l a r , i n t e r n e t l o k b p s -2 m b p s c p c l 1 / 2 交互式电视 2 m b p s -3 8 m h p s m p o i, 2 / l 3 / l 4 5 0 m b p s 1 2 0 0 m b p s s t u d i o l l / 2 / 3 / 4 视频剪辑 i t u - t 标准 h . 2 6 1 6 4 k b p s -1 . s m b p s 视频电话 ( 1 s d n ) h . 2 6 2 与m p e g - 2 视频相同 h . 2 6 3 l o k b p s -3 8 4 k b p s 视频电话 ( p s t n , i n t e r n e t ) 其中，m p e g编码技术是从 h . 2 6 1 视频编码技术 ( 不含音频编码)发展而来 的。 此外， 在 1 9 9 9 年 1 月公布了m p e g - 4 标准之后， m p e g 组织制定了m p e g - 7 “ 多 媒体内容描述接口” 。2 0 0 0 年3 月成立的m p e g - 2 1 工作组还在酝酿制定m p e g - 2 1 标准， 其核心目 标是使数字多媒体信息资源能被大范围的网络和设备透明和增值 地使用。这两个标准正在完善中所以表中没有 一列出。 i t u - t 的h .2 6 x 和i s o / i e c的mp e g - x 系列标准都是建立在基于块匹配的混 合编码框架下的，并且有非常类似的结构。它们都是建立在 d p c m 和变换编码基 础 卜 的有损编码。各种视频标准之间的发展关系如图 1 . 1 所示。 第一章 绪论 iso/iec mtil26impixrlnw ir262k2638263 e1(8263+)mp kil264 mr n. a 代2 6 3 v . 2 ( t l 2 6 3 + + ) 一岸 蒸 棘 巅 门 一 f tit u e c o u h i a e d i s o i i e c s a d i t ( l t standardization a mi v i t i e a 图 1 . ih . 2 6 x ( t t u ) 和 m p e g ( i s o / i f . c ) 标准 mp e g在 h .2 6 1 视频编码算法的基础上改进、 发展， 而巨向后兼容，可处理 经h . 2 6 1 处理过的数据。此后，两个系列的标准一直也处于互动的演进过程中， 改进算法工具如下图 1 . 2 所示。其中的最后两项是h . 2 6 4 中才有的新技术。 1 6 x 1 6 运动补偿，8 x 8 d c t m peg- 1 十 b - 图像， 1 1 2 像素运动补偿 令 n i p ec f2十隔行扫描 号 i v i peg- 十 8 x 8 运动补偿， a c - 预测， 视频对象，形状编码 a 羔ced s im p le + 114 像 ， 运 动 ， 卜偿 ， 全 局 运 动 补 偿 e n h_ a rlc e dvid e o4 x4运动补偿， 4 x 4 d c t 等 图1 . 2 h .2 6 x ( i t u ) 和m p e g ( i s o i i e c ) 标准编码1具 卜 面将按时间的顺序简要介绍几个主要视频编码国际标准: 第一章 绪论 1 . 3 . 1 h. 2 6 1 1 9 8 8 年1 0 月， 国际电视电 话/ 会议电 视咨询委员会( c c 工 t t ) 即现在( 1 f u - t ) , 提出了h . 2 6 1 建议，直到 1 9 9 1 年， h .2 6 1 才正式被批准为国际标准，它是第一 个获得广泛应用的 视频编码标准。 主要应用于p x 6 4 k b p s ( mil , - - - , 3 0 )工 s d n 上 的视频会议和可视电话。 h . 2 6 1 采用运动补偿( m o t i o n c o m p e n s a t i o n ) 消除 视频信号的时域冗余及采用 离散余弦变换消除视频信号的空间冗余。 它有两种编码方式: 帧n j 编码和帧内编 码。 若帧间预测效率降低， 将采用后一种方式， 对输入信号直接进行d c t变换。 帧内图像、帧间误差预测、运动补偿、d c t , m p e g - 1 和m p e g - 2 的视频压缩标准提供了基础。 的特性: 变字长 编码等技术为后来的诸如 此外，h . 2 6 1 还提供了两个重要 1 . 指定了最大编码延迟为 1 5 0 m s 。因为主要针对双向视频通信应用，超过 1 5 0 m s 的 延迟会给用户带来视频失真的印象。 2 . 能够用廉价的us 工 ( 超大规模集成电路) 实现，以便实现视频会议和可视 电话设备的商业化。 h . 2 6 1 存在的不足是:不适用于不同信道 ( 或传输或存储)的应用， 误码率 允许范围小 ( 不大于1 x 1 0 - 1 ) ，而且不含声音编码算法。 1 . 3 . 2 m p eg- 1 i s o / i e c 1 1 1 7 2 ( mp e g - 1 ) 标准于 1 9 9 1 年由m p e g ( 运动图像专家组) 起草， 1 9 9 2 年正式成为国际标准。 mp e g - 1 和h .2 6 1 非常相似， 改进的主要内容是加入 了 一些新技术， 如双向 预测、半象素运动补偿m c ( m o t i o n c o m p e n s a t i o n ) 和图像 组( g o p ) ， 这些改进具有更高的压缩比， 同时定义了编码算法中各工具层的语法， 使视频的可操作性更灵活。 m p e g - 1标准是将数字视频信号和与之相伴的音频信号在一个可以接受的质 量下，能被压缩到位率约1 . 5 m b i t / s 的一个m p e g单一流。 m p e g - 1 标准只规定了 码流语法和解码过程， 用户可以很好地利用这个语法的灵活性来设计非常高质量 的编码器和非常低成本的解码器。编码器的设计中一些重要参数，如运动估值、 自 适应量化和码流速率控制等可以由 用户自由确定。 同时， 它能够满足特定的存 储需求， 如随机访问、快进、 快退等。它主要应用于存储应用。但它的设计具有 通用性， 它被设计成一个工具集， 用户可根据应用选择工具。 设计的通用性和开 发的灵活性使得 mp e g - 1 到通信网络上的视频传输 获得了成功。它应用广泛，从c d - r o m上的交互系统 1 . 3 . 3 mp e g- 2 ( h. 2 6 2 ) 1 9 9 3 年 1 1 月m e p g 提出m p e g - 2 建议草案， 其中视频编码部分即h . 2 6 2 . m e p g - 2 主要是针对 4 - 9 m h i t / s 运动图像及其伴音的编码标准。一年后成为国际标准。 和 mp e g - 1一样，mp e g - 2仍然是本着通用和灵活原则进行设计的。事实_ 匕 mp e g - 2 是mp e g - 1 的一个超集， 它后向兼容mp e g - 1 。 在 mp e g - 1 基础上， 加 第一章 绪论 入了一些额外的功能，如支持隔行视频、码流分级以及改进的系统层语法。 对大多数应用来说， 没有必要实现m p e g - 2 的所有语法， 为此， m p e g - 2 引 入了 类( p r o f i l e ) 的 概念定义功能， 引入了 级( l e v e l ) 概念限制码流参数， 它们是通过 确定码流中相应的标题信息及附加信息中的有关参数来给定的， 其中一个主要的 组合是m p m l ( m a i n p r o f i l e / m a i n l e v e l ) .因此mp e g - 2 可满足不同的图像 分辨率及相应的存储成木和处理速度的需要， 并且为比特流交换、 兼容性等提供 了可能性。因此，mp e g - 2标准能广泛应用于存储媒体、会议电视/ 可视电话、 数字电 视、 高清晰 度电 视、 广播、 通信、 网络等应用领域。 m p e g - 2 是工业标准 d v d的核心标准。 1 . 3 . 4 11. 2 6 3 i t u - t / s g 1 5 针对甚低码率 ( 低于6 4 k b p s )的视频会议和可视电话的 应用发 起了11 .2 6 3 标准化工作。 11 .2 6 3 在 1 9 9 5 年完成， 1 9 9 6 年成为国际标准。 尽管h . 2 6 3 标准的视频编码算法与h . 2 6 1 相似 ( 运动补偿和d c t 算法) ，但它在性能上有了 显著提高。 试验表明: 在相同的主观质量下， 11 .2 6 3 编码速率仅为11 .2 6 1 的一半 g i r o d , 1 9 9 7 。 而h . 2 6 3 标准的 测试模型t m n 8 ( t e s t m o d e l 8 ) 在低于6 4 k b p s 码率时， p s n r 值比h . 2 6 1 提高了3 - 4 d b o 11 .2 6 3 性能提高归功于优化的编码技 术和高级可选编码模式。和11 .2 6 1 相t 匕 ，11 .2 6 3 增加了支持 s u b - q c i f 格式、半 象素运动补偿、3 - d ( l a s t - r u n - l e v e l ) 而不是 2 - d ( r u n - l e v e l ) 游程编码、 优化的v l c表、可选的重复头信息以提高误码恢复能力、运动矢量编码的高级 2 - d中值预测、 更优的宏块编址和量化编码、可选的无限制运动矢量、可选的数 学编码、可选的重叠运动补偿和四运动矢量/ 宏块的高级预测模式和可选的双向 预测。 h . 2 6 3 标准可以作为将来甚低码率编码算法和编码标准性能评估的一个里 程碑。 1 . 3 . 5 m p eg- 4 1 9 9 8 年 1 1 月m p e g 提出了低数码率视频/ 音频编码和多媒体通讯的m p e g -4 建议草案。其第 2版在 1 9 9 9年 1 2月发布。 m p e g - 4的正式名称为 i s o / le c 1 4 4 9 6 ( 音视频对象通用编码) a m p e g - 4 的目 标定义大致考虑两个方面: 一是极低 比特率下的多媒体通信; 二是多媒体通信的融合，主要有通信业、 计算机业、 消 费类电子业和娱乐影视业。因而，一方面， m p e g - 4 要求有高效的压缩编码方法; 另一方面，m p e g - 4 要求有独立于网络的基于视频和音频对象 ( a v )的 交互性。 mp e g - 4 有两个重要特征: ( 1 ) 它是一个通用标准， 适用于很大码率范围内( 如 从5 k b p s 到i o m b p s ) ， 不同图 像格式( 隔 行或逐行) 、图 像分辨率( s q c i f 到超出 t v的大小) 、帧率( 静态图像和高帧率) 、通信网络( 有线或无线) 、输入素材( 人 工或合成) 等等。 ( 2 ) 它使用基于对象的表示方式， 场景都按对象方式表示、 编码、 处理 。这是区别于 已有基于块编码标准的重要特征。除传统的基于块 的 mc - d p c m/ d c t技术外， mp e g - 4采纳了最新的第 2代编码中基十对象的编码 技术和基于模型的编码技术。 m p e g - 4 的应用广泛， 这一新的_ 1_ 业标准至少可以应用于以卜 场合: 实时监控; 极低比特率下的移动多媒体通信;基于存储和检索的多媒体系统; 第一章 绪论 工 n t e r n e t / 工 n t r a n e t 上的视频流与可视游戏; 基于面部表情模拟的虚拟会议: d v d 上的交互多媒体应用; 基于计算机网络的可视化合作实验室场景应用; 演播室和 电视的节目制作等。 1 . 3 . 6 m p eg- 7 为快速方便地搜索节目，m p e g制定了一个新标准m p e g - 7 ，它是多媒体 内容描述接口 ( m u l t i m e d i a c o n t e n t d e s c r i p t i o n i n t e r f a c e ) . m p e g - 7 可快速 且有效地搜索出用户所需的不同类型的多媒体资料，主要用于解决以下问题: 1 . 需要搜索m p e g - 4 编码信息中的某套节目时，来自 不同领域的一些要求。 2 . 在m p e g - 4 语法中对搜索功能适当支持的一些术语。 3 . m p e g - 4 编码信息搜索引擎通用工具规格。 m p e g - 7 的应用很广泛，既可以用于存储 ( 在线或离线) ， 也可以用于流式应 用 ( 如广播、 将模型加入i n t e r n e t 等) ， 它可以在实时或非实时环境 卜 应用， 在 教育、新闻、导游信息、娱乐、研究业务、 地理信息系统、医学应用、 购物等等 各方面具有潜在的应用能力 1 . 3 . 7 mpeg- 21 2 0 0 0 年3 月成立的m p e g - 2 1 工作组在酝酿制定m p e g - 2 1 标准，其核心目 标 是使数字多媒体信息资源能被大范围的网络和设备透明和增值地使用。2 0 0 0年 1 0 月， m p e g - 2 1 专家组提出创造一个能够共同使用的多媒体信息框架。 需要完成 以下任务: 1 .框架的各成分之间如何关联。 2 .整合现有系统中的各种标准以支持多媒体管理的各种协调技术。 3 .开发新的规范使得能够通过网络存取和使用多媒体内容;实现多个交易 模型保证服务模型及收费;保障内容用户的隐私权。 1 . 3 . 8 h. 2 6 4 h .2 6 4 是i t u - t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准， 旨 在代替 先前的h . 2 6 3 标准0 2 0 0 1 年， i s o mp e g 也加入了开发队列， 组成了j v t ( j o i n t v i d e o t e a m ) 进行联合开发。他们希望制定一个能够比m p e g 4 和h . 2 6 3 表现更出色的新标 准， 提供更好的压缩图像质量， 并且具备一系列可以支持高质量、 低码率压缩的 特性。 h .2 6 4 在2 0 0 3 年5 月正式批准为国际标准。 h .2 6 4是目前最为高效的一个视频压缩标准，它的压缩效率比 mp e g - 4和 h .2 6 3 + 提高了近5 0 。 在整个框架卜 ， h .2 6 4 和先前的标准没有太大差别， 都包 含预测、变换、量化和嫡编码这几个功能单元。但在每个功能单元的细节 卜 ， h .2 6 4做了很大的变动。h .2 6 4在运动估值时可采用不同大小的块，更高精度的 亚象素搜索、 多参考帧选择。 变换时使用4 x 4 整数变换而不是传统的8 x 8 d c t ; 在嫡编码时 使用内 容自 适应变长编 码( c a v l c , c o n t e x t - b a s e d a d a p t i v e v a r i a b l e l e n 她 c o d i n g )与 统一变长编码( u n i v e r s a l v l c ) 的结合或基于内 容自 适应的二 第一章 绪论 进制算术编码c a b a c ( c o n t e x t - b a s e d a d a p t iv e b i n a r y a r i t h m e t i c c o d i n g ) 。 更详细的关于h .2 6 4 的内容将在以后的章节中阐述。 1 . 4 o m a p开发平台概述 进入数字信息时代， 电 子产品全面数字化的结果带来了形形色色数字信息产 品的繁荣， 其中数字语音和数字影像发挥着越来越大的影响， 数字音频和数字视 频的普及也越来越广。随着各种带宽接入和 3 g无线网络的兴起和不断完善， 数 字无线手机不仅提供语音通信功能， 而且正在向手持智能终端、 多媒体设备类型 产品转变。 现在， 能够拍照并立即将照片通过因特网传输的手持终端已经很常见， 而具备语音识别特性的智能电话变得越来越流行。 可以预见， 不久的将来， 可实 现全动态视频流、j a v a游戏、蓝牙以 及其它更多技术的产品将不断为人们所熟 识。 这些 高端手持设备 的丰 富功能需要很多应用软件来支撑 。除 了 p i m ( p e r s o n a l i n f o r m a t i o n m a n a g e m e n t ，即 个人信息管理) 、电 子邮件和无线上 网等 “ 传统”的应用外， 在新的产品中， 诸如m p 3 播放器、 视频播放器以及兰维 图形游戏和虚拟现实等多媒体应用也层出不穷。 然而， 对于高强度的数学运算， 如音频和视频编码解码、 压缩和解压缩， 所 有这些都必须实时完成， 相应地其消耗的功率也非常大。 也就是说， 在实际中性 能和功耗常常相互矛盾， 在显著提高功能的同时是否还能显著减少功耗就成为一 大问 题。 同时， 还必须管理内 置于无线设备中的 视频显示， 响 应人机界面 ( m m d ， 并处理其它常规任务。 设计人员所面临的挑战则在于找到一个处理器或处理器组 合，能够使用尽可能少的指令周期，也就是说以最低的功率，来完成所有任务， 这就意味着必须尽可能高效地处理大量信息。 为满足数字无线手持终端的不同处理要求， 最直接的处理方式选择就是采用 r i s c处理器与d s p 处理器的 组合。 t i 的o m a p ( o p e n m u l t im e d i a a p p l i c a t i o n s p l a t f o r m , 开放式多媒体应用平台)系列处理器便是这种方式的代表。o m a p将 r i s c处理器和强大的 d s p核心集成到在同一芯片器件上，从而同时实现二者 的优势。当前o ma p 1 5 1 0 , o ma p 5 9 1 0 系列以及t i 新型的o ma p 1 6 1 x系列都 属于这样的双核应用处理器，其中包括t i 功耗最低的定点d s p t ms 3 2 0 c 5 5 x , 以及 t i 增强型 a r m微处理器。 h . 2 6 4 具备优越的性能， 但其代价是计算复杂度的大大增加，据估计， 编码 的计算复杂度大约相当于h . 2 6 3 的3 倍， 解码复杂度大约相当于h . 2 6 3 的2 倍。 目 前在比较高性能的p c 机上优化过的1 1 . 2 6 4 编解码程序基本上能满足实时的需 要，但是目 前手持设备上的处理芯片性能一般远不如 p c机的 c p u ，如 t i的 o m a p 1 5 1 0 芯片其所含d s p的工作主频仅有2 0 0 mh z ,所以在手持设备上实现 诸如 h . 2 6 4实时解码这种大量数据处理的程序非常具有挑战性，除了做类似 p c 机上的代码和普通算法优化之外， 还要结合芯片的硬件结构特点来加速数据的处 理。 本文将具体阐述如何进行代码移植优化和充分利用芯片硬件结构来实现基于 o ma p的 h . 2 6 4解码软件，木文所述的解码器是指 b a s e l i n e ， 下午将不特别指 出。 第一章 绪论 本项目 研究的基本思路是: 首先对h . 2 6 4 解码器进行通用的优化， 这部分主 要是为了 去除解码器的冗余， 然后将在p c 上优化过的代码移植到o m a p 上并进行 代码调整和针对d s p 的算法优化， 最后利用。 s p 的其它软硬件资源做进一步的改 进。 1 . 5全文结构安排 本文研究的是基于 o ma p的h .2 6 4 解码器实现，就h .2 6 4 解码各部分的复 杂度及相应优化算法、在 o ma p平台上开发软件的方法进行了分析，并详细阐 述了在o m a p 1 5 1 0 上实现h .2 6 4 解码器实时解码的方案。 全文共分为四章。 第一章为绪论。简要回顾视频编码发展历史和背景，简单介绍了 t i o ma p 芯片，并指出了本文的研究内 容。 第二章主要介绍了 h . 2 6 4视频标准相对与之前视频压缩标准的区别，针对 h . 2 6 4 解码器的具体模块: 运动补偿、整型变换、变长解码，提出了通用的优化 策略。 第三章对基于 o ma p的h . 2 6 4 解码应用开发作了分析，并详细阐述了优化 的方法。 着重给出了从p c机上向d s p 移植c代码需要做的工作、在d s p 上进 行 c代码优化、利用 d s p的硬件特点加速运行等。 第四章总结全文，并对研究工作进行了展望。 第二章 1 1 . 2 6 4 解码器的优化 第二章 h . 2 b 4 解码器的优化 作为在o m a p实现h .2 6 4 解码的第一个步骤， 对解码器进行平台无关的 优 化非常重要。本章所述的优化都是在p c机上进行， 通过算法和代码的优化初步 提高解码速度，并为以后需要进行的代码移植做好准备。本章将首先介绍h .2 6 4 标准并简要给出各部分的复杂度分析，然后针对 h .2 6 4 b as e l i n e 解码器，给出具 体的与平台无关的优化方案。 2 . 1 视频压缩原理和关键技术 2 . 1 . 1视频压缩编解码器的原理和结构 数字视频比模拟视频具有多种明显的优点， 然而数字视频的巨大数据量给信 息的存储和传输造成较大的困难， 成为数字视频应用的瓶颈问题之一。 视频压缩 编码是解决这一问题的有效途径， 它推动了多媒体、 虚拟现实、 视频通信、 v c d , d v d和数字电视等产业的飞速发展。 视频压缩的基本目 的是去掉数据中的 冗余信息( 去除数据之间的 相关性 ) ， 保 留相互独立的信息分量。目 前， m p e g 系列标准和工 t u - t 的h 2 6 x 系列标准采用的 编码方案都是 d p c m / t ( 差分脉冲编码调制) ，其基本原理都是一样的，那就是用 时域预测去掉时域冗余， 空域预测去掉空间冗余， 在d c t 域进行量化去掉高频不 重要的信息， 再用v l c 和游程编码使得可以用最少的比 特来表示码流。 所不同的 是， 各种标准采用的码表有所差别，以面向不同的应用，另外， 新的标准在某些