（信息与通信工程专业论文）基于arc600的h264解码器实现.pdf

浙江人学硕d j 学位论文 摘要 2 1 世纪的人类社会是信息化的社会，数字化后的信息，尤其是视频和音频信息具有数 据海量性，给存储和传输造成了巨大困难。随着高清电视机顶盒、高端手机、p d a 等通信设 备的开发和普及，作为多媒体中最重要、最具表现力和最复杂的数字视频处理，在这类载体 上开发实时视频编解码器已成为多媒体信息处理领域中的一个活跃课题。而数字视频内在的 数据海量特性和高带宽特性限制了多媒体业务的扩展，必须对视频数据进行压缩。 h 2 6 4 标准具有卓越的编码压缩效率，是当今t 业界和学术界研究的热点之一。由于视 频编码计算量巨火，使得在硬件资源相当有限、对功耗和成本等约束要求甚高的手持通信设 备上实现基于h 2 6 4 的应用变得非常困难。一般地，视频编解码器的实现需要借助丁专用芯 片或专业设备来完成。与软件编码相比，这种方案的优点是速度快，但灵活性小，扩展性差， 升级困难，且开发周期长，费用昂贵。随着通用处理器和d s p 性能的提高，推出弹性化的可 配置处理器结合a s i c 设计以实现更为经济灵活的编解码方案已逐渐成为业界发展的一个方 向。本文给出了在双可配置式处理器a r c 6 0 0 上开发实现h 2 6 4 解码器和部分编码器的一种 方法。 本文首先对j m 9 3h 2 6 4 解码器的复杂度进行分析并对其预测( 帧内预测、帧间预测) 手图像滤波重构部分提出了基于通用处理器的优化方法，然厉利_ | = j 可配置式处理器 a r c o m p a c t 系列的特点讨论了基丁其平台的仿真和设计软硬件的思想及其性能分析和比较。 文中根据a r c o m p a c t 处理器特性分别介绍了a r c 6 0 0 处理器架构及其指令，给出了a r c 6 0 0 的软件开发模式和解码器的实现。并详细给出了在可配置处理器a r c 6 0 0 上实现h 2 6 4 解码 的方案，包括从x 8 6 平台移植c 代码到m e t a w a r ei d e ，利用a r c 6 0 0 的可配置特性找出最 优的解码器组合参数，并针对所选的配置参数进行有针对性优化，实现基于a r c 6 0 0 平台的 h 2 6 4 实时解码器。最后将给出仿真的结果和讨论，并提出了一些改进解码性能的建议。 关键词：视频解码、h2 6 4 标准、优化方法、解码器芯片、a r c 、帧内预测模式选择 浙江大学硕士学位论文 a b a s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yi n2 1 s tc e n t u r y , t h e r eg r o w st h en e e do f s t o r i n ga n dt r a n s m i t t i n gv i d e oi n f o r m a t i o ne f f i c i e n t l y m u l t i m e d i as e r v i c e sa r ew i d e l yu s e di nt h e s e a p p l i c a t i o n s ，s u c ha sh d t vs e t b o x , m o b i l ec e l lp h o n e ，p d aa n de t c a st h em o s te f f i c i e n t p r e s e n t a t i o nm e t h o da m o n gv a r i o u sd i g i t a lm e d i as i g n a l s ，d e v e l o p m e n ta n dr e s e a r c ho nt h e s e d e v i c e sh a sb e c o m ea h o t s p o ti ns i g n a lp r o c e s s i n gf i e l d s h 2 6 4s t a n d a r dg r e a t l yi m p r o v e sc o d i n ge f f i c i e n c ya n db e c o m e st h er e s e a r c hf o c u sn o w a d a y s t h eg r e a tc o m p l e x i t yo fv i d e os i g n a l sm a k e si td i f f i c u l tt oi m p l e m e n tm u l t i m e d i aa p p l i c a t i o n b a s e do nh 2 6 4f o rh a n d h e l dd e v i c e sd u et ol i m i t e dh a r d w a r er e s o u r c e sa n dr i g o r o u sc o n s t r a i n t s f o rp o w e ra n dc o s t g e n e r a l l y ，t h ei m p l e m e n ta l w a y sd e p e n d so na s i co ro t h e rd e d i c a t e d e q u i p m e n t s ，b u tc o m p a r i n gw i t ht h a tr e l i e so ns o f t w a r ei tc o s nm o r eh i g h l ya n di sl e s sf l e x i b l ea n d l o n gt e r mt od e v e l o p e s p e c i a l l yi t h a sn oe x p a n s i b i l i t y w i t ht h ed e v e l o p m e n to fg e n e r a l p r o c e s s o ra n d t h ei m p r o v e m e n to ff e a t u r e so fd s p , i m p l e m e n to fm o r ef l e x i b l ea s i cd e s i g nw i t h c o n f i g u r a b l ec p u sb e c o m e sp o p u l a r t h i st h e s i sd e s c r i b e st h ei m p l e m e n t a t i o no fh2 6 4d e c o d e r a n dp a r to f e n c o d e ro nt w oc o n f l g u r a b l ea r c 6 0 0c p u s i nt 1 i st h e s i s t h ec o m p l e x i t yo f j m 93h2 6 4d e c o d e ri sa n a l y z e df i r s t o p t i m i z a t i o nm e t h o d s i ni p ( i n v e r s ep r e d i c t i o n ，i n t r a - p r e d i c t i o na n di n t e r - p r e d i c t i o n ) 、d e b l o c k 、o t h e rp a n so f d e c o d e r a n di pp a r to fe n c o d e ra r ep r o p o s e db a s e do ng e n e r a lp r o c e s s o r s a n dt h e na c c o r d i n gt ot h e f e a t u r e so fc o n f i g u m b l ep r o c e s s o r sa r c o m p a c ts e r i e s t h er e s u l t so fp l a t f o r ms i m u l a t i o na n dt h e d e s i g no fs o f t w a r e - h a r d w a r ed e v e l o p m e n ta r ed i s c u s s e d t h e n ，d i s c u s s i o n sa b o u td e s i g n i n g s o f t w a r eo na r c 6 0 0a r ep r o v i d e dt o g e t h e rw i t ht h ei n t r o d u c t i o n so f 血ea r c o m p a c ti s aa n d a r c h i t e c t u r eo fa r c 6 0 0 t h ei m p l e m e n t a t i o nb a s e do np l a t f o i t na r c 6 0 0j n c l u d e st h ec o d e t r a n s f e r i n gf r o mx 8 6t om e t a w a r ei d e 、t h eo p t i m i z a t i o no na r c 6 0 0a n dt h ec o n f i g u r a t i o no f p a r a m e t e r s a tl a s t s i m u l a t i o nr e s u l t sa n dd i s c u s s i o n sa r ep r e s e n t e da n dd i s c u s s e ds o m e s u g g e s t i o n sa b o u th o w t oi m p r o v ed e c o d i n gp e r f o r m a n c ea r ea l s ol i s t e d t h eu l t i m a t eg o a lo ft h i s p a p e ri st oi m p l e m e n tt h er e a l t i m e 、h i g h - p e r f o r m a n c ea n dl o w - c o s th2 6 4d e c o d e rb a s e do nt w o c o n f i g u r a b l ea r c 6 0 0c p u s k e yw o r d s ：v i d e od e c o d e r 、h 2 6 4s t a n d a r d 、o p t i m i z a t i o n 、d e c o d e ri c 、a r c 、m o d e s e l e c t i o no f i n t r a - p r e d i c t i o n 第一章绪论 第一章绪论 简要回顾视频编码发展历史和背景，简单介绍了多媒体处理器和a r c o m p a c t 系列处理 器，并指出了本文的研究内容。 1 1 本文的研究背景 随着科学技术的发展，社会生产力的提高，人们的通信方式发生着巨大的变化：从公元 前的烽火通信、e 鸽传书到蒸气机革命后的屯报、电话等，都是传送文字和声音的基本通信 方式。随着人民生活水平的提高，通信的内容则从声音扩展到图像( 包括文字和符号) 、数 据，概括的说，多媒体信息( 包括图像、声音和文本) 成为通信的主要内容。与此同时，通 信的对象也不仅局限于人与人之间，而扩大到人与机器、机器与机器之间。图像通信、数据 通信等新的通信方式就得到了飞速的发展。 二十一世纪的信息化的一个主要特征就是多媒体技术的广泛应用，随着多媒体业务的不 断拓展，多媒体技术已成为工业界和学术界的一个研究热点。多媒体数字技术是基于内容上 相互关联的文本、图形、图像、音频和视频等媒体数据构成的一种复合信息实体的处理技术。 多媒体内容丰富，信息容量大，表达能力强。计算机以数字化的方式对任何一种媒体进行表 示、存储、传输和处理，并且将这些不同类型的媒体数据有机地合成在一起，形成多媒体数 据，作为传输或处理的对象，具有易于传输和远距离存储的特点，且没有积累失真，可被高 品质地还原。 多媒体通信终端设备具有广泛的应用前景，可以应用于视频会议、可视电话、数字电视 等各个领域，所以高教实用的多媒体终端设备一直是通信领域研究的主要方向之。多媒体 通信终端的实现主要有两点：一方面需要快速稳定的处理器作为多媒体信号处理的平台；另 一方面需要适合多媒体通信的协议标准和软件算法，尤其是对音视频信号的压缩处理算法， 两者的结合才能产生高效的多媒体通信设备。 与语音、图片等媒体形式不同，视频本身数据量巨大，对存储器、通信信道以及处理器 等都提出了相当高的要求。对于d v d ，输入视频格式为d 1 ，帧率为3 0 f p s ，色差格式为4 ：2 ：2 ， 则视频数据码率为7 2 0 4 8 0 1 6 x3 0 = 1 6 5 9 m b p s ，d v d 容量为4 7 g b ，仅能存储4 7 8 1 6 5 9 = 2 2 6 4 秒长度的节目 g i b s o n ，1 9 9 8 ：对于数字电视，若不采取任何压缩措施， 总的数据码率为2 1 6 m b p s ( 每采样点8 比特量化) m u a l l a ，2 0 0 2 ；对于高清晰度数字电视 ( i t u r7 0 9 ) 每秒数据量更高达8 8 4 ，7 b t b it s ，而地面广播系统的传输带宽仅有6 m 到8 m 。 因此，高效压缩视频数据是降低存储成本，缓解网络带宽，突破存储空间和处理器主频限制 的关键技术。 如今，存储成本高于微处理器已不再稀奇。因此，选择一款能节约储存成本的处理器就 变得很有意义。编写紧密的代码只是事情的一个方面，而处理器的指令集对内存的消耗同样 影响很大。对于代码密度很差的处理器而言，无论怎样绞尽脑汁地去压缩你的c 原始代码 都于事无补。关注内存的开销，选择恰当的处理器并精心调整代码是明智的。对于手持终端 以及其他成本控制严格的嵌入式系统应用而言，一般来说，内存大小是相同时，产品功能特 性的差别就在丁内存的分配。 随着高清，标清电视机顶盒、高端手机、p d a 等大多数高科技电子产品，从望而却步刮 坦然进入人们的生活，数字产品推出市场的时间与寿命加快，低耗电性、低成本成为工业界 第一章绪论 和学术界设计中主要导向，技术更新加快，设计弹性化的可配置的电子产品解决方案，提供 可自行配置的差异化产品在激烈的竞争中越来越凸显其重要性。 目前可配置c p u 领域做的比较好的有a r ci n t e r n a t i o n a l 【a r ci n t e r n a t i o n a li n c 】( 以 下简称a r c ) 公司和t e n s i l i c a r e n s i l i c ai n c 】公司，其中t e n s i l i c a 公司的产品软件和硬件结 合在同一个i d e 中，而a r c 公司采用软硬件分割处理的方式，其中软件端使用m e l a w a m i d e 实现软件优化，硬件端使用a r c h i t e c t 处理器配置g u i ( g r a p h i c a lu s e ri n t e r f a c e ) 实现 可配置性。a r c 可配置c p u 给设计者提供从菜单选项中定制和优化选择处理器的自由， c a c h e 的大小和特性，终端，扩展指令，d s p 特性等等都在可配置范围之内，可以按照需 求功能添加，也可以删除自己应用中不需要的功能，这样就可以在自己的应用实例中实现性 能面积和功率折中的最优解决方案，最终用一个周定架构的处理器核实现高性能低成本低功 耗芯片的目标 a r cc o n f l g u r a b l e 】。 1 2 视频编码原理及标准 作为一个专的研究领域，数字视频压缩技术发展到今天已经有3 0 余年的历史。但它 真正走向成功应用的标志是2 0 1 1 h = 纪8 0 年代末的h 2 6 1 国际视频编码标准 i t u ，1 9 9 3 的提 出。随着视频编码和处理算法研究的进展，针对不同应用需求，i s o i e c 和i t ut 又相继发 布了h i p e g 一1 i s o ，1 9 9 1 、胛e g 一2 i s o ，1 9 9 5 、h 2 6 3 i s o ，1 9 9 6 、m p e g 一4 i s o ，1 9 9 8 和h 2 6 4 ( m p e g 一4p a r ti o ) i t u ，2 0 0 2 等标准。近年来，视频编码应用得到了蓬勃发展， 这主要受益于压缩算法的深入研究、处理器能力的大幅度提高、基于主观感觉的失真衡量方 法的引入、各种视频编码标准的建立以及网络、计算机、通信技术的不断进步等 g i b s o n ， 1 9 9 8 。本节将简要介绍视频编码原理和主要视频编码标准。 1 2 1 视频编码基本原理 i s o ，2 0 0 2 ：毕，2 0 0 5 在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列中含有三类 冗余：统计冗余、心理视觉冗余和编码冗余。其中统计冗余表现为图象信号在时域和空域的 高相关性，而心理视觉冗余则起源于人眼对某些空间频率的感觉迟钝，编码冗余表现为符号 编码平均码k 和信源熵之间的偏差。冗余程度越高，可压缩程度也就越高。研究视频信号中 冗余消除方法、实现信息传输、存储和处理的有效性和可靠性是视频编码的主要关心问题 t e k a l p ，1 9 9 5 。消除冗余的方法有很多，实际视频编码过程一般采用空间采样、时空预测、 变换、量化和熵编码等多种方法结合的混合编码方案，以达到最佳的编码效率。其编码器原 理框图如图1 1 所示。 篙一 1 空间抽样 在实际应用中，对彩色图像采用全分辨率编码实际上是没有必要的，冈为人眼视觉系统 4 第一章绪论 h v s 的频率响应随着空间频率的增长而降低，在色差通道上这种影响尤为明显，因此利用 人眼视觉系统对色差信号的这种不敏感性，可以有效降低原始编码数据量。在色差格式4 ：2 ：2 中，色差信号c b ，c r 分别在水平方向上做2 ：1 的降采样，和原始数据格式4 ：4 ：4 相比，数 据量降低了3 3 ；在色差格式4 ：2 ：0 中，色差信号c b ，c r 在水平和垂直方向上都作2 ：1 的 降采样，相应的数据量降低了5 0 。这两种色度采样的方法分别可以获得较全分辨率1 6 6 7 和2 倍的压缩比。 2 预测 预测编码根据时空相关特性可分为时域帧间预测和空域i 帧内预测两大类，其中帧间预测 编码不是直接处理像素值本身，主要利用图像序列之间的时间相关性，当前编码帧中的每个 像素可以根据已经编码帧内的像素作参考，进行运动预测，得到预测值和实际值之间的运动 补偿残差值。同时，一幅图像内的相邻像素间也具有较强的相关性，可用于帧内像素彼此之 间相互预测。 3 变换 消除图像数据空间相关性有效的方法是变换方法 c l a r k e ，1 9 8 4 ，尽管图像变换本身并 不导致数据压缩，但可以使图像数据在变换域内最大限度的不相关，主要采用正交变换编码 技术，通过多维坐标系适当的旋转变换，把散布在各个原坐标轴上的原始图像数据集中到新 的坐标系中少数坐标轴上。将图像数据从空域变换到频域后，利用人眼视觉系统对高频信号 不敏感的特点，将高频系数尽量量化为零，产生长零串，这样非常有利于消除编码熵冗余。 研究证明，变换编码方法确实是一种高效的图像压缩算法 t e k a l p ，1 9 9 5 。常见的变换有： k l t 变换( k a r h u n e n l o v e vt r a n s f o r r n ) 、d f t 变换( d i s c r e t ef o u r i e rt r a n s f o r m ) 、d c t 变换( d i s c r e t e c o s i n e t r a n s f o r m ) a h m a d ，1 9 7 4 】、h a d a m a r d 变换( h a d a m a r d t r a n s f o r m ) 和小波变换( w a v e l e t t r a n s f o r m ) d a u b e c h i e s ，1 9 8 8 等等。其中k l t 变换是利用数据本 身的相关矩阵对角化后构成的，变换域系数完全不相关，是性能最优的变换，但计算过程中 需要寻找协方差矩阵，不同的图像数据有不同的变换矩阵，造成了反变换矩阵的不唯一性， 不利于实际操作。因此实际上往往采用d c t 变换代替k l t 变换，与其它变换相比，在相邻 像素间的相关系数逼近于1 时，d c t 变换的性能最接近k l r 变换沈，1 9 9 8 。 4 量化 预测后的残差值经过变换后通过量化减小数据幅值，海量数据得到高压缩率压缩。对比 明暗变化慢的区域和明暗变化快的区域，h v s 系统较前者中微小的变化感觉更明显，更容 易被觉察到，因此，编码图像经过空域到频域的变换编码后，低频信息集中在坐标轴的原点 附近，可以采用量化的方法将高频信息部分量化为零，形成大块零区。实际上量化过程本身 是一个相当直观的数据压缩方法，就是根据人眼视觉系统对不同亮度区域的敏感程度不一样 的特点对数据的取值范围进行限制，保证一定输山图像质量的前提下，调节量化参数，以达 到最佳的压缩比。 5 墒编码 熵编码是纯粹基于信号统计特性的编码技术，基本思想是对山现概率较大的符号分配短 码字，对出现概率较小的符号分配长码宇，达到编码后的平均码长最小。其中h u f r m a n 编 码是一种变步长编码方法主要针对编码信源概率分布己知的情况，对于具有等概率分布的 信源编码，该方法是最优的，但是实际运用中，编码前一般都需要对信源概率分布进行统计 预测。算术编码利用任何一个数据序列均可表示成0 和1 之间的一个间隔特性进行编码， 每个间隔的位置与数据的概率分布有关，可以根据信源的统计特性，对未知概率模型的信源 自适应地配置其分布。 第一章绪论 1 2 2 主要视频压缩标准 二十五年前，图像和视频编码成为一个广泛研究的课题。现在它的应用遍及各行各业， 已经从纯学术研究转变为高度的商业行为。不断增妖的商业需求进一步推动着标准的形成， 各种国际视频编码标准的推出，使不同来源的图象和视频可以在不同的硬件平台上处理，在 不同的存储设各上存储，不同通信网络上传输。交互性开拓了视频设备的广阔市场，同时提 供给片j 户大量的服务。为了适应不同应用的需求，1 s o i e c 和i t u t 制定了m p e g x 和h 2 6 x 系列标准。除了最新的h 2 6 4 外，其他所有标准都是基于m c - d p c m d c t 框架 i s o ，1 9 9 1 ； i t u ，1 9 9 3 ；i s o ，1 9 9 5 ；i t u ，1 9 9 6 ；i s o 1 9 9 8 ；i t u ，2 0 0 2 。i t u t 的h 2 6 x 系列标准主要面向低 码率的实时视频通信，如视频会议和视频电话：1 s o f l e c 的m p e g x 系列标准主要是面向视 频存储、视频广播和流媒体( s t r e a m i n gm e d i a ) 等应用。 图1 2视频压缩标准的关系及发展过程 视频编码标准化工作始于上个世纪八十年代初期。最先由c c i t t ( i n t e r n a t i o n a lt e l e g r a p h a n dt e l e p h o n ec o n s u l t a t i v ec o m m i t t e e ) 发起，c c i t t 现在的名称为i t u t ( i n t e r n a t i o n a l t e l e c o m m u m c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 。随后参加这项工作的是 c c i r ( 现为i t u - r ) 、i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和i e c ( i n t e r n a t i o n a l e 1 e c t r o t e c h n i c a lc o m m i s s i o n ) 。从第一个视频编码标准h 1 2 0 发布后，针对不同应用需求， i 丁u t 和i s o i e c 义相继推出了h 2 6 l 、m p e g 1 、m p e g - 2 、h 2 6 3 、m p e g 4 和h 2 6 4 ，其 关系和发展过程如图1 2 所示。由于h2 6 4 的m p e g - 4 发展出来的一部分，为了更确切地了 解h 2 6 4 。我们从m p e g 4 谈起，分别对m p e g 4 和h 2 6 4 进行简单介绍。 m p e g _ 4 i s o ，1 9 9 8 】 m p e g 4 是i s o f i e cj t c l s c 2 9 w g l lm p e g 工作组自1 9 9 3 年开始的一项标准化活动。 它的目标是面向更低码率，获得比现有技术更高的压缩效率。在1 9 9 4 年意识到不能获得比 现有h 2 6 3 和h 2 6 3 + 更多提高后，m p e g 工作组决定扩大m p e g 4 的研究目标，并更加深 入地研究音视频领域的发展趋势。特别是通信、计算机和电视电影娱乐3 个独立传统行业 6 第一章绪论 的融合。这份研究推断m p e g 一4 提供的服务必须面向未米的应用，并不受现有标准制约。8 个新功能可以归为3 类：基于内容的交互( 基于内容多媒体数据访问功能，基于内容处理和 流编辑、混合自然和人工视频编码、改进的随机访问) 、压缩( 更高压缩效率、并存多数据流 编码) 和有效访问( 差错环境中鲁棒性和基于内容分级) 。m p e g 一4 第一版于1 9 9 8 年1 0 月完 成，第2 版在1 9 9 9 年1 2 月发布。m p e g 4 的正式名称为i s o i e c1 4 4 9 6 ( 音视频对象通用编 码) 。这个名称表明了m p e g - 4 的两个重要特征：( 1 ) 它是一个通用标准，适用于很大码率 范围内( 如从5 k b p s 到1 0 m b p s ) ，不同图象格式( 隔行或逐行) 、图象分辨率( s q c i f 到超出 t v 的人小) 、帧率( 静态图象和高帧率) 、通信网络( 有线或无线) 、输入素材( 人1 或合成) 等等。( 2 ) 它使用基于对象的表示方式，场景都按对象方式表示、编码、处理。这是区别于 已有基于块编码标准的重要特征。除传统的基丁块的m c d p c m d c t 技术外，m p e g 一4 采 纳了最新的第2 代编码中基于对象的编码技术和基于模型的编码技术。 l 2 6 4 i s o ，2 0 0 2 】 h2 6 4 是i t u - t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在代替先前的 h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了t ( j o i n tv i d e ot e a m ) 进行联 合开发。它最初的名称为h ，2 6 l ，经过工业界和学术界3 年多的努力，2 0 0 3 年5 月正式批 准为国际标准。h 2 6 4 是近年来最为高效的一个视频压缩标准，它的压缩效率比m p e g 4 和 h 2 6 3 + 提高了近5 0 。在整个框架上，h 2 6 4 和先前的标准没有太大差别，都包含预测、变 换、量化和熵编码这几个功能单元。但在每个功能单元的细节上，h 2 6 4 做了很大的变动。 h 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考帧选择。变换时 使用4 4 整数变换而不是传统的8 8 d c t ；在熵编码时使用统一变长码u v l c ( u n i v e r s a l v a r i a b l el e n g t hc o d e s ) 或基于内容自适应的二进制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ) 。 1 3 多媒体处理器的特点及应用领域 k 。d 。，1 9 9 8 随着多媒体图像处理应用的迅速发展，以d s p 处理器结构为基础的媒体处理器芯片的研 究成为热点，对计算机处理能力的要求越来越高。可配置系统是将可重构硬件处理单元和软 件可编程可配置处理器结合的处理系统。它通过配置可重构处理单元满足不同应用的计算要 求。可配置技术代表了介于a s i c 和通t ； j 处理器之间的计算途径，为多媒体图像处理提供了一 个非常有价值的发展方向 杨，2 0 0 5 。 1 - 3 1 多媒体处理器 过去几年中，微处理器技术经历一场多媒体革命。不同开发商设计出不同的处理器结构 支持多媒体应用，专用处理器( d p ：d e d i c a t e dp r o c e s s o r ) 从完全定制结构到完全可编程结 构，通用处理器( g p p ：g e n e r a l p u r p o s ep r o c e s s o r ) 结构则另加一些扩展支持多媒体应用。 它们这些改变主要是针对视频、音频的压缩和解压。 专业多媒体处理器可采用多种模式，从多功能单元( m u l t i p l ef u n c t i o n a lu n i t s ) 和一 个r i s e 或d s p ( d i 9 5 t a ls i g n a lp r o c e s s o r ) 核模式到多处理器模式，而晟近的d s p 还采用 单指令多数据流( s i m d ：s i m p l ei n s t r u c t i o na n dm u l t i p l ed a t a ) 或超常指令字( y l i w ：v e r y l o n gi n s t r u c t i o nw o r d ) 任，2 0 0 0 ；p h i l i p s ，2 0 0 0 方式。通用处理器则是通过加入多媒 体指令集，和d s p 具有多媒体执行模块不一样，g p p 只提供基本指令完成通用多媒体数据处 第一蕈绪论 的融合。这份研究推断m p e o - - 4 提供的服务必须面向未来的应崩，并不受现有标准制约。8 个新功能可以归为3 类：基于内容的交瓦( 基于内容多媒体数据访问功能，基于内容处理和 流编辑、混合自然和人工视频编硝、改进的随机访问) 、压缩( 更高压缩效率、并存多数据流 编码) 和有效访问( 差错环境中鲁棒性和基于内容分级) 。m p e g 4 第一版于1 9 9 8 年1 0 月完 成，第2 皈在1 9 9 9 年1 2 月发布。m p e g 4 的正式名称为i s o f i e c1 4 4 9 6 ( 音视频对象通用编 码) 。这个名称表明了m p e g - 4 的两个重要特征：( 1 ) 它是一个通用标准，适用于很大码窄 范围内( 如从5 k b p s 到1 0 m b p s ) ，不同图象格式( 隔行或逐行) 、例象分辨率( s q c i f 到超出 t v 的人小) 、帧率( 静态图象和高帧率) 、通信网络( 有线或无线) 、输八素材( 人 或合成) 等等。( 2 ) 它使用基于对象的表示方式，场景都按对象方式表示、编码、处理。这是区别于 已有基于块编码标准的重要特征。除传统的基丁块的m c d p c m d c t 技术外，m p e g 4 采 纳了最新的第2 代编码中基于对象的编码技术和基于模型的编码技术。 h 2 6 4 1 1 s o ，2 0 0 2 1 h2 6 4 是i t u - t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在代替先前的 h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了j v r f ( j o i n tv i d e oc e a m ) 进行联 台开发。它最初的名称为h ，2 6 l ，经过上业界和学术界3 年多的努力，2 0 0 3 年5 月止式批 准为国际标准。h2 6 4 是近年来最为高效的一个视频佧缩标准，它的压缩效率比m p e g 一4 祁 h2 6 3 + 提高了近5 0 。在整个框架上h2 6 4 和先前的标准没有太大差别，都包含预测、变 换、量化和熵编码这几个功能单元。但在每个功能单元的细节上，h 2 6 4 做了很大的变动。 i t 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考帧选择。变换时 使用4 4 整数变换而不是传统的8 8 d c t ；在熵编码时使用统一变长码u v l c ( u n i v e r s a l v a r i a b l el e n g t hc o d e s ) 或基于内容自适鹿的二进制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ) 。 1 3 多媒体处理器的特点及应用领域 k 。，。d 。，1 9 9 8 随着多媒体图像处理应用的迅速发展，以d s p 处理器结构为基础的媒体处理器芯片的研 究成为热点，对计算机处理能力的要求越来越高。可配置系统是将可重构硬件处理单元和软 件可编程可配置处理器结台的处理系统，它通过配置可重构处理单元满足不同应用的计算要 求。可配置技术代表了介于a s i c 和通_ ；| j 处理器之间的计算途径，为多媒体图像处理提供了一 个非常有价值的发展方向 杨，2 0 0 5 。 1 3 1 多媒体处理器 过盘几年叶l ，微处理器技术经历一场多媒体革命。不同开发商设计山不同的处理器结构 支持多媒体应用，专用处理器( d p ：d e d i c a t e dp r o c e s s o r ) 从完全定制结构到完全可编程结 构，通用处理器( g p p ：g e n e r a l p u r p o s en o c e s s o l l ) 结构j ! 】另加一些扩展支持多媒体应用。 它们这些政变主要是针对视颠、音频的压缩和解压。 专业多媒体处理器可采用多种模式，从多功能单元( i d u l t i d l ef u n c t i o n a lu n i t s ) 和一 个r i s c 或d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 核模式到多处理器模式，而是近的d s p 还采用 单指令多数据流( s i 佃s i m l l ei n s t r u c t i o na n dm u i t i p i ed a t a ) 或超常指令字( v l i w ：v e r y l o n gi n s t r u c t i o nw o r d ) 任，2 0 0 0 ：p h i l i p s ，2 0 0 0 方式。通月j 处理器则是通过加入多媒 体指令集，和d s p 具有多媒体执行模块不一样，g p p 只提供基本指令完成通用多媒体数据处 体指令集，和d s p 具有多嫌体执行模块不一样，g p p 只提供基本指令完成通用多撵体数据处 第一章绪论 的融合。这份研究推断m p e g 一4 提供的服务必须面向未米的应用，并不受现有标准制约。8 个新功能可以归为3 类：基于内容的交互( 基于内容多媒体数据访问功能，基于内容处理和 流编辑、混合自然和人工视频编码、改进的随机访问) 、压缩( 更高压缩效率、并存多数据流 编码) 和有效访问( 差错环境中鲁棒性和基于内容分级) 。m p e g 一4 第一版于1 9 9 8 年1 0 月完 成，第2 版在1 9 9 9 年1 2 月发布。m p e g 4 的正式名称为i s o i e c1 4 4 9 6 ( 音视频对象通用编 码) 。这个名称表明了m p e g - 4 的两个重要特征：( 1 ) 它是一个通用标准，适用于很大码率 范围内( 如从5 k b p s 到1 0 m b p s ) ，不同图象格式( 隔行或逐行) 、图象分辨率( s q c i f 到超出 t v 的人小) 、帧率( 静态图象和高帧率) 、通信网络( 有线或无线) 、输入素材( 人1 或合成) 等等。( 2 ) 它使用基于对象的表示方式，场景都按对象方式表示、编码、处理。这是区别于 已有基于块编码标准的重要特征。除传统的基丁块的m c d p c m d c t 技术外，m p e g 一4 采 纳了最新的第2 代编码中基于对象的编码技术和基于模型的编码技术。 l 2 6 4 i s o ，2 0 0 2 】 h2 6 4 是i t u - t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在代替先前的 h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了t ( j o i n tv i d e ot e a m ) 进行联 合开发。它最初的名称为h ，2 6 l ，经过工业界和学术界3 年多的努力，2 0 0 3 年5 月正式批 准为国际标准。h 2 6 4 是近年来最为高效的一个视频压缩标准，它的压缩效率比m p e g 4 和 h 2 6 3 + 提高了近5 0 。在整个框架上，h 2 6 4 和先前的标准没有太大差别，都包含预测、变 换、量化和熵编码这几个功能单元。但在每个功能单元的细节上，h 2 6 4 做了很大的变动。 h 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考帧选择。变换时 使用4 4 整数变换而不是传统的8 8 d c t ；在熵编码时使用统一变长码u v l c ( u n i v e r s a l v a r i a b l el e n g t hc o d e s ) 或基于内容自适应的二进制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ) 。 1 3 多媒体处理器的特点及应用领域 k 。d 。，1 9 9 8 随着多媒体图像处理应用的迅速发展，以d s p 处理器结构为基础的媒体处理器芯片的研 究成为热点，对计算机处理能力的要求越来越高。可配置系统是将可重构硬件处理单元和软 件可编程可配置处理器结合的处理系统。它通过配置可重构处理单元满足不同应用的计算要 求。可配置技术代表了介于a s i c 和通t ； j 处理器之间的计算途径，为多媒体图像处理提供了一 个非常有价值的发展方向 杨，2 0 0 5 。 1 - 3 1 多媒体处理器 过去几年中，微处理器技术经历一场多媒体革命。不同开发商设计出不同的处理器结构 支持多媒体应用，专用处理器( d p ：d e d i c a t e dp r o c e s s o r ) 从完全定制结构到完全可编程结 构，通用处理器( g p p ：g e n e r a l p u r p o s ep r o c e s s o r ) 结构则另加一些扩展支持多媒体应用。 它们这些改变主要是针对视频、音频的压缩和解压。 专业多媒体处理器可采用多种模式，从多功能单元( m u l t i p l ef u n c t i o n a lu n i t s ) 和一 个r i s e 或d s p ( d i 9 5 t a ls i g n a lp r o c e s s o r ) 核模式到多处理器模式，而晟近的d s p 还采用 单指令多数据流( s i m d ：s i m p l ei n s t r u c t i o na n dm u l t i p l ed a t a ) 或超常指令字( y l i w ：v e r y l o n gi n s t r u c t i o nw o r d ) 任，2 0 0 0 ；p h i l i p s ，2 0 0 0 方式。通用处理器则是通过加入多媒 体指令集，和d s p 具有多媒体执行模块不一样，g p p 只提供基本指令完成通用多媒体数据处 第一章绪论 理。例如g p p 指令集中包含支持8 位数据类型的有效取址、i o 访问和甚至支持运动估值的 指令。为了获取提高数据处理的效率，最新的通用处理器多集成了一些s i m d 指令集，它们 可以在一定程度上指出数据并行处理。接下去的章节本文将主要讲述针对i n t e l 和a r c i n t e r n a t i o n a l 处理器的程序优化方法。 对于嵌入式软件而言，程序代码越小越好。压缩代码以适应受到成本或空间限制的存储 子系统是嵌入式系统开发的一项重要任务。a r m a r mi n e 、m i p s m i p s